基于卡尔曼滤波多目标追踪的家用精子活力检测算法研究与验证

朱燕飞 王勇伟 李传江 张崇明

摘  要： 针对传统精液分析方法存在的主观性差异、操作繁琐和不适合便携式家用检测等问题，研究并验证了一种基于卡尔曼滤波多目标追踪技术的精子活力检测系统算法. 首先，通过叠加平均法，获取静态精子数量，根据三帧差法获取运动精子质心位置；然后，使用卡尔曼多目标追踪方法绘制运动目标轨迹，再根据筛选条件获取运动精子数量；最后，综合静态与运动精子数量评价精子活力. 通过对实际采集的7组样本图像进行分析，研究结果表明：该系统所检测精子的活力值与人工检测的活力值相差较小，基本满足了家用精子活力检测的需求.

关键词： 精子活力检测； 卡尔曼滤波； 多目标追踪

中图分类号： TP 183    文献标志码： A    文章编号： 1000-5137（2024）02-0283-08

Research and validation of household sperm motility detection algorithm based on Kalman filter multi-target tracking

ZHU Yanfei， WANG Yongwei， LI Chuanjiang^*， ZHANG Chongming

（College of Information，Mechanical and Electrical Engineering，Shanghai Normal University，Shanghai 201418，China）

Abstract： In order to solve the problems of subjective differences， cumbersome operation and discommodious portable household detection of traditional semen analysis methods， a sperm motility detection system algorithm was studied and verified based on Kalman filter multi-target tracking technology in this paper. Firstly， the number of static sperm was obtained through the superposition average method. The centroid position of the moving sperm was obtained according to the three frame difference method. Secondly， the Kalman multi-target tracking method was used to draw the trajectory of the moving target， obtaining the number of moving sperm according to the filtering conditions. Finally， the number of static and moving sperm was combined to yield sperm motility. Through the analysis of the actual seven groups of sample images， the results showed that the sperm motility value detected by the system was less different from that detected manually， which basically satisfied the requirement of household sperm motility detection.

Key words： sperm motility detection； Kalman filter； multi-target tracking

0  引言

精子活力檢测是指检测精子样本中活动精子的百分比. 在现代医学和生殖研究中，活力检测具有重要地位，是评估男性生育能力和协助生育治疗不可或缺的方式^［1］. 传统精液分析方法主要依赖于经验丰富的技术专家，通过高倍显微镜下用肉眼观察样本运动状态进行评估，但会因专家经验差异而影响检测结果的客观性^［2］.

计算机辅助精子分析（CASA）系统将摄像机与显微镜相连拍摄样本，使用图像处理方法对精子目标进行追踪与分析，能有效降低人工检测误差^［3］. 由于缺乏统一的标准和规范，不同厂家、不同参数的CASA系统的检测结果之间存在难以进行有效比较的问题^［4］. 另外，CASA系统的设备通常由于体积庞大、操作繁琐且价格高昂等原因难以广泛普及.

家用精子检测设备能够进行简便、快速、准确的精子质量检测，这一特点有助于及时发现生育问题，对生育障碍的早期发现和治疗等方面都具有积极的意义. 精子活力分析技术核心包括精子目标检测和运动跟踪. 在传统的精子运动目标跟踪算法中，首先对运动中的精子目标进行提取，随后通过关联匹配方法绘制目标的轨迹. 刘广宇^［5］使用背景减除法提取运动目标，通过最近邻域法绘制活性精子目标的轨迹.李丹^［6］采用卡尔曼滤波技术对常用的核相关滤波跟踪算法进行改进，从而实现目标定位，再结合交并比匹配关联法，得到活动目标轨迹.URBANO等^［7］通过基于雷达跟踪算法的图像处理方法，实现自动化检测与跟踪人类精子细胞的游动路径.HESAR等^［8］使用改进的高斯混合概率假设密度（GM-PHD）滤波器跟踪多个精子，并获取精子轨迹. 王硕^［9］通过改进光流法实现精子活力分析，采用Lucas-Kanade算法和Harris角点检测算法提取单个精子的运动轨迹，并在此基础上提出一种基于椭圆拟合定量评价方法来描述精子运动特性. QI^［10］提出了一种基于高斯混合模型检测运动目标，使用背景减除法提取静态目标，从而获得精子活力.

随着人工智能的不断发展，深度学习逐渐应用于活力检测. 针对精子目标检测，研究人员采用了多种深度学习方法，如深度学习single shot multibox detector（SSD）目标检测框架^［11］、深度卷积神经网络（DCNN）^［12］、区域卷积神经网络（R-CNN）^［13］、改进深度学习网络you look only once （YOLO） v5^［14］、RetinaNet目标检测器^［15］等. 同时，精子运动状态方法也多种多样，如GOH等^［16］使用三维卷积神经网络（3DCNN）进行精子运动预测；HIDAYATULLAH等^［17］提出了精子运动的平均角度和跟踪网格来预测未被检测到的精子位置，使用公牛精子渐进运动分类器对精子活力进行分类；HAUGEN等^［18］通过训练DCNN预测进行性运动、非进行性运动和不运动精子.

为满足便携式家用检测系统对采样地点限制要求较低和检测便捷性的需求较高，本研究采用卡尔曼滤波多目标追踪技术绘制精子的运动轨迹，其优势在于能有效处理存在噪声、遮挡以及多目标精子的复杂情况，确保了精确和稳定的跟踪结果. 同时，卡尔曼滤波多目标追踪算法具有良好的实时性和计算效率，满足了实际应用的要求. 此外，该算法的可扩展性为未来的研究和技术创新提供了可能，为精子质量检测领域的进步和创新做出了积极的贡献.

1  卡尔曼滤波多目标追踪算法

由于样本视频中的精子目标通常非常微小，会导致算法定位出現误差，甚至无法获得确切位置的问题，这对检测精确性构成了重大挑战. 另外，样本视频包含两种不同状态的精子目标：连续运动的动态目标和位置相对不变的静态目标. 同时，分析这两种目标状态不仅会显著增加系统的计算负担，还可能对目标追踪的结果产生负面影响. 因此，采用将静态和动态目标分别分析的策略，以确保精子活力分析的准确性.

1.1 静态精子目标提取

由于样本视频中存在噪声和连续拍摄帧之间目标的位置变化，为了增强目标特征，并降低目标分割的难度，选择采用叠加平均法来提取静态目标，如图1所示. 叠加平均法将视频中的每一帧添加到同一张图片中，将该图片除以帧数获得帧平均图，如图2（a）所示. 通过自适应阈值获取目标轮廓，如图2（b）所示. 通过形态学操作去除不必要的噪声并连接目标区域，如图2（c）所示. 通过经验筛选并绘制符合特定面积范围的轮廓，标记为静态目标，如图2（d）所示.

1.2 动态目标提取

三帧差法能有效减少背景噪声的影响，对小幅度运动目标更为敏感，同时计算效率较高. 该方法能够区分当前帧与前几帧之间的差异，突显连续帧之间发生变化的区域，用于标明动态目标，如图3所示. 经过灰度化和自适应阈值处理差异图像，以有效分离静态背景和动态目标，如图4（a）所示. 将差异图像形态学操作，以去除噪声并连接目标区域，如图4（b）所示. 通过检测和提取二值图像中的轮廓，获取动态目标的形状和位置信息. 经过筛选，保留适当大小的动态目标.在输出图像中绘制符合条件的轮廓，实现了对动态目标的标注，如图4（c）所示.

1.3 卡尔曼多目标追踪

对于目标追踪，大多采用最近邻域法，将每个目标与最近的测量值相关联，然而在目标浓度较高或被遮挡的情况下，极易出现误关联问题. 卡尔曼滤波方法通过状态估计，借助模型的适应性，能够有效地处理这类问题，提高多目标追踪的准确性和可靠性.

本研究的多目标追踪基于单目标追踪的基础上实现.首先，系统根据首帧检测到的运动目标数量来初始化多个卡尔曼滤波器，其中每个卡尔曼滤波器代表一个精子的跟踪目标. 这些滤波器通过维护状态和协方差矩阵，用以预测每个精子的下一个状态. 同时，估计精子的位置和速度. 对于每个精子运动目标，其t时刻的状态方程与观测方程可以分别表示为：

， （1）

， （2）

其中，是精子目标的状态变量；是精子目标的观测变量；A是状态转移矩阵；B是控制输入矩阵为系统控制量为状态观测矩阵为过程噪声为测量噪声.精子目标的状态变量主要由动态精子的位置目标和两个方向的运动速度共同组成，初始化时认定速度为0，即：

（3）

由于载玻片厚度很低，默认精子为二维平面运动，精子的运动公式为：

， （4）

， （5）

其中，在本系統中认定为相邻帧的差值，且1，所以状态方程可以表示为矩阵形式：

. （6）

由于在计数板内没有外力影响，可以近似认定为认定精子不作加速运动，即=0，因此状态转移方程可简化为：

， （7）

其中，状态转移矩阵

. （8）

而精子观测值为通过帧差法获得精子的质心位置，即：

， （9）

所以观测方程

， （10）

精子目标的状态预测方程为：

， （11）

， （12）

其中为状态预测值为先验误差矩阵为后验误差矩阵；Q为状态噪声协方差矩阵. 更新过程如下：

， （13）

， （14）

， （15）

其中，R为观测噪声协方差矩阵，且Q，R均为常数. 由于观测噪声存在形态学操作，使观测误差较大，为体现与状态噪声的对比，设置观测噪声矩阵形式为：

， （16）

设置状态噪声矩阵形式为常数

. （17）

该算法在一个精子的运动过程中，每一帧变化时，使用其所在的卡尔曼滤波器预测出精子下一帧可能出现的位置，查看在预测位置周围是否存在检测到的目标运动精子，如果存在，则将该位置作为真实值对卡尔曼滤波器的预测值进行更新. 同时，记录每个精子的状态历史，以实现后续轨迹的绘制. 为了提高准确率，当运动目标首次被检测到时，且尚未被系统跟踪，则新初始化一个卡尔曼滤波器，用于追踪该精子. 同时，如果一个精子在连续多帧中均未被检测到真实值，系统自动停止追踪该目标. 最后，对各个追踪器的追踪状态进行分析，若追踪的次数小于整个视频片段帧数的95%，则认定该精子在整个样本视频未处于运动状态，定义为非动态精子. 算法流程图如图5所示，示例跟踪结果如图6所示.

2  实验结果

本實验数据均通过便携式设备实地采集于某医院. 采集样本相机为HD1313 USB免驱摄像头，视频帧率为30 帧·s^-1，图像分辨率为1 280×720 pixels. 为保证检测精度，根据样本编号分别进行系统检测与人工检测，实际检测结果如表1所示.

对比系统检测值与人工检测值，结果表明：尽管在精子总数和静止数量方面存在一些误差，但在精子活力和活动数量方面，系统检测表现良好. 误差范围保持在合理的范围内，且平均误差不超过10%，已基本满足家用设备的检测需求.

3  结语

针对精子活力检测领域便携性不足的问题，研究并验证了一种基于卡尔曼滤波多目标追踪的家用精子活力检测系统算法. 针对精子目标较小且目标追踪易丢失的问题，利用叠加平均法、三帧差法和卡尔曼滤波等多重技术，实现了对精子活力的自动化检测，为男性精子检测领域带来了便捷、准确的解决方案，为生殖医学和生育研究提供了有力支持. 未来的研究可以引入形态分析，以实现更全面的精子质量评估，从而进一步提高系统性能和实用性.

参考文献：

［1］ 卢文红， 蔡靖， 孙莹璞， 等. 精液分析质量控制方法专家共识 ［J］. 生殖医学杂志， 2023，32（1）：1-8.

LU W H， CAI J， SUN Y P， et al. Expert consensus on semen analysis quality control methods ［J］. Journal of Reproductive Medicine， 2023，32（1）：1-8.

［2］ 朱宽峰. 精液质量分析系统的应用技巧 ［J］.中国畜牧业， 2022（11）：120-122.

ZHU K F. Application techniques of semen quality analysis system ［J］. China Animal Industry， 2022（11）：120-122.

［3］ ZHAO W， MA P， LI C.A survey of semen quality evaluation in microscopic videos using computer assisted sperm analysis ［J/OL］. arXiv：2202.07820， 2022 ［2023-10-10］. https：// arxiv.org/abs/2202.07820v2.

［4］ 汪成， 范舒舒， 张思. 男科实验室计算机辅助精液分析系统的应用及质量控制 ［J］. 中国医学创新， 2020，17（13）：143-148.

WANG C， FAN S S， ZHANG S. Application and quality control of computer-assisted semen analysis system in andrology laboratory ［J］. Chinese Medical Innovations， 2020，17（13）：143-148.

［5］ 刘广宇. 基于OpenCV的精子运动轨迹检测系统的设计与实现 ［D］. 济南： 山东大学， 2018.

LIU G Y. Design and implementation of sperm motion trajectory detection system based on OpenCV ［D］. Jinan： Shandong University， 2018.

［6］ 李丹. 基于计算机视觉的精子活性检测技术研究 ［D］. 上海： 上海师范大学， 2020.

LI D. Research on sperm vitality detection technology based on computer vision ［D］. Shanghai： Shanghai Normal University， 2020.

［7］ URBANO L F， MASSON P， VERMILYEA M.Automatic tracking and motility analysis of human sperm in time-lapse images ［J］.IEEE Transactions on Medical Imaging， 2017，36（3）：792-801.

［8］ HESAR H D，ABRISHAMI M H，SAFARI A.Multiple sperm tracking in microscopic videos using modified GM-PHD filter ［J］. Machine Vision and Applications， 2018，29（3）：433-451.

［9］ 王硕. 基于轨迹椭圆拟合的CNN精子活力评估模型 ［D］. 天津： 天津大学， 2023.

WANG S. CNN sperm vitality assessment model based on trajectory ellipse fitting ［D］. Tianjin： Tianjin University， 2023.

［10］ QI S， NIE T， LI Q.A sperm cell tracking recognition and classification method ［C］// 2019 International Conference on Systems， Signals and Image Processing. Osijek： IEEEE， 2019：163-167.

［11］ 錢义飞. 基于计算机视觉的多目标检测与追踪 ［D］. 合肥： 安徽医科大学， 2023.

QIAN Y F. Multi-object detection and tracking based on computer vision ［D］. Hefei： Anhui Medical University， 2023.

［12］ DEWAN K， DASTIDAR T R， AHMAD M.Estimation of sperm concentration and total motility from microscopic videos of human semen samples ［C］// 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops. Salt Lake City： IEEE， 2018：2380-2387.

［13］ LEE R， WITHERSPOON L， MA H.Deep learning-based automated sperm identification for non-obstructive azoospermia patients ［J］. Journal of Urology， 2021，206：E672-E673.

［14］ 汪涛. 基于计算机辅助的精子活力分析研究 ［D］. 合肥： 安徽医科大学， 2023.

WANG T. Research on sperm vitality analysis based on computer assistance ［D］. Hefei： Anhui Medical University， 2023.

［15］ MOHAMMADI M R， RAHIMZADEH M， ATTAR A. Sperm detection and tracking in phase-contrast microscopy image sequences usingdeep learning and modified CSR-DCF ［J/OL］. arXiv：2002.04034， 2020 ［2023-12-01］.DOI：10.48550/arXiv.2002.04034.

［16］ GOH V H， ASARI M A B， ISMAIL L H B. 3D convolutional neural networks for sperm motility prediction ［C］// 2022 2nd International Conference on Intelligent Cybernetics Technology & Applications. Bandung： IEEE， 2022：174-179.

［17］ HIDAYATULLAH P， MENGKO T L E R， MUNIR R. Bull sperm tracking and machine learning-based motility classification ［J］. IEEE Access， 2021，9：61159-61170.

［18］ HAUGEN T B， WITCZAK O， HICKS S A. Sperm motility assessed by deep convolutional neural networks into WHO categories ［J］. Scientific Reports， 2023，13（1）：14777.

（責任编辑：包震宇，郁慧）

DOI： 10.3969/J.ISSN.1000-5137.2024.02.022

收稿日期： 2023-12-25

作者简介： 朱燕飞（1988—）， 男， 副教授， 主要从事集员估计与控制、人机交互、机器人技术、多智能体控制等方面的研究. E-mail： yfzhu@shnu.edu.cn

* 通信作者： 李传江（1978—）， 男， 教授， 主要从事机器人技术、驱动与控制、人机交互等方面的研究. E-mail： licj@shnu.edu.cn

引用格式： 朱燕飞， 王勇伟， 李传江， 等. 基于卡尔曼滤波多目标追踪的家用精子活力检测算法研究与验证 ［J］. 上海师范大学学报 （自然科学版中英文）， 2024，53（2）：283?290.

Citation format： ZHU Y F， WANG Y W， LI C J， et al. Research and validation of household sperm motility detection algorithm based on Kalman filter multi-target tracking ［J］. Journal of Shanghai Normal University （Natural Sciences）， 2024，53（2）：283?290.