程龙乐,许金林,李皙茹,3,马祖长,3,李晓风,3
(1.安徽大学,安徽 合肥 230601;2.中国科学院 合肥物质科学研究院,安徽 合肥 230031;3.中国科学技术大学,安徽 合肥 230026)
基于图像处理的跑步机速度自适应技术研究
程龙乐1,2,许金林2,李皙茹2,3,马祖长2,3,李晓风2,3
(1.安徽大学,安徽 合肥 230601;2.中国科学院 合肥物质科学研究院,安徽 合肥 230031;3.中国科学技术大学,安徽 合肥 230026)
随着物质生活水平的提高,越来越多的人开始关心自身的健康状态,并积极投入健康运动。电动跑步机体积小、节约空间、操作简便,已经成为常用的健身器材之一。然而,在传统电动跑步机的使用过程中,跑步者必须被迫调节自身速度去适应跑步机预设的固定速度,严重影响了跑步者运动时的主动性和轻松感,也限制了电动跑步机的应用拓展;机械跑步机虽能实现速度的自跟随,但其对运动者肌肉关节的损伤不容忽视。因此,一种能够判断运动者加减速意图,并实时控制跑步机电机速度的技术变得尤为重要,速度自适应跑步机在日常锻炼与医疗复健领域都有着广阔前景。从计算机视觉的角度着手,基于对运动者走、跑的视频图像序列的处理,取得人体的运动特征并对其进行分析,提出实时控制跑步机电机速度的方案。通过实验验证,最终实现跑步机的速度自适应控制。
跑步机;速度自适应;计算机视觉;图像处理
走跑运动在提高心肺功能、增加肌肉与骨骼强度方面都有显著效果。由于现代生活节奏逐渐加快,且户外跑步受环境、场地等客观因素的限制,人们选择跑步机用以代替与模拟户外自由跑环境,从而达到健身目的[1]。
传统的电动式跑步机的调速依然是通过按键等人机交互完成,运动者的自由度受到极大的限制[2]。因此,研究人体在跑步机上的运动特征以及速度变化的规律,根据这一规律调整电机速度以达到跑步机的速度自适应这一目的,对于改善健身者的跑步体验、拓展跑步机的应用范围等具有重要意义。
跑步机的速度自适应成为近年来的热门研究课题。目前,国内外针对速度自适应跑步机的研究都有着多种尝试,并取得了一定的进展。例如通过束缚在人体上的装置,实时检测人体的状态,以及通过手势等判别加减速意图[3]。这类方法存在一些瓶颈:加减速极易引起误判;人体很难控制,易引起加减速震荡;束缚在肢体上的检测装置影响人的正常运动;操作不够简便,易引起误操作,等等[4]。
文中研究了一种基于视频图像处理的跑步机速度自适应的技术。通过图像处理的方法获得视频分帧图像中的人体图像;对获得的图像进行特征点提取;分析特征数据,建立其与跑步机电机转速控制之间的数学模型。实验结果表明,该技术可有效解决上述方法中存在的不足。
系统结构如图1所示。
图1 系统总体结构
基本参数如下:台体尺寸为220*80*22 cm;跑带尺寸为164*55 cm;电机速度为1~12 km/h可调;摄像机视场角为水平78°;架设距离为100 cm;架设高度为120 cm;动态分辨率为1 280*720;最大频帧为30 fps。
摄像头将采集到的视频信息通过USB通信传给上位机,上位机将所得视频图片进行降噪、背景消除、形态学等图像处理获得运动目标图像,并进一步分析,获得运动对象的特征信息,分析特征数据,进而建立其与跑步机电机转速控制之间的数学模型,再转换成电机速度指令,通过串口发送至电机控制器。
速度自适应控制的总体思路为:通过摄像头捕捉到实验者在每一帧图像的坐标值,在第n帧与第n+1帧的水平轴坐标分别为Xn,Xn+1,这样就可以得到这相邻两帧图像中运动目标关于地面的相对位移ΔS,通过实验计算,找出与跑步机速度变化之间的关系,即可完成速度自适应控制。
2.1 目标特征提取
对实验者运动特征的提取与识别是该课题的关键点之一。为实现良好的跑步机速度自适应控制,对实验者运动特征的提取与运动意图的判别是重要前提条件。
摄像头采集如图2(a)所示的原始图像,经过预处理后,可得到如图2(b)所示的运动目标的边缘信息。由于边缘信息并不能单独作为运动目标的特征,因而引入如图3所示的人体生物解剖模型[5-7](棍装模型)。通过该模型对运动目标的边缘信息做进一步分析处理,可提取到运动目标的特征点[8-10],称此点为“中心点”。
图2 原始灰度图片与处理后边缘信息
图3 生物解剖学中各肢体占身高比例
分别横向扫描人体运动轮廓图像中颈关节纵坐标所在的高度为0.870H的行和髋关节所在的0.530H,因为其余背景像素值都为0,故可分别得到这一行中最左边和最右边的两个像素值为1的点的横坐标xl1,xr1;xl2,xr2,然后算出颈关节的横坐标(见式(1))、髋关节横坐标(见式(2))、中心点横坐标(见式(3)),中心点纵坐标即为0.7H。
X1=xl1+(xr1-xl1)/2
(1)
X2=xl2+(xr2-xl2)/2
(2)
(3)
2.2 跑步机速度控制
对连续特征帧图片的“中心点”坐标做差值,很容易得到运动目标的相对位移ΔS,提出基于ΔS的速度控制方法。
如图4所示,忽略左右脚的差异,设周期为t,相邻两帧图像中中心点的相对位移为ΔS,每个周期内的等效加速度为a,跑带的速度为Vt。当人在单个周期内匀速运动,即等效加速度a=0时,人的速度为Vt,人的质心m在Y轴上的投影相对地面保持不变,相邻两帧的中心的位移近似为0。
图4 跑步机速度控制示意及实验平台
(4)
其中,kp为修正系数,范围为0~1.0。
为了对提出方法进行验证,在中科院合肥智能机械研究所运动与健康信息技术研究中心搭建了实验平台,如图4(b)所示。
在50组重复实验中,随机挑选一组实验数据,实验者为男性,25岁,身高175cm,体重60kg;实验者经过短时间练习,能很快适应这套实验装置,并能够在跑步机上实现速度的自主跟随调节。图5、6为在实验过程中一段时间内的相对位移的数据曲线以及对应的跑步机速度曲线。加速阈值为45mm,减速阈值为-45mm,KP=0.50。
图5 运动过程中的相对位移曲线图
图6 跑步机速度曲线
图中的测试结果与以往研究一致[11-14],验证了文中实验装置获取的信息是准确的。
在实验中,实验者按照要求逐步地调整自己的行走速度。当实验者试图加速时,测得ΔS的数值大于加速阈值,跑步机随之不断加速。当实验者试图减速时,测得ΔS的数值小于减速阈值,跑步机随之不断减速。在跑步机速度调整周期内,跑步机能够完成速度匹配,达到速度跟随自适应的功能。
文中提出一种基于图像处理的跑步机速度自适应的控制方法,不需要在运动者身上安装任何装置,只需通过摄像机捕捉运动者的姿态特征即可控制电机转速,跟随运动者速度的变化趋势。实验结果表明,该方法可以在一定范围内实现跑步机速度的跟随控制,为进一步研究奠定了基础。
随着研究的深入以及互联网、物联网、传感器等相关领域产业科技的进步与发展,速度自适应跑步机的研究可能将力学、视觉图像、3D、心率、神经直觉等多维度参数进行融合,并结合云计算、大数据等技术,从单纯的速度自适应,不断向更高维度的智能化方向扩展,这也是今后的研究重点。
[1] 郭 锋.健身走跑在全民健身中运用的方法探索[J].安徽电子信息职业技术学院学报,2010,9(5):108-110.
[2] 崔文琪,李 峰.下肢康复机器人系统中的跑步机速度跟随自适应控制方法[J].现代制造工程,2013(9):30-34.
[3]TaiJC,TsengST,LinCP,etal.Real-timeimagetrackingforautomatictrafficmonitoringandenforcementapplications[J].ImageandVisionComputing,2004,22(6):485-501.
[4]FukunagaK,HostetlerL.Theestimationofthegradientofadensityfunction,withapplicationsinpatternrecognition[J].IEEETransactionsonInformationTheory,1975,21(1):32-40.
[5]LiptonHA,FujiyoshiH,PatilRS.Movingtargetclassification
and tracking from realtime video[C]//Proc of IEEE workshop on applications of computer vision.[s.l.]:IEEE,1998:129-136.
[6] 朱 梁.健康监测跑步机的研发[D].杭州:浙江理工大学,2013.
[7] 程 娟.复杂背景下运动目标识别算法研究[D].武汉:武汉理工大学,2008.
[8] 孙 浩.智能型电动跑步机驱动控制系统设计与实现[D].南京:南京邮电大学,2011.
[9] 王树文,闫成新,张天序,等.数学形态学在图像处理中的应用[J].计算机工程与应用,2005,40(32):89-92.
[10] 顾成成,任 彧,刘宗钦,等.可识别手势的跑步机:中国,2010102452.9[P].2010-12-15.
[11] 蒋建业.一种跑步机的速度控制方法及装置:中国,200810217067.5[P].2009-03-18.
[12] Lichtenstein L,Barabbas J,Woods L R,et al.A feedback-controlled interface for treadmill locomotion in virtual environments[J].ACM Transactions on Applied Perception,2007,4(1):1-22.
[13] 杨 杰,张 翔.视频目标检测和跟踪及其应用[M].上海:上海交通大学出版社,2012.
[14] Verkerke G,Hof A,Zijlstra W,et al.Determining the centre of pressure during walking and running using an instrumented treadmill[J].Journal of Biomechanics,2005,38(9):1881-1885.
[15] 杨先军,李春丽,夏 懿,等.电动跑步机上步态特征获取系统的设计[J].传感技术学报,2012,25(6):751-755.
Research on Speed-adaptive Technology of Treadmill Based on Image Processing
CHENG Long-le1,2,XU Jin-lin2,LI Xi-ru2,3,MA Zu-chang2,3,LI Xiao-feng2,3
(1.Anhui University,Hefei 230601,China;2.Hefei Institutes of Physical Science,Chinese Academy of Sciences,Hefei 230031,China;3.University of Science and Technology of China,Hefei 230026,China)
With the improvement of people’s living standards,an increasing number of individuals are concerned about their own health and are active in physical exercise,and electric treadmill has the advantages of small volume,saving space,easy operation,which has become one of the most popular fitness equipment.However,for the traditional electric treadmill,the runners are forced to adjust their speed to adapt the preset fixed speed of the treadmill,and this situation seriously affects the initiative and the relaxed feeling of the runners,and also limits the application extension of electric treadmill.Mechanical running machine can realize speed since followed,but the damage of activists muscle joints cannot be ignored.Therefore,a kind of real-time control treadmill which can judge acceleration intention has become particularly important,at the same time,adaptive speed treadmill in daily exercise and medical rehabilitation field has broad prospects.This topic is based on the perspective of computer vision,analysis of the human body movement characteristic,proposed the scheme of real-time speed control,finally realizing the adaptive speed control of treadmill.
treadmill;speed-adaptive;computer vision;image processing
2016-01-04
2016-05-12
时间:2016-09-19
国家科技支撑计划课题(2013BAH14F01)
程龙乐(1988-),男,硕士研究生,研究方向为信号与信息处理;马祖长,博士生导师,研究方向为非医疗性健康促进服务理论与技术体系;李晓风,博士生导师,研究方向为计算机网络管理和计算机自动控制。
http://www.cnki.net/kcms/detail/61.1450.TP.20160919.0841.036.html
TP393.4
A
1673-629X(2016)10-0092-03
10.3969/j.issn.1673-629X.2016.10.020