智能仿生眼视频监控系统的设计与实现

蒋东国，冷 斌，贺 庆，官 冠，王文韬，丁 磊，胡 欢

（1.广州中国科学院先进技术研究所，广东 广州510000；2.广东工业大学 计算机学院，广东 广州510000）

0 引 言

目前，广域周界视频监控系统［1，2］以视频监控技术为核心，主要采用普通网络视频监控的方法，具有实时、直观监控的特点。然而当其应用于覆盖面积广的区域时会使越来越多的摄像头视频同步集中在一个屏幕上显示，不仅增加了安保人员的工作压力，降低了监控效率，而且无法准确地实现对目标对象的实时识别跟踪［3－5］。另外，现有的部分产品虽然在一定程度上能够进行大范围的视频监控，但其绝大部分都过度依赖于电子地图，从而使得系统的耦合性过高，降低了系统的灵活性。针对上述问题，通过自主设计系统机械结构并基于 “仿生眼”［6］特性，设计一种采用双目摄像头定位、多组仿生眼协同监控，对目标对象实现实时识别跟踪的广域周界视频监控系统。该系统将运动检测、运动分析、目标识别、目标跟踪等任务分配到不同的主机和仿生眼，由多个仿生眼系统获取现场三维信息和目标对象细节以完成完整的广域周界监控任务。

1 系统简介

智能仿生眼视频监控系统由硬件系统和软件系统组成。该系统基于嵌入式开发平台，具有双目采集、水平旋转角度360°、垂直转动角度大于80°及23 倍同步变焦等功能。系统工作原理是通过串口控制云台系统上、下、左、右以及变焦等动作和实现仿生眼系统的预制位设置以及接收仿生眼系统的状态信息，通过设置运动边界，加载运动目标检测模块。当目标侵入后，根据目标的当前位置计算出云台旋转、变焦分量，并将其发送到仿生眼云台系统，从而实现对运动目标的随动跟踪，如图1所示。

图1 系统外观

2 系统硬件电路设计

系统的主控制电路主要由DSPIC33FJ128MC706A 主控芯片模块、电源供电模块、电机驱动模块、串口通信模块等组成。如图2所示，通过串口可以控制云台系统上、下、左、右以及变焦等动作和实现仿生眼系统的预制位设置以及接收仿生眼系统的状态信息。

图2 系统结构框架

2.1 DSPIC33FJ128MC706A

DSPIC33FJ128MC706A 是美国Microchip Technology公司推出的一款不仅拥有一般PIC 单片机控制处理能力，还具有较强的DSP运算和数据吞吐能力的电机系列数字信号控制器。该款芯片主要采用流水线指令、精简指令集（RISC）、哈佛 （Harvard）总线结构，具有强大的数字信号处理能力［7］。

系统选用该款芯片为主控芯片，其拥有的低功耗、高速度、抗干扰能力强、性能稳定的优点和在电机控制和数字信号处理方面相对于其它同类芯片突出的表现，非常适合本系统的设计要求。

2.2 电源电路设计

LM2940CS－5.0、LM1117MP－3.3芯片均为输出电压固定的低压差三端稳压器，具有内含静态电流降低电路、电流限制、过热保护、电池反接和反插入保护电路的特点［8］。

由于系统不同的芯片模块需要不同的电压供电，为此系统的电源部分同时选用了这两种芯片为系统进行供电。如图3所示，选用LM2940CS－5.0 芯片为DSPIC33FJ128MC706A芯片、MAX232 等模块提供3.3 V 的需求电压，选用LM1117MP－3.3芯片为步进电机驱动芯片TB6560AFG 提供5.0V 需求电压。通过对系统进行长时间供电测试，验证了该设计电路实现简单，能够有效稳定地为系统提供3.3 V 和5.0V 工作电压。

2.3 串口控制电路设计

RS－232和RS－485是PC与智能设备通信常见的两种通信协议。RS－232使用3根线 （RX、TX、GND）同时收发进行数据传输，具有短距离数据传输效率高、性能稳定等特点，但是3根线不方便扩展组网且远距离抗干扰性能差，只适合于短距离两个设备单点快速通讯。RS485 使用2 根线（D＋、D－）同一时间收发交替进行数据传输，具有远距离数据传输效率高、抗噪声干扰性能好、2 根线方便多个设备串接组成网络的特点，适用于多设备中远距离通讯［9］。

系统主要是通过串口通信实现对控制云台系统运动方向、相机变焦、接收系统的状态信息、系统预定位置设置等功能的控制，并完成不同仿生眼系统间的协同监控。为了稳定有效地远距离控制系统和快速获取系统的状态信息，实现多组仿生眼系统稳定通信。系统同时采用RS－485 和RS－232通信协议，通过选用MAX485CSA 和MAX3232ESE芯片，分别完成对仿生眼系统的控制和与角度传感器通信以快速获取系统的状态信息等功能。经过多次户外测试可知，该设计实现了将上位机控制指令稳定有效地传输到系统，并可以随时获取系统的状态，完成了多组仿生眼系统协同监控的目标。

2.4 电机控制电路设计

TB6560AFG 是东芝公司推出的一款高性能电机驱动芯片，具有高集成、低功耗、两相混合式步进的特点。该款芯片主要采用内部集成双全桥MOSFET 驱动和内置温度保护芯片，当芯片温度高于150°时将自动断开所有输出，且最高耐压达40 V。除此之外，TB6560AFG 还具有整步、1／2步、1／8步、1／16步的细分方式和过流保护等特性［10］。

图3 电源电路

如图4 所示，系统采用两块TB6560AFG 芯片分别驱动系统的云台电机和侧面电机，将两路电机接至对应驱动芯片的OUT＿A Outputs和OUT＿B Outputs引脚。系统正常工作时，要实现恒定的电流驱动，单相基准电流需通过一个外部电阻器进行调整。当NFA（NFB）（电机A（B）通道电流检测电阻器连接端）的电压达到0.5V （假设转矩设置为100%）时充电停止，使电流不超过预定义的水平。

图4 电机驱动电路

Outputs电流 （单相）计算公式如下

为了使系统能达到所需性能，将电机单相输出电流IOUT设为2.5A，外部电阻器R33 （R34）阻值为0.2Ω。

3 软件系统设计

3.1 主控制程序设计

系统主控制程序功能主要包括串口模块初始化，仿生眼装置初始化、电机运动控制，仿生眼控制等功能。程序运用C语言编写，所有程序均在Microchip Technology公司提供的MPLAB IDE 集成开发环境进行设计，通过MPLAB C30对程序进行编译，最后通过Microchip公司专为DSPIC33F系列DSC开发的仿真器picket 3 对系统程序进行在线调试并下载到DSPIC33FJ128MC706A 中运行。

系统主程序流程如图5所示，首先通过上位机软件发送控制指令给系统，系统确认收到来自上位机的控制指令后，完成对仿生眼装置的初始化、电机运动控制、相机变焦、获取系统状态等操作。如果系统没有收到上位机传输过来的控制指令，系统将处于待命状态，直到UART 模块接收到相应的控制指令。

图5 主程序流程

3.2 上位机设计

系统主控界面使用MFC开发，如图6所示，主要包括电机控制模块、算法加载及复位模块、目标距离显示模块、系统运行状态显示模块、监控视频加载显示等部分组成。

图6 上位机控制界面

4 系统性能分析与验证

4.1 运动目标检测与跟踪

系统在 “基于点群运动和灰度特征的运动检测”算法和 “基于随机特征学习的任意目标实时跟踪”算法研究基础上，并采用单帧图像描述场景和边界保护的更新策略结合的方法，首先对监控范围内运动物体进行检测，通过将全局观测和细节抓拍分配到不同的仿生眼，不同仿生眼负责对同一运动目标的形状、大小、位置、速度、移动方向等细节进行拍摄。系统通过对多组仿生眼协同监控获得的信息进行分析，一旦确定当前运动目标为目标对象，系统将自动对其进行随动跟踪。

如图7所示，当监控区域出现运动目标时，系统能够有效的实现目标对象的识别与追踪。图7 （a）、（b）表示的是目标对象由图7 （a）中位置运动到图7 （b）中位置的识别跟踪结果，可以看出图像的识别效果良好，其中每幅图像中矩形部分标识的对象为识别的目标对象。

图7 目标检测与跟踪效果

为了验证系统对目标的实时跟踪性能，在保证算法有效性的前提下，计算系统进行目标检测时的处理速度，可得平均为20 帧／s，如表1 所示。另外，算法具有学习功能，当目标丢失后系统能够自动找回。

表1 系统目标测距与处理速度计算

通过多次实验验证了系统对目标对象进行实时、长时、稳定跟踪的功能。

4.2 特征匹配与目标测距

为了实时准确地获取目标的距离，系统采用了FAST特征点［11］和极线定理寻找共轭点对相结合的方法。通过对不同仿生眼采集的视频图像进行FAST 特征点标定，再利用极线定理对特征点进行匹配得到目标图像的n组共轭点对，从而计算出目标的距离。

为了验证系统测距与匹配性能，分别进行了7次不同距离下的测距实验，测距实验结果如表1所示。其中的一次效果如图8所示，表示的是对目标对象的识别与测距效果，其中左边图像中所标识的矩形区域为指定目标对象区域，右边图像中所标识矩形区域为系统识别对象区域，经过多次测试可知，系统的匹配率可以达到91.5%。然后，再分别提取矩形区域里的特征点，根据距离计算公式

式中：f——焦距，T——两摄像头间的横向距离，d——目标像素点在左右两摄像头平面x方向的坐标差值，即可得目标对象到摄像头的距离。

图8 特征匹配与目标测距效果

经过多次实验验证可知，目标测量精度为目标距离摄像头在5m 范围内，误差控制在3%左右。

从表1数据可知，在多次实验测试状态下，系统测距的标准差为19mm，远低于现有的视频测距系统，表明系统测距性能良好。

5 结束语

本文设计了一种基于 “仿生眼”特性的多目视频监控系统，通过采用双目主动视觉定位、边界设定等方法，克服了单目摄像头无法获取场景的深度信息的缺陷，使系统获得的丰富现场三维信息。同时，在基于现场三维信息的基础上，通过采用特定的图像处理算法，多组仿生眼协同监控，使系统实时处理速度达到20 帧／秒并能够准确的检测识别目标对象和对其进行防丢失随动跟踪。经过多次实验测试，系统实现了预期的各项功能，具有实用性好、智能化高、稳定性强、成本低、功能可扩展的特点，适用于船坞、机场、监狱等监控范围广阔的领域，具有巨大的市场前景和开发潜力，也为推动自主知识产权的广域周界监控系统提供了解决方案。

［1］ZHAO Kai，QUAN Chunlai，Ai Fei，et al.Video image rendering in 3D model［J］.Computer Engineering and Design，2009，30 （22）：5221－5224 （in Chinese）.［赵凯，全春来，艾飞，等.视频图像在三维模型中的渲染 ［J］.计算机工程与设计，2009，30 （22）：5221－5224.］

［2］WU Youjun.Analyzing the application status of airport perimeter security sensor［J］.China’s Security，2011 （4）：95－97

（in Chinese）.［吴尤骏.浅议机场周界安防传感器应用现状［J］.中国安防，2011 （4）：95－97.］

［3］LUO Yunzhi，LIU Zhihong.Review of video monitoring technology development ［J］.Automation of War and Industry，2009 （1）：1－3 （in Chinese）.［骆云志，刘治红.视频监控技术发展综述 ［J］.兵工自动化，2009 （1）：1－3.］

［4］YU Lasheng，LIU Yong.Design and implementation of intelligent video monitoring system based on network ［J］.Computer Engineering and Design，2009，30 （16）：3879－3882 （in Chinese）.［余腊生，刘勇.基于网络的智能视频监控系统的设计与实现［J］.计算机工程与设计，2009，30 （16）：3879－3882.］

［5］ZHANG Yuejin，XIE Xin.The design of the embedded network digital video monitoring system ［J］.Computer Engineering and Design，2009，30 （4）：805－807 （in Chinese）.［张跃进，谢昕.嵌入式网络数字视频监控系统的设计 ［J］.计算机工程与设计，2009，30 （4）：805－807.］

［6］Luo Jun，Hu Juqi，Li Hengyu，et al.Object tracking based on the improved particle filter method using on the bionic eye PTZ ［C］／／IEEE International Conference on Robotics and Biomimetics，2013.

［7］SHI Zhaolin.Introductory and use of dsPIC digital signal controller［M］.Beijing：Beihang University Press，2009：1－464（in Chinese）. ［石朝林.dsPIC 数字信号控制器入门与实战［M］.北京：北京航空航天大学出版社，2009：1－464.］

［8］MA Guohong，DU Baozhou，JIANG Furong，et al.The design of welding robot controller based on the DSC ［J］.Technology of hot working，2012 （15）：188－191 （in Chinese）.［马国红，杜保舟，江芙蓉，等.基于DSC焊接机器人控制器的设计 ［J］.热加工艺，2012 （15）：188－191.］

［9］WANG Ying，LV Xianqiang，ZHANG Jing.Applications of MAX485communication between PC and single chip microcomputer［J］.Information Technology，2011 （6）：180－182 （in Chinese）.［王颖，吕显强，张菁.MAX485在PC机与单片机间通信的应用 ［J］.信息技术，2011 （6）：180－182.］

［10］WANG Dangli，NING Shengke，MA Baoji.The design of the stepper motor drive circuit based on TB6560 ［J］.Microcontroller and Embedded Systems Applications，2010 （1）：41－43 （in Chinese）. ［王党利，宁生科，马宝吉.基于TB6560的步进电机驱动电路设计 ［J］.单片机与嵌入式系统应用，2010 （1）：41－43.］

［11］Rosten Edward，Porter R，Drummond Tom.Faster and better：A machine learning approach to corner detection ［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2010，32 （1）：105－119.