具有视觉跟踪的多功能图传系统设计

唐 哲 韦 超 黄喜军 杨永晋 陈 泽

具有视觉跟踪的多功能图传系统设计

唐 哲 韦 超 黄喜军 杨永晋 陈 泽

（桂林电子科技大学，广西 桂林 541004）

文章主要介绍一种基于树莓派和单片机的多功能图传系统，其由树莓派主机、无线网卡、基于单片机和mavlink协议的飞行控制系统、电池和开关电源模块组成。工作时由带有摄像头一端的主机通过无线网卡广播视频编码信号和通过串口读取到的姿态信号，接收端主机网卡接收到信号并解码后通过USB协议或无线网络协议传输到手机、电脑或平板上，即可实时浏览画面和运动姿态等数据。整个系统操作简单，响应迅速，能满足大部分应用场景。

图像传输；无线通信；嵌入式系统；多功能

引言

随着科技的发展，无人机、无人车等智能产品慢慢被大众所熟悉，图传作为这些设备的“眼睛”，具有非常重要的作用，从早期清晰度不高的模拟图传，慢慢演变为如今的数字图传，但好的图传价格昂贵，且学习成本高，不适用于大众。

本文介绍的多功能图传，采用折中的方案，使在百元级价位就能体验到1080 P、60帧的视频效果，且保障延时在200 ms以内，无论应用于无人机或是家用机器人等都能满足其产品需求，更重要的是本设备作为独立模块，不会给用户提高学习成本，且所有传感器数据都可供用户调用，大大提高了用户的使用场景[1]。

多功能图传系统首先判断机载计算机是否连接有摄像头，连接有摄像头的一端自动配置为主机，另一端为从机，系统启动完毕后自动配对。在上电使用前可调整配置文件以获得目标分辨率和其他相关信息，分辨率越高，数据显示越多，对应的延迟也会相应提高，供用户针对不同应用场景进行调整，在APP中也可以方便快速调节，提高用户使用效率和满足用户多元化需求。

1 总体设计介绍

多功能图传系统主要由七个主要功能模块构成：2 s～6 s转5 V开关电源模块、STM32微型飞行控制系统、执行设备、天空发射端主机，华硕AC56网卡，地面接收端主机，显示设备。各模块之间相互联系，交互方式繁多，控制信号可由飞行控制系统给入，同时也可以由地面接收端网络信号给入，画面输出可由主机上的HDMI直接输出，也可以通过USB网络共享、无线网络共享等方式输出。通过多种交互方式满足用户不同的使用需求，以达到多功能图传的体验。多功能图传系统设计整体框图如图1所示。

（1）飞控系统：采用STM32F427作为处理器核心，使用单片机获取传感器数据，姿态解算，并通过串口接收来自发送端主机的目标信息数据，以及反馈自身传感器数据；并通过PWM输出最终控制信号。

（2）电源模块：电源模块主要考虑用户所使用的电池电压跨度大，主机对于工作电流要求高，为此设计了这款宽电压输入、低纹波的电源模块给飞控系统和主机供电。

（3）摄像头：一般来说，摄像头板本身内部必须有一个h264/h265编码器，或者传感器和SBC之间必须有CSI连接，以确保帧的传输和编码尽可能快。

（4）发送端主机：发射端主机不仅对于摄像头数据压缩传输，而且更重要的是实时获取飞控系统的传感器数据，并发送到地面端，以保证在特殊情况下不能得到图像信息时，不会失去对控制系统状态的判断。

（5）接收端主机：最重要的功能是解析网卡接收到的数据并与显示设备进行交互，便于用户查看图像与状态信息，以及对于系统的设置。

（6）电机舵机：实现视觉跟踪的本质是根据视觉信号控制电机或舵机使整体被控对象实现跟踪效果。

2 模型设计

2.1 系统整体框架设计

此次设计主要考虑散热性能和减轻重量，图传设备因为整体的高功耗、小体积，基本都存在发热的问题，所以要在底部对称开孔，中部和尾部镂空进行散热，经过测试在开启最高画质的情况下连续工作3小时不会出现自动降频和系统故障。以无人机系统为例，在动力一定的情况下为了不影响系统性能，图传系统需要轻便和易拆装。如图2所示，是使用solidworks设计的多功能图传系统建模图。

图2 系统整体建模图

2.2 电源模块PCB模型设计

考虑到电源模块的体积和美观，可利用主机上的40 pin排针固定电源模块，保证了整体模型的紧凑和可靠，并根据开孔位置预留电源与串口引出端子，最大程度避免导线的引入。

3 硬件设计

图传系统主机适配Raspberry Pi 3、3A、3B等版本，这些在硬件上自带H264/H265视频编解码器的模块非常满足设计人员的设计需求。基于成本和稳定度考虑直接使用成品模块，而执行端飞行控制系统则采用STM32系列单片机为核心设计外围电路，主要功能是获取系统状态信息、控制外设。

3.1 主机模块

此次设计对于多种主机进行了测试，包括但不仅限于性能强大的Raspberry Pi 4B、Raspberry Pi Compute Module CM3+、CM4。为了不造成资源过剩和节约成本，测试出对于地面端而言性价比极高的RaspberryPi3B（+）能很好地胜任，当然3A在牺牲一部分使用体验上也能胜任，但不推荐使用。因为经过测试地面端上对于GPU资源要求较高，且3A内部不支持双频热点，这将降低功能。对于天空端主机而言也测试出了两款性价比极高的计算机模块，如果不考虑模块体积和追求性能，使用3A是很好的选择，反之使用便宜且小巧的Raspberry Pi Zero。

3.2 控制系统

考虑到被控对象的多样性，在设计上留了甚多冗余，同样对于不考虑成本的用户推荐使用基于pix4固件的官方硬件，这些硬件系统基本都能很好的支持mavlink通讯协议，对于主机上下行交互没有影响，处理器上一般使用STM32f427为主，STM32f103为备份处理器，内置感应器上使用L3GD20三轴数字16位陀螺仪、LSM303D三轴14位加速度计/磁力计、MPU6000 六轴加速度计/磁力计、MS5611气压计。官方硬件虽好，但可自定义程度差，代码结构复杂，成本动辄上千元，且运行非主流NuttX RTOS操作系统大大提高了用户学习成本，所以也设计了一款成本在百元内的控制系统，预留8路PWM、一路GPS、一路数传、一路主机通信串口，以及一路用户自定义串口，主控上选择STM32F427，由一路iic获取mpu9250的9轴姿态数据和spl06-001气压高度数据。

3.3 主机电源模块

选择开关电源稳压降压芯片作为电源模块，开关电源是一种利用近代电子电力技术控制开关管关段和开通时间比，来维持稳定输出电压的电源，一般来说开关电源有PWM（脉冲宽度调制）控制IC或MOSFET构成。目前，开关电源越来越小型化、轻量化和高效率，广泛应用于各种电子设备。经过对比选择了性价比较高的TPS5430作为首选电源芯片，大致电路由主电路、检测电路、控制电路、辅助电源组成。通过调节外围电阻值以获得期望的电路性能，其主要外围电路和调压公式如图3所示。

图3 主机电源模块原理图

3.4 网卡模块

无线网卡顾名思义是指使用无线电波为传播媒介的设备，网卡的作用和功能是用来连接到局域网上的，它只是一种信号收发的设备，市面上网卡设备众多，但是适合此系统和满足远距离需求的网卡基本上使用了特定芯片，建议预算允许的情况下在地面端上至少使用两个网卡。经过测试发现，使用RTL8812和AR9271芯片的网卡能带来更好的效果，同时在户外5.8 G频段干扰更小，用户可根据环境不同在APP中设置网卡频段。

4 软件设计

4.1 系统整体软件设计

图传系统功能繁多，首先让大家有一个大概的了解，最后解析其中关键部分的软件设计，从地面端谈起，需要能支持DSI和HDMI协议的视频输出才能具备显示功能，同时要支持与移动设备的互联，便需要使用wifi和USB协议，移动设备或地面端通过USB连接支持遥控器、模拟器、教练口等，同时地面端还需配对与数传和AAT跟踪天线的串口程序，最后为了传输视频需要USB网卡支持驱动程序；对于天空端而言需要有支持mavlink协议的串口程序，CSI/USB摄像头数据接收程序，以及网卡驱动程序。综上所述主机软件设计框图如图4所示。

图4 主机软件设计框图

在实验中使用Raspberry Pi单板计算机，运行Linux系统，这会使得整体软件设计工作简化，因为linux很好地支持USB、UART、HDMI、WIFI等驱动程序。

4.2 主机软件设计

对于主机而言，最为重要的便是保证视频传输的可靠性和延时。与摄像机不同，图传不必纠结于过去的视频流，更重要的是保证当前画面的传输，所以使用一种前向纠错的方法，又称FEC算法[2]，此算法广泛应用于实时音频视频领域，用于提升弱网抗性，在本项目中通过FEC算法向视频添加冗余而保障GroundPi上接收的视频，因为延迟必须保持在最低限度，所以没有机会重新传输因干扰而失真的视频部分。取而代之的是，系统将以允许其中一些视频在传输过程中丢失的方式处理视频。对于视频延时几乎是AirPi和GroundPi上使用的视频编码器和解码器硬件的结果[3]。使用Raspberry Pi可以实现的最小延迟有一个下限。这通常在80 ms～90 ms之间，这需要特定的配置。经过测试在其他板上，例如性能更强大的tx2，通过特定摄像头和视频解码/接收硬件，延迟能降低40 ms～60 ms。对于图像处理而言，使用了OpenCV计算机视觉库和TensorFlow深度学习框架，对于本项目而言只需要调用视频流在后台处理得到目标对于中心点的偏移量，封包发送给控制端即可实现视觉跟踪。

4.3 控制端软件设计

控制端软件设计的初衷是兼容更多的控制对象和易于用户的二次开发，在初步设计中基于STM32的MDK5平台使用FreeRtos操作系统，引出8路PWM，在控制类型中可选的有四轴、多轴、多种类型的固定翼以及直升机、小车等。在后续使用过程中发现不必要把资源运用在操作系统上，所以基于定时器时间片轮询，设计了一种伪多任务框架，使用户增加任务更加方便，且学习成本更低。在测试中一直使用固定翼模型、一路电机、3路舵面控制姿态。为了更好地与图传系统交互，前期花费大量时间将简化的mavlink协议移植到控制板中，以及编写驱动程序，得益于STM32标准库的成熟，在移植了IIC、UART、PWM等驱动后，顺利读取到MPU9250、SPL01的原始数据，后续可用多种方法得到欧拉角、目标数据、期望数据、姿态数据后，根据传统的双环PID算法进行调参，当然飞行系统与地面系统不同，稍有不慎便会造成巨大损失，所以添加了遥控器接管程序和动态调参程序，执行端采用PPM接收机，能快速响应地面RC指令，接管飞行器。

在控制系统基础功能实现后，图像端的引入大大降低了固定翼模型失控的风险，接下来便需要调试视觉跟踪参数，视觉跟踪程序在控制系统中是一个单独的任务，以20 ms的周期运行，当接收到天空端的偏差数据后立刻执行。首先需要消除机身姿态带来的视觉偏差，在接收到偏差数据后立刻进入接收中断，中段任务即根据当前欧拉角坐标变化到大地坐标系下消除视觉误差，随后在跟踪任务中给角速度期望即可实现视觉跟踪。

5 测试数据

5.1 网卡设备测试数据

图5 测试画面图

很多小模块都能在不同程度上影响系统性能，例如几款不同型号的CSI相机，因其传感器的不同，对于延迟有不同的影响。但是对于网卡来说这些影响几乎可以忽略不计，所以统一选择Pi CAM V2相机，不同网卡（单个）测试系统图像传输延时、距离等参数。测试数据如表1所示，测试画面如图5所示。

表1 网卡测试数据表

根据上表中测试结果，认为华硕AC56网卡，或者同样使用RTL8812芯片的网卡，在5.8 ghz的频段上效果更优，有更强的信号强度和更低的延时。

5.2 跟踪参数测试数据

因跟踪测试模型为标准固定翼，所以在大致参数未得到验证之前不能实际测试，因此首先在陆地上进行仿真调参，在仿真器中输入目标距离，相对位置坐标，然后计算得到舵机副翼目标角度，升降翼目标角度，油门目标速度，又油门速度是由用户给定，同时也由跟踪物体决定，不同油门状态下机翼目标角度不同且成非线性关系，所以在开启视觉跟踪后，无人机设定目标速度优先级最高的是跟踪物体速度，其次为人工干预，在地面静止状态下没办法引入速度概念，所以在初步调试中认定跟踪对象是50%油门速度运动的物体。在确定好初步调试方法和大量调试后，得到了以下测试数据，如表2所示。

表2 跟踪参数测试数据表

6 结束语

如今随着机器人领域的大力发展，喜爱DIY的玩家也越来越多，很多电子感官越来越模块化，图传也不例外。市面上高清图传大致分为4G图传和局域网图传，前者距离远延时大，后者距离近延时小，而本文设计的这款多功能图传，专为设计应用于机器人、无人机、无人车的领域。能保障10 km的可视范围，不消耗流量不依赖基站，大大节约成本。因运营商的网络范围一般只覆盖于150 m以下的低空，所以这款图传在高空范围内的表现远优于市面上的4G图传，大大扩展了应用范围，具有较好的市场前景。

[1] 彭湛博. 无人机实时高清图传系统的设计与实现[D]. 西安: 西安电子科技大学.

[2] 张龙彬，何佳文. 一种改进型FEC算法及其装置: 中国，110971345A[P]. 2020-04-07.

[3] 宋利，刘孝勇，武国庆，等. 低延迟视频编码技术[J]. 北京航空航天大学学报，2021，47(3): 558-571.

Multi-functional Map Transmission System with Visual Tracking

This paper mainly introduces a multi-functional image transmission system based on raspberry pie host and single chip microcomputer, which is composed of raspberry pie host, wireless network card, flight control system based on single chip microcomputer and mavlink protocol, battery and switching power module. When working, the host with the camera at one end broadcasts the video coding signal and the posture signal read through the serial port through the wireless network card. After receiving the signal and decoding, the host network card at the receiving end transmits it to the mobile phone, computer or tablet through USB protocol or wireless network protocol, so as to browse the picture, motion posture and other data in real time. The whole system has the advantages of simple operation and rapid response, which can meet most application scenarios.

image transmission; wireless communication; embedded system; multi-function

TP11

A

1008-1151(2022)06-0001-04

2022-03-23

广西壮族自治区“大学生创新创业项目”（202010595220）。

唐哲，男，桂林电子科技大学电子工程与自动化学院学生，研究方向为无人机机器人的自动控制。

黄喜军（1977－），桂林电子科技大学副教授，研究方向为集成电路测试与智能优化。