Hi3559A在视频结构化平台中的应用

张泽孜 谭大伦 王冬海

摘   要：主流的视频结构化处理方案大多是采用高性能GPU进行运算，功耗大，平台架设费用成本高。海思推出一款视频处理芯片Hi3559A，提供了一个可行的低成本、低功耗解决方案。对于监控摄像机市场来说，摄像机更新换代的成本较大，通过Hi3559A对现有摄像机的视频流做结构化处理，可在不更换现有摄像机的情形下，通过增加低成本视频结构化处理终端，提供更新换代的过渡产品，降低更换设备的成本。

关键词：视频结构化;Hi3559A;图像识别

视频结构化，即视频数据的标准化处理，就是通过对原始视频进行智能分析，提取出关键信息，并进行文本的语义描述。简单而言就是进行行为和特征提取，捕捉视频中人、车、物的状态，进行行为判断[1]。和传统人脸识别的区别是，结构化信息倾向于反映事物的运行状态，例如人是处于运动还是静止状态、有没有戴帽子、车是直行还是拐弯等。视频结构化更多地是运用于现场安保管控、车辆违章、家庭长辈看护等。

在国内，视频监控领域一直是保障民生的项目。通过视频监控能对部分违法犯罪进行记录，对违法犯罪人员进行威慑，在一定程度上保障社会生活的有序进行。近年来流行的家庭视频看护，也使外出工作人员对家庭的人、事、物能进行一定程度的感知。但是目前的产品都属于被动感知型，需要当事人主动去获取信息，不能提供实时的预警。虽然在视频结构化技术日益发展的背景下，通过服务器云端计算，架设专用服务器来实现结构化数据提取已经有了成熟方案，但是高昂的服务器建设费用和运维费用，并不利于该技术的普及。基于此，本文提供了一种通过海思Hi3559A芯片实现视频实时结构化处理的方案，可对现网中摄像头进行快速功能升级改造。

1    Hi3559A简介

Hi3559A是专业的8K Ultra HD Mobile CameraSOC，它提供了8K@30fps/4K@120fps广播级图像质量的数字视频录制，支持H.265编码输出或影视级的RAW数据输出，并集成高性能ISP处理[2]。支持业界领先的多路4K Sensor输入，多路ISP图像处理，支持HDR10高动态范围技术标准，并支持多路全景硬件拼接，是多路拼接的超广角相机、3D/全景VR相机的最佳方案[3]。在支持8K@30fps/4K@120fps视频录制下，Hi3559A提供硬化的6-Dof 数字防抖，减少了对机械云台的依赖。

Hi3559A集成了海思独有的SVP平台，提供了高效且丰富的计算资源，支撑客户开发各种计算机视觉应用[4]，如无人机、机器人等消费类应用和行业类应用。Hi3559A集成了双核A73和双核A53，独创性的大小核架构和双操作系统，使得功耗和启动时间达到均衡。

Hi3559A中集成了两个神经网络推理机（Neural Network Inference Engine，NNIE），是海思媒体SoC中专门针对神经网络特别是深度学习卷积神经网络进行加速处理的硬件单元，支持现有大部分的公开网络，如Alexnet，VGG16，Googlenet，Resnet18，Resnet50等分类网络，Faster R- CNN，YOLO，SSD，RFCN等检测网络以及SegNet，FCN等场景分割网络。通过专用的NNIE，能将PC上耗费巨大资源的识别网络集成到芯片上，使产品实现低功耗。而其体积小，易组装架设等优点，是对现网中大量摄像头升级的一个优选方案。

2    视频结构化方案设计

视频结构化平台可对2路视频流进行实时人臉检测与特征提取。可实时处理来自以太网接口的视频流数据，视频流解码模块将视频流中的数据解码为YUV或BGR图片数据，图片经过图片流变换的格式转换和裁剪后送到NNIE引擎，由NNIE及外部的CPU一起实现人脸检测算法计算，得到人脸的位置信息，然后通过人脸算法模块的去重及轨迹跟踪算法将最佳人脸数据提取出来，图片截取编码模块根据人脸坐标信息从原图中截取相应照片进行人脸图片编码，最后将编码后的图片数据送到以太网接口[5]。

视频图像处理信号流程如图1所示。图1中视频流以RTP over RTSP方式获取，即网络层使用传输控制协议（Transmission Control Protocol，TCP）方式，主要基于以下考虑：（1）Hi3559A与摄像机的物理连接线路处于有限交换路径的局域网内。（2）用户数据报协议（User Datagram Protocol，UDP）方式的丢包、乱序造成处理方式的复杂度大量提升。（3）低带宽模式下的网络适应性提升，TCP模式易于提升I帧保障效果。

3    Hi3559A硬件方案

Hi3559A硬件核心平台设计主要考虑为现有摄像头提供视频处理及设备管理，并为后续设备的开发提供通用的处理平台。平台主要提供以太网接口模块、视频处理模块、无线传输与通信模块、电源管理模块等。其他模块为辅助或预留给后期产品开发使用。

考虑该平台对后期产品的兼容设计，硬件平台提供串口支持、预留USB接口扩展、添加HDMI接口和MIPI接口对视频采集与图像显示的支持、预留GPIO接口为后期开发扩展。硬件框架如图2所示。

4    结语

通过Hi3559A的实时视频结构化处理方案，能够以低成本的方式对现网中大量摄像头进行升级改造，降低设备更新成本，延长现网摄像机的生命周期。同时，对现网视频监控流的视频结构化处理，为公共安全预警及突发状况预警起到加强作用，丰富的预留接口也使得板卡在后续的升级中能够提供更丰富的应用。

[参考文献]

[1]付敏.基于卷积神经网络的人群密度估计[D].成都：电子科技大学，2014.

[2]马颂德.计算机视觉：计算理论与算法基础[M].北京：科学出版社，1998.

[3]岡萨雷斯，伍兹，埃丁斯.数据图像处理[M].3版.阮秋琦，译.北京：电子工业出版社，2012.

[4]段峰，王耀南，雷晓峰，等.机器视觉技术及其应用综述[J].自动化博览，2002（3）：59-61.

[5]王治，韩祥.视频结构化解析技术在公安警务实战中的建设与应用[J].警察技术，2018（5）：65-68.

Application of Hi3559A in video structured platform

Zhang Zezi， Tan Dalun， Wang Donghai

（Nexwise Intelligence China Limited， Guangzhou 510663， China）

Abstract：Most of the mainstream video structured processing schemes adopt high-performance GPU for computing， with high power consumption and high cost of platform setup. HiSilicon has introduced a video processing chip Hi3559A， which provides a feasible low-cost and low-power solution. For the surveillance camera market， the cost of camera upgrading is relatively large. Through the structured processing of the video stream of the existing camera through Hi3559A， the transition product of upgrading can be provided by adding low-cost video structured processing terminal without replacing the existing camera， so as to reduce the cost of equipment replacement.

Key words：video structurization; Hi3559A; image recognition