一种海关监管视频要素提取设计方法＊

毛 柯，纪 允，孙 帆

(杭州海关科技处，浙江 杭州 310006)

0 引言

视频监控技术经过二十多年的快速发展，已经在众多领域中得到广泛的应用，如在平安城市[1]、雪亮工程[2]、智慧交通[3]、家庭监控[4]等。视频监控技术应用于海关，根据相关要求，作业现场均需部署视频摄像头，实现监管作业过程无死角全覆盖。海关总署在2018 年成立了全国海关大数据应用中心，整合海关基础数据，并和相关部委交换部分数据，构建大数据基础平台，利用大数据等技术在服务外贸[5]、打击洋垃圾走私[6-7]等领域取得一定成效，但对于海关海量非结构化数据[8]如海关监管场所监控视频数据的应用仍在起步阶段，主要面临数据体量大而价值密度低、缺乏有效的处理分析技术手段、难以与业务数据形成关联等问题。

面对“十四五”期间海关信息化应用的新挑战与新要求，在新一轮科技革命和产业变革深入发展背景下[9]，充分挖掘海关非结构化数据的价值将成为实现智慧海关建设的必由之路。本文拟对于监管现场监控视频进行研究，利用边缘计算[10-11]，在视频源等边缘侧提取视频关键要素，将要素上传至云中心，根据需要构建相关主题库，实现监管视频智能化应用。

1 现状分析

海关监管视频主要是指海关对监管场所、运输工具、行政相对人等进行执法过程中，由视频采集设备记录的视频信息，如码头、陆路口岸、保税仓库、查验场所、货栈堆场等海关监管场所监控视频[6-7]。海关监管视频的应用，使得海关作业能力和水平得到了大幅度提升，也降低了人员工作量和相关风险。

目前海关监管视频主要存在着智能化应用程度低、视频价值密度低等问题，现场监管方式是由海关工作人员轮巡十几路甚至上百路视频图像。海关工作人员每次只能观看部分摄像画面，监管范围有限。且长时间肉眼观看监控屏幕，容易视觉疲劳和注意力下降，增加了漏判和误判的风险。

在万物互联的时代，网络边缘设备逐渐智能化，具备收集、存储、传输、处理数据的能力。边缘计算的核心设计是，将云中心的计算能力下沉到边缘端，利用边缘设备的计算能力对数据在数据源的本地进行处理，并将计算结果上传至云中心，大大降低带宽的需求。目前边缘计算已经广泛的应用在车联网[12]、电力管理[13]等场景管理中。

2 系统架构规划

本文拟将海关目前已有的云中心和边缘计算相结合，融合边缘计算敏捷性和云端大数据计算全局性的优势，创新形成一套海关视频数据应用的云边融合基础技术架构。在边缘侧将视频数据中的重要信息进行抽象并提炼“要素”，“要素”上传至云中心后，与业务数据关联，建立标准化、工程化的海关监管视频数据要素库，打破非结构化视频数据与结构化业务数据之间壁垒。云边融合基础技术架构部署示意如图1所示。

图1 云边融合基础技术架构部署示意图

隶属海关和业务现场构成边缘侧，主要侧重数据的采集和前端智能处理。直属海关作为云中心，主要侧重多维数据的融合应用以及视频数据主题库、专题库的建设。

3 视频数据要素提取与应用方法体系

3.1 提取方法介绍

根据海关监管视频数据应用研究目标，借鉴软件工程中的“V”字模型理论，塑造海关视频数据要素提取与应用的“V”字模型方法体系，如图2所示。

图2 要素治理方法模型

“V”字下行阶段是监管视频要素的定义阶段，以“确定业务需求-拆解组成需求的场景清单-拆解构成场景的要素清单-确定现有数据是否符合要求”为路径，从需求到数据源，层层剖析，由业务需求倒推要素定义。

“V”字的上行阶段是监管视频要素的治理阶段，以“数据采集设备的源头治理-要素数据的识别与提取-要素数据主题库的建立-要素数据专题库的建立”为路径，从微观到宏观，实现要素数据的提取与标准化治理。

3.2 监管视频要素的定义阶段

要素就是业务场景中关注的单个“对象”，通过描述对象的属性和识别对象行为，能够在业务场景中清晰表达出“业务状态”。因此要素具体定义需要通过真实的业务需求进行分解提炼，形成构成需求的场景清单，再针对不同场景进一步拆解为构成该场景的要素清单。

3.3 监管视频要素的治理阶段

3.3.1 要素数据的识别与提取

⑴视频数据结构化处理。要素数据的识别在边缘侧通过视频数据结构化技术实现。根据要素定义阶段形成的要素清单，将这些要素信息转变为可结构化描述的定义，再采用时空分割、特征提取、对象识别等处理手段，对视频中的内容信息进行提取，组织成可供计算机和人理解的文本信息，并存储转换为二维的结构化数据。

⑵要素数据的清洗。经过结构化后的要素数据，还处于原始阶段，需要通过数据清洗，提取出有价值、可应用的要素数据。针对视频数据结构化后的信息，根据数据标准规则进行辨别和分离，对不符合要求的数据过滤，初步实现冗余及垃圾信息的滤除。然后基于初步识别的样本和内容分析，对一些空值、失效信息进行再次辨别和过滤，被识别为重复或者无效信息的数据可以直接滤除，或标识后交由人工进一步处理。

3.3.2 要素数据库的构建

为进一步产生应用价值，需要对“要素”数据分类、建库，根据目前海关应用需求场景，可建立归集库、主题库、专题库三个层级。

⑴归集库根据规则汇聚部分原始视频异常情事片段，或连续性的图像截图，以便原始视频90 天存储覆盖后进行追溯，满足信息溯源、原始场景回溯等业务需要。

⑵主题库将采集同步的各类数据通过二次抽取、优化整合、逻辑关联等方式，形成“人、车、货、区域、地点”等多维主题库。

⑶专题库根据业务场景需求，将数据按照业务模型进行加工、分析、聚合形成专题数据，以满足特定应用场景需要，并支撑其他各类上层业务和数据分析应用。根据“要素”应用需求，构建多种专题库，例如“执法领域风险”专题库、“打击水客”专题库等。

3.3.3 实际应用介绍

目前某直属海关已经将该方法应用到海关工作人员防护服脱穿流程管理中，通过对监管视频的要素提取，分析出海关工作人员是否佩戴口罩、面屏、防护服等装备，并根据时间轴顺序，判断人在脱卸防护服时是否严格按照标准流程，发生错误时及时提醒/告警。告警如图3所示。

图3 防护服告警图

4 展望

本文通过利用边缘计算建设监管视频主题库的方法，可以筛选出重要的监管视频信息，转化为长期存储的结构化数据，挖掘监管视频价值，提升海关整体信息化水平和应用能力。该方法和建设的相关系统，可以推广至其他业务场景，如跨境电商监管、加工贸易监管等，更好的支撑海关等政府机构服务社会。