基于视频图像数据交换与共享平台的研发总结

王 乐

在互联网、大数据以及人工智能等新一代信息技术发展环境下，越来越多的政府和企事业单位都部署了视频会议系统和视频监控联网平台，实现视频会议和视频监控中的视频流数据和图像数据的交换与共享至关重要，因此需要建立一种统一的大数据交换与共享平台，来支持视频会议系统和视频监系统与不同的业务管理系统连接，在权限许可的前提下能够实现各个业务之间不同结构和格式的数据的交换。数据传输与处理的规则由用户在使用平台过程中设置，数据交换和共享操作由平台根据规则统一调度执行。系统在设计方面应尽可能降低数据处理模块与系统本身的耦合度，提高可扩展性，以降低维护和升级的成本。

1 视频数据和图像数据简介

在视频会议和视频监控中，视频终端通过将视频流数据及图像数据进行编码打包，在网络的应用下实现传送，远端在接受到数据后对其进行拆包及解码，即可以将接受到的视频以及图像信号还原，并实现到外设设备的传递。在此过程中传送的内容包括有视频流数据以及图像数据，传送中使用的硬件包括有摄像头、显示器以及路由器等。通过视频图像数据的传输与共享，能够实现视频会议应用中的会议主持、音视频共享、电子白板、以及共享电脑桌面等多种功能，以及实现视频监控应用中的治安防控、情报研判、智慧交通、数字城管等功能，从而有效满足当前信息传输共享及分析需求。

2 基于视频图像数据交换与共享平台的主要功能

数据交换与共享平台主要包括视频图像数据资源目录管理、视频图像数据采集、视频图像数据质量管理、视频图像数据交换共享功能。

1）视频图像数据资源目录的统一管理：支持统一的元数据管理，包括元数据的模型设计、模型审核、模型实施、模型验证，以及模型版本管理、关系管理等；同时支持资源的检索与定位，便于服务的重用与维护。

2）灵活全面的视频图像数据采集：平台采用调度中心+管理中心相结合的分布式数据采集处理架构，支持多样化的采集策略和多种抽取、汇总方式，可视化的任务编排、规则定义和发布。针对结构化和非结构化资源，以数据映射、数据裁剪、数据过滤的工具化手段进行数据处理。

3）视频图像数据质量集中式管控：支持数据质量核查规则配置与管理，在数据采集清洗过程中完成数据质量核查与告警；对数据质量告警的监控和数据质量问题的可视化呈现；提供知识库管理和查询，支持大数据人车物特征分析和行为分析等。

4）安全便捷的视频图像数据交换共享服务：支持以数据服务的形式封装数据，提供统一的数据开发共享能力；数据服务封装和开发，支持REST协议、FTP 协议和数据库等各类接口；支持服务发布、订阅及审核管理，同时支持对服务调用情况进行监控，以确保平台采集管理的数据正常实现交换共享。

3 基于视频图像数据交换与共享平台主要研发内容及关键技术点

3.1 分布式任务调度平台的研发

分布式任务调度平台主要任务是实现视频数据和图像数据的收集，采用成熟大数据资源调度系统架构，具有易扩展、快捷、可靠和安全移植的特性，功能包括动态修改任务状态，启动/停止任务，注册中心，弹性扩容缩容，故障转移，任务超时控制，任务失败告警，分片广播任务，数据通信加密，用户管理和权限控制等。

平台设计思想中是抽象分析调度行为，并将其建构为“调度中心”公共平台，只能够完成调度请求发送工作，本身不具备业务逻辑。针对任务可以将其抽象为分散TaskHandler，“执行器”可以完成调度请求以及管理，同时也可以实现对TaskHandler 中业务逻辑的执行处理。在这一平台中可以实现“调度”以及“任务”的解耦，这一处理有助于提升系统运行稳定性，也可以提高其扩展性。

平台由调度管理中心和执行器组成。调度中心负责管理调度信息，依照接收到的调度请求，实现调度管理系统和任务的解耦，在此过程中也就能够显著提升系统稳定性。另外任务模块对于调度管理系统性能不会具有太大影响作用，可实现对可视化及动态调度信息的管理，在平台上完成系统的新建、删除等操作，支持监控调度结果以及执行日志，支持执行器Failover，所有上述操作都会实时生效。执行器的主要工作是完成调度请求的接收，也可以实现任务逻辑的执行，任务模块的主要工作即为执行任务等，在系统运行中便于实施开发以及维护。

3.2 快速开发平台的研发

快速开发平台的研发主要是为了规范开发代码质量，加快开发进度，节约开发成本，从而提升研发人员的开发效率，为公司后续更多的项目开发提供基础平台支持。快速开发平台基于经典技术（Spring Cloud、Spring MVC、Apache Shiro、MyBatis、Beetl、Bootstrap）组合，方便的在线代码生成功能，核心模块有组织机构、角色用户、菜单及按钮授权、数据权限、系统参数、内容管理、工作流等。采用松耦合设计，界面无刷新，一键换肤，众多账号安全设置和密码策略，在线定时任务配置，支持集群，支持SAAS，支持多数据源。

平台中的模块分项目，松耦合方便模块增减和模块升级。平台有灵活的权限授权模块，支持 CAS单点登录，优化用户数据权限，不仅仅是角色，颗粒度细化到每个人员的身上。使用Spring Cloud微服务，最小化内核，统一配置中心，统一授权认证中心。平台中的所有请求参数获取，均通过 XSS跨站脚本过滤方法。实现乐观锁，必要情况下使用，提高数据安全性。支持手机或平板访问，响应式样式、响应式布局，根据屏幕分辨率自适应控件布局。支持国际化，轻松实现动态数据的中英文信息展示。

3.3 大数据平台和视频结构化技术的研发

大数据平台基于成熟的Hadoop 基础框架研发，运用ElasticSearch 搜索引擎和Flink 流计算引擎等前沿技术，来进行视频会议和视频监控中产生的PB、EB 乃至ZB 级别的视频、图像和文件等数据的存储、查询和分析，在应用中的特点主要有价值密度低、数据类型繁多以及处理速度秒级等。使用的关键技术包括大数据采集技术、大数据预处理技术、大数据存储技术、大数据查询和实时计算技术。

视频结构化在视频处理中属于是一项提取技术，依照语义关系实现对视频内容的分析，并将其实施文本信息转化，以能够被计算机和人理解，主要采用的处理方法为特征提取以及对象识别等。在公共安全监控过程中，视频结构化能将监控视频图像转化为公安实战过程中的所需情报，针对视频数据也就可以实现情报以及信息转化。在视频结构技术的应用下，在视频会议过程中也能够解析成图像和结构化的数据，实现参会人员、各会场参会人数等基础信息的自动识别，被集成到相关业务系统显著提升视频图像大数据的应用作用。

3.4 数据交换共享服务接口的研发

数据交换与共享平台的接口包括采集接口、数据服务接口、级联接口和分析接口，采集接口的应用目的是实现视频图像信息采集系统等数据交互，数据服务接口的作用是实现平台和办公系统等的数据交互，级联接口的作用是实现平台中上下级数据交互，分析接口的作用即为平台与视频图像分析系统之间数据的交互。

平台接口协议结构定义是建立在REST 架构上，采用HTTP 的方法有效实现REST 服务，并可以采用JSON 实现消息体封装，同时平台也支持FTP 协议和数据库接口，支持服务接口发布与订阅管理，支持对服务调用情况进行监控，以确保平台的数据准确实现交换共享。

4 结束语

真视通云视频工程实验室研发的基于视频图像数据交换与共享平台是集开发、配置、部署、管理、监控、安全于一体的数据交换全生命周期管理的数据交换平台。平台可快速构建、运行和管理分布式应用系统之间、云环境下应用系统之间等数据交换共享任务，尤其适用于跨部门、跨地域、跨层级的视频图像数据交换共享应用。