多源数据智能处理系统的设计与实现

卢亚辉， 张 梅， 和飞飞， 王 帅， 苑 博， 杜玉红

（1 中国人民解放军63966 部队， 北京 100072； 2 天津工业大学机械工程学院， 天津 300387）

0 引 言

图像识别技术在军事领域的应用不断拓宽，传统的图像识别技术识别率和速度已经不能满足当前需求［1－3］。 作战试验会获取大量的音视频数据，若采用人工处理会出现处理时间长、视频数据质量无法保证等问题［4－7］，因此新的作战形势下，要求图像识别系统能够在大量数据中快速找出有用的信息，进行识别，提取待识别目标，并将图像识别的结果反馈到部分作战指标的构建预评估中去［8－10］。 因此，本文针对部队视频数据来源范围广、处理时所存在的问题开发出一套满足快速、准确识别要求，并且保密性较强的多源数据智能处理系统，以达到部队需要的科学性和高效性［11－15］。

1 系统总体设计与实现

1.1 系统框架结构

多源试验数据智能管理与特征提取系统能将一系列复杂的图像处理过程直观地显示用户操作界面上，该系统由2 个界面和5 个功能模块组成：由登录页面和载入界面组成的系统主界面；用于视频格式转化及剪辑、用于图像二值化、平滑去噪等预处理操作和数据训练的数据智能处理模块；用于典型场景搭建和目标图片视频信息智能识别及文字仪表识别的特征提取识别模块；用于指标体系构建和测评分析的指标构建评估模块；用于输出实时识别图表信息和分析报告的报告分析输出模块；用于进行数据存储和调用的系统数据管理模块。 该系统框架如图1 所示。

图1 软件主要功能模块Fig. 1 Main functional modules of the software

通过开发多源试验数据智能管理与特征提取系统软件满足项目视频图像数据的处理和智能识别、试验指标数据构建评估分析及结果的可视化图表输出与存储的需求。 软件以指标数据构建及评估分析为牵引，图像数据的智能识别模型为核心，以对仿真系统、专家建议及各类相关数据的数据采集、挖掘和综合运用为基础，实现对作战试验从问题到结论解决的智能化、科学化的过程，辅助部队相关人员进行决策，软件同时支持多种功能和软硬件的扩展，能够根据用户需求进行良好的兼容。 软件的开发框架如图2 所示。

图2 软件开发框架Fig. 2 Software development framework

软件的内部接口中，操作通常是由指标构建模块功能发起的，在该模块中选定相关指标后，打开其对应的场景视频后，利用数据智能管理模块的视频剪辑功能对场景视频进行人工剪辑后再进行图像预处理，然后转到特征提取识别模块对预处理后的图像进行智能识别，一系列操作完成后报告分析模块输出该指标场景的可视化图表和分析报告，以反馈指标的评估工作，这样软件内部功能模块形成闭环操作。 软件内部接口关系如图3 所示。

图3 软件内部接口关系Fig. 3 Relationship between internal software interfaces

1.2 系统实现功能

多源试验数据智能管理与特征提取系统主要能够实现以下功能：

（1）软件具有保密功能。 登录账号具有唯一性，每个账号都有独特的权限设置，不同人员登录后，系统自动识别人员身份，不同人员进入到不同操作界面，所用软件功能不同。 登录时多次密码输入错误会造成系统锁定，只能联系系统的相关管理人员进行解锁。

（2）可按照标准将视频和图片进行处理。 作战试验中会产生大量多平台、多类型的视频与图片数据，在格式和内容方面各不相同，识别目标也多种多样，因此需对视频和图片进行标准化，随后按照标准进行图像的处理工作。

（3）接收的各类数据能按用户要求进行识别和显示，并能进行记录。 在对不同类型的数据进行识别后，系统会自动进行历史记录识别，供后期查看。

（4）软件具备多种算法模型。 不同的识别算法模型适用于不同的识别情况，识别内容包括仪表、人员、车辆等，而同类型的识别目标又有不同的场景，不同场景采用对应的算法，能大大提高识别速度和准确率。

（5）具备指标数据构建体系和典型应用场景评估。 系统包含多个评价指标，并采用指标构建体系进行指标评定，评判系统的识别效果。 系统能对不同的场景进行评估，如近景（大目标）、远景（小目标）、目标遮挡、光照条件和角度不同、多目标识别。

（6）具备图形化操作界面，能以表格形式显示测试结果。 图形化的操作界面使操作更加直观，大大提高系统操作效率，识别结果能够以图表的形式进行展现，利于观察识别效果。

（7）软件能对接口进行典型测试和边界测试。软件可对外部系统与系统之间以及内部各个子系统之间的交互点进行测试。 测试重点包括传递和控制管理过程、数据交换过程、系统间的相互逻辑依赖关系等。 边界测试内容包括输入域／输出域的边界、数据结构的边界、状态转换的边界和功能界限的边界。

2 系统的界面设计

多源试验数据智能管理与特征提取系统界面简洁，布局清晰，图形化的界面使系统具有更好的操作性、可读性和易维护性。 整个界面的布局具有一致性，并且用户点击按钮时，系统会提示用户当前操作的合理性，避免引起操作失误，而且系统可通过最少的操作达到目的，使软件操作简单。

2.1 系统登录界面

系统启动完成后，进入到系统的登录界面，如图4 所示。 用于系统用户的身份验证，登录账号具有唯一性，一般为部队人员的士兵证编号，每一个账号都拥有其独特的权限设置，分为1 级和2 级。 其中，2 级使用人员为新兵及班长职务以下的士兵，1 级为班长职务以上的老兵使用，只有1 级的用户才可以进入到系统后台管理模块，修改相应的后台数据。系统在用户登录时将进行验证，任何一项验证不通过，系统都会有相应的提示，若用户忘记密码导致多次登录错误，则账户锁定，只能联系系统的相关管理人员进行解锁。

图4 系统登录界面Fig. 4 System login interface

2.2 系统主界面

系统登录成功后，进入到主界面，如图5 所示。主界面为导航式菜单界面，左侧为系统的5 个功能模块，分别为数据智能处理模块、特征提取识别模块、指标构建评估模块、报表分析输出模块和系统数据管理模块。 右侧为操作区，点击左侧不通过选项卡，会进入到不同的操作区，选取相关功能后可直接进行操作。

图5 系统操作界面Fig. 5 System operation interface

2.3 系统功能模块

（1）数据智能处理模块。 点击主界面左侧的数据智能处理选项卡，进入到对应功能。 在此界面，可将录制好的视频提前上传到软件中，并进行分类后保存在后台管理模块中，上传的视频支持MPEG2、MPEG4、H.264、RMVB、WMV、DivX／XviD 等数据编码格式；软件的使用人员可根据需求选择相关视频，可以利用该模块中的视频剪辑按钮来将时间长的大视频剪辑成需要的小视频，去除视频的冗余信息，提高工作效率。 模块还有按钮可以将视频按照帧的划分将视频划分成若干图片等功能，视频剪辑模块功能实现的输出界面如图6 所示。

图6 视频帧输出界面Fig. 6 Video frame output interface

上传的视频经过剪辑后可能会出现模糊、失真等情况，如果不做预处理，就会影响后面的识别准确率，软件所设置的图像处理模块设有倾斜矫正处理、二值化处理平滑降噪、钝化处理和边缘检测等预处理功能。 操作人员可以根据需求对图片进行相关操作，为后面的智能识别打下基础。 对瞄准框的预处理界面如图7 所示。

图7 图像预处理界面Fig. 7 Image preprocessing interface

（2）识别模块。 点击主界面左侧的特征提取识别选项卡，进入到特征提取界面。 预处理完成后的视频或图片已经便于识别，对于所输入的图片，首先对其进行特征提取，获取其直方图或者灰度矩阵，从而得到图片的关键部分，再对关键部分利用构建的神经网络模型来和样本库的数据进行对比，从而得到识别的结果，这一过程主要是模拟人工识别图片视频的方法和过程来实现对多源试验数据的智能识别。 识别文字的界面如图8 所示，该识别过程分为2 部分。 一部分是运行区，一部分是识别区，识别界面如图9 所示，这样可以实时地看到识别情况，在完全模拟人工识别逻辑的同时满足控制可以随时终止，模块缩短了视频及图片的识别时间，提高了识别的准确率。

图8 识别文字Fig. 8 Identification of words

图9 识别数字Fig. 9 Identification of numbers

识别过程中后端数据库的形态见表1，字母在数据库中为int 类型字符，阿拉伯数字为char 型字符，瞄准框、按钮等形状的为varchar 型字符，如果为空就证明了识别结束，否则就是待识别。

表1 数据库记录识别过程Tab. 1 Database record identification process

（3）指标构建评估模块。 点击主界面左侧的指标构建评估模块，进入指标构建与评估功能。 指标评估模块的功能主要分为2 部分。 一部分是指标构建功能，另一部分是指标评估功能，如图10 所示。

图10 指标评估功能Fig. 10 Index evaluation function

该功能模块支持以所见即所得的方式建立指标体系；支持指标属性和指标关系修改；可对已有指标体系库的查询、浏览、删除与编辑操作提供支持。 建立指标评估算子库，对所构建的指标体系进行可靠性评估分析并打分。 操作流程为通过评估项目管理模块创建新项目，或打开已有项目；然后，从算法模型库中提取已有模型；最后，启动评估引擎，对仿真试验数据和建立的模型进行评估运行功能，并将评估分析结果存储到评估数据库中。 模块中使用的部分构建方法有：层次分析法、专家赋权法、模糊综合评判法、自定义综合方法。

（4）报告分析输出模块。 点击主界面左侧的报告输出分析模块，进入报表分析界面。 该功能主要进行统计分析报告，用来辅助新型武器装备的检验和指导相关的训练形式以提高军事素养，以协同作战能力里的指标联通率为例，当前共有8 辆车在外执行任务，总部想知道某一时刻各车的状态，就可以通过该模块信息，如图11 所示，即可看到每30 s 回传一个联通状态，根据联通状态可算出一号车的联通率为0.07，以此类推。

图11 报表输出Fig. 11 The report output

该模块输出过程中，包括的数据表主要有：基本信息表、效能相关的指标表、指标综合模型的结构信息表、总效能某次运行结果信息表、综合方法描述表等。 输出方式有：点线图输出、柱状图输出、饼状图输出等。

对于上传的图片，识别结果信息可以用折线图等图表类型的形式输出，但是对于上传的一段视频，由于其包含的信息量较大，仅靠1、2 种图表是无法将其中的指标信息完全表示出来的，所以需要对不同的指标进行不同形式的输出，并形成一份综合的分析报告，如图12 所示。

图12 综合分析报告Fig. 12 Comprehensive analysis report

（5）系统数据管理模块。 点击主界面左侧的系统数据管理模块，进入到数据管理界面。 该界面主要用于存储所上传的视频图片信息以及智能识别模块识别的结果和各个功能模块的处理结果，存储过程中，涉及的数据表主要有：基础数据信息表、基础数据检索的基本信息表、基础数据检索语句表、相关联的基础数据表、基础数据用户赋值表、数据提取模型的结构信息表，存储方式如图13 所示。

图13 后台管理界面Fig. 13 Background management interface

该模块存储过程中，包括的数据表主要有：分析方法模型信息表、分析方法模型输入数据信息表、分析方法模型输入数据的某样本数据信息表、分析方法模型输出数据信息表、分析方法模型输出数据某样本数据信息表、分析方法模型结构信息表、分析方法某次运行结果信息表。 同时，还有所构建的各类训练集，如操纵终端界面集，文字数据集。

3 结束语

本文所研发的多源数据智能处理系统，可实现视频图像的剪辑处理、图像的特征提取、图像信息包括数字和文字的识别；随后通过设置不同的权重，对构建好的指标进行可靠性评估，以此对作战试验领域的部分指标构建进行反馈。 最后，用图表和分析报告的形式对识别结果进行展现，使结果清晰明了，利于观察。 随着图像识别技术在作战试验领域的不断发展，本系统也需进行不断完善，不断适应更复杂、更快速的识别需求。