多源异构显示系统一体化控制机制设计与实现

摘" 要：随着显示系统组成的复杂度越来越高，在实际应用中从图像源选取到最终显示往往采用人工操作方式完成，自动化程度较低。对多类型图像源和多级视频传输设备组成的复杂显示系统的图像选取投送显示自动化技术进行研究，并设计一种多源异构显示系统一体化控制机制，结合显示系统结构特点进行图像源区、传输区和显示区接口设计，在此基础上进行设备连接配置、显示窗口规划和显示自动控制流程设计，实现了多种图像源定制化自动投送显示。

关键词：多源异构显示系统；接口设计；传输控制

中图分类号：TP311.5 文献标识码：A 文章编号：2096-4706（2024）10-0101-06

Design and Implementation of Integrated Control Mechanism for Multi-source Heterogeneous Display System

WANG Meng， WANG Xia， CHEN Peng， WAN Chengwei

（Beijing Aerospace Control Center， Beijing" 100094， China）

Abstract： As the composition of the display system becomes more complex， in practical applications， the selection of image source to the final display is often completed by manual operation， resulting in a low degree of automation. Research is carried out on image selection， delivery and display automation technology for complex display systems composed of multiple types of image sources and multi-level video transmission devices， and an integrated control mechanism for a multi-source heterogeneous display system is designed. Based on the structural characteristics of the display system， it designs the interface of the image source area， transmission area， and display area. On this basis， equipment connection configuration， display window planning， and display automatic control process design are carried out to achieve customized automatic delivery and display of multiple image sources.

Keywords： multi-source heterogeneous display system; interface design; transmission control

0" 引" 言

随着显示技术和网络通信技术的发展，在铁路调度、电力传输、应急事件处置等领域，各类直观显示的图像信息已经成为指挥决策的重要依据，也是各类信息状态呈现的最直观手段[1-4]。针对不同场景下的应用需求，组成显示系统的设备类型多、缺乏统一的接口和控制流程，图像从接收、处理、选取至最终呈现，中间需要经过多个环节和人工操作，存在操作效率低、操作过程易出错的问题[5-11]。基于此，本文对典型的多源异构显示系统及其图像优选、自动控制、图像投送切换的特点进行了研究，设计了一种针对多源异构显示系统的一体化控制接口，并在此接口的基础上实现了从图像编码器、图像解码器、多级图像矩阵至显示设备的一体化控制，实现了图像源到用户指定显示区域的定制化自动切换投送能力。

1" 系统结构

1.1" 物理结构

多源异构显示系统由图像源区域、传输区域和显示区域三部分组成，如图1所示。多源主要是指图像源种类多，包括微机/图形工作站显卡、图像矩阵、导播台和视频光端机设备输出的图像源，物理视频接口通常有DP接口、HDMI接口和DVI接口等。异构主要是指系统的设备类型多，各类型设备如图像编码器、图像解码器、图像矩阵、导播切换台等共同组成一套复杂的显示系统。随着显示系统中输入/输出环节的增多，系统的设备构成也会变得越来越复杂，异构系统的各类型设备之间缺乏统一的控制接口和机制设计，不同类型系统之间的切换只能够依靠人工方式完成。

图像源区主要是多种图像源，不同的图像源根据用户实际应用需求进行设计和配置，典型图像源设备如图像高标清解码终端、图像处理终端、电视信号、标准信号源、计算机显卡等，包括DVI、HDMI、DP等多种视频接口，图像通过不同的编码方式接入显示系统。传输区通常由图像矩阵、导播切换台等设备组成，其中根据用户使用需求，往往在系统中设计多个图像矩阵级联的方式，构成多级图像传输矩阵，同时还要根据实际需求，在传输区部署图像处理系统，进行图像叠加、图像增强、图像拼接等相关处理。显示区主要将处理后的图像向用户进行按需展示，依托IP网络通过分布式控制系统实现向LED、投影、液晶拼接屏等多类型显示设备的图像投送显示。

1.2" 逻辑结构

针对显示系统一体化控制需求，本文设计了显示控制设备管理模块、显示设备连接配置模块、显示优选策略配置模块、显示窗口规划模块、一体化控制引擎模块。功能模块组成关系如图2所示。

各模块的具体功能介绍如下：

1）显示控制设备管理模块。完成图像处理终端、矩阵、导播切换台、各类编码器、各类标准图像源、微机/图形工作站等设备物理模型的录入，支撑一体化控制接口机制的执行。

2）显示设备连接配置模块。用于根据显示设备之间实际的物理连接，配置物理连接关系模型，一体化控制模块根据物理连接关系模型和矩阵内部关系，以及导播切换台内部关系计算从图像处理终端、矩阵至显示区域屏幕的逻辑映射模型，记录每条映射关系中的图像源信息，支撑一体化控制接口的执行。

3）显示选优策略配置模块。包括图像处理终端选优策略、矩阵通道优先级策略、显示区编码器选优策略、图像源优先级策略。图像处理终端优选策略根据实际使用需求配置不同类型图像终端的选择顺序和参数选优策略。矩阵通道优先级策略用于配置矩阵输出端口图像的优先级。显示区编码器选优策略用于配置显示区编码器的优先级，图像源优先级策略用于在图像源投屏窗口冲突时，按照优先级高低控制图像源投屏显示。

4）显示窗口规划模块。用于按照实际使用需求进行时段规划，并为不同时段配置各类图像源的投屏显示区域。

5）一体化控制引擎模块。根据显示控制设备之间的物理连接关系模型、矩阵内部连接关系、导播台内部连接关系实时计算从图像处理终端、图像矩阵至大屏的逻辑映射模型，记录每条映射模型中的图像源信息；按照显示区编码器选优策略对图像进行去重操作，并根据用户预先规划的图像源投屏信息以及优先级顺序选优显示区编码器信号并投送至大屏。

2" 接口设计

2.1" 图像源区接口设计

图像源区的设备包括各类图像源设备，接口设计包括图像源设备接口和关联接口设计。图像源设备的接口设计要素包括图像源设备名称、通道号、图像源ID、图像源名称、图像源IP地址、显示图像类型、其他说明信息等。关联接口用于用户进行预先配置，定义图像源设备和显示区图像编码设备之间的接口关系，用于图像源设备到图像编码器的信息传递，主要包括图像源ID、图像源名称、图像源IP地址、图像源类型、图像编码器ID、图像编码器名称、图像编码器IP地址、图像编码器通道号。

2.2" 传输区接口设计

传输区的主要设备为多级图像矩阵。图像矩阵作为图像传输的输入/输出通道，可以根据实际需求，实现单级（单台）矩阵和多级矩阵串联的设计方式。结合图像数据传输以及多级图像矩阵的特点进行接口设计。接口设计内容包括矩阵设备接口和矩阵关联接口设计。

矩阵设备接口包括矩阵ID、矩阵名称、矩阵类型（一级矩阵、二级矩阵、三级矩阵等）、图像输入端口数量、图像输出端口数量、矩阵IP、其他信息。

矩阵关联接口包括矩阵与图像源区接口、矩阵与显示区接口和矩阵优先级接口。矩阵与图像源区接口主要内容包括矩阵ID、矩阵名称、矩阵输入端口、对端设备类型（图像解码终端、导播台、一级矩阵、二级矩阵、三级矩阵等）、对端设备ID、对端设备名称、图像输出端口；矩阵与显示区接口主要内容包括矩阵ID、矩阵名称、矩阵输出端口、对端设备类型（导播台、一级矩阵、二级矩阵、三级矩阵、大屏图像编码器等）、对端设备ID、对端设备名称、图像输入端口；矩阵优先级接口设计要素包括矩阵ID、矩阵名称、矩阵可控域、矩阵输出端口优先级。

2.3" 显示区接口设计

显示区分为显示区编码和图像显示部分，包括显示区编码器和图像显示设备接口设计。

显示区编码器接口包括图像编码器ID、图像编码器名称、图像编码器IP地址、图像编码器通道号（多通道的图像编码器可以实现多路图像编码）。图像显示的终端为不同的图像内容在显示屏幕上显示的区域。图像显示设备接口设计为三个层级，分别为显示墙、显示场景和显示场景所需要的窗口属性。

显示场景设计为显示的内容，包括显示场景ID、场景名称、场景状态、该场景所使用的显示窗口数量和显示墙。显示墙为抽象的图像显示载体，该载体可以是投影、LED、LCD液晶拼接屏等多种显示设备，接口主要内容包括显示墙名称、显示墙ID、显示墙所在的位置、当前使用的场景、手动/自动状态。显示窗口为图像在显示墙（显示载体）上的具体显示区域和显示内容，图像内容在一个显示载体上需要划分为多个显示窗口，每个窗口位显示墙上的一个逻辑显示区域，针对每一次图像显示内容，该接口内设计了显示区域、图像显示场景和对应的图像编码器，同时对于多通道编码器还包括编码器的通道号。

3" 流程设计

3.1" 显示区接口设计

图像设备硬件连接关系配置模块主要依据接口，配置不同类型图像解码终端、图像矩阵、导播切换台、显示大屏编码器等设备之间的物理连接关系，用于支撑图像控制逻辑的实现。

针对图像源区的图像源设备，对图像源及其编码器进行图像源IP地址、图像源名称、图像源设备及通道号、编码器名称、编码器IP地址、编码器通道等进行添加、修改和删除等。

传输区主要配置图像矩阵与其他图像设备的连接关系以及矩阵选优策略。首先配置一级矩阵输出控制域内输出端口的优先级。矩阵输出端口优先级数量为矩阵输出控制域输出端口个数，矩阵输出端口号根据需要分别配置为不同优先级。还需根据图像矩阵、图像解码终端、显示大屏编码器、导播台实际的物理接口连接关系配置设备之间的连接关系模型，用于将图像机位信息和图像状态的信息传递至显示区编码器。图像矩阵与显示区编码器的配置内容包括显示区编码器名称、编码器ID、输入通道号、矩阵输出通道号，其中矩阵输出通道号为配置的矩阵输出控制域中的端口号。

3.2" 显示窗口规划流程

显示窗口规划在指定时段内将不同类型的图像源规划至需要显示的具体窗口位置，如图3所示。配置显示时段信息，基于显示时段对显示时段信息进行添加、修改和删除操作。根据预先配置的任务时段，配置不同图像源至投送显示窗口的映射关系，包括显示名称、图像源名称、图像源IP地址、显示方式、显示输出的屏幕墙和场景等。在指定时段内图像源投屏窗口冲突时，根据预先配置的不同图像源类型属性、同一类型图像源的图像内容的优先级，按照图像源显示优先级进行显示。

3.3" 显示自动控制流程

3.3.1" 传输控制流程设计

传输控制流程首先按照优选级对图像源进行排序，根据优选级排序后序号和预先配置的矩阵输出端口优先级策略，按照优先级序号一致原则自动控制矩阵切换输入/输出端口的内部映射关系，将图像送至矩阵的指定输出端口最终送至显示区大屏编码器中，并根据图像源设备、图像矩阵、导播台以及大屏编码器的物理连接关系模型自动计算从图像源至显示区大屏编码器的图像传输路径，将图像机位信息和图像状态送至大屏编码器模型，如图4所示。

通过采集图像解码终端的通道参数，根据预先配置的图像选优策略对图像解码终端通道参数进行计算分析，分析出图像解码终端通道中的图像机位和图像状态，进行图像同源去重操作，选择同源图像最优的图像终端通道。接收来自图像选优模块的各类图像源的输入信息并按照图像源优先级进行排序和缓存，结合预先配置的图像矩阵优选级策略（即图像矩阵输出端口的优选级），按照优先级一致原则自动匹配出图像源的矩阵输出端口，并根据图像解码终端通道与矩阵输入端口的物理连接关系模型，分析出图像源所在的矩阵输入端口，向矩阵控制软件发送切换输入/输出通道的映射关系，完成图像输出至显示区编码器的操作。切换输入/输出通道关系后，根据图像设备之间的物理连接关系模型计算出从图像源区设备经图像矩阵、导播台至显示区编码器的每个图像源的传输路径，并在每条图像传输路径中保存图像机位、图像状态、图像优先级等信息。

3.3.2" 显示控制流程设计

显示控制流程如图5所示。首先接收图像矩阵控制模块选切的结果，结果数据包括图像从图像源设备至显示区编码器的传输路径以及图像机位、图像状态等信息，并根据矩阵选切结果、用户预先配置的指定时段各类图像源的优先级、图像源与不同场所大屏窗口的映射关系、不同类别图像源优先投送显示屏幕顺序、各种图像源与显示区编码器通道的连接关系，执行同源图像去重策略以及同一显示窗口中图像显示优先级排序操作，计算出指定时段显示屏幕窗口应该显示的图像源以及图像源使用的编码器通道和信号，控制显示屏幕进行窗口切源操作和激活场景操作。

4" 系统实现与测试分析

4.1" 系统实现部署

系统整体设计采用B/S架构，通过使用HTML5技术实现客户端软件的主体框架、拓扑呈现模块，以及被管对象状态属性面板，支持渐变、闪烁等动画效果。基于HTML5本地存储功能开发的网页应用拥有更短的启动时间、更快的联网速度、更有效的服务器推送技术。软件系统设计采用微服务架构，根据系统功能分类划分成多个微服务，可以根据现场情况灵活分布式安装部署在多个云主机上，在提高系统运行性能的同时提高了系统整体的稳定性。

系统部署环境包括2台应用服务器、2台Web服务器和1台数据库服务器，客户端根据使用需求部署相关的微机并安装Chrome 74浏览器。其中应用服务器、Web服务器均为虚拟服务器，考虑到性能要求数据库服务器采用实体服务器。

4.2" 系统测试分析

矩阵配置连接关系运行界面如图6所示。矩阵连接配置包括配置界面显示、输入端连接关系配置、输出端连接关系配置、查询输入端通道连接、查询输出端通道连接、删除通道连接。配置界面显示配置一级矩阵连接关系界面，包括矩阵基本信息、配置矩阵连接关系、查看通道连接等功能。

显示窗口规划运行界面如图7所示，包括图像源投屏窗口规划显示、图像源投屏窗口规划配置、图像源投屏窗口规划查询、新增/修改/删除任务时段、修改图像源优先级等。图像源投屏窗口规划显示已规划的任务时段以及该时段内各类图像源与投屏显示窗口的映射关系列表。

显示自动控制运行界面如图8所示。测试过程为：按照预先配置的显示优先级，2023-04-14 22：00至04-16 10：00为1个连续的时间区间。2023-04-14 22：00起自动将图像源1（微机1）投送到大屏窗口1、图像源2（微机2）投送到大屏窗口2；04-15 10：00起自动将图像源3（微机3）投送到大屏窗口1、图像源4（微机4）投送到大屏窗口2；04-15 22：00起自动将图像源5（图像终端1）投送到大屏窗口1、图像源6（图像终端2）投送到大屏窗口2。

5" 结" 论

本文设计并实现了一种多源异构显示系统一体化控制机制，在接口设计方面对显示系统的编码器、解码器、图像矩阵的通用接口进行抽象设计，能够较好地适用于目前的主流显示系统设备；同时在开展软件设计时采用基于微服务的软件架构，支持云平台虚拟机部署方式，进一步提高系统部署的灵活性和可伸缩性，满足不同行业运用模式下的系统动态部署。在后续的实际应用中，可以根据具体行业应用的特点，在此基础上对配置、规划和自动控制流程进行进一步定制化开发。

参考文献：

[1] 全子一.图像信源压缩编码及信道传输理论与新技术 [M].北京：北京工业大学出版社，2006：89-93.

[2] 朱秀昌，刘峰，胡栋.视频编码与传输新技术 [M].北京：电子工业出版社，2014：98-101.

[3] 亚当·贝勒马尔.微服务与事件驱动架构 [M].温正东，译.北京：人民邮电出版社，2021：123-125.

[4] 黄文毅.分布式微服务架构：原理与实战 [M].北京：清华大学出版社，2019：78-79.

[5] 杨牧川，吕晓丹，蒋朝惠.云计算环境下的可修分布式系统可靠性分析方法 [J].计算机与现代化，2020（6）：28-33+51.

[6] 张繁，王章野，吴侃侃，等.大屏幕拼接可视化技术的研究进展 [J].计算机辅助设计与图形学学报，2016，28（1）：9-15.

[7] 李向军.数字视频系统接口应用 [J].电视技术，2016，40（10）：37-40.

[8] 杜恩祥，左宪章，贺臣，等.并行接口控制的视频切换器的设计与实现 [J].无线电通信技术，2000（1）：60-61.

[9] 夏爱民，刘东亚，徐晓刚.基于流媒体的分布式显示控制系统设计探析 [J].现代信息科技，2020，4（5）：52-54.

[10] 申屠南瑛，裘国华，夏哲雷，等.远程分布式多LED显示屏控制系统研究 [J].中国计量学院学报，2005（1）：47-50.

[11] 朱姚姚.超高清图像处理系统控制软件设计与实现 [D].西安：西安电子科技大学，2020.

作者简介：王猛（1982—），男，汉族，山东菏泽人，高级工程师，硕士，研究方向：计算机通信系统应用。