智慧大数据共享交换的系统设计

张鹏飞，蓝维旱，高 峰

（中通服咨询设计研究院有限公司，江苏 南京 210019）

0 引 言

为了实现客流统计、游客画像与行为分析、舆情分析以及文旅融合等功能，应用系统需要采集游客出入园数据、视频监控系统数据、互联网内容数据、消费数据、票务数据、投诉数据以及运营服务商数据等信息。高效的数据采集和共享交换系统可以快速建设各类维度的元数据库，形成数据资产。通过数据规范与标准，对数据进行抽取、清洗等加工处理，为平台应用提供数据的信息检索和计算能力，实现智慧管理与服务。

1 数据采集和处理

智慧大数据通过海量数据的获取，然后进行数据的加载、清洗、转换、融合以及存储来确保数据的结构化、一致性与多元化，形成基础资源数据库和文旅业务数据库，提供跨地域、跨机构以及跨层级的数据共享交换，满足系统内、外部等不同部门之间的数据共享交换需求，为数据共享双方提供了一条良好的数据交换通道。松耦合的连接关系使系统间的数据交换免受空间物理影响，从而使新的应用系统可以方便快捷地接入数据共享交换平台，有效提升了数据交换系统的扩展能力，如图1所示[1]。

图1 数据采集汇聚流图

2 架构设计

大数据采集和数据处理系统作为信息交换体系建设的核心内容，由交换桥接、前置交换、交换传输以及交换管理等子系统组成，并可结合信息资源目录服务平台实现信息资源的编目、订阅、发布、管理以及查询等功能，同时实现对信息资源的管理。交换桥接子系统负责将需要交换的信息前置交换信息库，在交换管理子系统的控制下，通过交换传输子系统和前置交换子系统将信息定向投递到接收方[2]。

2.1 传输交换子系统

交换传输子系统是数据信息流转的中枢，依靠交换传输子系统与前置交换系统之间实现信息共享交换，根据交换程序实现共享信息的封装、变换、路由、投递以及解包等。交换传输子系统通过消息总线模式，实现前置交换信息库之间不间断、稳定可靠的信息传递和目录注册[3]。

2.2 前置交换子系统

采用前置交换子系统部署于各信源部门的方式，架设数据交换平台作为数据交换的窗口，是之前部门业务系统常用的数据流转方式[3]。该模式既可从业务系统获取数据向数据中心提交，又可从数据中心接收数据反向传递数据给业务系统。前置机部署在通信网络，具有缓存交换数据和对数据进行净化、完善以及呈现的功能[4]。

2.3 交换桥接子系统

交换桥接子系统可以实现将业务数据提取到前置交换，也可将前置交换系统中的共享数据传送至业务部门[5]。在整个交换应用中，各参与交换部门信息数据的采集可能采用多种方式，包括通过交换适配器桥接接入方式、前置交换库页面录入方式以及不通过平台采用的直接录入信息中心数据库的Web方式等。

对于有完备业务系统的部门，其信息数据量比较大，可采用大数据采集和数据处理系统提供的桥接系统交换适配器接入方式。交换适配器提供并支持多种接入模式，包括数据库大字段传输、大文件传输、格式化文件解析与传输等，针对信息化程度不同的部门可根据实际需要自行选择。对于信息化建设程度不高且数据量小、信息内容少的部门，可以采用直接录入网上上传的形式，将数据直接导入交换数据库。

2.4 交换管理子系统

来自大数据采集和数据处理系统提供的交换监控管理子系统可作为中心管理模块提供图形化配置工具，实现对信息交换的流程配置、部署、执行，同时对信息交换系统运行监测与管控，具体包括数据交换适配管理、交换节点管理以及交换流程管理等[6,7]。

交换管理子系统方便用户实时查看数据交换平台的交换流程信息状态、交换节点信息状态以及日志信息等内容，用户可以通过设置相应的管理配置界面动态修改数据交换平台的交换配置数据信息。

3 平台部署设计

3.1 一对一部署

采用一对一的部署方式，外部应用可以通过适配器连接至前置机。前置机包括最基本的交换节点组件，在服务提供方节点的前置上部署调度服务器，负责服务的发布与订阅，如图2所示。

图2 一对一部署

3.2 一对多部署

一对多部署如图3所示。外部应用通过适配器连接至前置机。前置机包括最基本的交换节点组件，在有中心的交换场景，前置上的调度服务器是不必须的。在交换中心部署完整的交换平台，负责整个交换的管理。共享数据库通过前置连接到交换中心，提供交换功能。

图3 一对多部署

3.3 级联方式部署

级联部署如图4所示。外部应用通过适配器连接至前置机。前置机包括最基本的交换节点组件，前置上的调度服务器是不必须的。在二级交换中心部署完整的交换平台，负责交换中心所在交换域管理。在一级交换中心部署完整的交换平台，负责整个交换域的管理，并通过信任关联与下级交换中心实现身份统一认证。共享数据库通过前置连接到交换中心，提供交换数据的集中存储，为数据的再加工应用提供基础数据。

图4 级联部署

4 结 论

系统应用共享交换系统有助于整合各单位已有的信息化资源，实现各种类型内外部数据的采集和汇聚。在实际应用中，可根据需求采用不同模式相结合的部署方式。