黄新波
陕西省工业和信息化厅,陕西 西安 710006
中华人民共和国第十四届运动会(以下简称十四运会)和中华人民共和国第十一届残疾人运动会暨第八届特殊奥林匹克运动会(以下简称残特奥会)在陕西成功举办,具有重要的政治影响和社会意义。本届运动会把科学发展理念和新一代信息技术融入信息系统规划、建设、赛时运营和赛后利用各个环节,在开发基础设施和信息系统时融合各类信息资源,通过智慧示范场馆,营造良好的观赛体验。建立十四运会大数据平台、赛事信息系统、安保指挥系统、广播电视中心、新闻服务平台,融合城市应急指挥的各类综合保障数据,成立智慧全运赛事指挥中心,实现了全省竞赛场馆和人员统一高效指挥、管理和综合应急保障,面向不同群体提供综合性的大数据应用服务,向参赛运动员、赛事管理者、嘉宾、工作人员、媒体、公众等提供快捷优质的信息服务,确保十四运会整体高效顺畅运行。紧密结合国内外优质科技成果,将5G、大数据、云计算、人工智能、物联网、北斗等技术充分融入赛事,为办一届精彩圆满的体育盛会提供一流的信息技术保障[1-2]。
十四运会信息化系统设计有八大工程,其中竞赛信息化工程、信息化基础设施工程、网络与信息安全工程以各类竞赛信息技术保障为核心,为竞赛相关成绩处理、计时记分、仲裁录像等提供数据存储、数据链路、信息设备、信息系统、网络安全服务;赛事指挥工程、赛事管理工程、公共服务工程辅助竞赛组织管理,提供人员注册、礼宾管理、交通管理、志愿者报名等配套信息化服务;智慧全运工程和全运大数据工程则提高了十四运会的科技含量和智慧体验[3]。同时为了保障赛事指挥和运行,设计了十四运会运维保障八大中心,即主数据中心、数据灾备中心、赛事指挥中心、技术运行中心、竞赛视频处理中心、注册报名中心、赛事帮助中心、新技术集成测试实验室。不论是信息化建设八大工程,还是运维保障八大中心,其核心和基础都是十四运会信息化系统大数据统一平台(以下简称大数据统一平台),该平台具备数据采集、共享交换、数据治理、数据存储、分析计算、模型算法、可视化、地理信息系统(geographic information system,GIS)融合等全生态链的大数据处理能力,实现了与竞赛相关的业务信息系统、与赛事保障相关的部门系统的互联互通,一站式地为涉赛人员提供服务和保障[4]。该平台以混合云资源层为基础运行环境,以全运中台服务和应用软件工程技术标准规范为十四运会技术支撑环境,对十四运会所需的现有应用和创新应用提供运营生态。本文将重点分析大数据统一平台的技术架构、平台功能、关键技术,并简要分析基于平台的赛事全域感知、智能决策、指挥调度、应急处置等应用。
十四运会信息化系统大数据统一平台承载了赛事保障服务、竞赛成绩、竞赛场馆、赛事管理、赛事指挥、赛事资讯六大类业务,面向以竞赛为核心的多部门数据共享和业务协同,接入气象、环境、医疗、交通、食药等城市管理数据,可为赛事运行提供准确、及时的动态保障信息。该平台分为数据源层、大数据支持层、大数据服务层三大部分,如图1所示。其中,数据源层的主要功能是汇集政府数据、企业数据及互联网数据;大数据支持层主要包括大数据平台、大数据交换共享平台、数据可视化平台,实现对数据源的信息汇总、共享交换、数据治理、数据存储、分析计算、模型算法等;大数据服务层则利用数据源层汇集的数据为政府部门、十四运会涉赛人员及社会公众提供各类信息化服务[5]。
图1 大数据统一平台
依托大数据统一平台构建科学高效的赛事指挥管理体系,可为组委会辅助决策、赛事指挥、公众服务等提供基于大数据的决策信息,其核心功能有三,具体如下。
(1)实时全面的赛事动态信息展示
通过分布在全省13个市区、53个竞赛场馆的计时记分和成绩系统完成数据采集,实时将赛事的进程、获奖、破纪录等信息传输至赛事指挥中心进行展现;通过接入的各场馆竞赛监控和竞赛直播系统,指挥中心可全面掌握比赛现场实况,为组委会、新闻媒体、运动员、教练员、各代表队官员、观众等提供实时、准确的竞赛信息。经过处理和分析,将实时全面的赛事动态信息作为赛事指挥和决策的精准数据来源进行综合分析,智能预测赛事关键指标的变化趋势和影响因素,在赛事举办的前一天发送至各赛事场馆,进行赛事预判及预警。
(2)即时高效的赛事管理指挥
依托大数据统一平台,通过竞赛专网和赛事信息化系统与所有比赛场馆实现互联互通,聚集所有场馆的赛事信息,通过视频监控每个场馆的运行情况。从竞赛、场馆、人员、媒体、安全、交通、舆情、公众服务8个维度,确保决策者能及时掌握赛事的动态信息。建立各类远程通信方式,可随时召开现场视频会议,实现赛事指挥中心与各执委会、各竞委会、各场馆的及时指挥调度,实时掌握赛事现场状态;发生突发情况时,可实时连线指挥对讲,实现多部门协同指挥和共同应急。
此外,智能分析大数据统一平台汇聚的相关部门的业务数据,构建“全运一张图”,在医疗疫情防控、天气监测和预报预警、场馆道路交通保障、生态环境等方面实现提示和预警,如图2所示。例如,根据天气评估户外竞赛项目的安全指数,提前安排赛程,并进行分析优化;通过人流监测可对场馆内人群分布进行实时智能监控、人群密度实时预警以及人流疏导保障;通过媒体专题的信息获取可为赛事管理部门分析舆论导向提供支持,同时媒体可通过对赛事大数据的解读分析实时分享全运会进程。
图2 基于多图层的综合信息指挥调度
(3)高效精准的疫情防控
首次在大型综合性运动会上创建疫情防控背景下的三证合一平台,如图3所示。通过大数据统一平台整合涉赛人员的注册证(票证)、身份证、防疫码等信息数据,及时准确地掌握人员疫情状况,实现防疫前置、精准防控和快速通行的多数据融合应用,代替原有的多证件多环节审核,实现高效、精准、完备的疫情防控。
图3 三证合一的疫情防控平台流程
大数据统一平台采用CentOS7.3操作系统,集群部署业务服务器、组件服务器及主从数据库(MySQL)等软硬件平台,构建基础管理子系统、数据交换共享平台导航子系统、数据交换共享平台目录管理子系统、数据交换共享平台交换管理子系统、数据交换共享平台门户管理子系统、数据交换服务、区块链系统等功能模块。为了规范大数据统一平台的建设和应用,制定了平台建设体系标准规范,定义了平台框架的各项对接标准和实施准则。大数据统一平台技术架构如图4所示,其中技术中台、数据中台、业务中台为核心技术支撑环境。
图4 大数据统一平台技术架构
技术中台体现了平台的核心技术能力,对外可以提供系统集成框架、微服务框架、移动应用框架、物联网应用框架、中间件服务、数据库服务、软件工具服务、大数据库服务,可以提供综合型信息化项目建设所需要的框架与应用开发服务支撑。同时平台运用容器及容器管理技术实现应用服务自动化构建、自动化部署[6]。
业务中台通过服务注册管理中心为应用服务及业务服务提供联通的中枢,以用户管理为平台基础集成框架,通过服务治理将各类应用服务以行业应用服务、专题应用服务、场景应用服务等维度形成业务服务编目,实现应用服务与技术服务同步网格化管理,为应用快速孵化提供业务服务组件支撑。
数据中台支持自建与第三方大数据平台接入,通过业务中台应用接入与应用服务孵化,可以快速通过平台获取应用服务数据源,为数据采集提供便捷通道。最后通过数据聚合、服务聚合,以业务中台为链路实现应用服务共享开放和应用数据中心共享开放。系统具备数据采集、共享交换、数据治理、数据存储、分析计算、模型算法、可视化、GIS融合等全生态链的大数据处理能力,可一站式地为用户解决问题。将各种数据进行汇聚、整合、清洗、关联、标准化、检索、分析挖掘等处理,为用户提供智能的大数据应用服务,从而从整体上提升数据利用水平、管理水平和信息化水平。
为了保证平台的稳定性及安全性,建立了平台监控与运维管控体系。通过服务治理的方式,运用服务降级、服务熔断的技术手段,保证平台业务服务正常运行,避免平台因某一个服务故障导致平台整体服务“雪崩”现象出现。
为了保障十四运会和残特奥会的竞赛服务,通过图5所示的竞赛专网进行数据汇集,搭建竞赛专网、赛事管理网、赛事互联网,建立数据中心和数据备份中心,确保数据传输高效、安全、可靠,让分布在全省13个市区的53个竞赛场馆和非竞赛的赛事信息畅通无阻,使运动员报名与制证、赛程制定、成绩统计与发布等数据实现自动编排,特别是竞赛专网的安全运行确保了十四运会竞赛的顺利进行;研发一体化的竞赛成绩、赛事组织和大数据保障等信息系统,并应用5G、物联网、北斗等信息技术,实现竞赛场馆联动无缝隙、数据应用无死角、基础资源集约化的信息技术保障体系[7-9]。
图5 全运信息化系统数据汇集架构
大数据统一平台采用基于DevOps理念的大数据分布式微服务架构。如图6所示,平台提供当前主流的技术实现组件,满足PC与移动端研发场景技术支撑要求,同时可以支持与微信公众号“第十四届全国运动会”研发对接。服务间松耦合,每个服务之间高度自治,并且使用轻量级协议进行通信,同时由统一标准的微服务总线进行衔接。
图6 大数据分布式微服务架构
微服务技术架构具体的技术实现基于Spring Boot 2.x、Spring Cloud和Spring Cloud Alibaba,并采用前后端分离的企业级微服务多租户系统架构[10]。通过引入组件化的思想实现高内聚低耦合并且高度可配置化,真正实现了基于角色的权限 访问控制(role-based access control,RBAC)、JWT(JSON Web token)和OAuth2的无状态统一权限认证的解决方案,面向互联网设计,同时适合B端和C端用户,支持持续集成( continuous integration,CI)/持续交付(continuous delivery,CD)多环境部署,并提供应用管理,方便第三方系统接入,同时还集合了各种微服务治理功能和监控功能。
在核心服务的基础上建立相关系统间信息资源互联互通和共享传输的管理制度,规范相关系统、数据、技术接口的形式,形成可持续发展的长效运行机制。数据交换功能主要包括与陕西省秦云工程数据交换共享平台(政务数据交换共享平台)的数据共享交换和赛事数据交换两大功能,如图7所示。
图7 大数据统一平台数据交互功能
赛事数据交换是覆盖十四运会竞赛、赛事管理和赛事指挥等信息系统的赛事数据交换系统,其中数据交换、数据处理、数据存储、数据融合、数据维护为核心服务。数据交换服务实现了交换共享过程中的数据沉淀,可通过数据标准与元数据管理服务构建数据资源库;提供集中式、分布式、可信3种交换方式,并支持关系型数据库、文件类型与API的数据进行交换与共享。数据处理服务提供基于数据库、文件数据和大数据的元数据管理和数据标准管理服务,其中元数据管理包含技术元数据、管理元数据和业务元数据的采集、维护、权限设置和分析,数据标准应包含数据元、代码集、目录分类、编码规则和标准审核服务内容。数据存储服务提供多种数据存储服务,包括关系型数据库、分布式文件、Hadoop分布式文件系统(Hadoop distributed file system,HDFS)、HBase、Hive、搜索引擎等内容;提供自动管理服务,包括启动、关闭、重启、删除、横向扩展等服务内容。数据融合服务可提供多种数据源操作方式,包括关系型数据库、文件接入、大数据接入等;还可提供多种数据融合组件服务,包括数据连接、数据追加、数据拆分、数据差集和数据分解。数据维护服务主要提供数据视图服务,显示当前数据采集、治理、融合的数据资源情况,以及数据使用情况和数据全景图,可形象地展现当前数据建设情况;可提供在线数据查询、数据定时备份和数据导出服务。
安全性是保障大数据平台正常运行的基础,大数据平台支持系统集群部署或分布式部署,支持大型分布式数据库,通过安全控制措施,严格控制和防范软件系统中各个层面面临的安全问题,让系统在一个优良的环境中顺畅地运行。采用3D安全控制框架理论,确保物理、网 络、主机、数据库、应用5个层面的系统安全,例如,通过网络安全防火墙、Internet访问控制管理、防病毒网关、基于网络的实时入侵检测系统等保障网络完全,使系统具有完善的网络管理能力和网络防病毒能力,内网环境、与外界连接的边界区域等具有防止和抵抗外来入侵的能力;在用户登录和信息传递过程中,对密码进行不可逆加密处理,保证数据库安全性、文件存储加密、应用服务器安全性、HTTPS传输安全性等,实现远程用户的安全访问[11]。
依托大数据统一平台,建成十四运会历史上技术最先进、功能最完备的赛事指挥中心。中心实行轮流值班、24 h值守、零报告及零点会议制度,能够在疫情背景下进行赛事的高效指挥。
(1)平台承载的业务系统及接口数量
大数据统一平台承载业务系统46个,其中保障服务类8个、竞赛成绩类4个、竞赛场馆类1个、赛事管理类26个、赛事指挥类3个、赛事资讯类4个,各业务系统共享接口204个,共同完成了与医疗、赛事管理、人群监测、信息发布、竞赛报名、注册系统、制服管理、事件管理等系统的关键业务数据交互。
(2)竞赛、管理、指挥数据交换量
平台承载大量数据交互业务,从2021年9月15日十四运会开幕式开始至9月27日闭幕式结束,平台共交换数据约8500万次,其中赛事资讯1400万次、竞赛成绩2400万次、赛事管理1500万次、赛事场馆700万次、赛事指挥1000万次、各类保障服务1500万次。
(3)基于大数据平台的综合数据预测快报情况
智能分析竞赛、气象、环境、交通、票务、疫情、舆情等各类数据,赛事期间提供201份明日赛事综合数据预测快报。
(4)气象数据预报与发布
可查询气象综合数据、气象7天预报数据以及气象实况数据,气象保障服务系统累计数据交换640万次,根据气象预判调整十四运会比赛赛程6次。
(5)疫情防控数据流量与红黄码人员统计与分析
面向53个场馆提供扫码、刷证通行方式,其中持证人员闸机刷证共计产生通行数据178.21万人次。微信小程序“陕西全运通平台”共计扫码53.95万人,其中观众扫码23.23万人次,持证扫码30.72万人次;场馆异常扫码50人,其中持证人员扫码中黄码有20人、红码0人,观众扫码中黄码27人、红码3人。科学的疫情防控手段和全民参与的积极态度是十四运会安全、有序、高效开展的重要保障。
十四运会首次参考国际大型综合赛事惯例,采取与残特奥会同城同期举办的模式,为了对“精彩圆满的体育盛会”提供一流的信息化服务与保障,将新一代信息技术融入信息系统规划、建设、赛时运营和赛后利用各个环节,提出“一个信息化大系统服务两个智慧运动会”的设计理念,首次建立了十四运会大数据统一平台,成立了十四运会历史上功能最完备、技术最先进的赛事指挥中心,实现了组委会与全省13个市区53个场馆的竞赛组织与赛事管理。对竞赛场馆各项目比赛进行预警研判、指挥决策、工作协同和垂直管理,对重大突发事件能够迅速调动各职能部门资源,做到协调顺畅、指挥有效、控制有力。秉持“两个运动会”同步规划、同步建设、同步推进原则,在十四运会结束后,信息化建设成果已在最短时间、最大限度复用于残特奥会。
结合笔者在工业和信息化厅的分管工作,此次大数据统一平台的成功建设与运行,一方面为陕西省的体育事业和体育产业发展留下了宝贵的信息化资源,另一方面实现了跨部门跨行业的数据融合应用,为“数字陕西”建设在技术路径和体制管理方面进行了探索与实践。