基于容器云PaaS平台的住建行业指挥调度系统设计与实现

2024-12-31 00:00:00黄蓬国
电脑知识与技术 2024年33期

关键词:容器云PaaS平台;住建行业;业务融合;数据归集;数据治理;信息系统;设计与实现

0 引言

前期省级住建行业信息化建设缺少顶层设计,已建的43个系统之间未能实现数据充分共享,难以实现“数据跑路代替群众跑腿,促进经济韧性,完全释放‘放管服’改革成果”的目标。从住建领域的政府管理和企业管理双重角度对住建监管业务进行了充分的分析与思考,从全局角度结合“建筑业管理、住房管理、城乡建设管理”业务,提出“全周期协同监管”的全业务闭环管理思路。

为实现对已建43个业务信息系统的有效整合及其行业数据的有效利用,提出可落地的“住建行业指挥调度系统”建设方案。主要通过整合各业务系统,对系统数据进行归集、治理、汇总和展示,实现对全省范围内重点工程项目管理、在建项目动态视频监测、事故预警、突发事件和工地安全隐患等多项业务的融合,搭建信息化“总控平台”,构建“住建大脑”。以统一监管、统一指挥、统一调度为模式,实现住建领域“指挥实时化、监控可视化、培训一体化”,全面提升城市精细化管理,优化营商环境,聚焦建筑市场、深化改革成效、落实改革要求、数据赋能智慧工地。利用省级住建行业指挥调度系统实现保民生、提素养、强效能,以工程全生命周期的角度为政府及各级住建行业管理部门提供决策依据和指挥工具。

本文首先介绍了住建行业指挥调度系统的技术路线、系统设计、基本功能逻辑实现、系统测试、系统安全和稳定性设计,最后对技术特点与应用价值、系统功能及其设计意义进行总结,并展望其未来发展方向。

1 系统相关技术

1.1 容器云

容器云PaaS 平台运用容器引擎[1]、编排调度引擎[2]、DevOps[3]等云原生技术,搭建可提供横向扩展、秒级伸缩、智能运维、适应快速开发持续交付的PaaS级云平台。容器云PaaS平台提升了该系统在设计、开发、测试和运维等方面的效率,为系统运行提供稳定的容器环境。

1.2 HDFS

HDFS是一个分布式文件系统[4],具有高容错性特点,并且设计用来部署在低廉的硬件上。HDFS为本系统提供高吞吐量来访问应用程序的数据,实现了以流的形式访问文件系统中的数据。

1.3 HBase

分布式数据库HBase(Hadoop Database) [5]是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。本系统利用HBase技术在电子政务云服务器上搭建起大规模结构化存储集群。

1.4 分布式并行计算框架MapReduce

Hadoop MapReduce是Google提出的一个使用简易的软件框架[6],基于该框架写出来的应用程序能够运行在由上千台商用机器组成的大型集群上,并以一种可靠容错的方式并行处理上T级别的数据集。在本系统中,MapReduce极大地方便了编程人员在不会分布式并行编程的情况下,将程序运行在分布式系统上。

1.5 Node.js 和Vue.js 前端页面开发技术

NLoidneu.xjs和可m以ac在OS多,这种使操得作开系发统者上能运够行轻,包松括地在Wi不n⁃同平台上进行开发和部署。此外,由于Node.js非常适合处理高并发请求,特别适合构建实时、数据密集型的Web应用程序。而Vue.js是一个轻量级的框架,其虚拟DOM和响应式系统使得Vue在处理频繁的用户交互和动态数据时表现出色;其次,Vue采用组件化的开发方式,可以用来构建复杂的用户界面,同时提高了代码的可维护性和可扩展性;再次,Vue可通过尽可能简单地API实现响应的数据绑定和组合的视图组件,从而加速开发过程。在本系统中,从网络读取、访问数据库或文件系统时,Node.js会在响应返回时恢复操作,而不是阻塞线程并浪费CPU循环等待。

2 系统设计

2.1 系统架构

系统是在统一的标准规范和安全体系的前提下,采用B/S多层结构,基于面向各类业务过程管理的,按照使用人员、应用系统、技术支撑、基础数据等关系分为5个层次,如图1所示。包括用户服务层、业务应用层、应用支撑层、数据资源层和基础设施层。其中,用户服务层主要是整合现有系统及数据,为各处室的管理人员提供统一的服务入口和业务管理应用模块,包括审批、项目管理、监督检查等;业务应用层基于技术支撑平台和数据支撑平台,根据实际业务需要,搭建应用系统,业务应用涵盖项目建设管理的全生命周期管理;应用支撑层是在大量数据基础上,集成整合信息管理、门户技术、业务定制技术等多种技术手段;数据资源层建设数据综合管理数据库,整理历史数据,为整个系统提供数据支持;基础设施层提供网络通信和数据采集传输功能,为系统提供各类网络通信保障和其他业务系统数据交换通道,具有采集和上传数据功能,如施工信息、监理信息等。

2.2 系统主要功能设计

从总体架构看,本系统提供以下功能:

1) 数据资源展示功能:掌握全省住建行业基础数据。对住建行业已建36个系统的数据进行汇聚、治理、分析,形成工程、房屋、企业、人员和城管等五大主题库,并在系统中综合展示这些数据。

2) 核心业务综合展示功能:在系统中分板块展示建筑市场管理、房地产市场管理和城市管理等业务数据,并能够在地图上进行可视化展示。各业务板块可涉及多个专题,主要以图表等方式展示主题中所包含核心数据的综合分析结果和预警信息。建筑市场管理专题:对企业信息、企业信用和业务进行预警,展示企业发生的不规范行为以及各市企业在工程中的违法违规分析。房地产市场管理专题:对商品房住宅价格环比增长情况低于或高于5%以及合同签订日期早于预售许可进行预警,掌握住宅价格市场浮动情况。城市管理专题:展示燃气、桥梁、供水、排水、热力、照明、综合管廊等市政基础设施的升级改造和生命线安全建设情况。

3) 数字预警功能:按照既定规则,通过对各业务系统数据进行采集、汇总、分析、对比,对产生异常的数据进行数字预警,从而进行辅助决策分析(例如:证照过期、企业综合评分过低、项目超期未按时竣工等)。数字预警覆盖了工程、企业和人员等多个维度。

4) 指挥调度体系功能:建立覆盖省、市、县三级指挥调度体系。在指挥调度系统中发现异常业务数据或事件时,提供站内消息、短信和视频调度三种调度方式,以达到闭环处置管理的目标。住建行业系统预警事件处置流程如图2所示。

2.3 整体系统设计

在设计过程中,结合配置平台的功能,将整个系统分为两个部分:可配置部分和不可配置部分。可配置部分用于通过预定制模板制作生成统计分析图表、业务审批表单及流程(如数据资源共享审批)等;不可配置部分通过应用级代码编制具象化的、特有的业务应用,如不同管理部门之间的业务数据预警、基于GIS 地图的业务展示等。

对于可配置部分,主要进行配置设计,数据库表结构遵循配置平台的数据库表结构;对于不可配置部分,则按照普通软件开发的流程进行设计。整个处理过程如图3所示。

对于可配置部分,基本不需要进行编码。在概要设计过程中,仅需列出配置的主要过程和配置的主要框架;在详细设计过程中,需要说明具体的配置条件、配置过程和配置结果。

2.4 系统部署结构

数据中心对各业务系统的数据进行采集汇总,将数据存入住建行业指挥调度系统中,并通过大屏监控实时展示,如图4所示。

2.5 数据库设计

数据库设计是系统成功运行的基础,其设计目的要反映出各实体之间存在的联系。数据库表的设计不仅要符合前期调研的用户实际需求,同时需要符合数据库的基本逻辑结构,还要为系统的后续扩展留有余地,方便运行维护。本系统表结构主要包括工程项目基本信息表、项目招标投标信息表、施工图审查信息表、合同备案信息表、施工许可信息表以及竣工验收备案表等。

以工程项目基本信息表为例,表内存储25项信息,包括项目编号(PrjNum) 、项目名称(PrjName) 、项目分类(PrjTypeNum) 、信息所属环节(PhaseName) 、立项文号(PrjApprovalNum) 、招标方式(TenderTypeNum) 、施工图审查合格书编号(CensorNum) 、施工许可证编号(BuilderLicenceNum) 、建设规模(PrjSize) 、金额(万元)(ContractMoney) 和竣工验收备案编号(PrjFinish⁃ Num) 等,主键是项目编号PrjNum。表中具体字段和结构如表1所示。

3 系统实现

3.1 数据库

系统开发前,要先创建和连接数据库。数据库的连接通过MyBatis框架直接在相关配置文件和资源文件中配置好,如图4所示。

3.2 用户模块

统一身份认证平台具有完整的单点登录体系,可安全地在应用系统之间传递和共享用户身份认证凭证。用户无须重复输入凭证来确认身份,不仅提升了用户体验,还降低了安全风险和管理成本。单点登录服务模块为用户提供多个系统消息的统一接收、提醒和展示功能。

3.3 系统数据展示页面模块

系统展示页面主要包括首页、智慧工地、数据资源、风险预警和数据分析五大模块。通过住建数据资源中心,对工程、房屋、企业、人员和城管的数据实现全覆盖,提供“全、准、新”的权威数据支撑,建立用数据说话、用数据管理、用数据决策、用数据创新的管理机制。系统以地图为中心,集中展示工程建设、建筑市场管理、房产管理和城市管理四大业务板块。其中,工程建设板块包括房屋建筑工程、市政基础建设工程、装修工程三大类工程的立项规划、工程建设许可、施工许可、竣工验收四个阶段的业务数据;房产管理板块包括商品房、保障性住房等房产的销售许可、网签、公积金监管等业务数据;建筑市场管理模块包括企业、人员的执业资格、培训、业绩、信用等业务数据;城市管理板块包括市政设施、房屋建筑、城市部件等业务的管理数据和运行数据。如图5所示。

4 系统测试

本项目的功能性测试与信息安全性测试委托中国科学院新疆理化技术研究所软件测评实验室完成,性能测试由项目开发单位自行完成。本项目的系统测试环境依托新疆电子政务外网中心完成,共包括6 台数据库服务器与3台应用服务器,系统测试环境服务器端与正式运行环境的硬、软件配置完全一致。系统采用黑盒测试方法。

功能性测试方面对功能完备性、功能正确性、功能适合性三项进行测试,共完成两轮:对98个测试项进行首轮测试共发现4个缺陷。经软件开发单位整改,再次进行回归测试,本轮测试未发现异常,且第一轮测试的4个缺陷均已解决。

信息安全性测试方面对抗抵赖性、可核查性、真实性三项进行测试,共完成1轮测试,对4个测试项进行测试,未发现缺陷。

系统性能测试方面对系统响应时间、并发性、容错性进行测试,完成1 轮测试,均已达到项目招标要求。

5 系统安全设计

系统建设过程中,从用户登录安全、系统安全、数据存储安全、数据权限、建立JSP页面防篡改机制等角度充分考虑数据安全性,采用身份认证技术、单点登录以及授权对各种应用安全进行增强配置服务,以保障信息系统在应用层的安全[7]。根据用户身份和现实工作中的角色和职责,确定访问应用资源的权限,并对用户接入网络的控制和信息资源访问权限进行绑定。

5.1 身份鉴别安全

本系统所用密码设备采用USBKey+PIN码的方式登录;系统管理员对各应用服务器、数据库服务器、服务器虚拟机进行运维管理时,必须通过国密堡垒机统一运维管理。国密堡垒机使用具备商用密码产品认证证书的智能密码钥匙完成身份鉴别,可降低其他应用服务器、数据库服务器、服务器虚拟机的身份鉴别风险。

5.2 访问控制数据完整性

通过数据库加解密系统,对指挥调度系统访问控制策略、数据库表访问控制信息等使用SM3算法进行单向散列函数构造消息认证码(HMAC) ,实现数据的完整性。

5.3 重要数据存储机密性

部署数据库加解密系统,通过SM4加密算法对指挥调度系统中重要数据字段进行加密,保障重要数据存储机密性。重要数据包括用户名、口令等鉴别信息,重要业务数据、个人敏感信息等。

5.4 重要数据存储完整性

部署数据库加解密系统,使用数据库加解密系统对数据库中的重要数据实现HMAC-SM3算法进行完整性保护。

5.5 数据传输机密性和完整性

用户PC端部署国密SSL VPN客户端,用户登录系统前须通过SSL VPN建立安全传输通道。传输通道使用SM4算法完成机密性保护,使用SM3算法实现完整性保护。移动端App集成软件密码模块,具备SSL VPN安全接入功能,App启动时自动完成安全接入并建立安全传输通道。传输通道使用SM4算法完成机密性保护,使用SM3算法实现完整性保护。

5.6 页面防篡改

本系统通过使用HTTPS协议、数字签名、内容安全策略(CSP) 和Web应用防火墙(WAF) 等技术手段来保护页面内容的完整性,同时运用外挂轮询技术、核心内嵌技术、事件触发技术,防止恶意篡改或未经授权的修改。利用中间件的JSP预编译机制,对JSP网页进行预编译成不可篡改的Class文件,并放入只读保护区。通过Servlet配置技术实现访问URL与JSP Class之间的映射,从而在保证正常访问的情况下有效防止恶意用户对页面的篡改[8]。

6 系统稳定性设计

6.1 均衡负载

数据中心是各个应用系统数据存储的核心,数据量和信息流量都相对较大。单服务器仅能满足少量用户使用的需求,因此多服务器均衡负载是必须考虑的问题。

6.2 缓存技术

使用Redis缓存技术,减少数据库的访问次数,提高系统的响应速度和并发处理能力。

6.3 数据库优化

使用数据库连接池、优化SQL查询、使用索引等方法,提高数据库的读写性能和并发能力。

6.4 异步处理

将耗时的操作异步化,通过消息队列或任务队列来解耦合处理,提高系统的并发性能和可扩展性。

6.5 并发控制

使用锁、事务或乐观并发控制等机制处理并发访问数据的一致性和冲突问题,保证数据的正确性。

7 技术特点与应用价值

容器云技术通过标准化应用部署和交付,屏蔽应用部署过程中针对不同环境需要的环境配置、安装步骤等复杂过程,将原先部署、配置的运维工作提前到开发交付阶段,在制作镜像阶段解决运维上线中出现的问题。容器可运行在多种云平台环境中,有效避免厂商绑定,实现对政府部门已有异构基础资源的统一化管理,这种统一管理应用的模式屏蔽环境差异性,降低系统运维难度。此外,容器是基于操作系统的轻量级虚拟化技术,与传统的虚拟技术相比,多个容器可以共享操作系统的内核进程和内核资源,从而有效节省操作系统级资源开销,通过提升容器密度更好地利用资源。

8 结论

通过设计和实现住建行业指挥调度系统,建设数据资源中心,实现对省级住建管理部门的工程、房屋、企业、人员以及城市基础设施等管理对象的数据全覆盖和全生命周期管理,为省级住建管理部门提供“全、准、新”的权威数据支撑,建立用数据说话、用数据管理、用数据决策、用数据创新的管理机制。

基于全生命周期的住建业务设计理念,对原有省级住建领域相关的信息系统进行整合,构建全局性、一体化的住建业务管理平台,将监管职责从业务办理工作中解放出来,推进数字政府建设。该系统可在全国的省、市住建行政主管部门进行应用和推广。