被动式建筑大数据分析云平台开发与应用

王少林，刘子源，王岷，余秋亮，寇柏源，陈雪婷

（山东建筑大学）

1 引言

本方案针对现有山东建筑大学被动式综合实验楼平台进行改造，通过边缘计算技术规范数据资源、统一地源热泵、空调等子系统之间的数据传输格式，不仅提高了子系统之间的数据识别能力，同时为数据上云打下了坚实基础；在云平台通过Spark计算引擎与预测、时序等算法模型结合，对能耗、环境等数据进行深度分析，挖掘其在绿色节能等方面的使用价值；通过Web与Android的双客户端开发，可适用于不同的工作场景，同时操作便捷、交互友好、整洁美观的使用界面，在满足用户使用需求的同时，为用户带来更加舒适的体验。本方案整合信息结构、挖掘数据价值，具有规范性强、兼容性高等优势，为被动式建筑运维带来高效稳定的节能收益。

2 云平台总体架构设计

在满足被动式建筑基础运维的前提下，以规范数据格式、挖掘能耗数据价值、优化节能方案、节能效果可视化为目的设计的被动式建筑大数据分析云平台，总体架构分为数据采集层、数据管理层、应用层、访问层（见图1）。

图1 被动式建筑大数据分析云平台总体架构

2.1 数据采集层

主要面向被动式建筑正常运维的各子系统（如新风系统、地源热泵系统等）以及用于评估建筑状态及节能效果的基本信息（如环境信息、能耗信息等）。智能子系统通过设备内网搭建的物联网通道，采集风机盘管、监控球机、地源热泵等设备运行信息及信息采集系统采集的环境、墙体及能耗数据，通过设备内网+VPN透传将数据上传至数据管理层。

2.2 数据管理层

保障平台的数据传输通道，接收数据采集层上传的数据，进行被动式建筑大数据的存储、计算及分析工作，完成信息的转存、处理与发布任务。由Spark框架搭建的计算模块负责对存储在HBase或HDFS中的大数据依据预设的统计、筛选、预测等分析模型进行离线及在线计算，最终通过API接口发布与客户端实现数据对接。

2.3 应用层

主要向用户提供被动式建筑运维所需要的应用服务，依托云平台强大的数据存储及数据分析能力，对能耗大数据进行横向分项管理及纵向预测分析，最终通过对实时数据及历史数据的缜密分析，生成可靠高效的节能调度方案，为被动式建筑运维带来更佳的节能收益。

2.4 访问层

提供接入被动式建筑云平台的服务，通过API接口实现前端页面与数据管理层的交互，以图表形式实现数据可视化，用户可通过PC端、移动客户端以及平板电脑等多媒体设备，通过下载APP或浏览器访问平台界面，获取所需应用服务。

3 关键技术

3.1 云服务器配置与规划

为满足被动式建筑改造后数据存储及计算需求，预计需要部署四台云服务器（内存16G、存储2T、CPU8核，带宽20M），其中一台服务器作为主节点工作，两台作为数据节点，最后一台用作备份节点。同时，为了避免平台并发量过大导致平台算力匮乏，平台采用微服务分布式部署以及虚拟化的方式，在数据节点服务器建立不同服务功能的虚拟机，减轻多用户同时接入为服务器带来的负担。

云端数据存储作为大数据分析的基础部分，为了提高数据存取效率，采用分布式存储方式，在HBase中建立关系数据点表，以键值对（Key-Value）形式存储数据标识、存储节点信息，HDFS存储json格式的历史数据以及图片、视频等非结构化数据。云服务器数据部署结构如图2所示。

图2 数据部署结构图

3.2 Sqoop数据迁移框架

Sqoop是一种支持在HDFS与传统关系型数据库之间数据交互工作的开源工具，能够通过高效、可控的分析资源进行任务调度以及自动的数据映射和转换，完成大量数据的转移工作，其中映射关系与转换格式可以自主定义。

本方案通过开发Sqoop框架下的数据转存软件，完成数据的导入与导出工作，实现本地SQL Server数据库向HDFS的数据上传及HDFS数据的下发。

3.3 Spark计算框架与API接口技术

采用Spark计算框架，接收实时数据，对存储在HBase或HDFS中的大数据依据预设的统计、筛选、预测等分析模型进行离线及在线计算，最终通过API接口实现数据发布，大数据分析结构如图3所示。

图3 大数据分析结构图

3.4 技术路线

本方案通过将上述关键技术串联融合，由采集器软件完成边缘数据整合与统一封装工作，并将数据一分为二，分别存储在本地SQL Server数据库、上传至云服务器，云服务器则负责数据存储、数据解析与接口封装发布任务，云服务器与前端页面通过API接口进行数据交互。系统技术路线如图4。

图4 技术路线图

3.5 技术特色

结合方案的关键技术及应用方向可以得出，本方案的特点主要集中在几个方面。

1）云端减负

通过将各子系统的数据采集任务下放至边缘端，云服务器只需完成接收、存储与二次分析即可，减少了计算内存占用，释放了内存资源，减轻云端负担。

2）统一性

云平台数据分析结果统一采用API接口发布，支持Web与Android调用，减少了平台交互的接口种类，保证了接口的统一性。

3）规范性

本方案规定了上传至云服务器的数据以及API接口封装的数据标准格式，使整个平台自边缘端数据上传开始，直到Web客户端数据展现都保证了数据的规范性。

4）可扩展性

平台采用自定义的数据格式，极大地提高了平台对子系统的接入能力，对新的项目或子系统，只需按照指定的格式进行信息注册，即可完成云平台数据对接，具有较高的扩展能力。

5）跨平台

结合Vue.js、JavaScript等技术开发的Web客户端，支持PC端、Android端以及IOS端访问，以生动、简介的界面为用户带来优质的跨平台体验。

4 被动式综合实验楼应用实例

应用本方案对被动式综合实验楼进改造，以规范数据格式以及优化交互页面为主。旨在满足运维功能需求的同时，提高平台规范性、统一数据接口，为用户提供舒适、清晰、便捷的操作体验。

4.1 数据标准的应用

边缘端与云端数据格式的规范化是大数据分析云平台稳定、高效、可持续运行的基础，通过边缘客户端将新风参数、视频资源、能耗信息等功能、格式不同的数据按照与云端协同规定的“边缘封装标准”进行打包，在实现多源数据整合的同时也作为云边互信的数据规范，实现云边通信的标准化、可扩展化。依托于边缘封装标准的制定，平台对新接入的子系统及物联网设备具有较高的兼容性，只需要在云平台注册表登记新系统或设备的身份信息，即可将边缘新接收的数据以标准格式上传云端，保证云端的数据识别能力。

云端服务器将接收的来自边缘客户端的数据包按照边缘封装标准进行拆包、解析后进行分布式存储。大数据应用分析时，将根据模型计算所得的结果以云端封装标准打包，以API接口的形式发布，PC端及APP端连接API接口后再以相同标准解析，提高了大数据分析结果可视化应用的效率（见图5）。

图5 系统功能结构图

4.2 客户端

本方案为满足用户需求，为用户带来便捷的智能化体验效果，依托大数据分析平台开发了Web及Android客户端，其中Web客户端通过HTML5、Ja‐vaScript、CSS完成页面布局，ECharts图表完成数据展现，并采用Vue.js技术实现组件开发与数据绑定，为视图与后台数据提供友好交互条件；Android客户端通过UI界面设计与可视化图表结合，为用户带来舒适便捷的数据掌控体验。界面实现效果如图6。

图6 软件界面实现效果示意图

被动式建筑大数据分析云平台Web客户端包含能耗统计、围护结构、地埋管系统以及环境监测等功能模块，与系统功能对应，各功能模块视图与数据的交互依托于平台制定的数据标准以及云平台发布的API数据接口，界面运行时，前端通过Ajax Post或Get功能向指定接口发送请求，返回的数据经过筛选、处理后与ECharts图表或其他图元绑定，实现数据可视化。

5 结语

本方案对被动式综合实验楼的改造规范了各子系统之间互不关联的数据结构，解决了多源数据上云的格式多元问题，使云平台与边缘子系统的对接更加友好，这不仅为现有的五大子系统上云提供了便利，更有利于未来新子系统与新智能设备的添加；通过在云平台封装不同的计算模型，可以更加高效地对功能不同但计算模式相同的数据进行处理，如环境、能耗数据的统计、预测与排序处理，从而提高了数据应用效率。

本方案设计开发的Web客户端，通过API接口作为客户端与云服务器的数据通道，保证了接口的统一性，同时通过简洁、清晰的布局及数据展现方式，为用户提供了舒适、便捷的跨平台操作体验。