孙 磊 邵鹏勇 刘 悦
感知城市(天津)物联网科技股份有限公司
关于供热计量管理服务平台数据顶层设计的研究
孙 磊 邵鹏勇 刘 悦
感知城市(天津)物联网科技股份有限公司
物联网公司供热计量管理服务平台的正式发布,旨在帮助供热企业对户用热量表计量数据进行管理,参考一段时间的运行情况以及收集用户反馈意见,公司认识到:这些“小数据”可以有“大作为”,拥有空间和时间上的累积,再结合专业的大数据分析手段,可以发挥出巨大的价值。因此,项目组在需求调研上投入大量精力,深入到各公司、管理处和换热站,与行业专家、专工和供热一线生产人员进行深入交流,后期又与部分公司经营部门对接需求,经过多次调研探讨后,公司制定了详细的平台升级开发计划,将系统架构与顶层数据结构全部重新设计,以适应新时代不断发展的供热需求。
供热计量;管理
随着大数据分析的发展与普及,其分析方法和分析效果已经被广泛认可,并应用于各个领域,而供热运行数据与老百姓生活息息相关,运用大数据分析原理,挖掘其潜在价值,指导供热运行,已是大势所趋。但各供热企业数据分散,来源众多,数据交叉冗余,“数据孤岛”大量存在,很难形成“大数据”统一分析,而如果想对数据进行整合归类,则意味着巨大的工作量与多方面的协调工作。物联网公司在之前的需求调研中,发现其实类似问题也一直让各供热企业的管理人员苦不堪言,而要做到快速准确的数据分析,数据结构的顶层设计至关重要,因此平台V2.0最终确定,重新进行具有前瞻性的数据顶层设计与系统架构,并承担整合“大数据”的工作,这意味着平台V2.0将向上迈一个台阶,为今后不断深化的数据挖掘工作铺平道路,具体为:
1.建立统一的编号规则
掌握住数据的编号,就相当于找到了数据的“线头”,无论怎样纷繁复杂的数据,就都可以归集整理。因此,本着易用性强,扩展性高的原则,平台V2.0建立了如下编号规则:(见图1)
图1
2.系统间ID号兼容匹配
为了确保数据的完整性与真实性,消除“数据孤岛”的存在,各系统编号的兼容匹配工作是最为关键的一步,平台在这一环节做了大量的工作,通过公共字段兼容各供热公司生产调度系统,从而完成数据互通,而对于没有公共字段的系统,则只能采取人工逐户核对地址的方式进行匹配,为了保证人工核对的准确率,项目组成员对每一条数据都进行了多次确认核查,其工作量也成倍数增长。经过长时间的匹配工作,目前已经完成15万户左右的用户匹配工作。
3.统一数据库和数据信息
在平台V2.0构思之初,由于存在多家供热计量相关的系统远传服务商,各家远传抄表模式不同,使用的数据库和数据字段也存在较大差异,这就给数据管理工作带来了一定的困难,而数据不统一则更使得数据挖掘无从谈起。因此,经过与各家系统商的探讨协商,平台V2.0决定统一使用SQLSERVER2012数据库,各家系统商数据一律迁移至该数据库,同时所有数据表一律按照标准进行字段统一,为后面的数据整合工作打下了基础。同时,针对同一小区存在多个名称,楼号与门牌含有字母等信息不统一的情况,平台V2.0也一并进行了统一要求,解决了基础信息的冗余交叉问题。
4.数据整合与第三方系统商接入
在对基础信息做了大量的统一匹配工作后,数据整合工作也得以顺利开展,各家系统商的数据已经高度融合,因此各家远传DTO统一指向物联网服务器,所有数据都统一进入一张数据表,并接入第三方系统商数据,经过一年多的整合对接,目前,接入平台V2.0的热用户已经从8万户增长到接近20万户,彻底终结了数据“分而治之”的时代。
5.数据迁移与数据安全机制
为应对数据统一造成的数据传输量激增与数据安全问题,平台V2.0对原有网络架构与服务器进行了升级,服务器搬迁至新的大型机房,并增设专门的数据服务器与应用服务器,购置网络安全设备,同时建立完善的数据保护与数据备份机制,确保系统整体的运行服务质量,网络架构见下图:
6.数据中转与数据互通
数据的高度集中统一实际上是为了更好的疏通分散,在完成了以上诸项的数据顶层设计后,一个庞大而详实的数据中转库便形成了,在面对各家供热单位的生调、营业系统不同的数据需求时,数据中转库处理起来就显得游刃有余,平台可以根据各系统的数据需求,定制化的推送数据,彻底达成各系统的数据互联互通。
物联网公司供热计量管理服务平台的开发经历了两年多的时间,融入新兴技术与紧贴生产需求,建立完善的更新维护机制,平台逐步取得了供热单位的认可和好评,物联网公司在获得多项自主知识产权的同时,积累了很多宝贵的经验。