面向资源高效管理与可视化分析的检测大数据平台

刘朝阳，李 越，黄家怿,2※，刘海峰,2

（1.广州市健坤网络科技发展有限公司，广东 广州 510630；2.广东省现代农业装备研究所，广东 广州 510630）

0 引言

随着国家对农药、兽药、化肥、饲料等农用物资监管力度的加强，农资检测的数据呈现出爆炸性增加态势。如何处理多源、高纬、异构等农业大数据，如何利用农业资源进行科学高效地管理，成为迫切需求，传统的管理手段和技术已不能满足目前我国农业发展的实际需要[1-3]。

目前，不同时期建设的种植、畜牧、农机等一系列应用系统并行存在，因缺乏统一顶层设计和数据规范，每个系统需要独立的服务器、存储和带宽资源，造成资源浪费和信息交换共享困难。在数据层面，存在数据孤岛，即缺乏顶层设计、数据标准不统一、数据理解缺乏共同的语言。在应用层面，存在应用孤岛，即各系统之间彼此独立、缺乏信息服务交换机制、信息不能交换共享。在业务层面，存在业务孤岛，即业务缺乏统一流程管控、存在断点、不能实现业务的完整顺利执行和处理。

为了打破农业信息资源的孤岛格局，更加高效地挖掘农业数据中的有效信息，设计并构建了面向资源高效管理与可视化分析的检测大数据平台，在近红外光谱技术的体系下对饲料农资进行数据分析。检测大数据平台批处理速度是开源Hadoop的10～100倍，是MPP的5～10倍，可以对从GB到PB级的数据量实现复制的查询和分析。此外，平台也具有可扩展性，用户可以通过增加集群节点数量，线性提高系统的处理能力。在极致的性能与可扩展性之外，平台还具有简易的操作和管理、完整的SQL和ACID支持、低延迟的流处理、图形化的大数据开发工具套件等优势。

通过平台，结合红外光谱快速检验技术[4]，使用大数据分析方法对搜集到的光谱大数据进行分析与挖掘，然后将分析结果以可视化的方式进行输出，可以有效地为产品的质量控制提供标准，为原料的管理与存储、产品的销售以及上级有关部门的监控与执法提供可靠依据。

1 检测大数据平台建设

1.1 资源管理的规范化

当前的农业农村数据资源存在缺乏顶层设计、数据标准不统一的问题，给数据后期处理带来不便。为了优化资源的管理效率，需要对大数据的来源、格式等进行规范。具体需要对外围设备的对接要求、通信规约、交换数据内容和格式加以规范化，以获得准确、一致、无延迟的管控结果。平台以数据交换和共享为基础、以接口规范为支撑、以精准管控为目标的标准体系，紧紧围绕外围设备的接入要求、通信规约、平台与外围设备交互数据的采集和表达、大数据平台接入安全性管理等重要环节开展标准研制。

目前，已开展2类标准规范的建设：一是大数据平台的数据接入标准。定义了大数据平台感知层、传输层、应用层的网络架构（硬件）、系统集成（软件）及数据/指令流；规定了大平台的工业通信网络端口及通信规约、不同协议下数据包的封装结构，以保证通信可以进行，数据包可以被平台解析；规定了外围设备接入大平台的安全管控方法和要求。二是大数据平台的数据采集规范。规定了采集数据的方式、频率和内容，以保证数据的有效性和完整性；基础数据统一的表达方式，即数据字典。以保证外围设备传输的数据可以被平台理解。

1.2 系统建设关键技术及应用

1.2.1 分布式数据库存储

传统的网络存储系统采用集中的存储服务器存放所有数据，存储服务器成为系统性能的瓶颈，也是可靠性和安全性的焦点，不能满足大规模存储应用的需要。而分布式网络存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，不但提高了系统的可靠性、可用性和存取效率，还易于扩展，这些优点都是传统的集中存储服务器所欠缺的。可视化分析的检测大数据平台是基于Transwarp Data Hub（简称TDH）企业级大数据平台（方法参考文献[5][6]）。使用了以分布式文件系统、分布式数据库为代表的大数据技术，来存储和管理不同类型与来源的农业大数据，平台数据源管理界面如图1所示。

图1 平台数据源管理界面

为了方便用户的使用，在TDH数据库连接外，也提供了支持MySQL、MSSQL Server等数据库的连接功能，如图2所示，同时也支持用户对本地的Excel文件进行拖拽上传，方便、快捷的实现数据云存储，如图3所示。数据上传之后，能实时对已经上传的数据进行在线预览，如图4所示。

1.2.2 可视化分析技术

图2 数据库管理界面

图3 在线文件上传界面

图4 数据预览界面

在海量数据的基础上，为了将单纯的数据转换成有用的信息和知识，采用了可视化分析的技术对数据进行处理和展示。数据可视化技术的基本思想是将数据库中每一个数据项作为单个图元元素表示，大量的数据集构成数据图像，同时将数据的各个属性值以多维数据的形式表示，可以从不同的维度观察数据，从而对数据进行更深入的观察和分析。

平台运用了基于JavaScript的数据可视化工具，可以支持柱状图、条状图、线图、蜡烛图、饼图、雷达、极坐标图、散点图、燃烧图和金字塔图等图表。采用的库是完全独立的类库，在应用中不依赖任何其他第三方类库，就可直接编译运行。平台除提供最基本的规范要素外，还提供了交互特性。用户在浏览基于库制作的图表时，用鼠标 hover 图表内容，可以与其进行交互，使图表展示细节信息。图表还能够以动态动画的形式被绘制出来，带来非常生动、具体的展示效果，为用户的数据分析提供强有力的支撑，如图5所示。

1.2.3 可视化实例演示

1）在可视化界面点击“新建大屏”，并对大屏进行命名，如：我的展示大屏，如图6所示；

2）在大屏界面选择需要的图表类别，如地图、折线图、柱状图、雷达图等，如图7 所示；

图5 农资大数据大屏展示界面

3）双击组件进行图表组件信息编辑；

4）根据需求在组件上选择用户关注的数据维度、数值，同时可针对目标维度进行数据筛选，如图8所示；

图6 新建大屏界面

图7 图表组件选择界面

图8 图表构建界面

5）点击“保存”即可将图表进行保存，方便用户随时查看、调用。

经过合理的排列布局能得到直观、便于分析的可视化数据展示界面。

2 在饲料检测行业的应用

饲料检测大数据平台基于上述可视化分析的大数据平台，依据MVC（模型-视图-控制器）软件设计模式，采用B/S结构、SOA组件模型和J2EE企业级架构[7-9]，提供标准化接口服务，运用农业大数据、云计算、物联网和移动互联技术的智慧农业综合解决方案，将饲料大数据、近红外光谱检测、可视化分析与云计算深度融合，实现数字化、信息化的饲料综合管理平台。通过简单易操作的图形化界面，无需用户掌握编程，即可通过简单托拽方式进行可视化分析，帮助饲料生产产家全方位挖掘和利用大数据价值，提升管理效率与智能化生产水平，优化饲料原料结构，保障饲料安全，为厂家的经济效益增长提供有力的帮助[10]。

通过构建饲料检测大数据平台，实现了在线式实时接收近红外光谱设备检测数据；根据不同的数据模型，如水分、蛋白质、淀粉、纤维等物质进行含量计算，并与参考值进行比对；对含量异常的检测数据提供数据异常的提示功能；根据用户的需求对模型进行在线模型优化、模型下载，如图9—12所示。

通过可视化分析，如图13所示，能够更好地对实际生产进行指导，如饲料原料蛋白质，水分的月度、季度分布，为用户购买饲料原料提供智能化的帮助。

图9 农资快速检测平台首页

图10 数据过滤

图11 选择模型

图12 依据模型计算得出含量及平台的参考值

图13 饲料检测可视化展示界面

3 结论

构建面向资源高效管理与可视化分析的农业大数据平台，通过处理不同种类饲料的光谱检测与质量数据，证明该平台能有效提高数据处理效率，为厂家的生产提供合理的建议与帮助。在数据的挖掘与信息的提取上，还缺乏快速、高效地总结方式，需要使用者对农业相关信息有良好的积累。如何提高获取有效信息的效率，是下一步研究需要解决的问题。