农业先进适用技术社会化服务信息化平台架构研究*

钱君 马文斌 倪峻胜 候云飞 张芳

中国电信上海理想信息产业（集团）有限公司 上海 200000

引言

围绕精准脱贫为核心目标，以陕西、四川、甘肃等贫困区为重点，通过研究农业生产社会化服务系统的运作机理，构建既符合地域和产业特色，又具先进性和可持续性的社会化服务模式和服务体系；运用人工智能技术研发农业科技成果、先进适用技术与产品供需配给技术，以及农业生产托管社会化资源优化配置方法和智能化服务；基于云服务理念，集成整合资源和技术成果，开发农业先进适用技术社会化服务平台。

1 平台介绍

本文提供一种农业先进适用技术社会化服务平台架构，针对农业生产社会化服务的现状、多源异构数据和建模环境，分析社会化服务平台业务逻辑，开发农业社会化服务平台。

1.1 农业先进适用技术社会化服务平台架构图如下：

图1 农业先进适用技术社会化服务平台架构图

1.2 数据源

数据源层主要包括新闻政策、农业科技成果、专家人才、先进活用技术、产业信息和其他农业数据等信息。将各类分散在各处的农业数据集中治理，保证底层数据来源的全面性、多样性。

1.3 产业信息知识图谱

产业信息知识图谱层主要包括：茶叶、红枣、中草药、苹果、谷子、葡萄等专用领域知识图谱，通过知识图谱将先进品种与技术进行关联，并进行可视化处理展示。

1.4 数据中台

通过建设数据中台建立数据资产体系，规模化服务业务，保证数据质量，更大限度的发挥数据价值。实现数据资源从采集、存储交换、清洗融合到应用门户展示的全流程贯通。

1.5 大数据存储平台

兼容关系数据库、分布式数据库、内存数据库、NoSQL 数据库等多种数据库，支持关系型、文本、图片等多种类型数据的存储。

1.6 区块链BaaS平台

通过建设区块链BaaS平台，提升农业生产数据的链接能力、数据管理能力、数据协作和分享能力、数据检索筛选能力、数据安全和开放能力，有效提高数据利用率，完成基于区块链技术的可信、可靠、高效、高质和低成本的农业作业过程全流程跟踪。

2 平台业务流程介绍

农业先进适用技术社会化服务业务流程如下[1]：

第一步：需求方注册平台账号后在平台填写种植作物种类、环节、作业时间，以及所在地址等进行需求发布；服务方注册平台账号后在平台填写可服务作物、环节，以及可服务区域等进行服务能力发布；

第二步：平台根据需求地址、需求的类型以及相似需求，进行智能化服务推荐，匹配有对应服务能力的服务组织；

第三步：需求方对服务方发布的服务进行下单，服务方进行接单确认，并上传服务合同；

第四步：服务方根据服务要求对农机数量对农机手进行指派和调度；

第五步：服务方通过平台进行服务进度上传，需求方可通过查看服务进度详情，对服务进行全流程的监控；

第六步：服务方服务完成后，需求方对整个服务进行评价，并完成订单。

3 数据源层架构介绍

数据源层包括元数据管理以及多源异构农业网络数据采集两个模块。

3.1 元数据管理

元数据管理是一个根据信息资产的使用方式来管理组织的这些资产的流程。统一管理分散在组织内部的元数据，其目标是为更好获取、共享、理解和应用组织信息资产，降低数据集成成本，为组织数据标准化提供支撑，促进数据质量的提升，实现信息资产价值最大化。

3.2 多源异构农业网络数据采集

根据使用场景，多源异构农业网络数据采集爬虫可分为通用爬虫（传统爬虫）和聚焦爬虫两种。

通用爬虫捜索引擎抓取系统（Baidu、Google、Yahoo等）的重要组成部分。主要目的是将互联网上的网页下载到本地，形成一个互联网内容的镜像备份。但是大多数情况下，网页里面90%的内容对用户来说是无用的[2]。

聚焦爬虫需要根据一定的网页分析算法过滤与主题无关的链接，保留有用的链接并将其放入等待抓取的URL队列。然后，它将根据一定的搜索策略从队列中选择下一步要抓取的网页URL，并重复上述过程，直到达到系统的某一条件时停止。

4 产业信息知识图谱架构方案介绍

产业信息知识图谱模块包括：产业信息知识本体建模、产业信息知识图谱构建、知识图谱可视化。

4.1 产业信息知识本体建模

基于本体的产业信息知识本体建模方法具体包括如下3个方面。

4.1.1 本体模型构建层。基于产业信息内容凝练产业信息知识，并进行整理及分类；分析产业信息知识内部具有的关系类型，并以本体语义关系的形式表达。

4.1.2 知识图谱构建层。将知识图谱划分为概念层级关系图与实体层级关系图，采用三元组表达概念、实体间关系，基于产业信息知识架构完成知识图谱的构建，利用本体与知识图谱之间的树与图关系建立并分析产业信息知识本体与图谱间的映射机制。

4.1.3 知识图谱存储层。基于表结构存储方式将图谱存储入知识库中，以便于产业信息知识的管理及重用。

4.2 产业信息知识图谱构建

产业信息知识图谱构建方法具体包括如下2个方面。

4.2.1 知识图谱表示方法。在工艺知识概念及实体关系体系中,父子关系、决定关系及整体与部分关系占主体部分。因此将产业信息知识图谱知识间的关系划分为两大类：概念层级关系和实体关系。使用三元组表达语义关系，与表示节点(概念或实体)，方向是由指向，r表示语义关系。每个三元组表示一个事实。

4.2.2 知识图谱建立。构建产业信息知识图谱首先要确定本体与知识图谱映射匹配机制。本体的实质是将关系和实体等进行层次化抽象表达。将本体概念层级结构当作树，本体概念层级结构的概念、实例等作为树的节点，其关系用连线表示。而知识图谱相当于一张巨大的语义网，将知识图的概念层级关系图当作树，概念节点作为树的节点，则实体节点可作为知识图谱的实体关系图的节点，其节点之间的关系也用连线表示。故本体和知识图谱的本体映射匹配模式可当作树与树、树与图之间的映射。

5 产业信息知识图谱可视化

基于上述的知识分析、提取和知识图谱构建和建立等工作，通过Echarts等可视化插件，对知识图谱进行可视化表达，样例如下：

5.1 数据中台介绍

数据中台模块包括：数据采集、数据治理、数据处理。

5.1.1 数据采集介绍。为了提供一个完善、高可用性的数据感知与采集系统，同时支持结构化、半结构化、非结构化数据的采集，系统将从配置组件、采集效率、应用场景等多方面进行阐述。

数据采集与感知主要是将各种数据源接入到大数据平台或者其他数据仓库，为大数据计算和分析提供基础数据。它是一个可配置、可横向扩张的系统。在整个采集入库环节，平台将会通过相关技术保证数据采集的真实性以及时效性[3]。

5.1.2 数据治理介绍。大数据治理的核心是为业务提供持续的、可度量的价值。大数据治理人员需要定期与课题业务人员进行沟通，保证大数据治理计划可以持续获得支持和帮助。

结构化数据的数据治理：通过数据标准管理，元数据管理，数据质量管理，从功能上提供数据规范，实现自动进行数据治理。通过保障机制，从制度，组织，流程上保障数据治理体系。

5.1.2.1 数据标准。在数据标准管理组织架构推动和指导下，遵循协商一致制定的数据标准规范，根据国家标准、行业标准和课题已有的标准，兼顾各个标准之间的兼容性、一致性以及标准的可扩展性，借助标准化管控流程得以实施数据标准化的整个过程。

5.1.2.2 数据质量。对数据从计划、获取、存储、共享、维护、应用、消亡生命周期的每个阶段里可能引发的各类数据质量问题，进行识别、度量、监控、预警等一系列管理活动，并通过改善和提高组织的管理水平使得数据质量获得进一步提高。

5.1.3 数据处理介绍。数据处理包括：数据集成、数据转换、数据规约、数据保真。

5.1.3.1 数据集成。数据处理过程中经常需要数据集成——合并来自多个数据存储的数据。小心集成有助于减少结果数据集的冗余和不一致，有助于提高后续应用过程的准确性和速度。数据语义的多样性和结构对数据集成提出了巨大挑战。在集成过程中需要解决匹配多个数据源的模式和对象的问题。

5.1.3.2 数据转换。所谓数据转换就是将数据转换或归并已构成一个适合数据挖掘的描述形式。数据转换策略包含以下处理内容[4]：①平滑处理：帮助除去数据中的噪声，主要技术方法有：Bin方法、聚类方法和回归方法。②合计处理：对数据进行总结或合计操作。例如：每天销售额（数据）可以进行合计操作以获得每月或每年的总额。这一操作常用于构造数据立方或对数据进行多细度的分析。

5.1.3.3 数据规约。数据规约策略包括维规约，数量规约和数据压缩。

5.1.3.4 数据保真。结构化数据通过数据质量管理，解决数据处理过程中数据漂移带来质量问题，保证数据完整性、准确性、一致性。

5.2 大数据存储平台介绍

提供以规则为核心的插座式架构，内置服务管理、数据管理、传输引擎等核心组件，方便大数据数据交换服务、数据质量服务、数据传输服务、数据共享服务作为插件插入到该架构平台中，并基于同一个工具内实现对这些服务模型的可视化配置、部署、管理，满足集中配置、集中部署、集中管理的需要。

提供灵活多样的数据交换及数据管理部署架构，提供工具可视化配置生成交换节点满足星形、树形、网状部署方式需要，提供跨网段的实时数据交换，提供跨节点、跨网段的服务联动调度策略满足同步、异步业务联动需要，至少服务代理、发送方及接收方前后处理、流程等服务联动调度策略是经过可视化配置完成的。

支持j2ee，可运行于window、linux等操作系统。

5.3 区块链平台介绍

区块链平台主要包括区块链目录链系统、区块链服务系统、区块链应用支撑引擎等。

5.3.1 区块链目录链系统。利用区块链技术，形成数据资源“目录链”系统，实现数据变化的实时探知、数据访问的全程留痕、数据共享的有序关联，有效提升医保数据管理效率效能。

区块链目录链系统分为目录链管控平台和用户端，主要包括登录、目录盘点、数据源对接、目录管理、目录质量评价、数据共享、系统管理等功能。

5.3.2 区块链服务系统。区块链服务系统主要包含区块链网络管理和区块链管控。区块链网络管理提供区块链的认证服务、分布式账本、智能合约、隐私保护与数据安全服务、 SDK/API 等功能；区块链管控支持对区块链底层网络进行可视化的管理，实现区块链管理、节点管理、申请管理、区块链用户管理、合约管理、合约仓库、区块链浏览器、服务器管理、区块链网络管理、系统用户管理、运维管理、日志管理、工单管理和异构链兼容等功能[5]。

5.3.3 区块链应用支撑引擎。区块链应用支撑引擎提供基于区块链底层技术支撑各上层应用系统的能力。

通过工作台、区块链应用管理、业务合约、链上数据开放、链上资产管理、系统设置、数据上链管理、链上凭证、数据比对、数据模板管理、权限管理以及其他相关功能等服务，实现区块链与场景的结合。

6 结束语

本文提供一种农业先进适用技术社会化服务平台，通过面向农业大数据的可视化表达、供需精准匹配和多终端服务推荐的技术研究，并基于大数据可视化、机器学习等技术针对农业社会化服务供需对接场景进行研究分析和开发。基于区块链技术结合差异化托管服务模式对整个农业服务的全流程进行跟踪，便于需求方可以实时了解到社会化服务流程的最新进展。