数字乡村大数据平台设计与应用

孙想 吴华瑞 郭旺 李庆学 彭程

摘要：在实施乡村振兴战略、推动数字农业与数字乡村发展的时代背景下，为了提高乡村数字化建设效率，运用物联网、系统协同、人工智能等手段获取村镇基础设施、自然环境、社会经济、生产技术、商贸物流、社会保障、基层治理等动静态数据，构建数字乡村大数据平台。平台基于“数据中台-业务前台”服务架构，支持多用户定制、数据多维分析和多业态服务扩展，实现产业兴旺、生态宜居、乡风文明、治理有效、生活富裕5个系统，通过乡村大数据管理、挖掘和决策分析为村镇管理部门、经营组织和农民提供个性化服务。该平台已成功应用于多个乡镇，为乡村产业经济发展、农民生活品质提高和基层治理能力提升提供一种开放、高效的信息化解决方案。

关键词：数字乡村;大数据;平台;技术架构;实现路径;感知体系;服务

中图分类号：S126   文献标志码： A

文章编号：1002-1302（2021）18-0181-08

收稿日期：2021-06-19

基金项目：国家重点研发计划（编号：2019YFD1101105）。

作者简介：孙 想（1974—），女，天津宁河人，博士，研究员，主要从事农业智能系统研究。E-mail：sunx@nercita.org.cn。

通信作者：吴华瑞，博士，研究员，主要从事农业智能系统研究。E-mail：wuhr@nercita.org.cn。

在国家乡村振兴战略实施和数字经济快速发展的时代背景下，党中央、国务院高度做出实施大数据和数字乡村战略、大力推进“互联网+”现代农业等一系列重大部署，以缩小我国城乡“数字鸿沟”。随着物联网、移动互联网、云计算技术的快速发展，乡村管理与服务数据呈海量增长趋势，这些数据具有领域涉及广、涵盖链条长、时空关联特点显著、尺度与粒度多样等特点[1]。如何利用这些数据，为乡村振兴提供服务是摆在我们面前的重要课题。利用大数据贯穿乡村“产业兴旺、生态宜居、乡风文明、治理有效、生活富裕”各个环节，关联“基础设施、自然环境、社会经济、生产技术、商贸物流、社会保障、基层治理”全要素，通过生产、生活、服务、管理等数据一体化管理与协同服务，为管理人员提供乡村跨域服务与治理全息数据决策，为乡村用户提供精准画像与个性化服务，是未来支撑乡村智慧化、现代化发展的有效途徑。

大数据通过收集种类繁多、范围广泛的信息资源，挖掘获得隐藏的有价值的信息，为乡村治理和决策行为提供全息数据支撑，推动乡村治理的决策模式由经验决策向数据决策转变，提升乡村的应急管理能力。国内外农业农村大数据的研究重点主要集中在数据感知采集、存储管理、监测与预警、数据挖掘与智能决策、平台构建与应用综述等方面[2-3]。采用物联网、社交网络交互、移动互联网、遥感卫星、无人机等途径，实现乡村大数据采集和高效汇聚管理，采用数据关联挖掘和预测技术对数据进行分析，分析结果通过时间符号、地图对比、时间统计图、时间线、动画等方式进行可视化展示[4-6]。数字乡村实践主要在乡村网络基础设施建设、信息进村入户工程推进、农业物联网技术应用、农村电商发展、农业农村大数据建设等方面取得进展[7]。当前，全国农村“放管服”电子审批初见成效，“互联网+基层党建”、平安乡村数字化平台、“网格化+云平台”“腾讯为村”“数字龙江”等智慧乡村治理模式应用形成试点，加快推进了乡村治理体系现代化建设。但数字乡村建设过程中，涵盖村镇各环节业务的数字化平台建设缺少相关技术体系、标准规范体系、共性支撑体系借鉴，基层政府数字化建设缺少方案支撑。该研究围绕乡村振兴的实施目标，提出了国家、省（市、区）、地市、县（市、区）、乡镇全覆盖的乡村振兴大数据管理体系，建立了数字乡村大数据平台设计方案，阐述了平台实现相关的核心关键技术，为我国数字乡村建设提供支撑。

1 平台体系框架设计

1.1 总体架构设计

平台通过对乡村基础设施、自然环境、社会经济、生产技术、商贸物流、社会保障、基层治理等数据的实时、动态、全面的感知传输与智能处理分析，使得产业发展、治理决策、居民服务、设施配置、资源摸底更加科学精准。从图1可以看出，大数据贯穿乡村振兴“产业兴旺、生态宜居、乡风文明、治理有效、生活富裕”5个方面，平台包括基础设施系统、数据资源体系、应用支撑体系、应用服务体系、保障体系和大数据试点等内容。

1.1.1 基础设施系统 构建涵盖全面物联网感知、基础网络和计算存储资源数据计算云的集约化数字村镇基础设施支撑体系，为新型数字乡村建设统一提供计算、存储、网络、物联感知等资源服务。

1.1.2 数据资源体系 建设数字乡村数据库系统，包括数字乡村数据资源体系、数据共享开放服务和共性支撑功能服务，汇聚村镇部门数据、基础数据、专题数据，涵盖数据接入、数据管理、数据汇聚、大数据指标、数据定制服务等，打造数字乡村大数据服务的大脑和中枢，构建信息开放集成环境，支撑应用系统集成和跨部门跨领域信息共享和业务协调。

1.1.3 应用支撑体系 通过大数据分析模型、平台用户主体画像、智能推荐、视频图像AI、知识图谱、智能问答、智能检索、大数据产品等为数字乡村赋能;建立基层治理体系、公共服务体系、监测预警模型和决策分析指标体系，形成业务模型库;时空数据一张图，融合多来源村镇数据，实现图属一体化查询、统一的地图服务和空间拓扑分析;统一认证体系，屏蔽各系统域，实现统一认证、统一授权、统一审计，实现单点登录;并支持与其他业务系统的接口接入，提供数据和系统接入服务。

1.1.4 应用服务体系 围绕数字乡村试点业务管理部门、新型经营主体、村委会等用户开展业务需求分析，确定业务管理和服务流程，进行本地化定制开发，不断完善和丰富平台业务内容。

（1）产业兴旺。包括农技推广、无人化生产作业、云直播产业服务、生态旅游展示推荐、一镇一业、一村一品、农业社会化服务。

（2）生态宜居。包括环境空气、饮用水源监测、生态能源监测、绿地智能管控、废弃物回收管理、生态环境全景VR。

（3）乡风文明。包括规划建设、移风易俗、村落全景、田园综合体、特色小鎮、乡土文化保护。

（4）治理有效。包括人居环境治理、党建引领、村民自治、“三务”公开、福利保障、平安乡村、资源底牌。

（5）生活富裕。包括就业医疗卫生、便民服务、农产品进城、生活品下乡、村经济管理、教育培训。

1.1.5 试点建设 支撑全国“互联网+大数据”数字乡村试点的建设，提供资源精细化管理、产业带动增收、生态宜居、人居环境治理等典型解决方案。

（1）受益对象。县（市、区）管理部门、乡镇（街道）管理人员、村（社区）基层人员、村民、经营主体等。

（2）服务通道。通过管理后台实现数据台账的管理，通过网站进行信息的发布，另外就是手机小程序、问答机器人、村镇服务e站、移动采集APP等。

1.1.6 平台保障体系。强化四大保障，保障平台长效运维

（1）标准规范体系。建立满足新型村镇信息化建设需求的标准规范体系。实现数据、业务、技术、安全规范体系支撑。

（2）运营推广体系。实现团队、章程、资源、方案的规范管理，部门遵循集约建设、共建共享、互联互通原则，按照统一规划、技术标准推广。

（3）政策制度体系。以县（市、区）、乡镇乡村建设法规、政策、制度为依托，形成数字化管理支撑制度体系。

（4）组织保障体系。为平台运行提供人才、机构、资金支撑。

1.2 数据中台架构设计

乡村大数据是指在乡村生产生活管理和服务过程中产生的具有潜在价值的、动态海量、多类型的数据，其来源广、内容丰富、结构复杂，涉及基础设施、自然环境、社会经济、生产技术、商贸物流、社会保障、基层治理各个方面，数据来源以乡镇部门和村委会数据为主，以历年统计数据为底，另外还涵盖物联网实时数据，以及业务系统集成、互联网挖掘、第三方共享等。

在数字乡村建设过程中，通过建设数据中台（图2），打造乡村大数据生态环境，推动大数据在数字乡村建设中的应用。通过数据中台提供的大数据技术工程能力，快速将乡村各个领域的分散数据进行汇聚整合，通过数据中台提供的全域数据管理能力，集成应用终端为乡村振兴提供精准治理、惠及全民个性化智慧服务。

2 平台关键技术与实现路径

2.1 数据的感知

数字乡村的治理与服务离不开对态势数据的感知利用。通过物联网技术实现乡村生态环境、村庄安全、全产业链追溯、人居环境治理等场景感知和互联，通过实时数据感知分析提升决策效率及精度。

（1）数字乡村建设中物联网设备通常包括天线基站、路灯照明控制、视频监控管理、广告屏播控、社区、农田、景区环境实时监测、入户小喇叭广播、一键紧急呼叫、水质、水位监测、井盖监测、农业设施监控、冷链仓储物流监控等，通过物联感知手段提升公共安全、乡村管理、道路交通、生态环境、农业生产作业等智能感知水平（图3）。

（2）建立数字乡村时空基础设施，实现以乡村为单元的遥感遥测、移动定位、激光雷达等各类地理空间数据和时空大数据的统一标准、统一汇聚和统一服务，构建乡村空间形态典型模式提取及应用服务[8-9]。

（3）建立开放式数字乡村感知处理系统，通过系统建设标准、设备接入标准、数据共享规范、服务标准、业务标准，实现感知设备的规范化接入和数据汇聚，支持新型智能终端接入应用，结合互联网数据，支撑数字乡村全量信息视图的构建（图4）。

2.2 数据的集成

数字乡村建设涉及的数据类型包括实时消息类数据、结构化报表和属性类数据、非结构化文本图片、视频语音流式数据等， 采用Spring Batch的系统构架+弹性可扩展分布式内存数据管理平台VMware vFabric Gemfire+开源的Services框架Apache CXF进行多源异构数据集成整合[10]，主要包括3个阶段。

2.2.1 数据批量读取 批量高速读取乡村业务流程上的所有数据，包括人口、经济、产业、企业统计数据，一站式居民服务、基层治理业务管理事务数据，物联网实时监测、农产品市场交易流式数据，存入中间高速缓存中。

2.2.2 数据整合与映射 利用映射处理器将文件数据映射成对象数据，根据数据类型适配不同的数据处理器，将高速缓存中的服务信息、治理流程、实时监测、农产品交易等不同类型数据一一映射到不同数据处理器，调用对应的服务进行数据处理并存入相关数据库表，与业务数据建立关联关系。

2.2.3 数据计算与存储 根据“产业兴旺、生态宜居、乡风文明、治理有效、生活富裕”上层业务应用需要，建立DAO服务接口，支持Gemfire、jdbc、hibernate、jms的访问和数据存储，实现过程数据的服务发布。

2.3 数据的分析

围绕数字乡村大数据分析需求，利用统计分析、决策树、神经网络、模糊数学、图像识别、知识学习、时空关联分析等数据挖掘、预测模型、可视化分析方法，面向乡村管理部门、经营组织等用户，提供统一调度、高度集成的发展监测、预警处置、决策分析大数据分析服务，为乡村现状和发展趋势提供持续的跟踪、监测、评估和分析辅助决策支撑，村集体资产监测分析实例见图5。

2.4 数据的服务

2.4.1 农民服务数据图谱

分析乡村振兴大数据用户服务需求，前面提到平台受益用户包括县（市、区）管理部门、乡镇（街道）管理人员、村（社区）基层人员、村民、经营主体等，在数据感知、管理、分析基础之上，需要根据用户的需求提供个性化精准信息服务。从数据全生命周期服务用户角度出发，本研究构建了基于知识图谱的不同用户的数据服务模型（图6）。

选择具有典型代表性的居民生活、生产、保障、安全等服务相关概念及其特征词建立本体逻辑描述模型，抽取资源中的类/实体、属性-值、关系、实例，形成图谱库。本研究针对不同的知识源类型采用不同的抽取方法。对于无结构的纯文本知识，采用弱监督机器学习的增量迭代抽取方式。网页中表格等半结构化知识，使用基于封装器（wrapper）的抽取方法。数据库属于结构化知识，通过D2R（relational database to RDF）映射方法转化为图谱中的链接数据。

本研究建立了村民用户从出生到终老可获得的数据服务图谱，并给出了参与土地流转管理的图谱片段。在土地流转过程中，首先涉及农民个人基本信息，尤其是户籍信息影响土地的确权分配;其次户主进行承包地确权登记，并获得确权证，包括土地编码、面积、地理位置等确权信息[11];如果土地流转了，还涉及到流转类型、对象、合同内容和收益等。基于农民服务数据图谱，可以为农民提供各个阶段的精准信息服务。

2.4.2 镇村基层治理网格数据图谱

借鉴农村社区网格化管理模式，整合村镇党建、民政、卫生、计生、农经、综治、司法、教育、土地等各个部门事务大数据，以乡村社区或村民小组为网格管理单元，以网格内各种要素对象为管理内容，以网格员（保洁员、农技员、管水员、护林员、统计员、治安巡防队员等）为感知触角，采集具有时空属性的公共事务治理数据，进行快速分析和反馈处理（图7），服务器采用GIS空间化处理，实时对县域、镇域网格内人口、经济收入、环境气象、突发事件、自然灾害等具有时空尺度和多维属性特征信息的数據进行自动提取;另外，对行政区域信息、公共服务设施、地质灾害隐患点、宅基地、产业分布、安全监控点等基础地理信息和属性数据按照空间数据模型进行高效的索引处理、空间关系和属性关系关联计算，实现可视化化管理、科学配置决策和应急处置。

2.4.3 乡村产业数据图谱

智慧生产、精准营销是农民增收的有效手段，农业产业发展、农村合作经济数据是区域经济发展宏观决策的基础，通过农产品生产经营、农业产业发展大数据建模分析发现潜在的数据规律，提供统一调度、高度集成的大数据模拟预测服务，指导乡村产业兴旺发展。从生产经营者角度，建立模型模拟农产品生产规划、质量安全、气象条件、长势、上市期及产量等影响因素之间的潜在关系，指导科学生产，实现高效增产。从区域管理角度，集成农产品生产、市场销售、消费需求与产量、进出口贸易等数据进行建模分析，发现农产品市场运营规律，可感知市场异常波动、及时预警突发事件、提前防范农业风险等。

农村产业数据图谱主要涵盖农业生产、农产品市场、产业发展、农村合作经济4个子图谱。其中农业生产图谱依托农业学科和专业词汇库，融入气象、环境、土壤等物联网实时数据，将品种、栽培、植保、水肥、采收等环节数据进行关联，形成标准化生产技术指导方案。如作物病害知识图谱，并将病害实体与相关的图像、视频数据智能关联，让农民了解病害的发生原因及规律、不同时期不同发生部位的病状特征、标准化防控方法、所需药物和对应剂量等知识内容。

农产品市场图谱关联农产品品牌、规模、价格、进出口、生产资料、成本等数据，为区域农产品市场预警、行情和成本分析等提供支撑（表1）。

3 乡村振兴大数据平台定制应用

基于“平台上移、服务下延”的思想，基于支持低成本、易扩展、可复制的支撑平台总体框架、标准规范体系和云平台部署运行框架，以移动智能应用为主，以用户交互优化和实用性为前提，基于微服务理念的“大中台、小前台”平台架构的乡村振兴大数据平台，通过可视化数据定制、功能定制工具，承载多个示范点乡村振兴个性化大数据服务系统。

3.1 平台应用实例分析

3.1.1 数据指标建立

首先围绕平谷大华山镇乡村振兴大数据服务核心需求，建立了涵盖基础设施、农村资源、人口经济、产业发展、教育医疗、社会保障、公共服务等一级指标的大华山镇乡村振兴数据指标体系，为数据采集管理及分析提供基础支撑。

依据数据分析支撑要求，按照数据的采集方式与影响程度，可将其分为动态指标、静态指标和关联指标3类。

（1）动态指标。在乡村产业发展分析中指标值随时间变化而发生变化，如人口、劳动力、农资供应、农机动力，大桃种植面积、品种、树龄、株数、产量、销售价格等，这些指标数据的变化可以直接指示生产效益的变化。

（2）静态指标。在乡村公共服务设施配置分析中指标本身不会轻易随时间变化而发生变化，如医院学校配置、健身广场、机井配置、大桃交易市场等，这些指标值涵盖了乡村公共服务状态的主要影响因素。

（3）关联指标。需要进行二次解译或计算，转换成能够直接用于分析的数据，如生产环境、气象条件、土壤墒情、病虫害发生、化肥使用、疏花疏果等对产量的影响。

3.1.2 数据采集分析

采用在线交互式的乡村社区网格单元划分与扁平式村、组、户编码方法，实现以网格为单元的突发事件、环境问题、生产需求、市场销售等多源信息的采集、展示和快速分析，通过网格管理服务流程设置与流程优化，使得村镇社区公共服务更加高效便捷。以桃产业数据采集为例，网格员采集小程序和桃产业数据（图8），通过桃产业地图可获得上市期品种分布、产量预测，为桃产品镇村统一销售提供数据支撑。

4 结论

本研究分析了数字乡村建设现状，结合我国乡村振兴数字化技术发展趋势和当前的任务要求，分析乡村振兴大数据平台的业务架构，并给出了大数据感知、处理和分析的技术框架，同时结合未来业务场景分析了核心业务技术实现路径，支持多用户定制、数据多维分析和多业态服务扩展，该平台已成功应用于多个乡镇，为乡村产业经济发展、农民生活品质和基层治理能力提升提供一种开放、高效的信息化解决方案，为依托新技术赋能乡村振兴大数据平台试点应用和个性化定制服务提供支撑。

参考文献：

[1]钱建平，吴文斌，杨 鹏. 新一代信息技术对农产品追溯系统智能化影响的综述[J]. 农业工程学报，2020，36（5）：182-191.

[2]孙 想，吴华瑞，朱华吉，等. 蔬菜产业大数据平台应用研究[J]. 北方园艺，2020（20）：154-162.

[3]顾 颖，祁小敏. 基于GIS的南京市农业大数据可视化平台建设[J]. 山东农业大学学报（自然科学版），2020，51（4）：702-704.

[4]任 燕，崔庚彦. 基于智能制造和大数据挖掘的农机数字化设计研究[J]. 农机化研究，2022，44（1）：233-236，241.

[5]颜 烨，张学文，王立婧. 基于迭代MapReduce的混合云大数据分析[J]. 计算机工程与设计，2021，42（4）：1028-1035.

[6]陈铭峥，吴 勇.基于WebGIS的非物质文化遗产信息展示系统设计与实现[J]. 测绘与空间地理信息，2020，43（10）：68-71，76.

[7]郭美荣，李 瑾. 数字乡村发展的实践与探索：基于北京的调研[J]. 中国农学通报，2021，37（8）：159-164.

[8]李宗艺. 基于时空间行为的村镇居民生活空间研究：以龙门县3镇（乡）为例[D]. 广州：华南理工大学，2020.

[9]蒲继涛. 基于产业适宜性评价的乡村产业空间布局规划优化研究：以邛崃市平乐镇关帝村为例[D]. 成都：西南交通大学，2017.

[10]朱铮雄，黄宇青. 基于Spring Batch+Gemfire+CXF的金融大数据集成和整合[J]. 计算机应用与软件，2020，37（8）：27-32.

[11]邬锦雯，孙静蕾，邬美玲. 基于智能手机的农村土地产权流转信息平台开发[J]. 江苏农业科学，2021，49（6）：188-195.