基于大数据的食品追溯平台的设计与实现

张嘉伟

（广东兰贝斯科技有限公司，广州 510160）

食品安全问题是民生之本，食品从生产到流通的各个环节产生庞大的数据，如何对食品有效跟踪和追溯，是社会普遍重视的焦点问题。本项目基于大数据将各类海量的食品数据聚合起来，并通过数据融合将离散的数据需求聚合成数据长尾，为政府或食品相关企业的运营管理提供高效、稳定、专业的数据检索和建模分析服务，为食品安全监管及行业经营决策提供直观、精确、实时的数据支撑。

1 平台架构设计

基于大数据的食品追溯平台包括“云”“网”“应用”三端建设，分别为：基于互联网的云数据库、基于物联网的终端采集设备，以及对食品数据进行传输、存储、处理、分析应用等的追溯应用，包括数据源、数据采集、数据存储、分布计算、建模应用五个部分，其中：数据源层定义大数据平台可接入的数据来源，采用Apache Hadoop数据库实现海量数据的低成本存储，为超长时间的海量历史数据存储和使用提供基础支撑，存储业务数据、日志数据和互联网数据，数据载体有业务库、数据仓库、ODS、文档库、爬虫库五种模式；数据采集层实现通过多种技术手段进行数据采集，对终端数据通过二维码、电子标签（EPC标签）、RFID读写器（PDA）、智能传感器等智能物联网采集生产运输环境中的实时视频、温度、湿度、位置信息、辅助定位等数据，对其他来源的数据则根据数据特点分别通过FLUME技术实现对流式数据的采集，通过FTP技术实现对文件数据的采集，通过Sqoop组件实现对数据库的采集，通过Crawler技术实现对网络数据的采集；

数据存储层实现数据的分布式可靠全存储管理，主要应用的是HDFS中的HIVE和HBASE等列式存储数据库；分布式计算层主要是通过多种数据组件完成计算任务，如应用SPARK技术进行实时计算，应用MapReduce实现批量分布计算等；业务应用层结合溯源管理工作的需求，从业务的角度进行数据处理、业务建模分析工作，主要包括数据搜索、展示和主题分析等。

2 平台应用设计

2.1 食品数据存储系统

系统汇集存储包括追溯系统内部数据以及第三方数据的各种来源的海量数据，来源方式包括关系型数据库数据、数据仓库数据、实时数据、文件数据、图片数据等，平台通过应用Hadoop分布式文件存储集群架构及Hbase与Spark等在线高速计算分析算法，全面支持PB级别的数据存储和秒级别的数据计算，并实现灵活地进行计算和存储节点的扩展，大大提高平台的存储和计算能力。

2.2 食品数据采集系统

应用数据库、消息、文件、服务、API等多种数据采集适配技术手段将分散的、异构的各种补充食品数据从生产商、销售商和消费者那边进行实时收集，并经过拆解、过滤、分析转换、数据整合等预处理后清洗进入大数据平台，实现多源异构数据整合的实效性，完整性及准确性，为后期大数据的关联、分析、共享以及挖掘打下基础。针对不同的数据采集要求，采集引擎提供了不同的解决方法，如对于实时性要求较高的业务数据、状态信息等通过数据查询服务或者消息通知的方式获得；对于实时性要求不高文档处理或分析数据则基于增量日志分析的方式定时更新采集；对于数据量巨大的数据也提供了基于文件传输机制的方式提供。

2.3 食品数据搜索系统

将追溯链中收集的大量数据通过ES架构平台进行索引并实现秒级的搜索查询，可涵盖多种索引策略、智能检索辅助、内容相关度排序、搜索结果不同维度排序及过滤等功能，对搜索关键词进行智能解读和翻译，实现结构化数据和非结构化数据的联合检索，实现T数量级的次秒级搜索性能及99%以上的搜索准确度，并可在对生产数据库无损耗的情况下，实时数据更新并同步索引，保证查询结果信息的准确性和实效性。同时还可对用户搜索的情况进行全面多元的统计分析，给出搜索热词频率、点击量、分布等分析报告。

2.4 食品数据展示系统

借助图形化的手段，通过领先的技术手段与创意高度，对接大数据分析结果，提示实现各类数据的图形化，图像化展示，清晰有效地传达与沟通，构建完整的数据可视化展示体系。

2.5 食品大数据分析主题模型

实现了食品生产数据分析主题、食品物流数据分析主题、食品零售数据分析主题和食品消费数据分析主题。1）食品生产数据分析。平台通过对种食品生产数据进行多维分析，对良种选育、田间管理、设备采购、疫情防范等方面提出有效措施，合理调整食品的生产结构及规模，确保食品生产过程安全可控等。2）食品物流数据分析。食品物流数据包括食品的采购、仓储、运输、配送等，每个环节的动作都会产生海量的数据，对这些数据的分析后指导流通过程，可有效提高效率并降低成本，如利用历史采购数据来挑选优质食品供货商可降低采购成本；结合地图数据综合分析实时路况信息，合理规划行车路径，充分利用挖掘社会运力可大大降低运输成本；基于物联网数据进行仓储库存控制、储位管理、货物分拣等方面的智能化可明显降低仓储成本等。3）零售数据分析主题。零售商通过平台，对购买零售商品的消费者行为路径及偏好进行记录，生成用户画像，并为每个个体定制选择合适的营销策略，提升消费者的购物体验。系统还打通线上线下渠道，根据画像构建客户关系管理系统，增加用户粘性。