浅析计算机数据挖掘技术在食品安全风险评估系统中的应用

文 刘然 程曼 天津电子信息职业技术学院

1.研究背景

食品安全是关乎民生、涉及国家经济、社会稳定发展的重大事项，是人民生命健康的基本保障，然而近年来食品安全事件频有发生，不但对人民的生命财产安全造成了不可弥补的损失，而且对社会经济发展造成了极坏的影响。为了有效减少和及时预防此类事件的发生，食品安全风险评估工作就成为监管部门的重中之重。然而目前由于食品种类繁多，人力物力不足和技术水平有限，无法发现检测数据之间的潜在联系，对检测结果的利用率低，存在数据浪费的情况。近年来，数据挖掘技术得到了快速的发展，并且数据挖掘技术能够对系统中海量的数据进行分析，迅速发现数据之间的相关联系，将数据挖掘技术应用于食品安全风险评估系统能大大提高提高风险评估工作的效率。本文分析了数据挖掘技术应用于食品安全风险评估系统的可能性和应用意义，描述了数据挖掘技术在食品安全风险评估系统的详细运用，为数据挖掘技术应用于食品安全风险评估系统提供参考方向。

2.数据挖掘技术研究现状

2.1 数据挖掘技术产生的背景

数据挖掘是指在计算机领域通过统计、在线分析处理、机器学习等算法技术从大量杂乱无章的数据信息中发现隐含在其中潜在价值信息的过程。数据挖掘技术的产生伴随着数据库系统和网络技术在各行各业的广泛应用，过去数据库的作用仅仅是保存一些简单的数据，20世纪90年代后数据库技术进入蓬勃发展时期，开始储存、管理计算机产生的各类复杂数据。为此，数据库的信息逐渐呈现出海量信息的特征。人们逐渐意识到利用好海量信息可以带来很大的经济效益和社会效益，但却面临着有效信息难以提取和有用知识容易丢失的难题，无法发现数据中存在的关系和规则。为了解决上述境，数据挖掘技术开始产生，当前数据挖掘已经成为人工智能和数据库算法的热点研究领域。

2.2 数据挖掘技术的类型

按照目前学者的研究，数据挖掘可以分为描述性数据挖掘和预测性数据挖掘。描述性数据挖掘即从杂乱无章的数据中查找联系和规则，进一步客观的描述数据所属对象的联系，例如：分析网民年度消费偏好。预测性数据挖掘即从当前数据中的查找联系，通过某种规则或顺序表达出来，形成预测结果，如网上购物商城分析客户购买行为之间的联系，在主页中推荐客户可能购买的商品，进而提高商城营业额。数据挖掘也可以分为有指导的数据挖掘和无指导的数据挖掘。有指导的数据挖掘是指利用分类、估值和预测等方式将可利用的数据建立模型，从而进行数据挖掘活动。无指导的数据采取相关性分组、关联规则和聚类等方法在数据中寻找关系和规则。

2.3 数据挖掘技术的主要方法

近年来，数据挖掘有了长足发展，演变出多种方法对数据进行挖掘，包括分类、回归分析、聚类、关联规则、特征分析、偏差分析、Web 页挖掘等，这些方法从不同的角度对数据进行挖掘，从海量数据中找到人们认为有用的信息，为各行各业的发展提供了一定的帮助。

3.数据挖掘技术应用于食品安全风险评估系统的可能性

近年来，食品安全风险评估逐渐引起人们的重视，我国于2011年成立了食品安全风险评估中心对食品污染物和有害物质进行监测和评估。目前食品安全风险评估工作已经在全国广泛开展，各类风险监测技术机构已有上千家，形成了涵盖食品生产、流通所涉及的原料、辅料、成品和包装等领域已达百万级的数据。但是，由于我国食品安全管理部门涉及多个部门，而每个部门又都有自己的信息系统，导致数据无法畅通共享，存在很严重的安全隐患和资源浪费现象。另外，在食品安全风险评估方面也没有较好的算法系统，不能真正做到防患于未然。从这几个方面讲，传统的办法已无法满足当今社会对食品安全风险评估工作的需求，而计算机挖掘技术的诞生就是为了处理海量数据，可以快速找到杂乱无章数据中的关联，从而发现潜在的食品安全风险，为全面迅速开展食品安全风险评估工作提供了可能性。

4.数据挖掘技术应用于食品安全风险评估的意义

4.1 解决食品安全评估系统多种数据库之间数据不能共享问题

食品安全风险评估中心是通过分析农业、卫生等多部门收集的信息统筹研判我国食品安全总体形式，这就意味着食品安全风险评估系统的数据来源多个部门和机构，而事实上各级各类机构的信息系统基本都是根据自身工作需求进行设计的，在功能和界面上存在较大差异，各个系统数据存储方式、处理方式也不尽相同，数据共享存在一定难度，导致我国食品安全评估系统信息存在巨大漏洞。数据挖掘技术可以很好地解决多种数据库之中数据难以处理的问题，大大提高食品安全数据的利用率，提升食品安全风险评估系统的准确度。

4.2 解决食品安全风险评估系统难以处理海量数据的问题

目前，食品安全风险评估工作已经在全国范围内开展，不仅形成了国家、省、市、县四级监测系统，而且各类食品安全风险监测机构也在迅速增加，涵盖了食品从农田到老百姓餐桌的各个环节，食品安全风险评估工作采样、检验和网报能力持续加强。但是这也导致食品安全风险评估系统中的数据每天在以难以想象的速度增加，并且按照国家标准各类食品安全监测信息的保存期限有的长达15年之久，传统的数据管理系统难以分析如此海量的数据，而利用数据挖掘技术，食品安全风险评估系统可以在既定算法程序的运行下迅速从大量数据中发现危险信息，及时发出警报。从这一方面上看，数据挖掘技术可以解决食品风险评估系统面临的数据庞大的难题，极大提升食品风险评估工作的工作效率。

4.3 提升食品安全风险评估监测数据的利用率

食品安全风险评估系统的输出结果都基于食品安全风险监测数据，合理利用食品安全风险监测数据是有效开展食品安全风险评估工作的重中之重。然后，由于食品数目种类和影响食品安全的因素众多，涉及面极广，各种原材料和各环节之间某一方面存在食品安全危险因素都将影响最终产出食品的安全性。所以，食品安全风险评估必须对每一种原材料和每一生产环节之间的联系进行分析。然而，事实上食品安全风险评估系统所使用的传统数理统计方法只能对现有数据进行简单分析，无法发现食品安全风险评估检测数据中有价值的潜在联系，导致食品安全风险评估检测结果利用率低，存在严重的数据浪费情况，而在食品安全风险评估系统中引入数据挖掘技术可以深度挖掘食物原材料、生产加工环节之间的关系，及时发现食品生产加工环节的安全隐患，大大提升食品安全风险评估系统的功能性。

4.4 降低食品安全风险评估工作成本

传统食品安全风险评估系统数据库之间的关系模型非常复杂，在执行运行任务时常常会降低系统性能，导致处理任务耗费时间过长，在处理大批量任务时甚至会出现宕机状况。为处理传统食品安全风险评估系统的弊端，以往的解决办法是不断增加硬件设备，导致食品安全风险评估工作的时间成本、维护成本、人工成本过高，并且不能从根源上解决问题。现代数据挖掘系统可以通过软件设施升级，解决系统运行过慢的问题。此外，数据挖掘技术还可以在食品安全风险评估系统运行过程中对系统进行维护，实时对各类食品安全检测数据和评估结果进行分类管理，从而大大降低了食品安全风险评估工作的成本。

5.数据挖掘技术于食品安全风险评估中的运用

5.1 食品安全风险评估系统检测数据采集的运用

进行食品安全风险数据挖掘分析最基础、最关键的就是数据的质量问题。食品安全风险评估使用的数据主要来源于各级各类食品安全风险评估中心以及其他食品安全相关行业的检测数据。各个业务系统中，数据往往没有统一定义，数据结构通常也存在区别，难免产生数据不一致的情况。数据挖掘技术可通过统一的数据抽取接口，抽取出逻辑清晰且方便后期食品安全风险评估工作所使用的数据类型。除此之外，数据挖掘技术还可以智能解决数据冗余、数据值缺损、数据含有错误或者歧义的问题，保证基础数据的逻辑正确。在得到基础数据后，数据挖掘技术通过数据泛化、属性规约、聚集和特征值构造等数据变换技术，将基础数据变得更加可视化，为缩短后期挖掘算法所需要时间、提高数据挖掘效果奠定基础。

5.2 食品安全预警风险评估智能分析运用

食品安全风险评估系统最重要的功能就是准确分析潜在的食品安全风险。数据挖掘技术可以通过反复训练，根据风险因子库的要求建立最科学稳定的模型，之后食品安全风险评估系统就可以按照既定算法计算出食品的安全权重值，随后数据挖掘技术迅速将计算出的食品安全权重值与评估系统中预设的专家库、标准库、不良反应知识库进行模糊分类分析和模式识别分析，最后根据食品质量等级的变化趋势和波动推算出该产品的风险评估等级，做出风险评估预警。另外，数据挖掘技术在食品安全风险评估系统中还可以根据某一安全风险较高的食品关联与该食品原料、加工、储存环节存在交集的食品，快速发布相关信息，及时对关联食品进行全过程安全风险评估监测，确保第一时间发现所有可能的食品安全风险。

5.3 食品安全风险评估系统管理运用

传统食品风险评估系统管理功能比较简单，因此，在开展管理运行工作时需要耗费大量的人工。数据挖掘技术应用于食品安全风险评估系统后，管理员可以通过系统发布风险评估任务，直接将任务发送至下级部门，任务将直接下达至个人或相关科室。相关人员登陆账号即可查询待处理的工作任务，在上传检测结果和评估结果时可以选择表格、图片和文档等多种格式，系统将自动提取其中微生物、菌落数、致病菌、添加剂、重金属、理化指标、农药残留等有效信息，对于不合格的数据将标注原因打回原地，合格的数据系统将自动编号保存，同时系统将存储的数据实时备份，并提供数据恢复机制，以应对突发事件造成的数据丢失，确保数据安全。数据挖掘技术的应用满足了食品风险评估系统可扩展性、高可靠性、可维护性、安全性、易用性需求，为管理者提供了更便捷的操作方式，发挥了计算机挖掘技术的优势。

结束语

总而言之，随着我国现代信息科技的快速发展，食品安全风险评估领域已经实现信息化。与传统的食品风险评估系统相比，数据挖掘技术更适用于当今社会食品安全风险大数据的分析，能更快、更全面地反映食品安全风险状况。然而，数据挖掘技术是一门涉及面广、专业性强、技术难度大的交叉学科，需要各方人员相互配合才能做出更适合食品安全风险评估的数据挖掘算法。因此，食品安全风险评估部门要给予足够的重视，促进计算机数据挖掘技术在食品安全风险评估系统中的深入应用。