数据挖掘在进口食品质量安全检测中的运用分析

＊腾克 王震

（1.内蒙古自治区市场监督管理审评查验中心 内蒙古 010010 2.满洲里海关技术中心 内蒙古 021400）

近些年来我国经济水平快速发展，大量的进口食品涌现在人们的饭桌之上。随着进口食品的日益丰富，随之而来会产生各种各样的问题，使得人们开始对进口食品质量安全问题越来越重视。这些进口食品所存在的众多食品安全问题，对于我国目前食品监督和检测机构而言面临着巨大挑战。一方面是进口食品越来越丰富，种类越来越多，另一方面是我国食品监督检测机构还没有完全适应互联网时期进口食品发展的新趋势。这就使得采用现代化的技术手段，尤其是数据挖掘技术作为传统的进口食品质量安全检测的重要补充，成为必然选择。作为进口食品质量安全检测工作者，要能够应用现代化的科学技术手段，尤其是数据挖掘技术对进口食品质量安全进行检测，能够通过科学有效的甄别那些不符合我国卫生标准的进口食品，从源头上把握与控制，使其最终不能进入我国的市场流通环节，这样才能够更好的促进我国对于进口食品质量安全检测工作的实效性。

1.数据挖掘的概念界定

数据挖掘技术最早源于计算机技术发展领域。二十世纪九十年代，伴随着科学技术的快速发展，尤其是数据库技术在各个领域之中的广泛运用。各个领域之中的大量数据被以数据存储的形式存储在各种各样的数据库之中。这些数据的存储形式与传统的数据存储形式不同，它包括了大量的图片、视频、电子数据等等。同时，计算机的快速发展也使得检索技术变得越来越便捷，这为数据挖掘提供了重要的硬件条件。大量的分门别类的图片视频，电子等各类电子数据，伴随着互联网的无限扩张，出现了“数据大爆炸”现象。如何合理的运用这些大量的数据？使这些大量的数据能够服务于人们的生产活动与生活活动。大量的学者与专家进行了深入的研究。在研究过程之中，部分专家与学者认为简单的通过计算机对于海量数据进行输入、查询与汇总并不能够得到有效的信息。但是，如果能够对这些信息进行统计与研究则可以达到部分预测未来发展趋势作用。由此，数据挖掘技术得到了普遍的认知并广泛传播。

2.进口食品质量安全检测数据挖掘过程

从进口食品质量安全检测数据的挖掘过程来看，可以大致分为以下几个具体步骤。

（1）数据挖掘目标。数据挖掘目标的确定是最终实现进口食品质量安全检测准确与否的重中之重。明确数据挖掘目标能够使进口食品质量安全检测数据更为精准。数据挖掘目标的确立，要明确进口食品质量安全检测的基本工作流程、进口食品质量安全检测的影响因素、采用何种数据挖掘手段与算法、构建明确的数据模型、采用何种手段来保证数据挖掘的成功。

（2）数据的具体收集。对于进口食品质量安全检测之中所需要的数据进行有意识、有目的的具体收集工作将是提高进口食品质量安全检测工作时效性的重要环节。从数据挖掘的具体收集工作来看，进口食品质量安全检测数据所要发掘的数据目标是指按照《国家食品安全监督抽检实施细则》，熟悉细则之中对于食品安全抽检工作所涉及到的食品安全监督抽检要求，同时，数据收集时可以结合国家质量监督检验检疫总局所公布的进口食品检验信息表进行引入与运用（例如，可以将相关数据导入SQL server数据管理系统进行分析），作为数据挖掘目标的重要补充和分析标准。同时，要能够的充分结合在自己单位、部门关于进口食品质量安全检验检测之中所涉及到的各项安全指标数据的分析，完成数据的具体收集工作。例如，在具体的数据收集工作过程之中，可以按照食品安全检测指标进行分类型（食品添加剂、微生物、理化指标、食品中非法添加物，等等）收集。

（3）数据的选择。由于进口食品安全检测之中所涉及到的数据量较大，同时分类较为复杂。不同的工作人员所收集到的进口食品安全检测数据各不相同。进口食品安全检测数据的选择过程其目标在于能够为下一环节的数据深入挖掘提供充分准备条件。大量分散、零散的数据，不利于后续对于进口食品安全检测进行分析。那么如何有针对性的进行数对选择呢？首先，要能够对于现有的数据进行分门别类的收集与统计。对于涉及到的相对数的较少的统计数据可以进行全部收录，并且输入SQL server数据管理系统进行数据分析。如果数据量巨大，很难在较短的时间之内或者分析所采用的计算机设备不能够全部统计时，这可以采用抽样统计的方法进行数据选择。通过结合训练—测试—建模—验证等环节来进行数据挖掘与数据抽样分析，通过特定数据的选择与验证，尤其是一些具有特殊特性的部分数据抽样，可以很快的了解特定数据集的数据抽样特性。这对于那些巨量数据的数据挖掘与分析具有重要意义。其次，与进口食品安全检测所涉及到的数据选择之中要能够兼顾数据选择的样本数量与样本质量。所选择的数据样本数量要能够反映其特征，不能够选择过少或者不足代表整体特性的数据。所谓样本的质量特征则是指，所选择的数据要能够反映出进口食品安全检测中所涉及到的具体数据。第三，进口食品安全检测数据选择，在具体选择过程之中，要能够确定数据源的可靠性。在具体数据挖掘工作过程之中，要能够对进口食品安全检测数据源的可靠性采用多项指标确定，进而保证数据的安全性、完整性、准确性、有效性。

（4）挖掘数据的质量筛选。在树立数据挖掘目标数据，经过数据的具体收集以及数据的选择过程后，针对进口食品质量安全检测的数据，无论是质量还是准确性，都得到了较大提升。如果想要达到深入挖掘相关数据的内在目标，这必须对挖掘数据的整体质量进行针对性的筛选。具体而言，在进口食品质量安全检测之中会形成大量的数据，这些相对分散的来源于不同的数据源的数据，例如，来源于具体一线检测人员的数据、来源于以前检测人员的历史数据、其他地区相同工作人员的参考数据、同一标准的国家统一公布数据，等等。这些来源于不同的数据源数据，都必须经过高级别的挖掘数据的质量筛选后，才能够将这些数据运用于指导进口食品质量安全检测的实践之中。从进口食品质量安全检测一线检测人员收集的数据来看，虽然经过前面三个步骤的选择后，会得到整体质量的提升。但是，往往收集的数据会存在着两个重要问题。第一个问题就是数据的完整性问题。第二个问题就是数据整体收集的质量性问题。进口食品质量安全检测一线检测人员收集的数据存在着存储格式不同、存储设备不同、设置的变量数据填写不清（误填、错填），就会导致检测数据的不完整性。如果对这些数据不能够进行很好的质量筛选，那么再导入SQL server时就会出现大量的运行错误，进而很难得到准确的预测效果。由此可见，挖掘数据的质量筛选过程尤为重要。对于挖掘数据的质量筛选一般可以采用频数分析、均值分析或者数值变量分位数分析等等。

（5）数据的转换与模型构建。在模型构件之间要进行挖掘数据的转换。挖掘数据的转换需要运用各类的数据转换方法。在进口食品安全检测过程之中，基于数据挖掘技术所运用到的数据转换主要包括两大部分。第一部分，数据挖掘相关的工具软件。第二部分，数据挖掘技术。经过前面四个步骤的数据收集以及数据筛选之后，要对这些数据进行特征选择。对于这些数据进行特征选择的目标在于遴选出对于整体数据的预估变量。对那些影响整体数据预估变量的冗余变量数据进行排除。在对进口食品安全检测数据的数据转换过程之中可以采用单变量分析，通过对单一变量进行分析，逐渐的分离出哪些变量是用于变量，哪些变量是较强的预估能力变量。进而为模型的构建提供充分的条件。从某种程度上来说，通过对于进口食品质量安全检测数据的收集、数据的清理以及数据的转换之后进行的模型构建是数据挖掘的核心部分。在数据模型构建过程之中以及具体的分析时需要专业的分析员进行合理参与，通过与专业的分析员进行沟通与交流后，设计与进口食品质量安全检测数据相适的科学的算法，这样才能够达到良好的分析结果。需要注意的是，进口食品质量安全检测数据模型的构建并非拘泥于一种模型的构建。即可以通过设计不同目标的数据挖掘之后采用不同的算法进行多重模型构建。而每一个模型的构建都会反映出具体的预测数据。通过不同模型的构件所反映出来的预测数据，可以确定最终数据预测的精准程度。

（6）验证过程。基于进口食品质量安全检测数据的模型建立后，在运用于实际工作之前，要能够对其进行验证，去评估整个模型所产生的数据预判性、准确性，进而去判断该模型，或者该模型组对于整体进口食品质量安全数据的特征性与质量性分析程度。在此验证过程之中，可以通过使用各种度量值输入模型、划分定型集、测试集等方法来确定模型的有效性。需要注意的是，这些验证的方法不仅仅可以运用于模型建立之后，在模型建立的各个过程之中，为了能够更好的提高模型的准确性，均可以采用相关的验证。

3.结语

采用数据挖掘技术以及数据挖掘方法可以对影响进口食品安全质量的各个影响因素进行分析，确定影响进口食品安全质量的各个风险节点（国家、地域、时间、种类，等等），通过对于进口食品所涉及到的数据进行有目的性的收集、选择、筛选、转换、模型构建，加之必要的验证过程是形成进口食品质量安全检测科学模型的必要流程。也是提升进口食品质量安全检测工作的实效性的必要手段。