人工智能技术在食品安全监管领域应用研究

刘晶璟

(上海信息投资咨询有限公司， 上海 200081)

0 引言

近年来我国的食品安全形势日益恶化，食品从原料生产、加工至零售等全过程均存在很多安全问题，食品安全监管形式严峻。虽然我国建立了完整的食品安全监督体系，但是监管人员与食品行业从业人员的比例仍然远远落后于欧美发达国家，因此，有必要开展食品安全智能化监管。近年来，随着先进的管理理念和信息技术不断发展，各地食品安全管理部门通过食品安全监督管理和厨房视频监控系统建设，采集和管理食品生产场和服务环节的视频信息资源[1]，促进食品生产和服务安全管理的规范化，为食品监督管理部门和相关机构提供食品安全监督的可视化、智能化的信息支持，使食品安全监督管理上一个新的台阶。

1 食品安全监管存在问题

为确保群众的食品安全，各级食品安全监管部门高度重视食品安全问题，采用多种手段，开展食品安全监管，但食品安全监管仍然存在一系列的问题，主要体现在以下几个方面：

1) 食品安全监管面广量大[2]。监管工作点多、线长、面广、量大，加上缺乏必要的装备和手段，日常监管很难达到科学精细的程度，监管效能难以提高，目前繁重的监管任务与单薄的监管力量之间的矛盾十分突出。

2) 食品安全监管难度高。食品安全监管涉及实时监控，需要进行从业人员管理、食品加工操作、食品原料检查、食品存放环境等各个方面，现有的监管力量导致食品加工过程监管不足、执法处罚取证难等难题。

3) 监管可视化、智能化监管水平不高。目前，食品监管系统的建设开发和目前信息化发展水平以及市场监督需求仍存在巨大差距，食品安全视频远程智能化监管急需实现手段关键技术进行相应的突破，以适应最严监管的现实需求。

2 食品安全智能识别AI需求

基于以上存在的问题，我们认为通过智能识别监控视频的方式可以替代监管人员对各类餐饮企业进行食品安全监管，大大降低监管人员上门检测的次数，有效提高食品安全监管的工作效率，结合食品安全监管业务的实际情况，我们认为智能识别AI可在以下几个方面替代人工的食品安全监管：

1) 监控厨房内，工作人员按规定穿戴衣帽口罩的情况。

2) 监控厨房内，可能出现的老鼠等热血生物。

3) 标记出厨房内的设施设备(清洗设施、消毒设施、保洁设施)[3]，并记录其使用状况；

4) 标记出厨房内的工用具、容器和其他设备，并记录其使用状况；

5) 标记出厨房内的清洗水池(水池配置、标识区分)[4]，并记录其使用状况；

3 人工智能识别方案

3.1 智能识别系统架构

人工智能识技术涉及知识表示、自动推理和搜索方法、机器学习和知识获取、知识处理系统、自然语言理解、计算机视觉、智能机器人、自动程序设计等多种类别和学科。在食品安全监管领域涉及的技术主要有动态侦测技术、动态定位技术、卷积神经网络CNN 3种。

(1) 系统技术架构

如图1所示。

图1 系统技术架构图

食品安全智能识别监管系统就包括前端摄像机、中心端的人工智能识别设备及人工智能识别控制设备。

前端采集视频流通过网络传输至中心，通过人工智能识别设备，对视频流进行识别处理，然后分别将识别结果传输至人工智能控制设备和数据库服务器进行存储。

人工智能识别控制设备提取取证帧，并进行结构化数据存储。

人工智能识别设备为专用定制智能设备，用于前面视频采集后进行穿戴衣帽和口罩的的及厨房内出现老鼠等识别。

存储方面，前端设备采集实时视频流采用本地存储；前端采集的智能识别后的结构化数据及图片存储于中心存储设备中。具体的整体架构，如图2所示。

图2 视频智能识别整体架构图

2) 智能识别过程

如图3所示。

食品安全智能识别的流程涉及流媒体处理、提取关键帖、视频动态追踪识别、判别识别需求、按需求组合逐层调用AI，分析比对识别结果六个步骤，共有流动态处理、分区状态监控、AI识别、视频结构化4个部分，流动态处理是对视频进行智能识别的基础，可对多路流媒体动态进行并行处理。

图3 视频智能识别过程图

分区状态监控是对视频进行分区域监控。用户可自定义分区规则。人工智能通过长期的观察能够累积现场区域数据，提高精度。

AI识别是智能监控的核心步骤。对视频的关键部分进行识别，以达到机器“理解视频”的目的。

视频结构化是将动态的结果与AI识别的结果进行综合，完成对视频的结构化处理。

3) 智能识别功能

每台人工智能识别设备可同时对4路高清视频进行异常状态监测。其主要性能如下：

(1) 视频编解码及结构化

对4路1080P/25(FPS)视频进行编解码。主要目的是截取视频流中的I帧，进行智能识别。当智能识别设备下游串联视频输出设备(如显示器，远程拉流程序，视频存储设备等)时，每台智能识别设备可输出一路含有识别结果的视频。

技术路径： 本方案使用NVIDIA公司提供的NVCUVENC库实现视频编码库，实现GPU编码，接收原始YUV frames数据，编码产生NAL packets。

基本步骤如下：1.新建编码器，设置编码类型；2.设置编码参数，注册回调函数；3.创建编码器相关资源；4.循环编码每帧数据；5.删除编码器，释放资源。

(2) 智能中控AI

智能识别设备的中控AI会自动学习视频结构化所累积的数据，理解各场景的繁忙/空闲时间段。并根据时间段的不同来消除光照等外部条件对智能识别的影响，安排其他识别功能工作，调配外部智能AI对视频内容进行深度识别及分析，如衣帽口罩识别AI、人脸识别AI、老鼠识别AI、场景自动识别划区AI等，并分别将识别结果及取证帧存入数据库和识别结果服务器。

(3) 工作人员厨师帽子佩戴情况智能识别AI

定义：识别在有效范围内的人员，是否佩戴了白色的厨师帽。

有效识别数量：最高可同时对有效范围内10个人员进行检测。

识别效果：在有效范围内，事件单帧识别准确率高于70%，报警误报率低于25%。

识别原理：当AI功能被激活后，会调取视频解码器中调取视频关键帧。首先关键帧进行人员识别，抓取人物头部位置。在检测到关键帧画面中人员头部位置后，进行厨师帽识别。如果识别出画面中存在未按规定佩戴帽子情况，则对关键帧进行保存取证，与识别结果一起发送至中心服务器。

(4) 工作人员口罩佩戴情况智能识别AI

定义：识别在有效范围内的人员，是否佩戴了非透明口罩。只对面对摄像头，可清晰看到眼睛的人员进行口罩识别。

有效识别数量：最高可同时对有效范围内10个人员进行检测。

识别效果：在有效范围内，事件单帧识别准确率高于70%，报警误报率低于25%。

识别原理：当AI功能被激活后，会调取视频解码器中调取视频关键帧。首先关键帧进行人员识别，抓取人物头部位置。在检测到关键帧画面中人员头部位置后，对人物眼睛进行识别定位。当检测到人眼后，对相对位置靠下的口罩进行识别。如果识别出画面中存在未按规定佩戴口罩情况，则对关键帧进行保存取证，与识别结果一起发送至中心服务器。

(5) 视频智能动态监测功能

定义：全时段对4路视频同时进行异常状态监测、整体及局部动态监测。在非工作时间段内，特别是夜间，对直径10厘米左右的活动物体进行重点监测。

活物监测有效识别数量：最高可同时对2个活动群体进行监测报警。

活物监测识别效果：在有效范围内，事件单帧识别准确率高于85%，报警误报率低于15%。

技术路径：对图像进行二值化，通过灰度差值法，找出动态区域。找出图像中动态区域，并记录其属性(相对位置，发生时间等)。

4) 智能识别示例

人工智能识别设备，在需要对视频内容进行识别时，将所需识别图像内容以二级制格式传输至人工智能控制设备。

人工智能控制设备对图像内容进行识别，并将结果返回至数据库服务器。

返回数据结果示范例(图像内有2人以上，其中有人正常佩戴了衣帽口罩，有人服饰正常却未佩戴口罩或帽子)：

正常佩戴衣帽口罩(确信度79%)；

服饰正常，帽子口罩未正常佩戴(确信度82%)；

非正常服饰，帽子口罩正常佩戴(确信度32%)；

衣帽口罩均未正常佩戴(确信度8%)。

(1) 帽子检测

采用行人检测的方式将前后景分离，然后将没有在前景区内的检测区域剔除。然后进行人头检测和对比。

在进行行人检测时，首先采用均值滤波、光线补偿、归一化处理等算法对视频图像进行预处理。然后使用背景差分法(混合高斯模型)、帧间差分法进行前后景分离。最后用腐蚀、膨胀、二值化等算法，对图像进行形态学差分处理。具体流程，如图4所示。

图4 衣帽口罩识别流程图

其中第三幅图为检测出来的前景图二值化后的结果，由于光照、遮挡等影响，会产生一些误检测，这些误检测面积通常比较小，通过设定轮廓大小的阈值把他们去除掉即可，第四幅图即为处理的结果。

从第四幅图中可以看出，上面检测到的1、2、3的位置并不在检测的轮廓内，因此可将其去除掉即可，得到处理过的图像后，对人的头部进行识别，并对识别结果进行颜色分布对比，通过颜色统计特征来识别是否佩戴帽子。

(2) 口罩检测

口罩通常具有不同的颜色和形状，如果想知道一个人是否带口罩必须当人正对或侧对摄像头时才能检测到。因此对于口罩的检测不能采用和帽子相同的方式。

这里可采用人脸检测的方式，如果检测到人脸再进行下一步的判断，这里对于人脸的检测可以采用opencv、seetaFace或dlib来完成。

检测到嘴部或者嘴部关键点有时并不能代表其没有带口罩，也可能是误检测。对于这些误检测的人脸可以采用hough变换的方式检测在口鼻上方是否有直线存在。对于直线检测不明显的图像，可以对其检测肤色来做进一步的判断，如图5所示。

系统建成后相比传统视频监控优势在于，可以利用AI技术自动识别餐饮企业违规操作行为并及时通知监管执法部门，督促餐饮企业按照相关规定进行食品加工操作。

图5 智能识别口罩检测的系统效果图

4 总结

采用智能化手段对餐饮业食品安全做到智能监督监管，可实现全方位监管、投诉、取证、实时管控，将极大地推进食品放心工程的建设，同时大大提高食品安全监管的效率。

对传统监管方式与智能化监管方式的对比如表1所示，如表1所示。

表1 传统监管方式与智能化监管方式对比

按照市场监管局的推算，人工智能识别系统能够代替市场监督管理局对餐饮企业巡检工作的38%，整体计划总共的可代替巡检员完成87%的工作，并将原有每季度一次巡检频率上升至每天实时监控管理，发现问题实时报警、取证，从而有效保障市民的食品安全，帮助政府节省监管成本、拓展监管维度、提高监管精度、为政策决策提供数据支持，推进食品监管的精细化管理。

随着物联网、云计算、大数据等新一代信息技术从理论走向应用，在食品安全监管领域结合具体的应用场景和监管需求，进行定制化的产品研发、技术创新和功能提升，对各种影响食品安全的因素进行动态、自动识别，可以有效降低食品安全监管人员的劳动强度，提高监管的广度和深度，促进食品安全运行与监管的有效保障。

[1] 卫晓明，顾芙蓉.基于远程监控技术的食品安全监管平台构建研究[J].上海食品药品监管情报研究,2012(1):18-24.

[2] 邱从乾，李黎军，丁敏，等.实时远程视频监控技术在食品高风险业态中的应用[J].上海预防医学, 2014(9):500-502.

[3] 上海市食品药品监督管理局.关于印发餐饮食品安全远程视频巡查工作指导意见的通知[R].沪食药监办餐饮，2017，35号.