智能水果识别称重系统设计

广东海洋大学寸金学院 姚信光 舒秀兰 李勤渝 吕品弘 周 煊 马昌运

在普通超市的水果售卖过程中，传统电子称不具备视觉功能，需要人工辅助进行称重，不仅效率低下，而且操作过程繁琐。针对这种情况并综合顾客体验，本设计提出了一种由OPENMV视觉识别模块、stm32f767主控芯片、语音模块、RGB电容触摸屏、称重模块构成的水果称重识别系统，结合图像处理技术自动识别水果种类并称重计算相应价格后显示在RGB电容触摸屏上，再通过语音模块播报，实现自动称重、报价的功能。实验结果表明，本系统操作方便，识别过程精准，在商场的水果销售中具有一定的市场应用价值。

顾客在超市选购水果完毕后，需要由售货员在传统电子称上选择单价后称重并粘贴条码，操作过程繁琐、人工成本高、效率低下。此外，还有半自助式电子称，即由顾客自行选择对应单价后称重并粘贴条码，也存在价格选择错误等问题。

随着计算机视觉的发展，图像识别技术的不断成熟，本设计将视觉功能与传统电子秤相结合采用OPENMV模块实现自动选择识别，通过颜色、大小、相识度进行逐层扫描，高效的识别出对应的水果种类，通过电子称重装置，读取水果重量，根据水果单价显示在RGB屏幕上，并通过语音识别播报识别结果和称重价格，从而实现自动化

图1 RGB人机交互系统框图

水果称重，减少排队，大大提升了顾客满意度。

1 系统硬件设计

1.1 主控芯片

主控芯片为高性能ARM Cortex-M7系列STM32F767，具有2 MB Flash、216 MHz CPU、ART加速器、一级缓存，在系统接收到OpenMV识别结果信息后，通过人机交换，将识别到的信息，以UI图像的形式传递到RGB电容触摸屏，并与称重结果和对应的水果价格进行语言报价。

1.2 电容触摸屏

目前电极的形状坐标的定位算法有三种引用：

电容触摸屏的结构，设为正方形（1点为左下角，2点为左上角，3点右上角，4点右下角），其中以1、4电极的交点为坐标原点，触摸屏的长、宽分别为：a、b，正方形左、上、右、下表示触摸屏4个电极输出的电流分别为：I1、I2、I3和I4。

RGB电容触摸屏，总线为I2C总线，通过4个接口来实现对应的信息传递，降低接口使用，通过RGB电容屏实现彩色屏幕显示，将对应的窗口显示到触摸屏，客户使用触摸屏后，系统感知对应的信息传递给主控芯片，将对应的信息和窗口打印到RGB电容触摸屏上，实现人机交换。如图1所示。

1.3 语音系统设计

语音系统将采集的声音放入模块中进行储存，不需要用户进行录音训练，只需要把识别的关键词语以字符串的形式传送进芯片，即可以在下次识别中立即生效。通过语音识别 ASR技术，将关键字形成键词语列表识别的技术，通过语音数据进行语音模型分析来建模成数学模型，经过反复训练提取基元语音的细节特征，以及提取各基元间的特征差异。得到在统计概率最优化意义上的各个基元语音特征。如图2所示。

图2 语言播报系统框图

1.4 电压称重系统

通过电桥的受力，使电桥的应变片受到压缩或着拉伸的形变，使电桥内的阻值发生变化，使得产生对应的差动信号，再通过芯片内部的ADC模块计算出对应的电压值，从而计算出对应的称重物体的重量，从告知系统称重水果的重量。

2 系统软件设计

通过Openmv IDE和MDK keil5分别实现，视觉模块信息控制和主控芯片人际交互控制，以及语言报价。

顾客在RGB电子触摸屏上选择对应的称重模式后，系统感知对应的程序，先通过IIC协议对电子称重模块进行采集称重结果，再使用USART接口协议对OPENMV进行水果识别功能选择，将识别结果利用USART传回STM32主控芯片，再通过已知水果当前价格，进行计算本次称重水果的总价，将水果的总价通过语音报价和RGB触摸屏显示出来。如图3所示。

图3 系统软件设计流程图

结语：本系统采用的STM32、OPENMV分别作为主控芯片和视觉模块，利用图像处理技术对应水果的颜色、大小、相识度进行逐层分类，能快速识别出水果种类、称重并且通过语音模块进行报价。实验结果表明，系统具有识别响应快，识别精度高的优点，有效缩短顾客的购买等待时间的同时也为零售连锁店或大型卖场节约人力成本，提高管理效率。