元器件信息识别系统的设计及应用

鲁 然 ，徐永进，李 晨，沈曙明，严华江，任 旭，武占河

（1.国网浙江省电力有限公司电力科学研究院，杭州 310014；2.华立科技股份有限公司，杭州 310023）

0 引言

随着采集终端的逐步推广与普及[1]，其产品的质量及可靠性是行业关注的重点，而送检的采集终端是否满足样品一致性要求，对产品质量及可靠性有直接影响。采集终端元器件更改后，如未经检测而直接应用于工作现场，将会存在批量性的质量事故隐患[2-4]。目前国内多个省级电力公司采取将送检元器件信息识别进行比对的方式来排除此类隐患[5-7]。现有的元器件信息识别工作从抽样到比对全过程均采用人工作业[8-9]，无专用的信息识别系统装置和处理技术[10-14]，存在人工比对工作量大，比对效率低，易出现漏判、错判等情况，信息识别质量难以有效保证，给元器件在现场的安全运行带来风险与隐患[15-22]。

针对现有技术缺陷，为提高元器件信息识别可靠性及检测效率，设计并实现了一种元器件信息识别系统。系统通过元器件信息采集装置与图像识别技术的结合，实现元器件信息识别从信息采集、信息处理到元器件的智能化比对工作。

1 系统组成及功能特点

元器件信息识别系统主要由硬件及软件两部分组成。该系统由待测采集终端位置自动确定所需比对的对象，根据智能识别匹配原则，自动完成对采集终端外观信息、内部元器件信息的采集及比对工作，并生成比对结果。系统基本功能模块如图1 所示。

图1 系统基本功能模块

1.1 硬件结构

系统中硬件部分指信息采集装置，分为机械运动单元和图像采集单元。其内部组成包括： 底座及360°旋转的圆盘、工业级高分辨率主相机及辅相机、补偿光源等。其中，底座及360°旋转的圆盘属于机械运动模块，通过执行运动控制软件指令对待测采集终端进行左右移动、圆盘指定角度旋转等动作，实现待测采集终端的自动机械对焦功能，完成对采集终端外观及内部元器件的信息采集工作。针对同一类产品可实现自动信息识别，人工干预少，且通过侧面增加一个相机的方式，对圆柱形高位置元器件以及丝印位于侧面的元器件进行侧面360°方向信息采集。系统硬件结构如图2 所示。

1.2 软件架构

图2 系统硬件结构

1.2.1 系统软件设计

元器件信息识别系统系统软件基于.NET 平台的多层技术架构，软件开发采用C 语言、Python，运行主机平台支持Windows 7 操作系统，基本开发工具为Pycharm。

元器件信息识别系统软件架构组成包括数据采集层、数据处理层和应用平台层，各层作用分别为：

（1）数据采集层： 可以通过以太网、RS232 及RS485 等接口与装置进行通信，读取所需数据并存储于数据库中，供数据处理层进行处理。

（2）数据处理层： 对数据采集层的数据进行收集、汇总、处理及分析，通过归类处理后将数据存储于数据库及系统中，可供需要时随时调用。

（3）应用平台层： 可视化操作界面，通过软件界面中各操作模块获取数据处理层数据，直观地将各类数据展示于操作界面层，便于实时对装置运行状态进行监测与操作。

系统软件架构如图3 所示。

1.2.2 系统软件功能组成

系统软件包括运动控制软件、信息处理软件及元器件比对软件。

3)0.6mm渗层刀片不论是在渗层厚度、组织硬度，还是在组织硬度梯度等方面，都介于其他两种渗层刀片之间。虽然在部分位置上出现一定程度的崩刃现象，但磨损量比0.3mm渗层刀片要小，大部分情况下与0.9mm渗层刀片的磨损量相差不大，甚至磨损量比0.9mm渗层刀片要小，崩刃现象也比0.9mm渗层刀片出现的少。因此，0.6mm渗层刀片在磨损量上总体效果最好。

运动控制软件控制信息采集装置按照待测采集终端样品类型进行移动与姿态调整，操控信息采集装置进行高精度机械运动。

信息处理软件根据分析采集终端外观铭牌信息、内部元器件品牌信息、内部元器件型号信息等特征值，运用图像识别技术进行有针对性的信息处理工作。

图3 系统软件架构

元器件比对软件负责完成元器件比对工作，本模块功能通过上位机软件实现，将样品信息与封样的元器件清单逐一进行比对、判断，并以报告形式输出结果，同时可将比对结果作为历史数据保存于数据库中。

2 关键技术

2.1 机械运动单元

机械运动单元包含底座运动模块和相机运动模块。底座上安装可旋转360°的圆盘以及带有标尺的测试平台，圆盘上有带凹槽的柔性夹具。采集终端整机测试时放置于带有标尺的测试平台上；采集终端内部元器件测试时需将带有元器件的线路板置于柔性夹具的凹槽内固定。底座运动模块运动方式分为底座平台水平移动方式和圆盘360°方向旋转方式，主要支持采集终端外观图像采集时的底座左右方向水平移动，以及采集终端内部元器件图像采集时的圆盘360°旋转运动。相机运动模块运动方式为垂直升降式，主要支持主相机对采集终端外观及元器件正面图像采集过程中的调焦功能。

机械运动单元可实现工业相机的机械对焦功能，对焦成功后，由图像采集单元对采集终端样品信息进行采集。针对较高元器件或圆柱形元器件的样品信息采集流程，需要控制单元配合来实现机械对焦功能。由于正面相机的中心点与控制圆盘中心点一致，因此可以通过三角函数计算出圆盘旋转后任意元器件的像素位置坐标。正面图像采集坐标如图4 所示，其中，A（a2，b2）为根据主相机采集的图像信息确定的较高元器件或圆柱形元器件所在的像素位置坐标，B（x，y）为元器件旋转α 角度后的像素位置坐标，O（a1，b1）为正面相机正下方原点像素位置，通过旋转后两边相等，其公式如下：

根据余弦公式，可计算出AB 值，进而根据坐标值A（a2，b2）可推算出B 点坐标值：

图4 正面图像采集坐标

辅助相机对较高元器件或圆柱形元器件进行侧面图像采集，其坐标如图5 所示。C 点为对焦位置，需要把元器件侧面位置移动到C 点平面上。根据坐标B（x，y），计算其移动到侧面相机对焦位置C 点的距离f（x）为：

式中： x22为2 个相机中心点水平距离；z 为相机中心点到采集终端样品水平面的距离；β 为辅相机与垂直方向夹角；a1为像素位置坐标O（a1，b1）在x 轴上的投影（坐标值）；x 为像素位置坐标B（x，y）在x 轴上的投影（坐标值）；A 为图片坐标像素与实际尺寸的比值系数。B（x，y）坐标对侧面相机对焦取水平x 轴坐标，通过式（1）和式（2）求解得到B 点x 轴坐标为：把x 带入对焦位置式（3），即可求出对焦移动距离f（x）。

2.2 图像采集单元

图5 侧面图像采集坐标

2.3 信息处理软件

信息处理软件设计采用图像识别技术对信息采集模块采集到的采集终端外观图像及内部元器件图像进行处理。其中，外观信息主要为铭牌信息，内部元器件信息主要为元器件的品牌与型号信息。根据这些信息的特点，提出对于富有设计性图形图案的铭牌及品牌信息的识别，采用模板匹配方法；而对于型号信息及字符类的品牌信息识别，采用基于深度神经网络的文本识别方法。

2.3.1 模板匹配法

模板匹配方法研究某一特定图案在图像中的位置，其原理为在待检测图像上，从左到右、从上向下计算模板图像与重叠子图像的匹配度，匹配程度越大，两者相同的可能性越大。其中，采用标准相关性系数R 计算模板与子图像的匹配度，即计算模版对其均值的相对值与子图像对其均值的相对值的内积，如式（5）所示：

式中： T′为模板图像；I′为待匹配子图像；x′为模板图像的像素值横坐标；y′为模板图像的像素值纵坐标；x 为待匹配子图像的像素值横坐标；y 为待匹配子图像的像素值纵坐标；T′（x′，y′）为减去均值的模板像素值；I′（x+x′，y+y′）为减去均值的子图像像素值。

以用电信息采集领域常见的micron 存储芯片为例，其品牌信息为富有设计性的图形图案组成，以此进行模板匹配测试。首先截取存储芯片各个方向、各种形态下的清晰图像作为品牌模板图像，同时将该元器件品牌中英文全称、缩写与之关联，并标注后保存于品牌模板库中，如图6所示。进行元器件匹配识别时，将品牌模板库中的所有品牌模板与待匹配元器件图像进行匹配，根据标准相关性系数R 计算模板与子图像的匹配度，匹配度在95%以上，默认将品牌模板库中关联的品牌信息以客户指定格式映射输出。图7为待匹配元器件图像，图8 为匹配结果，其中以白色框标识识别到的品牌图案。

图6 品牌模板图像

图7 待匹配元器件图像

图8 匹配结果

2.3.2 基于深度神经网络学习的文本识别法

基于深度神经网络学习的文本识别法，首先需要进行文本检测，即确定文本的位置，然后进一步识别检测到的文本图像中的文本序列信息。传统技术解决方案中，分别训练文字检测和文本识别2 个模型，然后在服务实施阶段将2 个模型串联到数据流水线中组成图文识别系统。该类方法需要执行2 次特征提取的计算，较为繁琐。本解决方案中将文本检测与文本识别2 个目标融入到一个框架中，采用多目标网络直接训练端到端的模型，不仅可以共享特征，而且文本检测与文本识别相辅相成，达到更高的识别精度。在训练阶段，模型的输入是训练图像及图中文本坐标、文本内容，模型优化目标是文本框坐标预测误差与文本内容预测误差的加权和。在服务实施阶段，将原始图片输入训练好的模型，直接输出预测文本信息。相比于传统方案，该方案中模型训练效率更高、服务运营阶段资源开销更少。

以较高元器件Rubycon 电解电容为例，其元器件信息包含型号信息及字符类的品牌信息识别，以此进行基于深度神经网络学习的文本识别功能测试。文本识别模型如图9 所示。

图9 文本识别网络模型

图9 中输入图片由图像采集单元对电解电容进行侧面图像采集，因电解电容的形状为圆柱形，其元器件信息印刷位置具有不一致性，因此采取对电解电容前、后、左、右4 个方向进行图像采集。

通过文本检测与识别网络对元器件上的文本进行较为准确的检测及识别，但出现了文本框重叠的现象，因此，需对预测结果进行重叠的判断及消除重复识别字符的处理。由于重叠现象均发生在同一行文本中，所以首先对文本框的纵坐标进行判断，若2 个文本框的纵坐标相似，则可判断其为同一行。如图10 所示，左侧文本框的顶点坐标为Bi（Xi，Yi），i∈[1，2，3，4]，右侧文本框的顶点坐标为Ri（xi，yi），i∈[1，2，3，4]，计算2 个文本框在x 方向的重叠率，如式（6）所示：

式中： B1（X1，Y1），B2（X2，Y2），B3（X3，Y3），B4（X4，Y4）为左侧文本框中的4 个顶点坐标；R1（x1，y1），R2（x2，y2），R3（x3，y3），R4（x4，y4）为右侧文本框中的4 个顶点坐标；D 为2 个文本框在x 方向的重叠率。

图10 文本框交叠示意

若重叠率D 大于阈值，则可判断2 个文本框位于同一行，进一步判断是否有重叠。首先判断左侧文本框最后一个字符和右侧文本框第一个字符是否为同一字符，若2 个字符不相同，则判断2 个文本框未重叠；若2 个字符相同，比较y 方向重叠长度（y4-Y1）和单个字符长度l，若y4-Y1＞0.5l，则判断2 个文本框重叠一个字符。通过以上方式，去除文本识别结果中的重复字符，并将所有识别出的字符串按照从上向下、从左向右的顺序串联为一个字符串。例如，图9 中所有识别出的字符串串联为一个字符串为“yxjy20 μ f25v2200 μ f 25v0rubyconr2rubycon3”。最后，在识别出的长字符串中查找厂家给出的型号字符串（YXJ 25v2200μF）和品牌字符串（Rubycon）。

2.4 元器件比对软件

元器件比对软件通过与封样的元器件清单进行采集终端内部元器件比对，与地方供货要求文件进行铭牌信息比对。识别的结果与元器件清单进行比对，输出包含具有元器件信息、铭牌信息及匹配置信度信息的结论。比对结果可分为2 种形式体现。第一种是在界面上，识别结果根据用户需求设计以列表的形式可视化展示，对于不同的识别结果可自定义使用不同的颜色背景加以区分，使用户方便找到不合格的元器件，如图11所示；第二种是直接生成结果文件，用户可定制报告的基础信息，根据报告模板，在需要时生成需要的文件格式的比对报告，如表1 所示。

表1 采集终端样品比对实验结果

图11 界面可视化比对结果

3 系统运行效果与分析

文中根据采集终端元器件的不同特征，采用不同的信息采集方法及信息处理方法，信息处理的结果以与封样的采集终端元器件清单进行比对为例，输出包含具有元器件信息及匹配置信度信息的结论。对于型号与品牌全部与所提供元器件清单一致的元器件，置信度为1，结论为合格；对于所识别的信息与元器件清单部分一致的，通过计算得出其置信度值，根据应用方需求设计，如置信度值小于1，判定结论为不合格；对于未能识别的元器件或所识别的元器件不是目标元器件，置信度为0 或者小于0.5，结论为不合格。某公司的采集终端样品比对实验结果见表1。

4 结语

本元器件信息识别系统的应用提高了元器件信息识别系统的成功率，同时提高了采集终端样品比对环节的检测效率，可以有效代替人工作业，并且进一步促进了采集终端样品比对检测技术的升级，具有较好的推广前景与应用价值。