基于图像熵和傅里叶变换的复杂背景分割

李镇锋　陈晓荣　陈梦华　卢德运　陈运豪

摘  要：在机动车登记证识别过程中，由于机动车登记证图像是无规则的彩色背景，传统的图像分割算法难以得到较好的分割效果，为了提高识别的准确度，提出了基于图像熵和傅里叶变换的复杂背景分割方法。首先，使用形态学腐蚀运算分割出图像中的直线，再利用直线从整体图像中提取出局部图像。其次，计算每幅局部图像的图像熵，若该局部图像的熵小于阈值T，使用Otsu（最大类间方差）分割算法对其进行分割;若该局部图像的熵大于阈值T，则先通过傅里叶变换在频率域滤波后再使用Otsu算法对其进行分割。实验结果表明，该算法对机动车登记证图像能够有效进行分割，进而从复杂背景中提取出不含噪声的字符信息。

关键词：复杂背景分割;图像熵;傅里叶变换;Otsu分割

中图分类号：TP391.1     文献标识码：A

Complex Background Segmentation based on Image

Entropy and Fourier Transform

LI Zhenfeng， CHEN Xiaorong， CHEN Menghua， LU Deyun， CHEN Yunhao

（School of Optical-Electrical and Computer Engineering， University of Shanghai for Science and Technology， Shanghai 200093， China）

lizhenfeng1028@163.com; cxrsjtu@163.com; 940405259@qq.com;

1533820050@qq.com; 1197345827@qq.com

Abstract： In the process of vehicle registration certificate recognition， it is difficult for traditional image segmentation algorithms to obtain better segmentation results， due to the irregular color background of the vehicle registration certificate image. In order to improve recognition accuracy， this paper proposes a complex background segmentation method based on image entropy and Fourier transform. First， morphological erosion operation is used to segment the straight lines， which are used to extract partial images from the overall image; secondly， the image entropy of each partial image is calculated. If the entropy of the local image is less than the threshold T， Otsu （maximum between-class variance） segmentation algorithm is used to segment it. If the entropy of the partial image is greater than the threshold T， it will be filtered in the frequency domain through Fourier transform and then segmented by using Otsu algorithm. The experimental results show that the algorithm can effectively segment the motor vehicle registration certificate image， and then extract the noise-free character information from the complex background.

Keywords： complex background segmentation; image entropy; Fourier transform; Otsu segmentation

1   引言（Introduction）

在进行光学字符识别（Optical Character Recognition， OCR）的过程中，字符分割是非常重要的一环，字符分割的好坏直接影响到字符识别的准确率[1-3]。在大多数情况下，处理的字符图像背景都是单一或者是有一定规则的，对于这种情况通常使用传统的分割方法就能够得到较好的分割效果，但是对于机动车登记证这类复杂彩色背景图像，使用传统的分割方法却不能得到较好的分割效果。本文主要研究复杂背景图像的分割问题。

在图像分割研究方面，已有众多学者针对不同场景提出了各种分割方法。杨谢柳等[4]针对非规则排列汉字文本分割正确率低的问题，提出一种基于连通域捆绑规则的汉字字符分割方法，但对文本前景区域的提取误差非常敏感;赵泉华等[5]提出一种结合区域划分的多特征纹理图像分割方法，能够针对单一特征分割不理想问题较好地实现图像分割，但是分割时间较长，边缘分割精度并没有得到较大提升;陈恺等[6]提出基于萤火虫算法的二维熵多阈值快速图像分割方法，能够改善分割复杂图像和多目标图像时计算量大、計算时间长的问题，但是边缘和细节信息并没有得到较好的保持;BARTHAKUR等[7]提出神经网络结合K均值聚类算法来分割复杂图像，但是该算法的复杂度较高。本文以机动车登记证为研究对象，提出一种基于图像熵和傅里叶变换的Otsu分割算法，该算法能够有效地分割具有复杂背景的局部图像。

2   图像预处理（Image preprocessing）

2.1   灰度化

利用图像采集装置获取到的机动车登记证图像是彩色图像，为了简便计算，将RGB三通道彩色转换成单通道灰度图像[8]。常用的灰度化方法主要有分量法、最大值法、平均值法和加权平均值法[9]。本文采用符合人眼视觉特性的加权平均值法进行图像灰度化，如公式（1）所示：

其中，代表灰度化后的图像，、、分别代表、、三个通道的图像。灰度化前后的机动车登记证图像如图1所示。

2.2   二值化

在灰度级范围内选取一个合适的阈值，所有小于该阈值的像素点称为目标点，所有大于该阈值的像素点称为背景点。采用全局阈值法对图1（b）进行二值化[10]，二值化后的结果如图2所示。

由图2可知，二值化结果中包含大量的背景噪声，直接从中分割出字符是非常困难的。经过二值化后的图像可以进行直线分割，然后从整体图像中提取出局部图像，最后进行局部图像的复杂背景去噪，完成字符的分割。

2.3   局部图像提取

为了提取局部图像，本文分别使用长大于字符宽度的矩形结构元素和宽大于字符高度的矩形结构元素对二值图进行形态学腐蚀运算[11-12]，分割出水平方向上的直线和垂直方向上的直线，根据直线相交的点可以从整体图像中提取出局部灰度图像。图3为从图1（b）中提取出来的三幅局部灰度图像。

3   局部图像分割（Local image segmentation）

由图3可知，不同局部图像背景各不相同，为了便于对不同背景的局部图像进行分割，本文提出了一种基于图像熵和傅里叶变换的局部图像分割方法。局部图像分割流程如图4所示。

3.1   图像的熵

“熵”的概念最早由鲁道夫·克劳修斯提出，反映的是体系的混乱程度，并应用在了热力学中[13]。后来香农第一次将“熵”的概念引入信息论中。信息熵表示一件事物蕴含了多少的信息，在数学上，信息熵其实就是信息量的期望。

在多干扰的复杂环境下，需要判断图像的受影响程度，可以用图像熵来判断图像发生的变化。图像的熵是一种特征的统计形式，反映了图像包含的信息量的大小，图像熵越大图像所蕴含的信息越多，图像熵越小图像所蕴含的信息越少[14]。

图像的一维熵表示图像中灰度分布的聚集特征所包含的信息量，用表示图像中灰度值为的像素所占的比例，则灰度图像一维熵的定义如下：

首先计算局部图像的熵，若熵小于阈值，则直接利用Otsu阈值分割算法进行二值化得到分割结果;若熵大于阈值，将图像在频率域滤波之后再利用Otsu阈值分割算法对滤波后的图像进行二值化，得到最终的分割结果。经过大量实验，本文图像熵的阈值取6.00。

3.2   Otsu阈值分割算法

Otsu阈值分割算法是一种自适应阈值分割方法，通过统计方法使得目标区域和背景区域之间的灰度方差最大[15]。假设阈值将图像分成目标和背景，目标区域占整幅图像的比例为，背景区域占整幅图像的比例为，且，目标区域的平均灰度为，背景区域的平均灰度为，整幅图像的平均灰度为，类间方差记为，则有：

算法的具体步骤如下[16]：

（1）求目标区域与背景区域像素所占比例、;

（2）求目标区域与背景区域的平均灰度值、;

（3）求目标区域与背景区域的最大类间方差;

（5）对步骤（1）—（3）进行迭代;

（6）类间方差最大的灰度值即为所需要的阈值。

采用Otsu阈值分割算法对图3中的局部图像进行分割，并且过滤掉细小噪声后得到的结果如图5所示。

可以看到，分割结果1、分割结果2效果比较理想，经过简单的去噪后不再含有额外的噪声。但是分割结果3效果较差，残留了许多背景噪声，部分噪声甚至与字符存在粘连。针对这类图像熵高于阈值的局部图像，本文提出了基于傅里叶变换的改进Otsu阈值分割算法。

3.3   频率域滤波

在空间域中进行图像处理比较困难或者无法在空间域中处理时，往往可以将图像转化到频率域进行处理[17]。空间域图像就是灰度图像，频率域图像指的是把空间域图像的灰度值表示成随位置变化的空间频率，并以频谱的形式体现图像信息的分布情况。空间域图像的处理通常会用到模板，而频率域图像的处理則是以傅里叶变换为基础的。频率域图像处理的一般流程是通过傅里叶变换将图像从空间域变换到频率域，然后利用频率域的方法对图像进行处理，再将处理好的结果通过傅里叶反变换从频率域变换到空间域。

一幅数字图像可以视为一个二维函数，设是在空间域上等间隔采样得到的的二维离散信号，和是离散的实变量，和是离散频率变量，则二维离散傅里叶变换对一般地定义为[18]：

如图6（a）所示的局部图像经过傅里叶变换后，得到的频率域图像如图6（b）所示。

频率域图像也称为频谱图，可以看到频谱图中心位置较亮，属于低频区域，即灰度变化缓慢的区域，对应空间域图像中的平坦区域;而从中心往外延伸，亮度逐渐降低，这部分属于高频区域，即灰度变化较快的区域，对应空间域图像中边缘、噪声等区域[19]。由图6（a）可知，图中的字符及部分背景噪声灰度变化较快，都属于高频区，因此需要设计一个滤波器在抑制背景噪声的同时尽量保持字符信息。

由于傅里叶变换和反变换均为高斯函数，并且常常用来帮助寻找空间域和频率域之间的联系，因此基于高斯函数的滤波具有重要意义[20]。高斯函数的定义如下：

其中，表示高斯曲线扩展的程度，越大，高斯曲线越平缓;越小，高斯曲线越陡峭。

本文采用两个高斯滤波器相减后得到的结果作为抑制背景噪声的滤波器。图7（a）为时的高斯滤波器，图7（b）为时的高斯滤波器，图7（c）为前者减去后者得到的滤波器。

将频域图与本文滤波器做卷积运算实现频率域滤波，再利用傅里叶反变换就能得到滤波之后的灰度图，图8为滤波前后灰度图对比。

对比高斯滤波前后两幅灰度图，滤波后灰度图的背景相比滤波之前要平滑一些，原灰度图的背景噪声被削弱了，而字符信息得到了保留。

3.4   改进的Otsu分割

对高斯滤波之后的灰度图再利用Otsu算法进行分割，去除细小噪声后的结果如图9（b）所示，图9（a）为高斯滤波之前利用Otsu算法分割得到的结果。

相比滤波之前直接进行Otsu阈值分割，经过本文滤波器滤波之后再进行Otsu阈值分割效果更好。滤波前的结果中含有大量条状噪声并且部分噪声和字符粘连，直接在此基础上去噪难度极大。而通过频率域滤波，原先的这些难以处理的噪声在频率域中就被去除了，很好地解决了空间域去噪困难的问题。利用基于图像熵和傅里叶变换的复杂背景分割算法对每个局部图像进行分割，最终得到的整体效果如图10所示。可以看到，本文算法能够有效地去除背景噪声，为下一步字符分割扫清障碍，提高机动车登记证图像整体的识别准确度。

4   结论（Conclusion）

本文提出了一种基于图像熵和傅里叶变换的复杂背景分割方法，局部图像熵的大小反映了背景噪声的复杂程度。当图像熵较小时，利用Otsu算法直接进行阈值分割;当图像熵较大时，先将图像在频率域进行滤波，再利用Otsu算法对滤波后图像进行阈值分割。实验结果直观地体现出算法的有效性，但是该算法计算量较大，后续工作需要进一步优化。

参考文献（References）

[1] 吴慧莹.复杂背景下的工业字符分割与识别研究[D].桂林：广西师范大学，2020.

[2] 王鑫.铁路机车车号字符分割与识别算法研究[D].武汉：中南民族大学，2018.

[3] 杨芳彬.车牌图像预处理与字符分割算法研究[D].武汉：华中科技大学，2016.

[4] 杨谢柳，牛玺辉，梁文峰.面向非规则排列汉字文本的字符分割方法[J].计算机辅助设计与图像学学报，2019，31（9）：1542-1548.

[5] 赵泉华，高群，李玉.基于区域划分的多特征纹理图像分割[J].仪器仪表学报，2015，36（11）：2519-2530.

[6] 陈恺，陈芳，戴敏，等.基于萤火虫算法的二维熵多阈值快速图像分割[J].光学精密工程，2014，22（2）：517-523.

[7] BARTHAKUR M， SARMA K K. Complex image segmentation using K-means clustering aided Neuro-Computing[C]// Institute of Electrical and Electronics Engineers Inc. 2018 5th International Conference on Siganl Processing and Integrated Networks（SPIN）. New York： IEEE， 2018：327-331.

[8] TATAR F D， MACHHOUT M. Preprocessing algorithm for digital fingerprint image recognition[J]. Internaltional Journal of Computational Science and Information Technology， 2018， 6（1/2/3）：1-12.

[9] 鐘泽滨.一种用于车道线识别的图像灰度化方法[J].同济大学学报（自然科学版），2019，47（S1）：178-182.

[10] 孟楚楚.结合梯度边缘信息改进的全局阈值法与GVG Snake模型的宫颈细胞图像分割[J].智能计算机与应用，2019，9（2）：28-32.

[11] YAN X A， JIA M P， ZHANG W， et al. Fault diagnosis of rolling element bearing using a new optimal scale morphology analysis method[J]. ISA Transactions， 2018， 73（2）：165-180.

[12] 朱学芳，朱兆.基于形态学的MRI图像自适应边缘检测算法[J].仪器仪表学报，2013，34（2）：408-414.

[13] 潘磊.基于图像熵的密集人群异常事件实时监测方法[J].计算机科学与探索，2016，10（7）：1044-1050.

[14] 张丰收，韩敬阳，曹军杰.基于图像熵的主动轮廓分割模型[J].智能计算机与应用，2019，9（3）：6-10.

[15] 基于改进Otsu方法的振动图像分割研究[J].电光与控制，2019，26（2）：11-15，31.

[16] ZHAN Y T， ZHANG G Y. An improved OTSU algorithm using histogram accumulation moment for ore segmentation[J]. Symmetry， 2019， 11（3）：431-445.

[17] 东红林，于莲芝.基于MATLAB图像处理的频率域滤波与分析[J].软件导刊， 2017，16（10）：205-208.

[18] FARES K， AMINE K， SALSH E. A robust blind color image watermarking based on fourier transform domain[J]. Optic， 2020， 208（4）：164562-164570.

[19] 樊颖军.傅里叶变换下的直方图均衡化图像特征识别算法研究[J].计算机与数字工程，2017，45（9）：1848-1852.

[20] 王跃跃，陈蓉，于丽君，等.结合二维EMD与自适应高斯滤波的遥感卫星影响去噪[J].测绘通报，2019（2）：22-27.

作者简介：

李镇锋（1995-），男，硕士，工程师.研究领域：图像处理与模式识别.

陈晓荣（1974-），女，博士，副教授.研究领域：图像处理，在线检测，信号与信息处理.

陈梦华（2001-），男，本科生.研究领域：图像处理与模式识别.

卢德运（2001-），男，本科生.研究领域：图像处理与模式识别.

陈运豪（2000-），男，本科生.研究领域：图像处理与模式识别.