基于OpenMV的图像质量监控与失真检测系统

摘 "要： 针对图像质量监控过程中出现的失真等问题，提出一种基于OpenMV的图像质量监控与失真检测系统。该系统以STM32单片机作为主控板，搭载OpenMV作为图像采集设备，通过优化OpenMV IDE软件的函数库检测方法，对图像数据进行失真检测，在保证精度达标的情况下提高了检测速度。该系统能够识别视频监控画面中雪花噪声、亮度异常、图像偏色、图像模糊和黑屏等失真类型，并在检测出失真后进行示警。实验结果表明，该系统图像失真类型检测示警平均成功率达到了85%以上，展现出了良好的准确性和实用性。能够适应不同环境和场景的监控需要。

关键词： 质量监控； OpenMV； 雪花噪声； 亮度异常； 图像偏色； 图像模糊； 黑屏

中图分类号： TN948.6⁃34 " " " " " " " " " " " " 文献标识码： A " " " " " " " " " " " "文章编号： 1004⁃373X（2024）21⁃0051⁃08

Image quality monitoring and distortion detection system based on OpenMV

ZHANG Xuegang1， WANG Tao2， 3， SHANG Guoqing1

（1. Qinghai Minzu University， Xining 810007， China; 2. National Demonstration Center for Experimental Communication Engineering Education， Qinghai Minzu University， Xining 810007， China; 3. Key Laboratory of Communication Engineering， Qinghai Minzu University， Xining 810007， China）

Abstract： An image quality monitoring and distortion detection system based on open machine vision toolkit （OpenMV） is proposed to get rid of the distortion in the process of image quality monitoring. The SCM STM32 is used as the main control board. The OpenMV is incorporated for image capture. An optimized function library detection method within the IDE software on OpenMV is employed to identify image distortions， which enhances detection speed while maintaining accuracy standards. The system exhibits proficiency in recognizing various distortion types， including snow noise， luminance anomalies， color deviations， blurring， and black screen within video surveillance feeds， triggering an alarm upon detection. The experimental results reveal that the proposed system has a remarkable average success rate of 85% in identifying image distortions， underscoring its high accuracy and practical utility， so it can adapt to the monitoring needs of different environments and scenes.

Keywords： image quality monitoring; OpenMV; snow noise; brightness abnormality; image color deviation; image blurring; black screen

0 "引 "言

当前，智能监控系统发展迅速，在视频监控系统对图像进行采集、压缩、传输和储存过程中，图像不可避免地会出现失真问题[1]，例如图像模糊、偏色、亮度异常、雪花噪声、信号缺失等失真类型，因此对视频图像进行质量检测研究就显得至关重要。

目前监控图像质量领域的研究现状可以总结为两个方面：首先是包括去噪、增强与分析对比度、方差、清晰度、饱和度等指标进行图像质量评估的传统图像处理技术；其次是利用卷积神经网络（CNN）和循环神经网络（RNN）等技术学习不同场景下的图像特征，从而评估图像质量的深度学习方法[2]。这两种方法都在国内外得到了研究与应用，不同国家的研究重点可能略有不同，但整体趋势是朝着智能化、准确性的方向发展。传统图像处理技术在图像失真检测领域应用广泛。在图像模糊检测中通过将图像分块进行边缘检测[3]，统计每个子图像的模糊概率，分析判断是否模糊，也可以通过灰度值方差来判断其是否模糊[4]；在亮度异常检测时可以通过HSV色彩空间的V通道进行检测[5]，也可以通过比较灰度图的均值和方差判断图像是否亮度异常[6]；通过计算黑色像素点占据整幅画面像素比例可判断黑屏[7]，或者通过建立HSV图像，提取H通道值建立直方图分析判断是否黑屏[5]；偏色异常检测常见方式有白平衡法、灰度世界法以及在LAB色彩空间中建立A⁃B二维直方图，通过偏色因子判断是否存在偏色异常[8]等方法；雪花噪声可以通过计算图像信噪比[9]或者灰度值方差来分析其是否存在雪花噪声[4]，除此之外，雪花噪声严重的图像其偏色因子也较大，可以通过偏色因子检测雪花噪声失真，上述失真检测方式都属于传统图像处理技术的范畴。

针对视频图像质量的检测问题，本文利用OpenMV（Open Machine Vision Toolkit）[10]平台独特的IDE软件和可插拔的硬件模块，提出一种基于OpenMV的智能监控系统，能够适应不同环境和场景的监控需要。首次将OpenMV引入监控图像失真检测领域，在面临全新挑战的同时，也对监控图像失真检测领域进行了创新。在检测方法上，因为该设计主要应用于生活，在保证精度符合条件的情况下，调整算法提高了检测速度。比如在雪花噪声检测中，可以通过偏色检测采用的偏色因子来检测雪花噪声严重的图像，以此提高检测速度。

1 "硬件设计与实现

该设计以STM32F103C8T6为主控芯片，通过单片机上的两个按键分别控制云台上下，左右转动摄像头采集图像，以LCD作为图像显示装置，通过OpenMV模块（采用模块为OpenMV4 H7）进行图像采集，并在图像采集后对图像信息比如图像灰度值，L、A、B三通道值等进行分析。通过相应失真类型的算法对当前失真类型进行判断，在发现图像失真后，与单片机之间进行数据交互，传输信息给单片机，在单片机接收到OpenMV传输的失真信息后判断是否进行报警，若需要报警，则向蜂鸣器传输电平进行报警。硬件系统架构图如图1所示。

2 "算法设计与实现

2.1 "模糊检测

通过边缘算子进行图像边缘模糊检测[3]，需要统计每个子图像的模糊概率，运算复杂，而通过图像像素点的灰度值方差判断图像是否存在模糊失真，运算速度快，节约大量时间，计算过程也相对简单，虽然牺牲了部分精度，但是提高了检测速度，使其更适用于对模糊检测精度要求不高的场景。

图像模糊是因为图像自身的边缘锐度降低了，导致各个像素之间灰度值的变化不明显，灰度值变化小使得像素之间区分度降低，因此图像看上去变得十分模糊。灰度值的变化程度可以通过灰度值方差来表征，当图像的灰度值方差超过某一特定阈值时，表明图像具有较高的清晰度；相反，如果灰度值方差低于这一阈值，则意味着图像呈现出较为模糊的状态。图像灰度值方差公式如下：

[g=1Nx⋅Nyx=1Nxy=1Nyf（x，y）] （1）

[s=1Nx⋅Nyx=1Nxy=1Nyf（x，y）-g2] （2）

式中：[g]为图像像素灰度值的平均值；[s]为图像像素灰度值的方差；[Nx]为图像横向像素点个数；[Ny]为图像纵向像素点个数；[f（x，y）]为像素点[（x，y）]的灰度值，[x]、[y]分别为像素点的横纵坐标。

由于采用的是OpenMV的IDE软件进行算法部分的编程，而其自身并没有直接计算像素灰度值方差的函数库，因此可以先通过statistics函数中的stdev函数计算图像在RGB565格式下灰度值的标准差，再通过标准差来计算图像的灰度值方差，通过多次测试确定一个图像模糊的灰度值方差的阈值，将获取图像的灰度值方差与该阈值比较确定图像是否模糊，大于设定阈值则图像清晰，反之，小于该阈值则判定图像模糊。

2.2 "亮度异常检测

通过灰度值均值和方差判断亮度异常存在计算复杂的问题，并且在检测纯色图像（比如纯灰色图像）时误差较大，因此选择HSV空间的V通道值来判断是否亮度异常。

一般将图像亮度过高的现象称为图像亮度异常，通过建立图像的HSV模型（H表示图像色调，S表示图像饱和度，V表示图像明度），再计算整幅图像所有像素点V通道值的均值可以判断图像的亮度，当亮度大于某个设定阈值时则判断图像发生亮度异常，反之，则图像亮度正常。RGB图像转换为HSV图像公式如下：

[R'=R255] （3）

[G'=G255] （4）

[B'=B255] （5）

[Cmax=max（R'，G'，B'）] （6）

[V=Cmax] （7）

式中：[R]代表红色通道值；[G]代表绿色通道值；[B]代表蓝色通道值；[R']、[G']、[B']分别为[R]、[G]、[B]三通道值量化后的值；[Cmax]为[R]、[G]、[B]三通道量化后的最大值；[V]表示像素亮度值。

由于OpenMV的IDE软件并没有HSV图像模式，也并没有相应的函数库，并且检测图像失真部分的程序采用的是RGB565的图像格式，因此该设计通过img函数中的get_pixel函数获取各个像素点的[R]、[G]、[B]三个通道的值，再通过以上公式计算图像亮度，通过多次测试确定一个阈值，通过该阈值确定获取图像是否存在亮度异常失真。

2.3 "黑屏检测

如果通过HSV色彩空间的H通道建立直方图，判断图像是否黑屏，计算量较大的同时运算也复杂，因此选择确定黑色像素点占比的方式检测黑屏。

如果图像存在黑屏现象，则图像的黑色像素点个数一定占据了整幅图像绝大部分区域，通过检测图像是否存在一定比例的黑色像素点可以判断监控获取的图像是否黑屏。在OpenMV的IDE软件中，可以使用img.find_blobs函数通过循环的方式去遍历整幅图像的像素，来寻找一种特定颜色的像素点个数，而特定颜色的像素点可以通过设定该颜色L、A、B三通道的值来确定，通过该方式就可以判断黑色像素点个数占整幅图像的比例，以此确定图像是否发生黑屏现象，但该种方式也存在缺陷，如果存在一个黑色像素点占据了大部分图像比例，则容易存在误判。

2.4 "偏色异常检测

灰度世界法假定[R]、[G]、[B]三个通道均值相等呈灰色的前提下，统计三个通道的亮度均值，再将其转换成LAB图像，计算他们距中性点的色度距离，以此判断是否存在偏色失真现象。该方法在单一颜色或者是在亮度较暗的地方难以判断偏色并且计算复杂，因此选择偏色因子来判断偏色。

图像是否存在偏色与其图像色调的分布情况存在着一定关系，可以通过观察图像的L、A、B颜色空间来判断是否存在偏色异常。一般来说，可以通过观察A、B两通道的直方图来判断图像是否偏色，如果色调分布为单一的峰值或者是分布比较密集，并且色调平均值又大时，则可以判断图像存在偏色，色调平均值越大，则图像的偏色程度越大，反之，则偏色程度越小。因此，可以引入偏色因子[11][K]来表征图像偏色程度的大小，公式如下：

[DA=x=1Xy=1YAX∗Y] （8）

[DB=x=1Xy=1YBX∗Y] （9）

[D=D2A+D2B] （10）

[MA=x=1Xy=1Y（A-DA）2X∗Y] （11）

[MB=x=1Xy=1Y（B-DB）2X∗Y] （12）

[M=M2A+M2B] （13）

[K=DM] （14）

式中：[A]为像素点A通道值；[B]为像素点B通道值；[X]为横向像素点个数；[Y]为纵向像素点个数；[DA]为图像所有像素A通道平均值；[DB]为图像所有像素B通道平均值；[D]为平均色度；[MA]、[MB]分别为A、B两通道方差值；（[DA]，[DB]）为等效圆中心坐标；[M]为色度等效圆半径；[K]为偏色因子，[K]越大，偏色程度越大，当[K]小于设定阈值时图像则可近似认为其不存在偏色现象。

由于OpenMV的IDE软件可以直接通过其函数库中的statistics函数获取LAB色彩空间的L、A、B三通道的平均值，因此通过计算偏色因子的方式判断是否存在偏色异常可以很大程度上简化计算过程，虽然该方式仍然存在着一定误差，但能较大程度上判断图像偏色的可能性。

2.5 "雪花噪声检测

通过信噪比检测图像是否存在雪花噪声，计算复杂度。灰度值方差可通过OpenMV的IDE软件中的函数直接读取，使用灰度值方差检测雪花噪声虽然简便，但对于雪花噪声严重的图像，像素点多呈黑、白、灰三色，整体画面会存在偏色现象，采用偏色因子进行判断，在检测偏色失真的同时检测雪花噪声，不仅减小了程序规模，而且提升了检测速度。相较于使用单独检测方式检测雪花噪声，使用偏色因子同时检测偏色失真和雪花噪声失真，速度快了3 s左右。

3 "失真检测实验

本次测试实验中，采用通过失真处理后的失真图像来模拟视频监控系统产生的失真图像。其中偏色异常、雪花噪声、图像模糊失真检测实验所涉及的原图像均来自网络，失真图像是通过网络工具对原图进行图像处理所得。

3.1 "图像模糊失真检测实验

图2a）～图2c）三幅图为原图的清晰图像，图3a）～图3c）三幅图依次为图2a）～图2c）三幅图经过模糊处理后所得图像。在连接OpenMV后将图像对准摄像头，重复获取当前图像灰度值方差，取得大量数据。图像灰度值方差通常存在临界值，当图像模糊时图像灰度值方差会低于该临界值，该值即为图像模糊失真检测的判定阈值。对分割后图像所获得的灰度值方差数据进行分析发现，图2a）～图2c）的灰度值方差均值为76.74、120.26、93.04，图3a）～图3c）均为经过模糊处理后的图像，其灰度值方差均值为21.12、30.28、16.06。在该设计中将阈值暂定为32（该值可根据用户需求以及环境影响自主设定），灰度值方差在32以下时判定为图像模糊。如表1、表2所示，提供了原图与模糊处理后图像的其中9组灰度值方差数据作为具体示例。

在室内亮光充足环境下对图3a）～图3c）三幅图像进行15次报警测试，所得结果如表3所示。其中图3a）的15次实验检测成功率为93.3%，图3b）成功率为100%，图3c）成功率也为100%。

3.2 "亮度异常失真检测实验

连接OpenMV后分别在光照充足的实验室和较暗的寝室内进行拍摄，上电后不断重复取当前画面亮度均值。通过手机的手电筒照射的方式给予摄像头额外光照，在手机距离摄像头不同距离下采取相同数据采集方式进行测试，在不同距离下分别获取多组数据作为亮度异常图像数据。如图4三幅图像所示，为室内光照充足拍摄图，图5为外部光源距离摄像头不同距离拍摄的图像，光源与摄像头的距离按图5a）～图5c）的顺序依次减小。通过对训练数据的分析，观察发现图4亮度正常的图像，亮度均值分别为0.71、0.38、0.58，而如图5中，在不同距离有光源照射的图像，其亮度均值分别为0.82、0.90、0.90，该报警实验阈值暂定为0.82。表4、表5提供了无外部光源照射和有外部光源照射图像的其中9组亮度均值数据，作为具体示例。

如表6所示，是在室内亮光充足环境下，光源与摄像头3种不同距离下照射，进行15次报警测试所得的结果。其中图5a）检测15次有13次出现了异常，图5b）检测15次中有2次未检测成功，成功率为86.7%，图5c）检测成功率为100%。实验发现：当外部光源距离摄像头6 cm以内时，亮度均值一般超过0.85；当外部光源距离摄像头15 cm以外后，图像的亮度均值与当前图像无附加光源的亮度均值相近。因此图5a）可以判定为亮度正常图像。

3.3 "黑屏失真检测实验

通过遍历黑色像素点个数可判断是否发生黑屏，黑色像素的阈值可用LAB色彩空间表示。由于OpenMV遍历特定颜色像素点的函数需要采用LAB阈值，因此该设计通过LAB色彩空间来设定黑色像素点阈值。与图像模糊的训练集测试方式相似，通过使用书以及纸张遮挡摄像头使其黑屏后，进行多次测量得出了大量数据。图6为遮挡不充分的图像，图7为完全遮挡无明显亮光透入的图像。通过对训练数据分析，发现图6a）～图6c）三幅图因为有亮度影响，黑色像素点的L、A、B三通道值较大。图7a）～图7f）六幅图像L通道数值在2～4之间波动，A通道数值在1～6之间波动，B通道数值同样在0～4之间波动，本文设计将黑色像素点L、A、B阈值区间分别设置为（0，6）、（0，8）、（0，6），当处于该区间时，认为其为黑色像素点。由于LCD像素大小为128×160，考虑到图像部分黑屏的情况以及图像可能存在部分黑色像素等误差，所以该设计将检测像素数量的阈值大致设为12 000，当检测到12 000个像素在设定阈值内时检测为黑屏。如表7、表8所示，提供了不完全遮挡黑屏图和完全遮挡黑屏图的其中9组LAB三通道值数据作为具体示例。

如表9所示，是在室内亮光充足环境下，遮挡摄像头使其黑屏的情况下进行的15次报警测试所得的结果，15次均报警，成功率为100%。

3.4 "偏色失真检测实验

图8为无偏色的原图，图9为不同颜色的偏色图像。其中图9a）、图9f）为图8a）的偏红色和偏黄色图，图9d）、图9e）为图8c）的偏红色和偏黄色图，图9c）为图8b）的偏红色图，图9b）为偏紫色的人像图。与图像模糊设立训练集时采取的图像数据采集方式相同，对图8和图9中图像的A、B通道值重复进行数据采集，根据偏色因子计算公式计算偏色因子。通过对计算出的偏色因子数据进行分析，发现图8中的三幅无偏色图像的偏色因子[K]分别为0.071、0.096、0.088，而图9a）～图9f）偏色因子分别为0.41、0.21、0.35、0.23、0.21、0.22。基于以上分析，该设计将偏色因子[K]的阈值暂定为0.20，当图像的偏色因子[K]大于0.20时认为其发生偏色异常。如表10、表11所示，提供了原图与偏色图其中9组偏色因子数据作为具体示例。

如表12所示，是在室内亮光充足环境下对图9a）、图9b）、图9e）三幅图像进行15次报警测试所得的结果。其中，图9a）的15次实验成功率为100%，图9b）成功率为80%，图9e）成功率为93.3%。

3.5 "雪花噪声失真检测实验

如图10所示为两幅雪花噪声较为严重的图像，偏色因子检测方式同偏色失真检测相同。通过实验数据分析发现，图10a）的偏色因子在0.60附近波动，图10b）偏色因子在0.26附近波动，两幅图像偏色因子均大于偏色失真检测的偏色因子临界阈值，因此该设计将雪花噪声的阈值暂定为0.20，当偏色因子大于0.20时，判定为雪花噪声。如表13所示，提供了其中9组数据作为具体示例。

在室内亮光充足环境下对图10a）、图10b）两幅图像进行15次报警测试所得的结果如表14所示。其中，图10a）的15次实验成功13次，成功率为86.7%，图10b）的15次实验成功14次，成功率为93.3%。

通过对以上五种失真类型进行检测后，对检测准确率求均值发现平均检测准确率达到了85%以上。

4 "结 "语

本文设计虽然在部分失真检测的精度方面有所牺牲，但是带来了检测速度的提升。例如在偏色失真检测中，采用偏色因子同时检测偏色失真和雪花噪声，不用通过单独的检测算法检测雪花噪声，在检测时节省了部分时间。OpenMV较好的可移动性和灵活性，使其可以根据用户需求和具体应用环境调整阈值。在进行阈值检测时因为训练集样本数的限制，使阈值存在较大误差，未来的工作可以通过增大训练集和改进算法，进一步探索如何在不同场景下优化精度和速度之间的平衡，并扩展这种设计的应用范围，以满足更广泛的需求。

注：本文通讯作者为王涛。

参考文献

[1] 吕婧妍.城市级视频监控质量评估系统设计与实现[D].南京：南京邮电大学，2022.

[2] 梁栋.图像失真检测与质量评价方法及其应用[D].西安：西安电子科技大学，2021.

[3] 涂麟子，蒋朝根.基于再模糊理论的模糊图像检测方法[J].现代计算机，2023，29（12）：32⁃36.

[4] 成传胜.监控视频质量实时检测系统的设计与实现[D].杭州：浙江工业大学，2014.

[5] 方芳.基于智能监控系统的视频图像质量检测的研究与实现[D].南京：南京邮电大学，2013.

[6] 罗奕凯.铁路货车装载状态图像质量客观评价方法研究[J].铁道货运，2023，41（11）：47⁃53.

[7] 刘迪，李建海，王晶，等.一种基于嵌入式单片机视频监控装置的设计与研究[J].船电技术，2021，41（7）：61⁃64.

[8] 郑晨.基于多路实时流的视频图像质量检测的研究与实现[D].南京：南京邮电大学，2014.

[9] 干上游，浦国祥.基于单片机二维CCD图像检测算法研究和实际应用[J].仪表技术，2013（9）：29⁃31.

[10] 李加定，缪文南.基于OpenMV的智能送药小车的设计[J].电子设计工程，2024，32（2）：162⁃166.

[11] 李怀瑞.摄像头视频质量检测系统的设计与实现[D].北京：北京邮电大学，2022.

[12] 姬贯新，周利莉.智能视频监控系统中的干扰检测及分类[J].数据采集与处理，2013，28（2）：231⁃238.

[13] 邱铭杰.监控视频图像质量诊断方法研究及实现[D].上海：华东理工大学，2014.

[14] 刘济铭.局部模糊图像的模糊检测与分割算法研究[D].西安：西安理工大学，2020.

[15] 杨钒.浅谈智能视频质量诊断技术未来的发展趋势[J].中国安防，2021（10）：79⁃82.

[16] 赖盛英，谢鑫鑫，樊伟征，等.基于OpenMV图像识别的自主迷宫寻宝小车[J].现代电子技术，2024，47（5）：70⁃74.

作者简介：张学刚（2001—），男，四川人，硕士研究生，研究方向为基于边坡灾害的微小形变预测。

王 "涛（1976—），男，河南人，教授，研究方向为智能化监测预警、无线通信调制解调、信道估计。