基于人类记忆机制的码本建模方法研究

齐玉娟，牛潇然，王延江

（中国石油大学信息与控制工程学院，山东青岛266580）

基于人类记忆机制的码本建模方法研究

齐玉娟，牛潇然，王延江

（中国石油大学信息与控制工程学院，山东青岛266580）

码本模型在实际应用时需要提前进行离线训练构建码本，在一定程度上限制了码本模型的实时应用。为此，将人类三阶段记忆机制引入到码本建模过程，基于记忆机制进行在线码本建模。每个像素点的时序信息被抽象成码本中不同的码字，并通过在瞬时、短时和长时记忆空间模拟记忆、遗忘、回忆等认知行为，实时地对码字进行分类。实验结果表明，提出的新算法不仅提高了模型的实时性而且对场景突变的适应能力也强于原始模型；同时，新算法在交通监测等现实应用中也能取得良好的效果。

码本模型；三阶段记忆模型；基于记忆的码本模型；背景建模；运动目标检测

运动目标检测是计算机视觉领域的基础性任务，对运动目标跟踪、行为分析等后续处理非常重要，检测结果直接影响后续处理的效果。目前，常用的目标检测算法有光流法、相邻帧差法和背景减除法［1］。其中，背景减除法由于检测准确性高，处理速度快而被广泛应用。背景减除法通过计算当前帧与背景模型的差实现运动目标的检测，因此背景建模是背景减除法的关键。目前常用的背景建模方法有单高斯模型（GM）、混合高斯模型（MOG）、隐马尔科夫模型（HMM）［2］，以及近些年来被广泛研究的码本模型（CB）。码本模型最初由Kim［3］提出，该模型不仅可以像混合高斯模型一样对像素值的动态变化建立准确的模型，而且对于光照变化也具有较强的适应能力。然而，原始码本模型也存在着不足，研究者针对具体问题做出了相应的改进。例如，对于运动目标暂停运动、场景突变以及全局光照变化，Kim［3］提出了层次建模以及自适应更新；为了解决原始模型计算量大的问题，Guo等［4］提出了层次码本模型，对像素块统计量的动态变化建立码本模型以节省计算消耗；为了降低误检率，Li等［5］提出了基于高斯的码本模型，使用高斯假设作为码字的量化标准；Qiu等［6］提出了一种基于box的码本模型，降低了码本模型的复杂性，能够在复杂场景下准确、快速地提取运动目标；郭春生等［7］使用Mean Shift对码本中码字和方差进行更新，并利用归一化的Mann-Whitney秩和统计量自适应调整阈值，提高了运动目标检测的精度；范振涛等［8］将平均亮度与原算法中的亮度范围相融合，使亮度范围能够随像素值的变化正常更新，提高了模型对光照渐变的适应性；莫林等［9］引入了信号能量分析的思想，对与码字匹配的像素进行能量累积统计，提高了算法对复杂背景环境的适应性，并且在阴影的抑制方面也有较强的鲁棒性。由于原始码本模型算法要先进行离线训练构建码本，因此离线训练结果的好坏直接影响运动目标检测的鲁棒性；而且在离线训练过程中不能进行前、背景分割，限制了码本模型算法的推广应用；此外，若场景发生突变，原始码本算法不能及时更新背景模型，会导致误检测。针对这些问题，笔者受人类记忆机制的启发，将三阶段记忆模型引入到码本的建立与更新过程，提出一种能够在线学习的基于记忆机制的码本建模方法。

1 人类记忆机制

研究表明，记忆系统在人类的认知过程中发挥着至关重要的作用［11］。以视觉感知为例，人类能够在复杂环境下鲁棒地识别、跟踪、理解、解释感兴趣目标及其所处的场景，这与视觉系统、人脑记忆、学习、推理等功能的协同工作是密不可分的。其中，记忆系统执行将可能发生形变或有遮挡以及残缺的注意目标与记忆模式进行匹配等任务［12］。作为人脑信息存储的一个器官，记忆机制在自然科学、生物心理学、认知科学等领域得到广泛关注，研究者提出了多个记忆模型。其中由Atkinson和Shiffrin于20世纪60年代提出的记忆信息三级贮存模型被认为是认知心理学中的经典模型，经过后续研究人员的发展完善形成了三阶段记忆理论［11］，其模型框图如图1所示。

从图1中可以看出，记忆空间被划分为瞬时记忆空间、短时记忆空间和长时记忆空间，对应着信息处理流程的3个阶段。其中瞬时记忆空间容量最小，信息保存时间最短，存储着神经系统传来的感知信息；短时记忆空间是进行信息编码、解码、转换等处理的主要工作场所，并且控制着信息流的方向；长时记忆空间容量最大，信息保存时间最长，存储着经验知识等具有概念性质的信息。“复述”决定着信息是否可以长时存储，而“提取”将长时记忆中的激活信息传送到短时记忆。

图1 三阶段记忆模型Fig.1 Three-store memory model

近年来，人类记忆机制被成功应用于短时交通流量预测［13］、人工鱼认知建模［14］、入侵检测建模［15］、计算机视觉［16-19］等领域。特别是在计算机视觉领域的研究中，王延江等［16-17］将三阶段记忆模型引入到视觉信息处理过程，提出了基于记忆机制的视觉信息处理的认知建模，用于模拟人脑的一些认知过程，并将其应用于背景建模和运动目标跟踪算法的研究中［10，18-20］，较好地解决了复杂场景下的背景突变、目标姿态突变以及目标被严重遮挡等问题。

2 码本模型

码本模型采用量化和聚类的技术思路从像素值的动态变化中抽取出背景模型。具体来说，对于像素点Pj，定义Cj=｛c1，c2，…，cL｝为Pj的码本空间，其中，L是码本中含有的码字个数，不同像素点的码本空间中码字的数量互不相关，仅取决于各点自身亮度值的变化情况。每个码字是相应像素点的时变信息聚类的结果，由一个颜色向量vi=（Ri，Gi，Bi）和一个六元组构成。其中，vi表示码字ci的RGB颜色向量基准，六元组auxi则封装了该码字的动态统计信息，如表1所示。

基于码本模型的运动目标检测算法由训练阶段和前、背景分割阶段组成。在训练阶段，Pj的不同状态被抽象为不同的码字，构成码本空间。在前、背景分割阶段，在码本中搜索能够与新的像素值xt匹配的码字，匹配准则如下：

其中，colordist（xt，vi）代表了颜色失真度，具体定义

为

表1 原始模型中码字六元组中各参数含义Table 1 Meanings of parameters in six-tuple of one code word in original model

如果xt与ci匹配成功，则将该像素点划分为背景，并更新ci，更新方式如下：

如果xt与码本中的所有码字均不匹配，则将该像素点划分为前景。

3 基于三阶段记忆机制的码本建模

3.1 基于三阶段记忆机制的码本模型

根据三阶段记忆模型的信息处理流程，本文中将码本空间分割为3部分，即瞬时、短时、长时记忆空间，如图2所示。在T时刻，瞬时空间存储着码本所对应像素点在T-1时刻的RGB向量xT-1以及激活码字cact，即在T-1时刻发生过匹配的码字或新建码字；短时空间存储着在近段时间内发生过匹配的码字，其中既有背景码字也有前景码字；长时空间中存放着长时间未发生过匹配的背景码字。各空间均拥有自身的遗忘机制和决策机制，并按一定的规则对码字进行更新、传递。

基于三阶段记忆机制的码本模型中，码字ci仍然由xi和auxi组成。但六元组auxi改为｛，，fi， λi，qi，lablei｝，各参数的具体含义见表2。

图2 基于三阶段记忆模型的码本模型Fig.2 Three-stage memory based codebook model

表2 改进模型中码字六元组各参数的含义Table 2 Meanings of parameters in six-tuple of one code word in improved model

3.2 算法描述

运动目标检测时，基于三阶段记忆的码本模型的码本自身能够实时地学习背景，并存储在记忆空间中，从而不断适应场景的变化。新一帧的像素值首先与瞬时空间存储的像素值进行比较，并根据比较结果尝试分类。如果得出了分类结果，接下来只需要对各空间进行更新；如果未得出分类结果，则需要在短时和长时空间中搜索能够与之匹配的码字，以确定新像素值的类别。码字的匹配标准和更新方式如式（1）～（4）。算法流程如图3所示。

图3 本文算法框图Fig.3 Flowchart of proposed algorithm

（1）初始化。第一帧图像序列时，清空短时空间和长时空间。瞬时空间中存入当前帧的像素值x1，并构造一个新的码字作为激活码字。构造新码字的方式如下：

（2）对第T帧图像序列，新的像素值xT与瞬时空间中存储的像素值xT-1进行比较，比较函数如下：

如果式（6）的结果为1，转向步骤（3.1）；如果式（6）的结果为0，直接转向步骤（3.2）。

（3）像素分类。

（3.1）式（6）的结果为1，表明新的像素与瞬时空间中的激活码字cact相匹配，则进行分类。分类公式为

其中，lableact是cact的类别标记变量。

（3.2）在短时空间中搜索能够匹配的码字。如果存在，将其作为新的激活码字替换瞬时空间中原激活码字，同时按式（7）所示，将新的像素划入激活码字的类别中，并直接转向步骤4；如果短时空间中没有与新的像素相匹配的码字，转向步骤（3.3）。

（3.3）在长时空间中搜索能够匹配的码字。由于长时空间中存储的均是背景码字，若存在匹配码字，将新的像素分类为背景；否则，分类为前景，并以新的像素为基准建立新码字。同时，将匹配码字或新建码字作为新的激活码字提取至瞬时空间，原激活码字被传送到短时空间。

（4）记忆空间模型更新。

更新瞬时空间，即更新激活码字，并用xT取代xT-1。

更新短时空间包括类别转换、遗忘与记忆，具体操作为

其中，式（8）是类别转换函数，将发生匹配次数足够多的前景码字转换为背景码字；式（9）为遗忘函数，将匹配次数不足且近段时间内未发生匹配的码字清除；式（10）为记忆函数，将发生匹配次数足够多但在近段时间内未发生匹配的背景码字存入长时空间。

更新长时空间，融合其中相似的码字，融合方式为

4 实验结果及其分析

为验证本文中所提模型及算法的有效性和实用性，用两段标准视频在主频为Core 2.3GHz、内存为2G的计算机上进行测试，并与原始码本算法以及参考文献［3］的层次码本算法（layered codebook modeling and detection）进行了对比。实验中所用标准视频大小均为320×240，帧频分别为29帧/s和14帧/s。

4.1 对场景变化的适应性对比实验

第一个序列采用一段拍摄于停车场的标准视频。图4（a）展示的是前景目标暂停运动的情况：两辆汽车先后驶入镜头中并停止运动。在停止运动一段时间后，两辆车均应被视为背景。图4（b）、（c）和（d）分别是原始码本算法、层次码本算法以及本文所提算法的分割结果。图5（a）描述了背景突变的情景：一辆停泊的汽车重新启动行驶，同时另一辆停泊的汽车中走出一名乘客，而后乘客与行驶的汽车汇合并停止运动。图5（b）、（c）和（d）分别是原始码本算法、层次码本算法以及本文所提算法的分割结果。

图4 前景目标暂停运动时的分割结果Fig.4 Segmentation results when moving objects stop

从图4以及图5中看出：原始码本算法不能将停止运动后的目标自适应地转化为背景，难以处理场景突变的情况；层次码本算法可以自适应地处理场景突变的情况，但检测结果中存在着被误检为前景的区域；相比原始码本与改进后的层次码本，本文算法的误检率更低，并且对场景突变的适应速度也快于层次码本模型。

图5 场景突变时的分割结果Fig.5 Segmentation results when background changes suddenly

4.2 离线训练与在线学习对比实验

第二个序列采用一段拍摄于高速公路的标准视频，图6（b）、（c）和（d）分别给出了原始码本算法、层次码本算法和本文算法的运动目标分割结果（序列第10、30、60、120、240和400帧）。实验中，用序列前30帧训练原始码本模型算法。

从图6（b）、（c）可以看出，原始码本算法及层次码本算法在训练阶段无法分割前景和背景，且由于训练阶段有运动物体的干扰，训练不够彻底，因此背景分割时将路面误检为前景（圆圈圈出的区域）。此外，场景越复杂，原始码本和层次码本算法需要离线训练的时间就越长。相比之下，本文中提出的算法用在线学习替代了离线训练，自始至终能够进行运动目标检测，如图6（d）所示；同时也避免了因训练不充足造成误检。

图6 视频‘highway’的分割结果Fig.6 Segmentation results of'highway'

在本实验中，本文算法的处理速度为10.7帧/ s，高于原始算法的6.2帧/s。

4.3 改进模型的其他应用

为了验证提出的模型和算法的实用性，采用本文中实验视频作为实时交通监测的对象，并选取坐标为（120，60）的像素点为监测点，根据不同参数的变化情况判断交通状况。

图7 交通监测中各参数的变化Fig.7 Parameters used in monitoring

图7（a）、（b）、（c）分别描述了前景码字数量、短时记忆空间中背景码字数量、长时记忆空间中码字数量的变化趋势。上述三者判断场景中的交通状况如表3（其中，a、b、c分别对应图7（a）、（b）、（c）中码字数量的变化，“↑”代表增加，“-”代表没有变化）所示，并以此为根据采取相应的措施。

为了能够精确地监测交通流量，图7（d）记录了监测点码本中激活码字的类别标记变量lableact的跳变次数，该参数的1/2即通过监测点汽车的数量。从图中可以看出，截止到第500帧（图7（d）虚线标注），总共有12辆汽车驶过了监测点。

本文实验中仅设定了一个监测点以验证算法的效果，如果同时对多个点进行监测，则会取得更为详尽的视频分析。

表3 码字数量变化对应的各种交通状况Table 3 Different traffic condition corresponding to number of code words

5 结束语

针对离线训练对码本模型的约束，将三阶段记忆模型引入到码本的建立与更新过程，提出一种能够在线学习的码本模型。该模型不需要离线训练，在瞬时、短时和长时记忆空间中模拟记忆、遗忘、回忆等认知行为对码字进行实时分类。实验结果表明，提出的算法不仅提高了模型的实时性，而且对场景突变的适应能力强于原始模型；同时，该算法也能应用于交通监测领域。

［1］ 万缨，韩毅，卢汉清.运动目标检测算法的探讨［J］.计算机仿真，2006，23（10）：221-226. WAN Ying，HAN Yi，LU Hanqing.The methods for moving object detection［J］.Computer Simulation，2006，23（10）：221-226.

［2］ YILMAZ A，JAVED O.Object tracking：a survey［J］. ACM Computing Survey，2006，38（4）：1-45.

［3］ KIM K，CHALIDABHONGSE T H，HARWOOD D，et al.Real-time foreground-background segmentation using codebook model［J］.Real-Time Imaging，2005，11（3）：172-185.

［4］ GUO J M，LIU Y F，CHIH-HSIEN H，et al.Hierarchical method for foreground detection using codebook model［J］.IEEE Trans Circuits Syst Video Techn，2011，21（6）：804-815.

［5］ LI Y B，CHEN F，XU W L，et al.Gaussian-based codebook model for video background subtraction：proceedings of Second International Conference of ICNC，Xi'an，China，Step.24-28，2006［C］.Berlin Heidelberg：Springer，c2006.

［6］ QIU T，XU Y P，ZHOU M L.Box-based codebook model for real-time objects detection：proceedings of 7th World Congress on Intelligent Control and Automation，2008［C］.Piscataway：Institute of Electrical and Electronics Engineers Inc，c2008.

［7］ 郭春生，王盼.一种基于码本模型的运动目标检测算法［J］.中国图象图形学报，2010，15（7）：1079-1083. GUO Chunsheng，WANG Pan.An algorithm based on codebook model to moving objects detection［J］.Journal of Image and Graphics，2010，15（7）：1079-1083.

［8］ 范振涛，陈晓竹，陈亮.基于码本算法中亮度范围的改进策略［J］.中国计量学院学报，2013，24（3）：266-271. FAN Zhentao，CHEN Xiaozhu，CHEN Liang.Improvement strategy based on brightness ranges in codebook algorithms［J］.Journal of China University of Metrology，2014，24（3）：266-271.

［9］ 莫林，周赞，雷禹，等.基于YUV空间码本模型的运动检测［J］.计算机工程与应用，2012，48（25）：180-183. MO Lin，ZHOU Zan，LEI Yu，et al.Motion detection method based on YUV codebook model［J］.Computer Engineering and Applications，2012，48（25）：180-183.

［10］ 齐玉娟，王延江，李永平.基于记忆的混合高斯背景建模［J］.自动化学报，2010，36（11）：1520-1526. QI Yujuan，WANG Yanjiang，LI Yongping.Memorybased Gaussian mixture background modeling［J］.Acta Automatica Sinica，2010，36（11）：1520-1526.

［11］ 艾森克M W，基恩M T.认知心理学［M］.5版.上海：华东师范大学出版社，2009：223-230.

［12］ 罗四维.视觉信息认知计算理论［M］.北京：科学出版社，2010.

［13］ HUANG S，SADEK A W.A novel forecasting approach inspired by human memory：the example of short-term traffic volume forecasting［J］.Transportation Research Part C：Emerging Technologies，2009，17（5）：510-525.

［14］ 张淑军，班晓娟，陈勇，等.基于记忆的人工鱼认知模型［J］.计算机工程，2007，33（19）：33-35. ZHANG Shujun，BAN Xiaojuan，CHEN Yong，et al. Memory-based cognitive model of artificial fish［J］. Computer Engineering，2007，33（19）：33-35.

［15］ 黄光球，赵煜.基于生物记忆原理的入侵检测模型［J］.计算机应用，2009，29（5）：1279-1284.HUANG Guangqiu，ZHAO Yu.Approach to intrusion detection model based on biological memory principles［J］.Journal of Computer Applications，2009，29（5）：1279-1284.

［16］ 王延江，齐玉娟.基于记忆机制的视觉信息处理认知建模［J］.模式识别与人工智能，2013，26（2）：144-150. WANG Yanjiang，QI Yujuan.Memory-based cognitive modeling for visual information processing［J］.Pattern Recognition and Artificial Intelligence，2013，26（2）：144-150.

［17］ WANG Yanjiang，QI Yujuan，LI Yongping.Memory-based multiagent coevolution modeling for robust moving object tracking［J］.The Scientific World Journal，2013［2014-10-11］http：//dx.doi.org/10.1155/2013/793013.

［18］ 齐玉娟，王延江，索鹏.一种基于混合高斯的双空间自适应背景建模方法［J］.中国石油大学学报：自然科学版，2012，36（5）：175-178，183. QI Yujuan，WANG Yanjiang，SUO Peng.A doublesubspace adaptive background modeling method based on Gaussian mixture model［J］.Journal of China University of Petroleum（Edition of Natural Science），2012，36（5）：175-178，183.

［19］ 齐玉娟，王延江.基于人类记忆模型的粒子滤波鲁棒目标跟踪算法［J］.模式识别与人工智能，2012，25（5）：810-816. QI Yujuan，WANG Yanjiang.Robust object tracking algorithm by particle filter based on human memory model［J］.Pattern Recognition and Artificial Intelligence，2012，25（5）：810-816.

［20］ WANG Y J，QI Y J.Memory-based cognitive modeling for robust object extraction and tracking［J］.Applied Intelligence，2013，39（3）：614-629.

（编辑 修荣荣）

Memory-based codebook modeling for real-time object detection

QI Yujuan，NIU Xiaoran，WANG Yanjiang
（College of Information and Control Engineering in China University of Petroleum，Qingdao 266580，China）

Codebook modeling builds codebook through offline training before segmentation，which will affect its real-time application to some extent.In order to tackle this problem，in this paper，three-stage memory mechanism is introduced into the construction and updating process of codewords and a memory-based codebook model（MCB）which is capable of online learning is proposed.The sequential information of each pixel is abstracted into codewords which are classified by imitating some cognitive behaviors such as memorization，forgetting，and recall.Experimental results demonstrate that our method not only improves real timing but also is much more adaptive to the scenes with sudden changes than the original model.In addition，the proposed method can be applied in traffic monitoring.

codebook；three-stage memory model；memory-based codebook；background modeling；object detection

TP391

A

1673-5005（2015）04-0178-07

10.3969/j.issn.1673-5005.2015.04.025

2014-10-20

国家自然科学基金项目（61271407，61301242）；山东省自然科学基金项目（ZR2013FQ015）；中央高校基本科研业务费专项（R1405008A）；中国石油大学（华东）研究生创新工程项目（YCX2014056）

齐玉娟（1977-），女，讲师，博士，研究方向为计算机视觉、模式识别。E-mail：qiyj@upc.edu.cn。

王延江（1966-），教授，博士，博士生导师，研究方向为计算机视觉、模式识别。E-mail：yjwang@upc.edu.cn。

引用格式：齐玉娟，牛潇然，王延江.基于人类记忆机制的码本建模方法研究［J］.中国石油大学学报：自然科学版，2015，39（4）：178-184.

QI Yujuan，NIU Xiaoran，WANG Yanjiang.Memory-based codebook modeling for real-time object detection［J］.Journal of China University of Petroleum（Edition of Natural Science），2015，39（4）：178-184.