岸边集装箱起重机司机操作意图识别方法研究

赵羽蔚，严 伟，陆后军，俞翔栋

（上海海事大学 集装箱供应链技术教育部工程研究中心，上海 201306）

0 引言

近年来，港口码头生产安全事故频繁发生，港口工作者的安全越来越受到重视，同时也有更多人对港口机械智能辅助驾驶系统[1]进行研究。港口机械智能辅助驾驶系统可通过识别司机的操作意图后，进行辅助装卸操作。Luzheng Bi[2]等人使用基于排队网络的驾驶员模型认知结构来推测变道司机的驾驶意图，通过排队网络为基础的驾驶员模型仿真多种可能的驾驶意图相对的驾驶行为，通过比较真实数据和仿真结果推断驾驶员意图。Qingnian Wang[3]等人通过数理统计和神经网络建立模糊逻辑推理系中的隶属度函数和规则，采用模糊逻辑推理系统识别驾驶意图。就目前而言，国内外对驾驶员意图识别的研究较少，并且研究对象主要是汽车驾驶员，而针对岸边集装箱起重机司机的操作意图识别算法研究尚未发现。

本文基于隐马尔科夫模型（Hidden Markov Model，HMM），针对桥吊司机建立了双层 HMM模型，分别为操作层和意图层，用于识别桥吊司机装卸操作行为[4]和操作意图[5,6]；运用修改后的Forward-Backward算法，计算数据组相对于各个HMM 模型的似然度，选择似然度最大的模型作为操作识别结果，组成观察序列串后，用于计算意图层各个HMM模型的似然度，选择似然度最大的模型作为桥吊司机的操作意图。

1 理论基础

1.1 马尔科夫链

马尔可夫链是数学中具有马尔可夫性质的离散时间随机过程。在这个过程中，某个事物未来的状态仅与当前的若干个状态相关，无法通过该事物过去的状态来推测未来的状态，即说明过去与未来的状态是无关的。

1.2 隐马尔科夫模型

隐马尔科夫模型是马尔科夫链的一种，其状态不能被直接观察到，称其为隐性状态，需借助其它观察序列进行观察，而可观察的序列则称为观察序列。每个隐性状态通过相应概率密度分布产生相应观察序列，每个观察序列通过某些概率密度分布进行变换，因此隐马尔科夫模型是一个双重随机过程。

1.3 修改后的向前-向后算法

给定HMM模型参数λ的前提下，定义前向变量αt(i)，它表示t时刻满足状态si，且t时刻之前（包括t时刻）满足给定的观察序列(O1, O2,…, Ot)的概率；同理定义后向变量βt(i)，它表示在时刻t出现状态si，且t时刻以后的观察序列满足(Ot+1, Ot+2,…,OT)的概率，对于构建的桥吊司机HMM模型，修改后的前向变量αt(i)和后向变量βt(i)的具体形式如下:

式中，aij定义为从状态si转移到状态sj的概率，bi(O2t(l))定义为时刻t时状态为si的前提下，对应4组观察值中满足O2t(l)的概率。假定l=1代表小车运行状态，l=2代表吊具升降状态，l=3代表开闭锁开闭状态，l=4代表导板收放状态，则O21(l)代表时刻t=1时的小车运行状态的观察序列。

2 双层HMM意图辨识模型构建

2.1 桥吊司机装卸操作规律

桥吊司机的装卸操作是一个连续、复杂的过程，在人-机组成的闭环系统中，人要根据装卸作业情况，结合自身的操作意愿和习惯，对岸边集装箱起重机进行操作控制，完成各种港口装卸作业。根据不同的港口装卸环境，桥吊司机做出的反应受心理状态的影响，其操作流程复杂、多样，但在相似的装卸环境下，桥吊司机具有特定的操作规律。以下分别是关于吊箱作业及卸箱作业的一般操作规律。对于吊箱作业的复合工况，有以下操作规律:小车加速前进→小车减速→小车停止且吊具加速下降→吊具减速→吊具停止且放下导板→吊具低速下降对接→闭锁→吊具加速上升→吊具减速。同样，对于卸箱作业有以下驾驶操作规律:小车加速后退→小车减速→小车停止，吊具加速下降→吊具减速下降，对接→开锁→吊具加速上升→收起导板→吊具减速。因此，可基于桥吊驾驶员操作行为的普遍规律，对操作意图进行识别。

基于隐马尔科夫模型的特征，针对岸边集装箱起重机司机构建双层HMM模型。操作层HMM（下层）模型包含4个HMM模型集，分别对应小车运行、吊具升降、开闭锁开闭和导板收放。应用不同操作行为所对应的观察序列分别训练4个只涉及小车运行的HMM模型，4个只涉及吊具升降的HMM模型，2个只涉及开闭锁开闭的HMM模型和2个只涉及导板收放的HMM模型。将一长段观察序列进行分段处理之后，输入到各个HMM模型群中，逐段识别小车运行、吊具升降、开闭锁开闭和导板收放等4个单一工况的识别结果串，并将其按照港口集装箱装卸操作规律分段处理后作为意图层HMM（上层）的观察序列，分别对应意图层中规范吊箱、规范卸箱、非规范吊箱、非规范卸箱的HMM模型。双层HMM模型结构如图1所示。基于这样的模型结构，各模块可独立操作HMM层完成识别，有效提高了运行效率，实时识别桥吊司机操作行为，准确辨识桥吊司机操作意图。

图1 桥吊司机意图识别的双层HMM模型结构

2.2 操作层HMM模型

针对小车运行，桥吊司机的操作行为包括小车正常加速运行、小车紧急加速运行、小车正常减速运行、小车紧急减速运行，采集桥吊驾驶员操作的传感器数据，包括小车运行拉杆档位、小车运行拉杆速度等，构建小车正常加速运行、小车紧急加速运行、小车正常减速运行、小车紧急减速运行等 4个HMM模型，用于识别短时间内小车运行的操作行为。其HMM群的观察序列可以描述为如下多维向量组的形式:

式中:O1(t)为小车运行的HMM群；a(t)、b(t)分别为小车运行拉杆的档位和小车运行拉杆的速度。运用Forward-Backward算法，在MATLAB环境下分别计算小车运行数据组相对于各个HMM模型的似然度，然后选择似然度最大的模型作为小车运行操作识别结果。

针对吊具升降，可构建吊具正常加速升降、紧急加速升降、正常减速升降、紧急减速升降等4个HMM模型，其多维向量组的形式同上。

针对开闭锁开闭，可构建开闭锁的开锁和闭锁2个HMM模型，其HMM群的观察序列可以描述为如下向量组的形式:

式中:O2(t)为开闭锁的HMM群；e(t)为开闭锁的开闭状态。

针对导板收放，可构建导板收起和放下的HMM模型，其与开闭锁具有相同形式的向量组。

2.3 意图层HMM模型

针对桥吊司机装卸操作过程，其操作意图包括规范吊箱、规范卸箱、非规范吊箱、非规范卸箱。将得到的操作层HMM的三维识别结果串，按特定复合工况下的装卸操作意图进行划分，并作为意图层HMM模型的观察序列，用以计算对于意图层各个HMM模型的似然度。其观察序列可以表述成如下向量组的形式:

式中，x(t)、y(t)、u(t)、v(t)分别为有关小车运行、吊具升降、开关锁开闭和导板收放的操作层HMM的识别结果。

识别各个单一工况的桥吊司机操作行为，组成观察序列串后，送入意图层HMM模型集，计算各HMM模型的似然度，识别桥吊司机的操作意图。

3 双层HMM意图辨识模型参数确定

3.1 操作层HMM（下层）模型

操作层HMM模型输入的数据组包括小车运行拉杆档位、小车运行拉杆速度、吊具升降拉杆档位、吊具升降拉杆速度、开闭锁的开闭状态，导板的收放状态等作为操作层HMM（下层）模型的观察序列，分别用以识别小车正常加速运行、小车紧急加速运行、小车正常减速运行、小车紧急减速运行、吊具正常加速升降、吊具紧急加速升降、吊具正常减速升降、吊具紧急减速升降、开闭锁开锁、开闭锁闭锁、导板收起、导板放下等12种桥吊司机操作行为，以桥吊司机装卸操作规律为依据，假设如下的状态转移矩阵，状态转移矩阵中的元素xij均表示从第i行对应状态转换至第j列对应状态的概率，行代表t时刻的状态，列代表t+1时刻的状态。

小车运行拉杆的档位共分为7档，其中1至3档用作前向加速，5至7档用作后向加速，4档用作制动。矩阵中，行代表at的状态，从上至下依次为1至7档的状态，列代表at+1的状态，从左至右依次为1至7档的状态。小车运行拉杆速度、吊具升降拉杆档位和速度、开关锁开闭及导板收放的状态转移矩阵形式同上。

3.2 意图层HMM（上层）模型

将得到的操作层HMM的三维识别结果串按特定复合工况下装卸操作意图进行划分，并作为意图层HMM模型的观察序列，用以识别包括规范吊箱、规范卸箱、非规范吊箱、非规范卸箱等的操作意图。在混淆矩阵中，列代表装卸操作过程中4种操作意图，从左至右依次为规范吊箱、规范卸箱、非规范吊箱、非规范卸箱，矩阵中的元素yij表示第i行对应的操作行为对应第j列操作意图的概率。矩阵中，行代表小车的操作行为，从上至下依次为小车正常加速、小车紧急加速、小车正常减速、小车紧急减速。吊具运行、开闭锁开闭、导板收放的混淆矩阵形式同上。

4 案例分析

运用修改后的Forward-Backward算法，计算各个HMM模型的似然度，选取似然度最大的结果作为识别结果（表1）。表中小车拉杆档位分为7档，前3档控制前向加速，后3档控制后向加速，中间档控制制动；速度分为2级，第1级为正常拉动，第2级为紧急拉动。吊具升降拉杆分为7档，前3档控制加速上升，后3档控制加速下降，中间档控制制动；速度分为2级，第1级为正常拉动，第2级为紧急拉动。开闭锁状态分为2个，第1个为开锁，第2个为闭锁；导板状态分为2个，第1个为收板，第2个为放板；操作意图分为4种，依次为规范吊箱、规范卸箱、非规范吊箱、非规范卸箱。参照实际港口装卸操作规律，将小车拉杆、吊具拉杆、开闭锁及导板状态输入构建的双层HMM模型进行识别（表1）。将桥吊司机操作意图识别结果与实际操作意图进行比对可知，该模型可准确识别岸边集装箱起重机司机的操作意图。

表1 双层HMM模型识别结果

5 结论

以桥吊驾驶员装卸操作规律为依据，建立双层HMM 模型结构，对模型识别结果进行分析，结果表明，该模型可准确识别复杂工况下的桥吊司机操作意图，可用于研究港口机械智能辅助驾驶系统，从而减少港口码头生产安全事故发生，并且有助于提高港口装卸效率。

[1]冯颉. 面向汽车安全辅助系统的驾驶员意图识别算法研究[D]. 成都:电子科技大学, 2013.

[2]Bi, L.Z., Yang, X.R., Wang C.E. Inferring Driver Intentions Using a Driver Model Based on Queuing[C]//2013 IEEE Intelligent Vehicles Symposium (IV). 2013:1387-1391.

[3]Wang Q.N., Tang X.Z., Sun L. Driving Intention Identification Method for Hybrid Vehicles Based on Fuzzy Logic[C]//Proceedings of the FISITA 2012 World Automotive Congress Lecture Notes in Electrical Engineering. 2013:287-298.

[4]施笑畏, 牛延华. 基于行为分析的桥吊司机操作规范研究[J]. 计算机光盘软件与应用, 2013(2):69-70.

[5]Jin M.J. A New Vehicle Safety Space Model Based on Driving Intention[C]// Third International Conference on Intelligent System Design and Engineering Applications. 2013:131-134.

[6]Zong C.F., Wang C., Yang D.J., et al. Driving intention identification and maneuvering behavior prediction of drivers on cornering[C]//Proceedings of the 2009 IEEE International Conference on Mechatronics and Automation. 2009:4055-4060.