船机电系统自主控制平台及资源分配策略

岳林

中国舰船研究设计中心，湖北武汉430064

船机电系统自主控制平台及资源分配策略

岳林

中国舰船研究设计中心，湖北武汉430064

针对船机电系统大多依旧基于“人在回路”通讯及独立决策模式，难以进一步精简人员配置和提升运行效能的问题，提出一种船机电系统自主控制平台。该平台采用多代理（Multi-Agent）分级控制结构联合船机电系统，基于资源分配策略模型自主进行系统资源分配与任务调度，使舰船平台具备无人监督时的自重构与自决策执行能力，实现船机电系统作业模式从传统的基于人员运行向自主运行转变。试验表明，该平台能够自主结合任务需求和环境条件进行决策评估与资源优化，可有效提高舰船平台的整体生命力和任务执行效能。

船机电系统；自主控制；资源分配；任务调度；多代理分级控制

网络出版地址：http://www.cnki.net/kcms/detail/42.1755.TJ.20160729.0945.028.html期刊网址：www.ship-research.com

引用格式：岳林.船机电系统自主控制平台及资源分配策略［J］.中国舰船研究，2016，11（4）：102-110.

YUE Lin.Autonomous control plant and resource distributing strategy for HM&E systems［J］.Chinese Journal of Ship Research，2016，11（4）：102-110.

0　引言

当前，现役舰船通常具有独立的舰载推进、电力、损管、辅机和舰载武器等指挥监控系统，而这种体系结构主要是基于“人在回路”通讯及决策模式，难以实现人员配置和运行成本的进一步优化［1］。例如，作为现役先进舰船代表的美国“阿利·伯克”级IIA型驱逐舰（DDG 85及其后续舰），虽然经过了多轮技术升级与减员设计，仍需配置舰员276名［2］。

为此，美海军提出了综合机电平台（Integrated Engineering Plant，IEP）［3］概念，并成功应用到了DDG-1000驱逐舰上。其以先进的传感器技术、网络技术、信息处理技术以及智能控制技术为基础，使船机电平台具备在正常、故障和损害情况下无人监督时自感知、自评估、自决策和自反应的能力，使舰船在现代化海战场这种复杂环境中“整体上”呈现自适应性与自主执行的能力［4］，从而大幅减少了人力需求（全舰仅148人），同时通过级联灾难避免与快速资源重构设计，大幅增强了自动重构与损害管制能力［5］。

与国外相比，国内的自主控制研究尚主要集中在无人机、无人艇等小型无人平台上，重点研究自动避碰、自主导航航行等技术。例如，严浙平等［6］提出了一种针对无人航行器的自主控制系统，可实现复杂海洋环境下的自主勘测与自动避碰；曹诗杰等［7］提出了基于模糊自适应算法的航速航向协同控制方法，可提高无人水面艇在不确定水面环境中的自主航行适应性和鲁棒性。然而，由于小型无人平台系统间的协同相对简单，实现的任务相对单一，所以这些自主控制算法都难以适应大型舰船平台环境复杂性与多任务、多系统协同的需求。而目前国内在大型舰船自动化、自主控制方面的研究仍是以单系统的自动控制为主，重点关注机舱自动化、导航自动化及智能避碰等方面的研究，如基于现场总线的船舶自动化系统［8］、船舶动力定位系统的智能控制算法［9］、自动操舵仪自抗扰控制［10］等，尚无大型舰船平台整体自主控制与多系统自适应协同的相关研究，在大型水面舰船平台自主控制研究方面与国外差距显著。

为此，本文拟以综合电力推进舰船为应用背景，进行船机电系统自主控制平台设计与资源分配策略模型研究，通过结合典型的任务场景，进行自适应资源分配过程仿真验证，以根据外部环境进行自主决策与资源调度，提高舰船平台的整体自感知和反应能力，从而降低舰员的工作强度，减少舰员数量，提高舰船综合任务效能。

1　舰船自主控制平台结构设计

考虑到船机电系统自主决策与自动重构的可靠性与实时性需求，舰船自主控制平台采用多代理（Multi-Agent）分级控制结构，如图1所示。其中，顶层为决策层，用于接收中间层反馈的信息，以进行整个平台的决策评估与资源重构；中间层为协调层，采用Agent控制模式执行顶层的指令，自主触发事件/警报并下达重构指令；底层为反应层，执行各系统现场设备的控制指令并进行反馈响应。

图1　基于Multi-Agent的分级控制结构Fig.1　Multi-Agent hierarchical control framework

如图2所示，在具体实现平台中，决策层主要体现为任务调度模块，用于根据用户任务指令、平台部件状态和可用资源进行各系统的任务分解以及时序分配。中间层则为资源分配模块，包含有多个Agent，每个Agent对应一个子系统，在事件发生的每一个决策周期，每个Agent可根据任务、外部环境和自身状态进行需求评估，资源分配中心则统筹多个Agent评估结果以及任务优先级来制定各Agent资源分配策略，并转换成底层控制器指令下发。

可见，船机电系统自主控制的过程就是实现各子系统自主任务调度与资源分配的过程。其通过自感知外界环境条件，自适应决策各系统资源与任务执行时序，实现舰船平台资源的自重构与自主控制，从而降低舰员工作强度、减少舰员数量，提高舰船的任务效能。

2　基于Multi-Agent的资源分配策略模型

为实现资源的自适应分配，自主控制平台必须能够实时根据舰船任务的执行需求、关键负载状态以及场景环境等信息评估当前态势并进行资源重配置。考虑到自主控制平台每个决策周期的决策与执行动作只与当前状态有关，与历史状态无关，具有马尔科夫性质，因此可基于马尔科夫模型进行资源分配过程建模。同时，由于自主控制平台的实时性需求与环境的不确定特征，本文采用线性规划公式与随机策略来描述马尔科夫决策过程策略。

2.1基于Multi-Agent的马尔科夫决策过程

对于基于马尔科夫决策的资源分配过程建模，首先需解决2个问题：一是如何表示多个子系统，即多个Agent；二是如何表示资源约束的条件。

图2　自主控制平台原理框图Fig.2　The schematic of autonomous control plant

考虑到舰船平台各系统的松耦合性，可采用无约束的Multi-Agent表示多个子系统。即假设存在M个Agent，每个Agent都具有相同的状态空间S=｛i｝和动作空间A=｛a｝，则优化标准为总期望收益的无约束Multi-Agent马尔科夫决策过程如下：式中：每个Agent m的优化变量xm=｛｝对应一个随机策略π=［πia］，表示在状态i时选择动作a的期望频率；为执行动作a能获得的即时收益；δij为状态i到状态j的概率分布；为在状态i时执行动作a转移到状态j的概率；α=｛｝，为状态上初始概率分布的一个度量。

舰船资源主要包含电能和冷却水2种，其中电能属消耗性资源，可以采用以下约束：式中：为若Agentm在状态i执行动作a，会消耗个可消耗资源u；为可消耗资源的上界。

式（5）中，rand为随机函数，即随机选择的Agent m都应满足需求资源小于总资源数。可见，Agent执行动作消耗的资源实际上就是资源分配问题的解，综合式（1）～式（5），各Agent资源分配的最优策略即可通过式（6）和式（7）得出：

2.2资源分配过程设计

基于以上过程模型，平台资源分配过程设计如下：首先，通过评估当前获取的任务、运行环境以及舰船状态信息，确定t时刻的系统状态；然后，各系统对应Agent结合当前状态生成资源需求；最后，资源分配模块根据各系统资源需求与任务优先级，生成最优资源分配策略，如图3所示。

图3　资源分配过程Fig.3　Resource distributing process

在图3中的资源需求矩阵中，元素 Rijreq表示当前状态下Agenti请求资源 j的量；在优先级矩阵中，元素rij表示Agenti请求资源 j的优先级。这些信息作为Multi-Agent策略模型的输入，生成最优策略。具体实现步骤如下：

1）定义每个Agent的状态和行动空间。假设系统包含M个独立运行的Agent，定义状态空间Sm以及行动空间 Am（m=｛1,2,…,M｝）。每个Agent的一个状态由一个或多个状态变量确定。在Agentm的每个状态中，只有一组行动可被执行，所有的组成行动空间Am。

2）估算转移概率矩阵并确定即时收益因子。转移概率矩阵P=［piaj］，表示在状态i时执行动作a却变为状态 j的概率。即时收益因子矩阵R=［ria］，表示在状态i时执行动作a的期望即时收益因子。

3）确定每类资源的上界，以及每个状态—动作对应Agent所请求的资源类型与需求，如消耗型与可循环型。

4）按照1）～3）中定义的输入，决策器根据式（6）和式（7）计算出最优决策（即各Agent的最佳状态动作对）。

5）根据最优决策生成资源分配策略，即每一个决策时序内需要执行的动作集合，然后分配该动作的资源需求给相应的Agent。

此外，考虑到舰船在执行任务的过程中可能会发生如损伤或任务改变的突发事件，此时，就需及时更新转移概率矩阵，并结合决策信息更新每个状态—动作对的收益函数。将更新后的以上参数作为自主决策器的新输入，重新产生最优策略，如图4所示。

3　自主控制平台自适应资源分配实现

本节将基于以上资源分配策略模型，结合舰船作战和巡航这2类任务场景，并选取一些典型的系统作为自主控制平台的负载，描述自主控制平台的自适应资源分配过程实现。

图4　突发事件时的资源分配Fig.4　Resource distributing in exigent event

自适应资源分配实现过程如下。

1）定义每个Agent的状态与动作空间。

表1中的每个系统各对应一个Agent，各Agent独立运行但共享平台资源（水、电）。设定每个Agent的状态空间由自身状态（过热、正常和停止）和优先级（高、中、低）变量决定，如表2所示。

表1　不同任务场景下的典型系统负载优先级Tab.1　The system load priority for different mission

表2　Agent的状态空间描述Tab.2　The state space description of Agent

本文中，Agent的自身状态通过电力和流体仿真模型中的参数输入确定；优先级状态则由任务工况和优先级设定值决定。各Agent的每个状态对应一组动作空间：a1为该Agent提供冷却水，a2对该Agent停止供电，a3对该Agent重新供电并供应冷却水。

2）估计转移概率矩阵和即时收益。

针对以上设定的动作与状态空间，结合机电系统的作业特征，设定一组转移概率矩阵和即时收益，并假设所有的Agent参数值相同，如表3所示。后续研究若能结合实船历史数据进行估算或进行精确的建模仿真，则可得到更为准确的参数值，从而进一步提升模型效能。

表3　动作a1的状态转移概率矩阵和即时收益示例Tab.3　State transition probability and income ofa1

3）确定资源上界以及各Agent的资源需求。

假设平台每个决策时序都能提供30单位的电能和30单位的冷却水，所有Agent共享这些资源。如表4所示，每个Agent的电资源需求h与水资源需求g取决于其当前所处的状态i以及在该状态下执行的动作a1，a2和a3，并令高优先级或过热时需要更多的资源。

表4　状态—动作对的资源需求Tab.4　The resource requirement of state-action

4）计算最优策略。

表5　最优策略Tab.5　Optimizing policy（OP）

5）资源分配。

表5中的πia表示在状态i选择执行动作a的概率。在每个决策时序内，Agent即可根据最优动作策略在状态上的概率分布选择执行的动作，从而实现资源调度分配（供水或供电）。

4　自主控制平台仿真分析

如图5所示，自主控制平台仿真环境主要由电力、流体物理模型与控制器模型组成。前者主要为电力开关和流体阀开关的物理特征模型，后者则由分布式控制器（MetaVDCS）、基于Agent的控制器（ABCS）以及高级控制器（HLC）组成，并均由Matlab脚本文件实现。其中：MetaVDCS脚本文件对底层控制器，如电力开关和阀的控制机构的逻辑进行建模，模拟本地控制状态；ABCS脚本文件则根据从HLC获得的优先级为负载分配电和冷却水资源，调节分配给负载的功率以及流经负载的冷却水流量。

接下来，将以表1所示的典型系统为例，对巡航、作战以及任务改变这3种场景进行仿真分析。

图5　自主控制平台仿真环境原理图Fig.5　The schematic of autonomous control plant simulating environment

4.1场景1——巡航、作战任务

如表1所示，在巡航工况下，推进和导航系统为高优先级，而武器系统则为低优先级。此时，需保障推进系统和导航系统正常工作不关闭，并优先为其提供电和水资源。对应的分配策略为：高优先级Agent处于状态1～6（过热和正常）时不能执行动作a2，处于状态7～9（停止工作）时不能执行动作a1而应该执行动作a3，并且当外部环境状态变更时，这些Agent需依然能高概率地保持转移到期望状态（如状态4）。对此，本节设定一组反映以上策略的转移概率和即时收益矩阵，如表6所示。

如表6所示，在任意状态—动作对下，高优先级Agent状态4的转移概率均远高于其他概率。动作a1对于状态1～6、动作a3对于状态7～9的收益总是正的，其效果是保持Agent正常工作并获得请求资源，而导致Agent关闭的状态—动作对（如动作a2对于状态1～6）或者保持Agent关闭（如动作a1对于状态7～9）的收益则是负的。因此，需令这些Agent正常工作并获得请求资源的概率高，从而使系统自动重构至当前态势的最优状态。同理，中、低优先级Agent的执行策略与高优先级的相似，但转移概率略低。根据以上输入和上节所设定的资源相关参数，即可计算得出最优策略（表5）。作战任务的决策原则与巡航任务的相似，即尽可能保持雷达、指控、武器系统这些高优先级Agent获得请求资源并处于工作状态。

表6　高优先级Agent状态转移矩阵和收益函数Tab.6　State transition probability and income of high priority Agent

下面，将选择控制系统最常采用的最大即时收益策略（表7）算法为对比对象，分析最优策略方案在巡航、作战任务场景的资源分配效能。

表7　最大即时收益策略（MIR）Tab.7　Max income resource（MIR）

图6与图7中，Agent的可用性为在一个决策周期处于工作状态的时间比例。可见，相比最大即时收益策略，最优策略各系统Agent明显具备更高的可用性。这说明通过采用最优策略算法，不仅能够针对任务执行需求统筹总体资源，有效保障任务中高优先级负载大概率地处于工作状态，还能使舰船整体运行于最佳状态。

图6　巡航任务中2种策略的效能Fig.6　The efficiency of two strategies in cruise task

图7　作战任务中不同策略的Agent可用性Fig.7　Efficiency of two strategies in fight task

4.2场景2——紧急任务改变

下面将结合巡航→作战任务改变场景进行仿真试验，分析突变事件下调度策略的自适应更新与资源分配能力。设定前50个决策时序执行巡航任务，在决策时序50时出现了敌对情况，变为作战任务。那么，此时自主平台需在该时序更新转移概率矩阵和收益函数，重新计算最优策略并完成重构。

图8显示了当前仿真环境在任务改变后各Agent的重构映射过程。当处于巡航任务时，Agent 1和Agent 3具有高优先级，在大多数时间里，它们都处于期望状态（正常工作）。在第50个决策时序当任务改变后，Agent 2，Agent 7，Agent 8 和Agent 9具有高优先级，自主平台则自适应重新分配资源，最大程度地保证这4个关键Agent处于期望状态（正常工作）。可见，资源分配模型能够感知外部环境变化，自适应实现系统重构与资源重分配。

图8　巡航任务切换为作战任务各Agent状态变化Fig.8　The Agent state change for mission switch

5　结　语

综上所述，以自主资源分配策略为核心的自主控制平台能够根据不同的任务、环境需求进行自主决策与资源调度，通过优先保障关键负载的运行，使舰船整体运行于最佳状态，从而增强舰船平台的整体生命力和任务执行效能。不过，为实现工程应用，后续还需进一步开展以下研究：

1）状态转移概率矩阵及收益函数作为自主决策器的关键输入参数，决定了自主平台的可靠性与自控效能，后续还需建立更精准的船机电系统数学模型，并进行大量的仿真统计以获得更为准确的数值。

2）针对实船应用中作战环境下的强实时在线决策需求，后续可基于时域滚动思想开展实时决策研究，并结合实时仿真平台RT-LAB进行实时或超实时仿真分析。

［1］ NGUYEN T V，EPPERLY W，BUDINGER B.A survey of existing ship machinery control systems and suggested improvement for future ship platforms［C］//ASNE Day Symposium 2010.Arlington，VA：ASNE，2010.

［2］SASSO H H.Transforming legacy systems for the modernized DDG preliminary design case study［C］//Naval Engineering for Joint and Coalition Rapid Maritime Response.USA：［s.n.］，2005.

［3］WALKS J P，MEARMAN J F.Integrated engineering plant［C］//ASNEReconfigurationandSurvivability Symposium 2005.Atlantic Beach，Florida：Sea Turtle Inn，2005.

［4］HAGAN J，GROWE K，QUINTANA V，et al.Human systems integration and crew design process development in the Zumwalt destroyer program［C］//Committee on Naval Engineering in the 21st Century Transportation Research Board.［S.l.］：Bath Iron Works，2011：1-28.

［5］ O'ROURKE R.Navy DDG-51 and DDG-1000 destroyer programs：background and issues for congress［R/ OL］.USA：Congressional Research Service，2011. ［2012-01-13］.http：//www.fas.org/sgp//crs/weapons/ RL32109.pdf.

［6］严浙平，赵玉飞，陈涛.海洋勘测水下无人航行器的自主控制技术研究［J］.哈尔滨工程大学学报，2013，34（9）：1152-1158.

YAN Zheping，ZHAO Yufei，CHEN Tao.Research on autonomous control of unmanned underwater vehicle for oceanographic survey［J］.Journal of Harbin Engineering University，2013，34（9）：1152-1158.

［7］曹诗杰，曾凡明，陈于涛.无人水面艇航向航速协同控制方法［J］.中国舰船研究，2015，10（6）：74-80.

CAO Shijie，ZENG Fanming，CHEN Yutao.The course and speed cooperative control method for unmanned surface vehicles［J］.Chinese Journal of Ship Research，2015，10（6）：74-80.

［8］ 陆嘉明，李承祖.船舶机舱自动化在中国的发展回顾［J］.上海船舶运输科学研究所学报，2012，35（2）：1-3.

LU Jiaming，LI Chengzu.Review of the marine engine room automation in China［J］.Journal of Shanghai Ship and Shipping Research Institute，2012，35（2）：1-3.

［9］雷正玲.救助船动力定位智能控制及仿真的研究［D］.大连：大连海事大学，2011.

［10］ 邱琦.基于自抗扰控制技术的自动操舵仪的设计与实现［D］.大连：大连海事大学，2012.

网络出版地址：http://www.cnki.net/kcms/detail/42.1755.TJ.20160729.0945.030.html期刊网址：www.ship-research.com

引用格式：薛彩霞，袁伟，俞孟蕻，等.遗传粒子群优化算法在船舶动力定位控制中的应用［J］.中国舰船研究，2016，11 （4）：111-115.

XUE Caixia，YUAN Wei，YU Menghong，et al.Application of the genetic particle swarm optimization algorithm in dynamic positioning ship contro［lJ］.Chinese Journal of Ship Research，2016，11（4）：111-115.

Autonomous control plant and resource distributing strategy for HM&E systems

YUE Lin
China Ship Development and Design Center，Wuhan 430064，China

As most Hull Mechanical&Electrical（HM&E）Systems are still based on“human in loop”tradition mode in controlling and decision-making，which requires much man power and severely affects system efficiency，an autonomous control plant for HM&E system is proposed.By using Multi-Agent hierarchical control structure associating with HM&E systems and adopting the resource distributing strategy model to actualize system resources distribution and task scheduling，the ship platform is empowered with adaptive reconstruction and autonomous execution ability in an unmanned condition，which changes the operation mode from traditional human based running to autonomous running.The simulation results show that this plant is not only applicable to autonomously decision execution and resource optimization in various tasks and environment，but is also effective in improving the automation level and the overall vitality of the ship platform.

Hull Mechanical&Electrical（HM&E）system；autonomous control；resource distributing；task scheduling；Multi-Agent hierarchical control

中国分类号：U662.9A

10.3969/j.issn.1673-3185.2016.04.015

2015-12-15网络出版时间：2016-7-29 9:45

国家自然科学基金资助项目（61303238）

岳林（通信作者），男，1982年生，博士，工程师。研究方向：舰船信息化与智能控制。

E-mail：elfyue1982@163.com