田立勤,高 坤,曹阳威
华北科技学院 计算机系,北京 101601
北斗物联网实时监测的传输有效性优化与分析*
田立勤+,高坤,曹阳威
华北科技学院 计算机系,北京 101601
TIAN Liqin,GAO Kun,CAO Yangwei.Effectiveness optimization and analysis of transmission in real-time monitoring based on Beidou and Internet of things.Journal of Frontiers of Computer Science and Technology,2016,10(7):975-988.
物联网结合各种主干传输很适合远程实时监测,但是在一些位置偏远地区,一般没有互联网、有线专线等基础通信的IT远程传输主干,移动信号也比较弱甚至可能没有,从经济角度和实际传输环境出发,可以采用我国北斗卫星导航系统提供的报文服务,但是目前北斗报文服务传输频度和单次传输量受到限制。针对这种情况提出了一种适用于北斗报文的提高其传输效率的远程传输有效性优化机制(effectiveness optimization mechanism of remote transmission,EMRT)。这种机制具体包括3部分:(1)针对待传记录,动态压缩记录中冗余指标的“指标压缩方法”;(2)针对待传指标,根据协议事先约定好去除双方都知道的静态“外部包装”的“要素压缩方法”;(3)针对待传要素,压缩高4位的“位压缩方法”。同时根据双方的动态数据变化量化分析了ERMT对北斗传输有效性的提高效果,并分析了影响有效性的因素。理论分析和实际数据验证表明,这些机制对提高北斗传输有效性具有显著作用,对基于我国北斗卫星的信息传输的实际应用具有重要的理论和实际意义。
物联网;北斗报文;远程传输;有效性
物联网配合北斗报文服务很适合远程实时监测,原因有:(1)物联网的感知部分——无线传感器网络布置灵活,自组织能力强,能够在条件恶劣,甚至给人带来危险的地方进行监测[1-2];(2)北斗报文服务范围覆盖亚太地区,选择北斗报文服务作为物联网远程传输主干可以解决偏远地区没有互联网远程传输主干,移动信号或者信号微弱导致数据无法传输的问题[3]。例如早在汶川抗震救灾任务中,该服务就在灾区基础通信设备被自然灾害破坏的情况下成为灾区和外界通信的主要手段。近年来,国内很多专家学者致力于将北斗报文服务应用到水文、地质、交通、海洋等领域,一些典型的应用如文献[4-7]。
在基于北斗报文的物联网实时监测系统中,监测数据远程传输过程分为以下几个步骤:(1)监测数据经过发送端即北斗终端上传到北斗卫星;(2)北斗卫星向地面中心站转发监测数据;(3)接收端通过北斗终端从地面中心站获取监测数据。但是北斗报文服务的通信频度是每分钟一次,每次最多传输80 Byte[8-9],因此以北斗报文服务作为物联网远程传输主干的监测系统在传输大量数据时,必须采取有效措施提高北斗报文远程传输的有效性[10]。
目前,基于北斗报文远程传输有效性的研究主要集中在国内,国外专家学者很少针对该领域进行深入研究。导致该现象的主要原因有:(1)北斗报文服务是基于“北斗一代”卫星导航系统“有源定位”方式特有的服务,该服务是其他“无源定位”卫星导航系统如GPS、GLONASS、GALILEO所不具备的;(2)北斗卫星导航系统起步较晚,其报文服务的覆盖范围是东经80度到东经150度,北纬5度到北纬55度,仅能够覆盖中国全境和亚洲部分地区,北斗报文用户主要集中在国内。为提高北斗报文远程传输有效性,文献[11]提出了一种多SIM卡复用的北斗终端设计方案,将一台北斗终端的SIM卡数量提高到多张,航天科技集团公司772所研制的北斗大容量数据传输模块也采用了类似的处理方法,但是这种方法实际上是通过增加硬件成本来提高有效性。文献[12]根据汉字GB2312编码的特点,对GB2312编码进行重新映射,以减少表示每个汉字所需的二进制位数,从而实现北斗报文发送中汉字文本的压缩以提高有效性,缺点是该压缩方法仅针对汉字文本传输,适用范围比较窄。文献[13]提出将TCP/IP协议的控制机制应用到北斗报文传输中,并结合北斗报文传输的特点制定了一种适用于北斗报文的长报文通信协议,从而提高了有效性。虽然国外专门针对北斗报文远程传输有效性的研究比较少,但是可以通过参考国外远程数据传输压缩方向的研究,结合北斗报文特点制定提高北斗报文远程传输有效性的方法。目前比较典型的方法有:文献[14]采用Huffman算法压缩北斗报文数据,不足之处在于发送端必须额外发送Huffman算法的编码树,接收端才能根据编码树解压出北斗报文数据。文献[15]在自动气象站传输系统中采用预设LZW编码和静态Huffman编码压缩气象数据,以提高北斗报文远程传输有效性。该方法无需传输LZW动态编码表和Huffman编码树信息,但是其适用范围比较窄,因为压缩时要求数据必须与编码表预设的字符串一致。
基于北斗报文的物联网实时监测系统按照物联网结构划分为感知层、网络层和应用层,如图1所示。其中感知层由各种传感器组成,承担采集信息的作用;网络层负责信息传递,通过远程传输主干即北斗报文服务传输感知层获取的信息;应用层是物联网和用户的接口,提供分析、查询、命令发布等功能供决策者和授权用户访问。北斗终端配有通信接口,可以经过标准RS-232串口和网关进行信息交换。
定义1(远程传输有效性)远程传输有效性指待传数据进行远程传输的效率,可以通过实际传输所节省的字节数和待传数据字节数的比值η来量化。
Fig.1 Architecture based on Beidou message and Internet of things in real-time monitoring图1 基于北斗报文的物联网实时监测系统架构
假设实际传输所占用的字节数为Wid,待传数据字节数为Wid_Save,那么远程传输有效性可以通过以下公式计算:
为提高北斗报文远程传输有效性,本文提出了一种适用于北斗报文的远程传输有效性优化机制(effectiveness optimization mechanism of remote transmission,EMRT)。这种机制按照北斗报文的远程传输有效性优化顺序可以分为3个方面:(1)针对待传记录,压缩记录中冗余指标的“指标压缩方法”(index compression method,ICM);(2)针对待传指标,根据协议事先约定好去除双方都知道的“外部包装”的“要素压缩方法”(element compression method,ECM);(3)针对待传指标要素,压缩高4位的“位压缩方法”(bit compression method,BCM)。
定义2(记录)北斗报文有固定的指令格式,具体包括“报文标志”、“长度”、“地址”、“报文内容”、“校验和”这5部分。北斗报文组帧过程中,监测数据全部存储于“报文内容”部分,本文为了便于描述将该部分称为一条记录,并用mes表示。同时为了区分不同时间发送的记录,将记录按照发送时间的先后排序,首次发出的记录用mes1表示,第t次发出的记录用mest表示。
定义3(指标)在监测系统中能够反应监测区域状态的诸如时间、地点、温度等类型的监测数据称为指标,用I表示。
根据定义可知记录是由一定数量的指标组成的。如图2所示,I的上标表示其所在记录的发送序号,下标表示指标在记录中的序号,如分别表示第t次发出的记录mest的前3个指标。
Fig.2 Composition ofmest图2 记录mest组成示意图
3.1指标压缩方法
在基于北斗报文的监测系统中,可以依据指标的重要程度将指标分为紧急指标、普通指标和冗余指标。监测区域无异常情况下,记录中存在大量非常近似的冗余指标。ICM的优势是可以在报文组帧时直接减少冗余指标的发送数量,如图3所示,冗余指标在报文组帧时被压缩,该次记录中发送指标数量由11个下降至6个。
Fig.3 Composition of ICM图3 ICM示意图
ICM的特点是记录中冗余指标被压缩后,每一条记录发送的指标数量不再固定,各个指标发送频率是动态变化的。虽然上面ICM可以在报文组帧时直接减少冗余指标的发送数量,但是指标发送频率动态变化的特点增加了接收端报文解析的难度,因为接收端无法识别被压缩的冗余指标在记录中的位置和数量。此外,ICM方法缺少可靠的标准,记录中哪些指标属于可压缩指标难以确定。基于以上考虑,ICM不适合直接应用于北斗报文,需要进一步改进。本文通过采用“变频组帧调度”设计和“位映射队列”设计解决这些问题。
3.1.1变频组帧调度设计
变频组帧调度设计包括:(1)设置指标调度阈值;(2)量化指标的近似程度;(3)通过队列调度确定记录中可压缩的冗余指标。
指标调度阈值的设置比较简单,可以由监测人员根据监测精度要求设置。为了区分紧急指标、普通指标和冗余指标,将阈值设置为紧急阈值ϕ1和普通阈值ϕ2(ϕ1≥ϕ2)。下面详细分析量化指标近似程度和通过队列调度确定记录中可压缩冗余指标的设计。
指标的近似程度可以用指标差的绝对值来量化:将mest中指标和中对应指标分别作差并取绝对值,得到即代表了各个指标在北斗报文两次发送时间间隔内的近似程度。
北斗报文组帧时根据ϕ1、ϕ2、di将指标划分进3个发送队列:紧急发送队列Q1、普通发送队列Q2和冗余发送队列Q3。
Fig.4 Flowchart of frequency framing scheduling图4 变频组帧调度流程图
①如果di≥ϕ1,表明是紧急指标,监测区域存在发生紧急情况的可能,属于Q1;
②如果ϕ2≤di<ϕ1,表明是普通指标,属于Q2;
③如果di≤ϕ2,表明是冗余指标,属于Q3。
①如果di≥ϕ1,表明也是紧急指标,监测区域存在紧急情况的可能性进一步增大,属于Q1;
②如果di<ϕ1,表明是非紧急指标,监测区域存在紧急情况的可能性降低,为继续观察监测区域的后续状态,必须发送,属于Q2。
如图5所示,Q1、Q2、Q3都是虚拟队列,其目的是在组帧调度时赋予虚拟队列中指标不同的发送方式:
(1)Q1、Q2队列中指标采取“占位发送”即正常发送的方式,而且Q1拥有比Q2更高的发送优先级,传输链路拥塞时优先发送Q1。
(2)Q3队列中的指标是“冗余指标”,采用“不占位发送”的方式压缩该指标。该发送方式下,记录中属于Q3队列的指标不发送,在记录中的位置由记录中下一个属于Q1或Q2的指标占用。
定义4(单指标变频压缩率)设历史上第i个指标的总记录数为Numsum,经变频组帧调度后多个记录中该指标“不占位发送”,设历史上该指标“占位发送”的记录数为Nummerg,则单指标变频压缩率Comi为:
Fig.5 Index transmission method of frequency framing scheduling图5 变频组帧队列调度指标发送方式示意图
根据计算公式可知单指标变频压缩率为“占位发送”的记录数与总记录数的比值,该值越小表明变频组帧队列调度效果越好。表1以某气象监测系统10条历史记录中的“空气温度值”这一指标为例计算单指标变频压缩率,该监测中设定ϕ1=0.1,ϕ2=0.01。
通过表1可以得出结论:mes2、mes4的“空气温度值”指标“不占位发送”,单指标变频压缩率Comi=80%。
3.1.2位映射队列设计
若接收端接收到的当前记录中存在“不占位发送”的指标,可以通过调取接收到的上一条记录中对应指标补齐当前记录。以接收端接收到的记录mest为例,若mest中指标不占位发送”,接收端可以通过调取mest-1中指标补齐记录mest。
Table 1 Record of single index frequency compression表1 单指标变频压缩记录表
接收端为补齐当前记录必须从发送端获取以下信息:一是变频组帧调度后,记录中各个指标是否“不占位发送”的信息;二是当压缩效果不理想,记录必须分多包发送时发送端的分包信息。ICM通过“位映射队列”设计实现以上信息从发送端到接收端的传输。
位映射队列设计将记录设计为两个存在映射关系的队列,即“报头队列”和“数值队列”。
(1)报头队列(Head_Que)。Head_Que用二进制数码“0”和“1”表示,每2位可以映射一个指标在本记录中的发送状态:第1位用于描述指标是否属于该分包;第2位用于描述指标是否“占位发送”。“11”代表所映射指标属于该分包并且“占位发送”;“10”代表所映射指标属于该分包并且“不占位发送”;“01”代表所映射指标不属于该分包并且在其所属分包中“占位发送”;“00”代表所映射指标不属于该分包并且在其所属分包中“不占位发送”。
(2)数值队列(Data_Que)。Data_Que存储记录中“占位发送”指标,用AscII码数字表示,每一个指标都能在Head_Que中找到代表其发送状态的映射。
如图6所示,某基于北斗报文监测系统共有n个指标,分两包即mest-1和mest发送,接收端根据Head_Que获得以下信息:
Fig.6 Bitmapped queue design图6 位映射队列设计示意图
(1)mest-1的Head_Que前m个映射第1位全部为“1”,表明该分包发送监测数据的前m个指标;mest的Heda_Que从第m+1至第n个映射第1位全部为“1”,表明该分包发送监测数据的后n-m个指标。
(2)mest-1的Head_Que第2、第3映射第2位为“0”,表明该分包中、不占位发送”;mest的 Heda_Que第4、第5映射第2位为“0”,表明该分包中、不占位发送”。
3.2要素压缩方法
定义5(指标要素)本文总结出指标包括8个组成要素,即监测时间Tim、监测地点Loc、指标名称Nam、正负号Sign、整数部分Int、小数点Poin、小数部分Frac、指标单位Unit,它们构成一个完整的指标。这8个指标要素宽度分别用Wid_Tim、Wid_Loc、Wid_Nam、Wid_Sign、Wid_Int、Wid_Poin、Wid_Frac、Wid_Unit表示。
在基于北斗报文服务的实时监测中由于远程传输带宽受限,将记录中指标以8要素的形式发送很浪费通信资源。ECM的优势是可以去除指标“外部包装”,将每一个指标都以更少的字节数发送。例如文献[16]在水文监测中将水位观测量这一指标统一仅以5位数值的形式发送,如果不满5位则前面补0。但是这种去除“外部包装”的方法没有考虑到不同监测系统、不同指标间数值长度不同的情况,因而适用范围较窄[17-19]。本文在这种处理方法的基础上进行改进,提出改进的“要素压缩方法(ECM)”。
ECM将指标的8个组成要素按照要素压缩条件分为无条件压缩、有条件压缩和不可压缩3种类型,并给出了压缩条件和处理方法,如图7所示。
无条件压缩指标要素(Index_Uncond):即经过发送和接收端协商确认后在任何条件下都可以被压缩的指标要素,包括Nam、Poin和Unit。无条件压缩指标要素宽度用Widcom_Uncond表示。
针对Nam,只要该指标在所有发送的指标相对位置固定且总长度确定,接收端就可以通过指标的相对位置和宽度从接收的信息中把该要素分离出来,因此该要素可以省略;针对Poin,只要指标小数部分Frac的保留位数确定,就可以通过对该指标值扩大10Wid_Frac倍,将浮点数变成整数来省略,接收端将接收到的数据缩小10Wid_Frac倍即可还原出浮点数,因此该要素可以省略;Unit一般都是确定的,只要发送和接收端协商确认后就可以省略。
有条件压缩指标要素(Index_Cond):即根据情况可以压缩的指标要素,包括Tim、Loc、Sign;Index_ Cond宽度用Widcom_Cond表示。
(1)Tim的省略:监测方与接收端如果进行了时钟同步,并且监测的频率固定就可以省略,否则就不能省略,例如若监测的指标是触发式的而不是固定监测频率就不能省略。
(2)Loc的省略:如果监测地点固定,则监测地点的名称只要发送和接收端协议协商确认后就可以省略,如果是机动监测和应急监测则不能省略。
(3)Sign的省略:如果监测指标没有负值,则可以省略,否则不能省略,并用数值“0”代替正号,“1”代替负号。
不可压缩指标要素(Index_Uncomp):即ECM中不可压缩的要素,包括Int和Frac。Index_Uncomp宽度用Wid_Uncomp表示。
不可压缩指标要素并不是绝对不能压缩,本文前面设计变频组帧调度即是对这两部分进行不丢数值的“省略”。
定义6(有效指标要素,Index_Save)即完整的指标经过ECM压缩后保留的待传指标要素,其宽度用Wid_Save表示。
Fig.7 Composition of ECM图7 ECM示意图
3.3位压缩方法
北斗报文通过北斗终端发送前还可以采用合适的压缩方法进一步提高远程传输有效性。压缩方法分为有损压缩和无损压缩两大类:有损压缩的压缩比高,但是无法完全还原出源文件;无损压缩的压缩比低,但是可以精准还原出源文件。对于文本压缩,尤其是监测数据这种精度要求比较高的文本压缩,一般选用无损压缩方法。常见的无损压缩方法包括LZ系列压缩方法、Huffman压缩方法、半字节压缩方法等。本文提出的位压缩方法BCM实际上是根据北斗报文的特点选用半字节压缩方法压缩掉记录中冗余的二进制位。BCM的优势是北斗报文经过ICM和ECM优化处理后Data_Que中只包含有“0~9”的数值,而数值“0~9”的AscII码高4位都是“0011”,采用半字节压缩方法可以直接压缩掉Data_Que编码的高4位而无需额外传输字典、编码表等字节。
如表2所示,数字“0~9”的AscII码高4位都是“0011”,BCM的原理就是将每一个数字都只用其低4位来描述,进而压缩掉编码的高4位,压缩比理论上接近50%。
Table 2 AscII code comparison of“0~9”表2 数字“0~9”AscII码对照表
BCM算法的实现可以通过C语言中的位操作命令将每个字节的高4位去掉,然后依次将相邻的两个低4位放到一个字节中,如图8所示。
Fig.8 Composition of BCM图8 BCM示意图
4.1发送端数据库设计与更新
监测记录在通过北斗报文发送前统一存储在发送端数据库中,本文提出的EMRT是通过对数据库进行存储和调用实现的。以下论述基于EMRT的发送端数据库设计与更新过程,并通过表3~表5,以某基于北斗报文的气象监测系统为例进行说明。
该数据库有6个主要字段,分别是序号(Num)、报文发送时间(Send_Time)、记录类型(Mes_Type)、报头队列(Head_Que)、数值队列(Data_Que)、有效指标要素(Index_Save)。
(1)序号(Num)字段包括3部分:第1部分描述记录在历史上的发送次序,第2部分描述记录最大分包数,第3部分描述当前分包在记录中的分包号;
(2)报文发送时间(Send_Time)字段描述记录的发送时间;
(3)记录类型(Mes_Type)描述记录是否分包,不分包用“0”描述,分包用“1”描述;
(4)报头队列(Head_Que)描述记录中“报头队列”;
(5)数值队列(Data_Que)描述记录中“数值队列”;
(6)有效指标要素(Index_Save)描述记录中各个指标的有效指标要素。
发送端网关接收到监测数据后,通过以下步骤完成北斗报文组帧并更新数据库:
步骤1根据ICM去除指标“外部包装”,并将有效指标要素存入Index_Save字段。
步骤2判定记录是否分包,将记录类型存入Mes_Type字段,并根据记录最大分包数和分包发送顺序补齐Num字段。
步骤3通过ECM压缩Index_Save字段,并将压缩后记录存入Data_Que字段。
步骤4根据指标是否“占位发送”,结合Mes_Type补齐Head_Que。
步骤5将Head_Que以二进制形式、Data_Que以半字节的形式发送,报文组帧完毕。
步骤6将记录发送时间填入Send_Time,数据库更新完毕。
某基于北斗报文的气象监测系统监测地点固定,有11个指标且记录发送频率设置为2分钟一次,表3~表5为该地区2014年8月12日发送的3次北斗报文在发送端数据库的存储形式。
Table 3 Storage format of Beidou message at the first send表3 第1次发送北斗报文存储形式
Table 4 Storage format of Beidou message at the second send表4 第2次发送北斗报文存储形式
Table 5 Storage format of Beidou message at the third send表5 第3次发送北斗报文存储形式
4.2接收端数据库设计与更新
基于EMRT的接收端根据接收到的北斗报文解析出监测数据,并统一存储在接收端数据库中,该数据库的字段设置与发送端数据库基本一致,其字段说明不予赘述。北斗报文解析与数据库更新过程如下:
步骤1将北斗报文接收时间填入Rec_Time字段。
步骤2从接收数据码流中提取出“报头队列”,将“报头队列”中二进制形式的“0”和“1”用AscII码数值“0”和“1”表示,并存入Head_Que字段。
步骤3根据Head_Que中映射第1位判断记录分包信息,将分包类型填入Mes_Type字段,分包发送用“1”描述,不分包发送用“0”描述。
步骤4从接收数据码流中提取出半字节形式传输的“数值队列”,解压后以AscII码形式存入Data_ Que。
步骤5根据Head_Que和Data_Que字段数值补齐Index_Save字段,如果指标“不占字节发送”,则通过mest-1中记录代替。
步骤6北斗报文解析与数据库更新完毕。
表6~表8为某基于北斗报文的气象监测系统接收端2014年8月12日接收的3条记录在接收端数据库的存储形式。
综上所述,ICM、ECM、BCM这3种方法提高远程传输有效性的实质就是对报文内容中的记录、要素、编码进行不同形式、不同程度的压缩,进而达到提高远程传输有效性的目的。下面对EMRT远程传输有效性进行分析,并通过示例进行验证。
5.1EMRT有效性分析
设在实际监测系统中待传指标数为n,历史统计各个指标的单指标变频压缩率Comi,每个指标的有效要素位宽Wid_Savei已知,求该监测系统基于EMRT远程传输有效性。
Table 6 Storage format of Beidou message at the first receive表6 第1次接收北斗报文存储形式
Table 7 Storage format of Beidou message at the second receive表7 第2次接收北斗报文存储形式
Table 8 Storage format of Beidou message at the third receive表8 第3次接收北斗报文存储形式
首先计算北斗单次可传输的最大指标个数k(k≤n),k由下列公式确定:
压缩率取最大值时k得到最小值,即Commax=max(Comi)时最少可传输的监测指标数k由式(3)决定,在极端情况压缩率为1时,k取最小值:
压缩率取最小值时k得到最大值,即Commin=min(Comi)时全部n个指标都可以通过报文发送,k取最大值,即k=n。
k值确定后,可以计算一条记录最多分包数Numpack:
记录在经过EMRT,即ICM、ECM、BCM后,实际传输的内容即Data_Que和Head_Que两部分。
Data_Que的宽度Widdata与记录分包数无关,其值为:
Head_Que的宽度Widhead与记录分包数相关,每增加一个分包就额外增加一个Head_Que,其值为:
根据定义可知远程传输有效性η为实际传输所占用的字节数和待传数据字节数的比值,在EMRT中传输所占用的字节数为Data_Que宽度与Head_Que宽度之和,待传数据字节数为记录中“去除外部包装”后的有效指标要素宽度。那么EMRT方法远程传输有效性ηEMRT计算公式为:
将Widdata、Widhead带入EMRT有效性计算公式得到:
5.2EMRT有效性验证实例
为了验证基于EMRT的有效性,本文取某基于北斗报文的气象监测系统于2014年12月26日0:01至2014年12月27日0:01共720条记录进行分析。该监测系统基本情况为:共有11个指标,分别是温度、湿度、光照度、地表温度、地下温度、风速、风向、气压、雨量、太阳能板温度、电池电压;监测地点固定,监测频率设定为2 min一次;ϕ2设定为各个指标最小精度值,ϕ1设定为10ϕ2。
(1)根据ICM可以得到当天各个指标“占位发送”的记录数Nummerg和各个指标的单指标变频压缩率Comi,如表9所示。
Table 9 Effectiveness comparison of EMRT for weather monitoring system based on Beidou message表9 某基于北斗报文的气象监测系统EMRT有效性对照表
(2)根据ECM计算每个指标的有效要素位宽Wid_Savei,如表9“Wid_Savei”列所示。
(3)根据公式可计算北斗单次可传输的最大指标个数k=11,Numpack=1,记录不分包。
(6)计算EMRT的远程传输有效性:
这表明基于北斗报文的气象监测系统2014年12 月26日0:01至2014年12月27日0:01采用EMRT后,在ϕ2设定为各个指标最小精度值,ϕ1设定为10 ϕ2的条件下远程传输有效性为66.35%。
在以上基于北斗报文的气象监测系统的EMRT远程传输有效性分析中,ϕ2设定为各个指标最小精度值也就意味着在变频组帧队列调度中指标的近似程度di值小于指标最小精度值时才有可能被调入Q3。如果该基于北斗报文的气象监测系统指标精度要求较低,ϕ2可以设定为某个更高的值,那么在变频组帧队列调度中有更多的指标被调入Q3,表现为“不占位发送”的指标数量增加,EMRT的有效性将得到提升。
为进一步验证EMRT方法在监测区域不同精度要求下的远程传输有效性,取某基于北斗报文的生态监测系统于2014年9月1日00时至2014年9月30 日23时共30天的监测数据进行分析。该监测系统基本情况为:共有12个监测指标,分别是SO2浓度、CO浓度、NO浓度、NO2浓度、NOX浓度、O3浓度、PM10浓度、PM2.5浓度、湿度、风速、风向、大气压;各个指标的Wid_Save分别是3Byte、4Byte、3Byte、3Byte、3 Byte、3 Byte、4 Byte、4 Byte、3 Byte、3 Byte、3 Byte、6 Byte;监测地点固定,监测频率设定为每60 min一次。将各个指标的最小精度值用prei(i=0,1,…,12)表示,下面分析在ϕ1=10ϕ2前提下,ϕ2=prei,ϕ2=5prei,ϕ2=10prei这3种情况下该监测系统连续30天EMRT远程传输有效性。根据EMRT有效性计算公式和以上某基于北斗报文的气象监测系统EMRT计算示例分别计算ϕ2=prei,ϕ2=5prei,ϕ2=10prei情况下该基于北斗报文的生态监测系统从2014年9月1日00时至2014年9月30日23时共30天EMRT远程传输有效性,如图9所示。
从图9中可以看出,EMRT有效性有两个特点:
(1)在ϕ2值固定的条件下,EMRT有效性不是固定不变的,而是随时间不同呈现出起伏变化。这是因为该监测区域每天的状态变化幅度都不同,经过EMRT压缩掉的冗余指标数量每天、每小时都是动态变化的,表现为EMRT有效性的动态变化。在ϕ2值固定的条件下,EMRT有效性的动态变化如表10所示。
Fig.9 Curve of remote transmission effectivenessbased on EMRT图9 EMRT远程传输有效性曲线图
Table 10 Dynamic change of effectiveness of EMRT表10 EMRT有效性动态变化表
(2)ϕ2取值影响EMRT有效性,即不同精度要求下EMRT有效性有显著差异。在ϕ2=prei,ϕ2=5prei,ϕ2=10prei3种不同精度要求下,该监测系统30天内EMRT有效性平均值分别为59.47%、68.58%、74.04%。
文献[15]提出在自动气象站远程传输系统中采用预设LZW编码和静态Huffman编码压缩气象数据以提高北斗报文远程传输有效性,通过对200帧北斗报文数据进行压缩,统计得出该方法平均有效性在65%左右。文献[16]提出在经过数值处理的水文监测指标通过北斗报文远程传输前以LZ78编码算法进行压缩,通过对240 bit共12组数据进行压缩,最终得到192 bit,其有效性为20%。文献[15]和文献[16]提出的两种方法是当前北斗报文远程传输有效性研究中比较典型的两种方法:第一种采用预设LZW和静态Huffman编码压缩数据的方法有效性比较理想,但是在压缩时要求数据必须与编码表预设的字符串一致,导致该方法的适用范围受限;第二种方法实现过程简单,但是有效性比较低。EMRT与以上两种方法相比具有以下优点:(1)EMRT方法综合考虑到监测数据指标处理、北斗报文组帧发送与接收过程,非常适用于以北斗报文作为远程传输手段的监测系统;(2)EMRT方法的远程传输有效性比较高,如图9所示,在监测系统精度要求比较高的情况下EMRT有效性最低为55.46%,在监测系统精度要求比较低的情况下最高为79.66%。
北斗卫星导航系统和物联网技术作为未来科技发展的一个重要方向,国家投入了大量资源用以研究。北斗报文服务是北斗卫星导航系统具备的区别其他卫星定位系统的最大优势,其双向通信功能作为物联网远程主干传输手段非常适合应用于实时监测,尤其是偏远地区的实时监测,在国内水文、气象、地质、交通、森林防火、海洋渔业等领域已经发挥了重要作用。就目前现状来看,虽然其应用领域不断拓展,但是应用研究还不够深入。例如在北斗报文传输频度和单次传输量限制下,相关专家学者为提高远程传输有效性采用的方法主要分为3种类型:(1)增加成本投入,这种方法比较常见的是使用多台北斗终端分发监测数据;(2)进行硬件改动,最典型的是在一台北斗终端上集成多张SIM卡;(3)搭建软件环境,一般是通过压缩算法实现监测数据的文本压缩。第一种类型在监测点位较多的情况下成本过大;第二种类型实现难度大且硬件改动同样会增加成本;第三种类型实现难度小且成本投入低。
本文通过搭建软件环境的方式提高基于北斗报文服务的远程传输有效性,为此提出了一种远程传输有效性优化机制。这种机制包括3个步骤ICM、ECM和BCM,而不是单调采用某一种压缩算法。理论分析和实际数据验证表明,这些机制对提高北斗传输有效性具有显著作用。
[1]Zhang Feizhou,He Hanxian.Application review of Internet of things based on BDS[J].Journal of Navigation and Positioning, 2014,2(2):6-12.
[2]Foschini L.M2M-based metropolitan platform for IMS enabled road traffic management in IoT[J].IEEE Communications Magazine,2011,49(11):50-57.
[3]Guo Haoming.Enabling awareness driven differentiated data service in Iot[J].Journal of Networks,2011,6(11):1572-1577.
[4]An Fengguang,Luo Xu,Cheng Chengqi,et al.Emergency rescue response information transmission policies based on compass[J].Bulletin of Surveying and Mapping,2014(3): 12-16.
[5]Wu Jincheng,Wang Zhanchang,Shi Xiaoya.Application of Beidou satellite communication and positioning technology to the field geological survey in Northwestern China[J]. Journal of Geomechanics,2012,18(3):282-286.
[6]Zhang Mengyang.Application and development of Beidou satellite navigation[J].Space International,2009(11):27-31.
[7]Deng Yufen,Zhang Bo,Zhang Mingliang.Design and realization of measurement and monitor system for oceangrahpic survey based on Beidou satellite[J].Modern Electronics Technique,2012,35(19):104-106.
[8]Yang Yuanxi.Progress,contribution and challenges of compass/Beidou satellite navigation system[J].Acta Geodaetica et Cartographica Sinica,2010,39(1):1-6.
[9]Wen Jing,Wang Daming,Meng Yueyue,et al.Application of Beidou navigation satellite system to geological survey [J].Journal of Geomechanics,2012,18(3):213-223.
[10]Yao Zuoxin.Unmanned automatic weather station network based on Beidou satellite SMS[J].Meteorological Science and Technology,2012,40(3):340-344.
[11]Wen Bin,Ning Zhiqiang,Chen Aiping,et al.Design of Beidou communication terminal using Multi-SIM cards multiplexing[J].Telecommunication Engineering,2010,50(12): 24-26.
[12]Zhai Ming.A data compression method for compass receive Chinese text messages:China,CN1026664634A[P]. 2012.
[13]Cheng Fanglin,Zhang Yifei,Liu Jiajia.Long message communication protocol based on the“BeiDou”satellite navigation system[J].Journal of Ocean Technology,2008,27 (1):26-28.
[14]Xu Bohao,Hao Yongsheng.Text data transmission based on“BeiDou”communication[J].Computer&Digital Engineering,2014,42(6):1050-1053.
[15]Zhang Yong,Chen Suting,Zhang Yan.The data transmission and management system of automatic meteorological station based on Beidou satellite[J].Application of Electronic Technique,2014,40(5):21-23.
[16]Hu Xiang.Application of Beidou navigation system in hydrology monitoring system[J].Radio Engineering,2009,39 (10):62-64.
[17]Robert L.Simple lossless preprocessing algorithms for text compression[J].IET Software,2009,3(1):37-45.
[18]Lou Huaping,Sun Yunqiang,Yao Aiqin.Data condensation arithmetic design of data collection system[J].Mechanical Management and Development,2007,99(6):84-87.
[19]Tian Liqin.Computer network security[M].Beijing:Tsinghua University Press,2011.
附中文参考文献:
[1]张飞舟,何汉贤.基于北斗系统的物联网应用评述[J].导航定位学报,2014,2(2):6-12.
[4]安丰光,罗旭,程承旗,等.基于北斗卫星的应急响应信息传输策略研究[J].测绘通报,2014(3):12-16.
[5]伍锦程,王占昌,石小亚.西北区野外地质调查中北斗卫星通讯与定位技术应用研究[J].地质力学学报,2012,18 (3):282-286.
[6]张孟阳.“北斗”卫星导航系统应用发展综述[J].国际太空,2009(11):27-31.
[7]邓玉芬,张博,张明亮.基于北斗卫星的海洋调查测量监控系统的设计与实现[J].现代电子技术,2012,35(19): 104-106.
[8]杨元喜.北斗卫星导航系统的进展、贡献与挑战[J].测绘学报,2010,39(1):1-6.
[9]温静,汪大明,孟月玥,等.北斗卫星导航系统在地质调查领域应用综述[J].地质力学学报,2012,18(3):213-223.
[10]姚作新.基于北斗卫星报文通信方式的无人值守自动气象站网[J].气象科技,2012,40(3):340-344.
[11]文斌,宁志强,陈爱萍,等.多SIM卡复用的“北斗”通信终端设计[J].电讯技术,2010,50(12):24-26.
[12]翟明.一种用于北斗收发汉字文本消息时的数据压缩方法:中国,CN1026664634A[P].2012.
[13]成方林,张翼飞,刘佳佳.基于“北斗”卫星导航系统的长报文通信协议[J].海洋技术,2008,27(1):26-28.
[14]许博浩,郝永生.基于“北斗”通信的文本数据传输[J].计算机与数字工程,2014,42(6):1050-1053.
[15]张勇,陈苏婷,张燕.基于北斗卫星的自动气象站数据传输管理系统[J].电子技术应用,2014,40(5):21-23.
[16]胡翔.北斗在水文监测系统中的应用[J].无线电工程, 2009,39(10):62-64.
[18]娄华平,孙运强,姚爱琴.数据采集系统中的数据压缩算法设计[J].机械管理开发,2007,99(6):84-87.
[19]田立勤.计算机网络安全[M].北京:清华大学出版社, 2011.
TIAN Liqin was born in 1970.He received the Ph.D.degree in information engineering from Beijing University of Science and Technology in 2009.He made post-doctoral research in Tsinghua University from 2009 to 2011.Now he is a professor and Ph.D.supervisor at North China Institute of Science and Technology.His research interests include computer networks,performance evaluation,network security and Internet of things,etc.
田立勤(1970—),男,陕西定边人,2009年于北京科技大学获得博士学位,2009—2011年于清华大学从事博士后研究工作,现为华北科技学院教授、博士生导师,主要研究领域为计算机网络,网络安全,物联网等。发表学术论文80余篇,主持省级以上项目10项。
GAO Kun was born in 1989.He is an M.S.candidate at North China Institute of Science and Technology.His research interests include Internet of things and satellite navigation,etc.
高坤(1989—),男,安徽宿州人,华北科技学院硕士研究生,主要研究领域为物联网,卫星导航等。
CAO Yangwei was born in 1988.He is an M.S.candidate at North China Institute of Science and Technology.His research interests include Internet of things,satellite navigation,high precision positioning and deformation monitoring,etc.
曹阳威(1988—),男,河南开封人,华北科技学院硕士研究生,主要研究领域为物联网,卫星导航,高精准定位,变形监测等。
Effectiveness Optimization and Analysis of Transmission in Real-Time Monitoring Based on Beidou and Internet of Thingsƽ
TIAN Liqin+,GAO Kun,CAO Yangwei
Department of Computer Science and Technology,North China Institute of Science and Technology,Beijing 101601,China +Corresponding author:E-mail:tianliqin@tsinghua.org.cn
Internet of things combined with a variety of backbone transmission is very suitable for remote real-time monitoring,but in some areas,remote IT transmission trunk such as Internet,cable line usually does not exist,the GSM signal maybe weak or even cannot be found,in consideration of the economic point and the actual transmission environment,the message services provided by the Beidou satellite navigation system can be used.However the transmission frequency and the number of characters in each transmission sent by Beidou message are limited at present, this paper presents an effectiveness optimization mechanism of remote transmission(EMRT)that improves the efficiency of transmission sent by Beidou message services.This mechanism includes three main parts:(1“)Index compression method(ICM)”,which aims to compress redundancy indicators for the current message;(2)“Element compression method(ECM)”,which accords to the agreement agreed in advance to remove“external packaging”thatknown by both sides for the current indicators;(3)“Bit compression method(BCM)”,which aims to compress the first four bits for the current elements.At the same time,the effect analysis of EMRT on improving the effectiveness of transmission sent by Beidou message services are quantified,and the factors that affect the effectiveness of transmission sent by Beidou message services are analyzed too.The theoretical analysis and the actual data validation indicate that these mechanisms have a significant effect on improving the effectiveness of transmission sent by Beidou message services,and have important theoretical and practical significance to the transmission sent by Beidou message services in Chinese Beidou message services.
Internet of things;Beidou message;remote transmission;effectiveness
2015-05,Accepted 2015-11.
10.3778/j.issn.1673-9418.1505090
A
TP391
*The National Natural Science Foundation of China under Grant No.61472137(国家自然科学基金);the Fundamental Research Funds for the Central Universities of China under Grant No.3142015022(中央高校基本科研业务费专项资金);the Key Research Program of Hebei Prvince under Grant No.16273904D(河北省物联网工程中心重点研发计划项目);the Key Research Program of Qinghai Province under Grant No.2016-SF-130(青海省重点研发项目).
CNKI网络优先出版:2015-11-13,http://www.cnki.net/kcms/detail/11.5602.TP.20151113.1627.002.html