胡金有 王靖杰 朱志强 张小栓,3
(1.中国农业大学工学院, 北京 100083; 2.国家农产品保鲜工程技术研究中心(天津)农业农村部农产品贮藏保鲜重点实验室, 天津 300384; 3.中国农业大学食品质量与安全北京实验室, 北京 100083)
冷链物联网(Internet of things in cold chain, IoCCT)是指应用识别、感知、传输、计算等技术于冷链,或对冷链运营所需设备、物品性能进行延伸,通过技术融合与集成得到有效的状态监控和稳定的过程数据,为支持决策处理与管理应用而形成的互联互通网络。冷链的全程、高效监测能够有效避免冷害、过程损失、腐败变质等储运过程中的常见问题[1],冷链物联网已成为生鲜农产品、加工产品、生物医药[2]冷链中保障安全、产品增值、实现高效管理的必要手段。近年来,各类物联网监测技术在不同国家冷链环境和品质监测上的应用研究持续发展,产生了适当数据[3],不断充实冷链过程可视化管理和信息服务(追溯),满足绿色发展需求,有效服务于冷链向安全、智能和环境友好的方向转变。
大数据、人工智能、区块链等新一代信息技术[4]的持续发展带来数据意识,面向生鲜农产品冷链监测物联网的应用研究逐渐深入,冷链监测的物联网化趋势也相应加强。其他监测物联网数据质量评估与优化研究较多,但针对冷链物联网监测数据质量的研究较少。而作为冷链物流大数据重要来源之一[5],冷链物联网对数据与服务应用需求、技术经济性和成熟度、工程应用规范与标准逐步提高,有效的数据治理将为冷链物流中数据挖掘、可视化管理、新一代智能应用等数据应用奠定坚实基础。
目前冷链监测物联网存在缺乏统一数据规范和系统应用质量受限等问题,制约了冷链监测物联网的服务质量,数据质量评估和持续优化技术[6]是应对和解决上述问题、适应和满足未来冷链监测管理需求的关键。基于此,本文对冷链监测物联网监测数据质量的形成、评估与优化应用进行综述,阐明数据质量评估对提高冷链物联网监测数据质量的重要性。
冷链物联网监测数据具有多重性质,且由于产品特性、包装实践、运输路线、运输方法和工艺效率在各地冷链之间差异较大,且每种技术监测数据特性有限且相对孤立,在功能和性能方面都受到限制,但是这些技术结合使用可以显著提高冷链管理质量[7]。因此,以数据视角从冷链物联网监测数据来源与特性、数据质量形成机理、评估与优化流程分析3方面展开冷链监测物联网的数据质量评估与优化工作。
高效的管理得益于冷链高效监测实践,典型监测技术与实践有无线传感器网络(Wireless sensor networks,WSN)[8]、时间温度指示器(Time-temperature indictors, TTI)[9]、多传感智能监测[10]、智能包装[11-12]等监测物联网技术,这些应用和监测数据大大加强了冷链管理从而减少了过程损失,进一步研究其特性与应用是必要的,以产生适当的数据。
(1)监测技术与数据特性分析
物联网监测技术基于不同的原理而具有差异性,且因冷链应用场景与实践应用多样化、动态性和易变性,导致可追溯性、独特识别、能源效率、异构性、可拓展性和普遍性在实现冷链监测应用的高效性能结构中是必要的[13-14]。如表1所示,应从物联网监测数据特性中发掘监测物联网潜力。除此之外,WiFi、NB-IoT(窄带物联网)、ZigBee[15]等通信技术,二维码、智能标签、手持设备等具备物联网特性的其他监测技术也都相应应用于冷链监测物联网中。
(2)监测数据特性
冷链监测数据的技术因素特性表现为明显结构与数据流特征。
不确定性:由特定监测技术与环境的差异而连续产生的系统或随机误差而导致不确定性。
时空性:在仓储、物流等场景中由监测点分布与抽样布置而使其具有较强时间、空间分布属性。
离散性与间接性:在冷链环境中数据虽表现为平稳连续,但由于微环境监测存在采样周期而具有离散属性与间接性,少部分技术可以实现全程品质间接监测,如TTI。
冷链监测数据的流程因素特性表现为冷链过程衔接与多阶段特征。
多阶段与波动性:由冷链过程的多环节差异以及环境变化所导致的冷链监测过程具有较为明显变化,且由于数据流特征而具有明显的时间属性。
多源性:由多场景以及多种监测技术配合而具有数据来源及形式复杂多样且多维的数据特性。
耦合与相关性:对同一或相似流程对象描述以及监测响应机理不独立而使多个监测参数之间具有相关性、耦合性和交叉敏感性。
生命周期与过程性:针对冷链过程而具有明显的产生与消亡过程,具有较大数据规模且可以快速产生,同时,由于采集、传输、转换、处理及共享等操作而具有非线性生命周期。
此外,冷链监测物联网中数据还具有多态性和异质性。以上数据特征由监测物联网技术和生鲜农产品冷链物流共同决定,数据特性分析对于数据质量形成机理具有指导作用。限于篇幅,本文对视频、图片和文字等数据类型涉及较少,主要讨论冷链监测物联网中结构数据,并期以此提供可以借鉴的逻辑思路。
表1 冷链监测物联网中主要监测技术与数据特性分析Tab.1 Characteristics of IoT technologies in cold chain
理解数据质量形成机理是实现数据质量控制与形成的基础,从数据的生命周期的视角分析其过程管理并进行优化,切合冷链监测物联网复杂性、协调性和成本性,把数据获取当作具有可控流程来分析,有利于结合实际冷链来解决数据问题。
如图1所示,冷链物联网监测数据质量受物联网获取技术特征与冷链流程关键控制点两个维度形成的数据传递关键点的影响。通过数据不确定性、动态性、阶段性、多因素影响、流程与批次复杂性以及产品易腐性、生物特性、包装形式多样等内容,结合监测技术数据特性、冷链场景、数据加工处理流程[25]特点以及工程实践对质量形成与传递机理进行分析。冷链数据质量形成主要包含误差分布、数据质量与能耗均衡、综合数据质量3个层次,具体通过误差来源和表现类型影响冷链监测数据采集质量,之后由一系列技术特性而影响数据集的形成与传递,又由传输质量与效率、过程控制水平、存储管理3方面影响数据传播与存储质量,随后经由不同模型应用模式对数据加工处理与分析的影响,并最终形成冷链监测物联网数据质量。
图1 冷链物联网监测数据质量形成机理Fig.1 Cold chain monitoring IoT data quality formation mechanism
基于上述机理的分析,将冷链物联网监测数据质量定义为:由监测物联网技术获取或持续不断生产的,在其完整生命周期内该数据集满足冷链监测过程需求和组织服务需求程度的多维度度量,且其因组织需求、监测任务、时间点差异而变化。当前,冷链监测实践中数据的不确定性和服务应用的质量仍制约冷链精细管理效果,数据质量评估有利于通过追踪方法优化传感数据流即时处理过程,以便在有潜在数据质量变化和分布式获取方式下保持数据流处理系统的效率[26]。因此,冷链物联网监测数据质量评估研究能够有效减轻低质量数据对后续系统应用的累积影响。
图2 冷链物联网监测数据质量评估与优化基本流程Fig.2 Basic process of data quality assessment and optimization in cold chain
为在持续的质量评估和管理框架内提高数据质量和功能,针对完整生命周期内的数据实现动态质量维护方法[27],不断寻找最优的数据管理方法和技术工具需要特别强调数据维护的过程导向。如图2所示,冷链物联网监测数据质量评估与优化逻辑流程包含评估、比较、治理、控制、优化等内容,涵盖了数据源、评估、采集、管理与应用优化部分的内容。其中基于物联网技术的持续监测、定期监测和控制等技术手段是进一步优化控制的基础与准则,在由冷链物联网监测数据源到数据终端或数据池的监测评估与持续改进过程中起着重要的中间媒介作用。
图2所示流程适用于单一技术和多种技术混合监测中数据质量的评估,在适当冷链场景中数据生产流程的过程性是相似的,且是一个动态时变过程,有效理解、追踪、监测数据评估优化流程能够有效实现保障安全和过程控制等需求。因此,将冷链监测物联网中数据生产过程视为一个可以控制、可以持续优化的流程。作为冷链监测中的共性技术,提供可测量、可重复、可理解、可解释的适应于冷链监测应用实践的标准以及数据质量评估与优化技术是必要的。
数据质量模型与冷链监测物联网环境、评价方法相互适应,对数据质量评估研究的综述和冷链监测场景理解是定义冷链物联网监测数据质量的基础,因此,本节通过对不同领域数据质量测量框架、指标的体系与评估方法2方面来分析冷链监测物联网评估方法。
大量研究从数据视角指出数据质量的重要性,尤其是对基于物联网监测数据的研究。MCNAULL等[28]通过探讨辅助生活环境监测系统中数据质量问题,指出缺乏数据质量控制可能导致系统基于不正确数据、信息和知识输入而做出错误决策,SONG等[29]更是直接指出数据质量在任何网络物理系统(Cyber physical system, CPS)中都很常见。这些算法都通过探讨数据质量测量改进算法对监测实践的影响,证明积极的结果与数据质量改进过程的实施紧密相连[30]。表2分析对比了不同领域中数据质量评估实践中常见的评估框架。
表2 基于监测物联网的数据质量评估框架及其特点Tab.2 Organization forms of evaluation methods and their characteristics
(1)针对不同信息类别中的数据质量的研究
BRONSELAER等[39]针对不完整信息,提供了数据质量的渐进式测量方法。ARDAGNA等[40]针对大数据,提出了上下文意识的数据质量评估方法。HAEGEMANS等[41]针对人工获取的数据,提供了一种提升人工获取数据质量的基于任务-技术拟合结构防止错误输入的理论框架。TAGGART等[42]基于结构数据质量报告检查结构化数据质量报告以及反馈会话的方式来改进医疗信息中的数据质量。CHENG等[43]探讨了WSN传感数据中“数据质量分析+清洗策略”的数据质量分析框架。GRECO等[44]针对医疗物联网(Internet of medical things, IoMT)类传感器数据流,在可穿戴传感器参与构建的基于开源大数据技术背景下,对该技术和架构中的数据流进行了实时分析。因此,在关联数据[45]的实际评估过程中,更多情况则是统计方法、用户反馈以及规则约束等3种方法的综合性应用,考虑到冷链物联网监测数据所涉及的多种数据类型,应提出一种混合数据质量评价框架。
(2)针对数据质量在不同场景的应用研究
结合冷链监测物联网中数据信息类别与监测场景的评估框架是可行的,也有利于从理论和实践的角度解决冷链监测物联网中的数据质量问题。通过分析加工制造、政府治理、医疗健康、环境监测和能源电网5个典型监测物联网应用中数据质量评估框架及其特点,结合不同领域识别出内容质量和可靠性关键质量尺度对持续改进服务质量的影响最大[46],因此要提出面向冷链全场景的监测物联网完整质量管理。
通过以上相关文献分析,提出结合冷链物联网监测数据特性、具有应用场景意识和基于冷链监测物联网数据质量形成机理的多指标体系的评估框架。该框架应该能够结合冷链监测实际需求,考虑由不同监测技术所导致的信息类别差异以及场景差异,能够描述数据质量传递特点,最终实现数据质量完整评估,从而为后续数据意识深入发展与数据质量评估奠定基础。
数据质量评估指标、方法与特定评估对象指标相互适应,关注过程中数据质量及其整体性,从数据质量模型出发,借鉴其他评估场景中评估体系和方法可以建立冷链物联网监测数据质量评估指标体系与方法。
表3为物联网数据质量评估方法的比较与分析,KARKOUCH等[55]从数据质量的角度对物联网中数据质量的研究进行了综述,提出可以针对冷链监测物联网系统中的数据在精度、数据量、客观性、完整性、可靠性、可验证性、安全性[56]等多维度上的表现进行有意识的治理。而基于多维度的数据质量评估方法有加权[57]、混合方法[58]、改进层次分析、数据细节刻画[59]以及其它改进量化方法等,分析数据质量多种性质的关联关系,可以作为对于权衡和分析不同质量指标之间关系和优化方法的重要参考。通过以上分析得出,可结合数据特性、监测技术特性、冷链监测流程与场景特性以及数据用途构建冷链物联网监测数据质量分析框架与方法。因此,冷链物联网监测数据质量应从准确性、数据量、完整性、时效性、及时性、完整度、信息量、可靠性、安全性以及模型适用度等方面展开,并以综合评价方法、模糊综合评价等综合方法实现各个维度指标之间的均衡与可视化。也只有适应冷链监测数据应用需求的评估意识和方法,才能通过比较和持续改进来实现冷链监测物联网中数据管理和控制,不断在工程实践中优化服务管理,推进数据意识在农产品冷链监测物联网中的深入。
表3 物联网数据质量评估方法的构成形式与比较分析Tab.3 Organization forms of evaluation metrics and their characteristics
数据质量可测量是控制和优化的基础,下面以数据为中心视角[60],从数据采集、数据传输与数据存储模型、数据处理与应用等5个层面对冷链物联网监测数据管理中的问题加以阐述。
由上述分析可知冷链监测物联网数据具有典型数据流特征。因为其由传感器等监测实体中持续产生,硬件设备固有的限制以及环境噪声等因素容易造成多维属性的影响。例如,为了保证数据获取的准确性、完整性和一致性等质量属性,需要构建异构多源多模态感知方法[61],AYADI等[62]和MUHAMMED等[63]分别通过对WSN环境下检测方法的比较分析提出选择合适方法来实现异常检测和错误检测的重要性。而MASSAWE等[64]则通过自适应数据清洗框架减少RFID数据流错误读数。表4所示为冷链物联网监测数据感知与优化方法的具体对比与分析,这些方法适用冷链物联网监测数据,对于建立更有效的方法具有借鉴和导向作用。
此外,在感知数据质量优化方法研究方面,有学者从数据质量、类型、应用视角分析物联网数据质量的采集压缩技术可行性[81]。针对冷链监测物联网的感知场景和需求多样化的特点,KANG等[82]通过模拟研究不同采样频率对冷链监测效果的影响,而需要更快交易和运营数据的动态供应链组织系统则需要更快的物联网数据采样频率[83]。
以上研究从数据感知精度优化、过程异常检测、数据预处理以及算法设计与技术的角度,通过增加监测数据的关联性和信息量来提高数据质量,应用场景分布式数据流清洗、在线插值技术、多传感参数融合技术实现物联网数据质量的控制以及多种算法的结合,能够显著提高某项或几项特定维度数据质量。后续研究应该从质量需求和数据质量角度加强数据采集质量管理,并且随着冷链监测中必要参数的增多,其它方面对监测数据质量优化问题凸显,应该加强这些环节的优化工作。
通过有效算法优化冷链监测物联网中能源效率是研究的重要内容。XIAO等[8]通过压缩感知CS(Compressed sensing)方法来改善冷冻和冰鲜水产品冷链的监测效率,其后讨论了其能耗表现,并认为其在鲜食葡萄冷链管理上可作为一种高效率感知方法[49]。此外,针对环境感知的无线传感器网络路由方法进行了比较分析[84], MARJANOVIC等[85]针对不同应用需求和地理传感器分布情景评估其节能效果,利用质量驱动的传感器管理功能可以实现能耗降低,有利于生鲜农产品冷链微环境监测的场景特点的适应性和网络能耗控制路由方法选择。因此深入研究无线传感器网络能量优化方法,对传输层数据质量优化具有积极意义。
表4 冷链物联网监测数据采集质量优化方法比较与分析Tab.4 Comparison and analysis of optimization methods for IoT data acquisition in cold chain monitoring
注:NRAQC为近实时自主质量控制系统。
在数据传输及时性与数据质量管理方面,VASCONCELOS等[86]研究了应用于中断连接WSN场景中数据采样方法,构建了基于简单克里金插值的现象重建的延迟容忍传感器网络模型,其数据感知丢弃策略的性能比传统优两倍。LIONO等[87]采用数据质量估算技术的数据汇总机制框架,实现基于质量驱动的数据高效存储管理,能够有效减少存储数据量。在网络连接异常检测上,GHALEM等[88]提出了一种基于copula的概率多变量异常检测方法,其性能优于现有的统计方法。在通信部署形式上,CHEN等[17]使用无源RFID取代半无源标签与传感器构成无源标签,构建了一种智能的冷链系统,有效降低了各项成本。TU等[89]则提出利用密码学开发基于知识的方法解决供应链中条形码和RFID标签分离的问题,以识别RFID标签损坏和/或与其相关对象分离的现象,这些问题的深化研究有益于冷链监测场景中数据质量提升。
而对冷链监测传输的安全性与可靠性研究较少,ERGULER[90]分析了基于RFID的物联网的缺点,指出物联网中的RFID身份验证协议需要新的安全机制,考虑RFID受损或者与后端服务器之间的通信渠道不安全造成的潜在安全风险,提供一种加强基于RFID和WSNs的物联网应用表现的框架,通过模糊Q算法和基于模糊系统的路由分类器解决RFID与WSN集成中可靠性问题,能够提高识别性能、降低丢包率、降低节点能耗、网络负载均衡[13]。同时,相关学者也从时间延迟、网络规模、能效、可扩展性和可靠性等参数比较现有方法,从综合研究的角度对移动无线传感网络(Mobile wireless sensor networks, MWSNs)数据传输的可靠性进行了探讨[91]。
综合来讲,WSN、RFID、ZigBee、WiFi等也都应用于冷链监测传输部分,通过算法来实现这些技术在传输性能和存储集成问题,能够通过改善数据质量有效提高能效和服务质量。因此,冷链物联网监测也应更加注重传输连接、数据存储等所带来的数据及时性、数据量、可靠性以及安全性等问题。
冷链物联网监测更加注重通过数据关联发现差异来增强品质控制与过程可视化。BADIA-MELIS等[92]通过数据估计(Data estimation)预测方法预测制冷集装箱中果实温度,发现果实温度存在明显差异。为了加强对冷链监测差异进一步的控制,WANG等[93]利用WSN节点为冷链提供完整准确的温度、湿度和气体监测信息,对桃和油桃冷链进行了品质监测和差异分析,进一步构建多传感器管理的追溯系统,有效提高了出口蜜桃冷链中的质量控制和透明度[94]。FENG等[95]通过整合无线传感器网络(WSN)监测影响质量特征的温度、湿度、氧含量、二氧化碳含量等动态指标,建立基于知识的HACCP质量控制计划,提高了冷链管理透明度,加强了冷冻贝类的质量控制。此外,在包装层面,通过一种长距离的无源RF传感器监测包装内蔬菜的新鲜度提高监测关联度可增强冷链中时间-温度透明度[96]。还有学者依托RFID感知的温度指标监测来实现对生鲜鱼包装的改善作用[97],用物联网监测的数据来改善物流中包装的效果,其数据可以作为将包装的效率进行可视化,因此,冷链监测与品质控制更加依托监测技术应用所获取的数据。
提高冷供应链可追溯性的各种识别技术,通过选择技术上可行、实用、经济、产品声誉、质量和安全性方面来确定可追溯性和结构适用性[14]。XIAO等[98]通过结合WSN和AOW的方法探讨不同鲜食葡萄在冷链中的影响。为了改善鲜食葡萄冷链的追溯性和透明度,WANG等[10]针对实际的冷链进行了跟踪测试,开发并评估了基于WSN的多传感系统,证明了其有效性。JEDERMANN等[99]通过调整微型半被动RFID温度记录仪分析局部偏差量、检测温度梯度完成空间温度分析,估算了卡车或集装箱内可靠监测所需最小传感器数量,刘静等[100]对冷藏车中传感器布点进行了优化。此外,THAKUR等[101]在运输过程中将RFID与温度传感器结合,提供了一种基于EPCIS(Electronic product code information services)的在线温度监测和追溯应用,通过监测并记录冷藏羊肉产品冷链的时间-温度信息,减少温度变化引起的质量损失来优化整个食品供应链性能。基于高质量监测数据的追溯是食品供应与冷链监测中必不可少的一部分,因此应进一步优化其技术组合。
应加强冷链监测数据与货架期模型的应用适用度,TSIRONI等[9]在真实冷链环境下通过评估用于货架期监测的时间温度指示器,指明在真实冷链的货架期预测中存在偏差问题。随后针对实际冷链中鲜切沙拉的货架期预测模型,对预测模型的适用性及统计误差等问题进行了讨论[102]。刘雪等[103]则通过不同温阶实验模拟比较动力学预测模型和BP神经网络预测模型的预测效果,精度达到95.93%。同时,GORANSSON等[104]也通过温度场论证了在生鲜食品供应链中在货架单元不同位置所产生的货架期差异,并从多个场景实地评估了食品冷链温度表现与货架期动态预测和印刷保质期关系,证明不同温度效率的食品冷链存在显著差异,证明全程监测可以实现动态货架期的预测,能够有效提高冷链透明度,支持改善标称货架期[105]。后续研究应加强和改善数据质量与冷链货架期预测方法的需求适应性。
与此同时,冷链中基于监测数据的货架期预测研究机理更接近冷链食品品质变化本质,因而能有效提高预测结果的准确性与适用性[106]。张虎等[67]通过对品质感知的TTI进行动态校准,对品质变化的指示效果更明显。邢少华等[107]结合Baranyi模型探讨波动温度条件下的微生物生长动力学模型,建立了能够拟合实际冷链物流环境中罗非鱼微生物变化情况的微生物生长动力学模型。同样,DERMESONLUOGLU等[108]在冷链动态环境下进行了冷冻菠菜品质指标和货架期模型的动力学研究,并定量评估温度偏差的影响,并对实际冷链中剩余货架期进行了测量。还有学者通过构建特定的智慧物流单元,利用温湿度结合水果挥发性有机化合物和二氧化碳气体信息进行剩余货架期预测,能够用于易腐食品供应链的高效管理[109-110]。此外,也有研究冷链后期零售环节中的环境条件对果蔬品质和浪费的影响。因此,应加强结合冷链具体环境和产品品质变化的参数监测与预测的质量。
在冷链位置信息和场景结合增强运输过程控制与动态决策质量方面,LA SCALIA等[110]通过确定合适的追溯单元或监测单元,在易腐食品供应链中用智慧物流单元实现精细高效管理。RUAN等[111]通过使用多场景分析的方法,基于物联网关注电子商务运输中果蔬新鲜度的监测与评估,但没有结合实际跟踪。针对西红柿[112]、香蕉等典型呼吸跃变型果蔬,通过气调和湿度包装等技术可以减少冷链中西红柿冷害的发生和延缓或加速果实成熟[113],从而实现运输过程控制。OLIVEIRA等[114]通过地理围栏技术与RFID感知技术的结合,实现对物流过程位置管理,TSANG等[115]基于食品实时监控构建用于保障果蔬等易腐食品质量的智能模型,通过遗传算法(GA)制定最佳递送路线,减少运输过程中食物腐败率以及路线规划和劣质食品交付所需的时间,有效分配具有不同处理要求(例如温度和湿度)的多种类型的食品,以将期间的腐败率最小化。
应通过货架期数据的实时性加强生鲜农产品库存管理决策质量,HERBON等[116]将场景意识引入到易腐食品的库存管理中,通过品质状态和自动化预测设备来监测货架期变化,以减少货架期差异所导致的利润变化。SCIORTINO等[19]则通过提高参数处理的实时性决策应用,通过草莓运输结合位置信息比较不同货架期预测模型,实现GIS系统的实时货架期预测方法和在线动态销售。在冷链物流网络中智能冷链集装箱能够实时精确监控水果品质状况并结合其所跟踪地理位置,基于气候控制和增强的分配策略,从而减少运输损失[117]。在FEFO策略和冷链物流实时监测系统的基础上,QI等[118]将WSN和TTI特性结合易腐食品货架期预测和LSFO决策支持系统,有效弥合不同冷链阶段企业之间的信息差距,提供了整个链条的无缝信息流,能够有效降低质量和经济损失,因此,加强货架期预测的实时性能够有效降低损失。
冷链监测数据完整获取能够加强冷链管理与信息挖掘,为此GOGOU等[119]开发了一个基于网络平台的冷链数据库,用于整个冷藏和冷冻食品供应链中的温度条件数据收集,收集了包括所有冷链阶段(生产、加工、分销商、零售商和消费者)的数据,以作为有价值的冷链管理工具,促进冷链改进和管理。WANG等[120]采用关联规则挖掘和物联网技术构建及时监控供应链所有检测数据的食品安全预警系统,基于数据挖掘能够有效识别奶制品安全风险。ER KARA等[121]采用数据驱动方法将数据挖掘和风险管理活动集成在一个独特的框架中,支持从非结构化数据中识别、评估和减轻供应链中不同类型的风险,实现风险管理。因而,提高冷链监测数据的完整性能够有效提高挖掘决策管理质量,冷链监测数据也应加强数据的完整性、相关性等结构特性。
以上文献的分析表明,冷链研究开始有意识地从提高数据质量的角度解决冷链监测货架期的计算和应用问题,通过多种数据信息的关联处理与挖掘对决策质量优化具有引导和规范作用,因而逐渐成为冷链监测物联网决策平台与数据质量管理核心内容。
本文主要对冷链监测物联网技术与实践中数据质量相关研究和优化方法进行了综述,冷链物联网监测数据质量控制优化方法基本上涵盖了当前冷链监测物联网技术和主要应用场景,能够为冷链物联网监测数据产生与处理研究提供参考和借鉴。
冷链物联网监测数据质量评估与优化是冷链监测物联网持续发展的重要内涵,能够为冷链监测物联网技术发展与应用提供针对性发展建议,是应对冷链监测物联网与服务应用之间需求的技术手段,是冷链物联网监测数据满足组织服务需求、融入物联网大数据发展的必要过程,有助于加速形成大数据。结合数据质量评估方法与技术综述,以及冷链监测物联网工程实践中的经验总结,冷链监测物联网中数据质量评估与优化技术未来研究方向主要包括以下几点:
(1)注重从数据视角解决冷链监测物联网数据产生过程与流程的数据质量问题。以数据的视角,从数据生产流程产生机理看待监测物联网中的数据获取过程,为发现、解决和处理数据获取中数据质量问题提供新的视角,有助于从数据质量层面理解和运用技术,数据生产过程的控制、挖掘技术的潜能,创新技术应用,为从理论层面解决冷链监测的物联网化提供新的研究路径。
(2) 数据质量评估技术、方法与应用场景、流程需求差异化的结合日益紧密。数据质量评估技术与方法在处理不断涌现的物联网监测数据时具有愈来愈重要的位置,目前尚未形成适用于冷链监测物联网技术和各类型数据质量的通用评估方法,更加注重冷链监测的流程特点和场景化研究,构建冷链物联网监测数据质量评估方法是必要的。
(3)数据质量的测量与评估逐渐成为冷链物联网监测数据质量持续优化的关键。数据质量评估框架决定了数据质量的评估方法,而数据质量管理可以提供统一和一致的认识,通过结合数据质量的度量来实现数据质量的优化,应结合冷链监测物联网组织的数据需求来加强数据质量指标体系建设,使之更加符合机构对冷链监测物联网技术的需求,能够提高部门对冷链监测物联网技术的满意度。
(4)冷链监测数据获取应注重物联网过程中数据特性、数据特征以及与获取流程的匹配性。数据监测获取结合数据生产过程关键点的控制,通过多参数、完整链条能够实现对冷链监测过程和场景的完整详细描述,压缩感知,数据存储管理、成本能耗与数据质量的权衡、设备的小型化与智能化(智能包装)、低成本则更加便于部署,贴近真实,增强数据的完整性和真实性。
(5)冷链物联网监测数据质量提升应注重物联网监测技术的协同优化与性能挖掘。通过多种监测技术的配合、协同应用以及工程应用的实践检验,更加注重数据采集技术与混合方法的使用,通过有效增加监测数据的质量属性、维度以及关联度来提高数据质量,进一步增强所构成的一组技术参数之间的衔接以及技术的质量和实用性,为数据挖掘、处理应用等大数据应用提供基础数据。