质量大数据的研究展望

李 存，贾 佳

（上海市质量和标准化研究院，上海 200031）

质量大数据的研究展望

李 存，贾 佳

（上海市质量和标准化研究院，上海 200031）

随着质量和信息技术的不断发展，质量和大数据的融合在质量管理尤其是宏观质量管理中将发挥着越来越重要的作用。当前质量管理已全面进入宏观质量管理时期，质量行政监管正在向聚焦系统性安全管控和防范方面转变，抽查监测、风险预警、诚信管理等新老监管手段的有效性都越来越依赖于对质量大数据的收集、整理和分析的科学性，凭借质量大数据来实现科学管理将是未来趋势，这就需要通过大数据在消费者、企业、市场、政府之间建立连接的桥梁，采集大数据、分析大数据和应用大数据，进而提升质量管理水平。

质量；大数据；研究；展望

一、大数据

大数据是一个抽象的概念，目前为止还没有统一的定义，通常是指在一定时间内无法用常规工具对其内容进行抓取、管理和处理的数据集合。维基百科中关于大数据的定义：大数据是利用常用软件工具来获取、管理和处理数据所消耗时间超过可容忍时间的数据集。但是“常用软件”和“可容忍时间”没有确切性描述，因此这个定义也存在一定的局限性[4]。

一般来说大数据公认具有4V特点，分别是数据量巨大(Volume)、数据处理速度快(Velocity)、数据多样性(Variety)和数据价值密度小(Veracity)[8]，这些特性使大数据与传统意义数据有着巨大的差异，因此大数据在采集获取、分析处理以及实践应用都有别于传统数据。

二、质量大数据

随着经济和社会的不断发展，“大质量”逐步进入了人们视野，工程质量、环境质量、经济运行质量、教育质量等质量范畴不断提出[1]-[3]。大质量是相对于传统质量而言的，不仅包含固有特性，还包括了人们赋予的特性[11]，内容和外延都有了极大的丰富，党的十八大报告中也多处强调了“质量”，亦指的大质量。

质量大数据是指具有能够反映质量特性的各类数据，质量包含狭义质量(企业)和广义质量(大质量)，质量大数据是在目前质量数据的基础上拓展到大数据范畴，范围涵盖了企业质量、大质量以及其它与质量相关的领域，因此质量大数据的研究和应用也就包含了企业质量管理和宏观质量管理两方面。

当前质量管理已全面进入宏观质量管理时期，质量行政监管正在向聚焦系统性安全管控和防范方面转变，抽查监测、风险预警、诚信管理等新老监管手段的有效性都越来越依赖于对质量大数据的收集、整理和分析的科学性，凭借质量大数据来实现科学管理将是未来趋势，这就需要通过大数据在消费者、企业、市场、政府之间建立连接的桥梁，采集大数据、分析大数据和应用大数据，进而提升质量管理水平。

三、质量大数据的来源和获取

(一)质量大数据的来源

根据大数据的概念和特点，在未来大质量的发展背景下，质量大数据的来源将不仅限于质量管理领域，而应该是在质量管理的基础上，拓宽到更加广泛的领域，如经济领域、环境领域、教育领域等，更好的体现大数据与大质量的结合。

同时，大数据的形式也应该是以非结构化的数据为主流，非结构化数据是伴随着社交网络、移动计算和传感器技术的运用而生成的，具有包括文本、文档、图片、视频等多种格式，蕴含了大量丰富的知识。有别于传统的机构化数据，非结构化数据将包含着更多更丰富的信息，是大数据分析和应用的关键。

(二)质量大数据的获取

根据目前质量工作的内容和形式，质量大数据来源基本可分为：政府、市场和消费者三个方面。

1.政府。在政府行政监管的基础上，质量大数据来源可以包括：(1)标准数据，目前标准信息主要是国际、国家、行业、地方等标准信息的集合，尽管涵盖了企业标准等其它类型，但是内容不够丰富。未来大数据可以涵盖不同标准的技术指标、执行数据、反馈数据，尤其是服务标准将是未来大数据采集的主要渠道之一。(2)监管数据，政府质量监管数据主要是产品质量监督抽查、工业生产许可证及证后监管、质量申诉投诉、消费者投诉、商标以及食药品监管等部门的监管信息。目前国内一些省、市已经对政

府行政监管信息(公共信息)的归集、使用作出了规定。

2.市场。市场将是未来质量管理的重要角色。市场中大数据的来源可以分为：(1)企业行为数据，企业是产品/服务的提供者，是质量的主体，企业行为数据是指企业各种生产经营活动数据，质量和非质量活动都可包含其中，如企业规模、管理体系、技术水平等企业信息，产品包装、规格、质量、市场渠道、物流、检测认证等产品信息，但在企业质量大数据收集过程中，应注重数据采集与企业私有秘密之间的界线，在不侵犯企业利益的前提下开展质量大数据采集工作。(2)经济数据，目前传统理论分析中对于质量和经济的关系无法做出准确性的描述，主要是由于质量的非客观性评价的限制，而大数据时代可以收集全面的、庞大的质量和经济数据，如行业发展、标准体系建设、质量水平等行业信息以及宏观经济数据，采用“第四范式”等处理方法挖掘大数据中的信息，更好的将宏观质量管理和经济宏观调控相结合，提升经济运行质量。

3.消费者。随着各种信息获取、传播技术的发展，数据的产生、发布越来越快，越来越多，因此消费者将是大数据时代数据产生的主流群体之一。消费者大数据来源可以分为：(1)互联网，互联网中消费者数据将是质量大数据的主要来源，比如社交网络、电子商务网站等产生的大量消费者数据，用户的每一次点击、每一次评论都将是数据的重要获取对象。(2)社会服务机构，各种社会服务承担机构也是消费者质量大数据的主要来源。超市、医院、社区服务机构等服务行为发生地将产生大量的产品和服务大数据，如消费者对产品的抱怨情况，服务领域的质量测评数据，市民对产品、服务、工程、人居质量的评价数据等。而且这些数据的产生具有一定的指向性，具有更高的质量数据内涵，分析结果也具有更高的应用针对性。

随着未来互联网以及其它技术的不断发展，质量大数据的来源和采集渠道将会更加多样化，也可能会产生全新的数据模式和采集技术，这些对于未来质量管理也将是一个全新的挑战。

四、质量大数据的分析

国内外对于大数据的研究分析十分重视。2012年美国政府宣布投资2亿美元启动“大数据大研究和发展计划”，大力推动大数据的收集、储存、分析和应用海量数据的技术研究，提升国家科研水平。英国政府2013年建立了Open Data Institute(ODI)，这也是全世界第一个大数据研究机构。我国近几年也先后成立了“中关村大数据产业联盟”和“大数据共享联盟”等机构，目的在于建立大数据的共享和研究平台，更好的推动国内大数据的研究和应用[8]-[9]。

但大数据不同于传统数据，有着其特殊的属性和采集方式，结合现阶段信息技术的发展状况及信息资源的利用需求，如何正视大数据给当前质量管理各个方面带来的冲击及挑战，也是理解什么是“大数据”所必须掌握的内容。

(一)大数据分析面临的挑战

1.数据量大。区别于传统的取样、调查获取数据的方式，大数据中描述同一事物的数据量猛增，人们获取的数据和信息越来越接近于原始事物的本身。

2.数据类型杂。随着互联网与传感技术的发展，非结构化数据大量涌现，这些数据难以用传统的数据结构来描述，不光在处理方面，同时在数据的存储方面也带来了不小挑战。

3.无效数据多。大数据为了获取更好更原始的数据，直接获取了全体数据，由于没有采样和抽象，数据呈现出了全面的信息，但也包含了很多无需进行分析和处理的数据，增加了存储、分析和处理的难度。

4.处理要求高。大数据的积累速度是相当快的，也是实时变化的。如何及时、充分、快速的从大量数据中获取有用数据，甚至于存储和处理同步进行，实时获取数据、分析数据、呈现结果，将是大数据未来面临的主要挑战。

(二)质量大数据的分析

现阶段大数据的应用和分析研究主要是在互联网领域，也出现了不少的分析方法，但是还未有针对质量大数据的分析研究。

伴随着数据分析技术的发展出现了一些针对大数据的分析技术，如“第四范式”、“云计算”、“物联网”等[12]，如谷歌公司用于大数据处理的三大云计算关键技术：分布式文件系统GFS、Map Reduce和Bigtable，这些技术的发展将为大数据的分析研究提供一定的方法支撑。另外，“批处理”和“流处理”也是大数据处理的有效工具。“批处理”是先储存后处理，“批处理”具有典型性的模式是谷歌提出的“Map Reduce”编程模型。“流处理”则是直接处理，当新数据到来时立即处理并返回所需结果，这就要求“流处理”必须采用分布式处理方式，除了要考虑分布式系统的一致性问题，还将涉及到分布式系统网络延时的影响。

五、质量大数据的应用展望

现有质量数据分析应用主要围绕产品和服务质量以及行政监管信息，而大数据时代则需要全面采集和有效利用广泛的社会、企业以及消费者数据。

(一)企业质量大数据的应用展望

传统企业质量数据主要包括合格率、返修率、投诉率等数据，使用统计分析的方法完成。而未来大数据时代，消费者行为研究将是企业质量大数据的主要应用对象，目前一些大型企业(尤其是互联网企业)已经开始着手研究用户大数据。

在制造业可以针对科学评价生产系统规划、降低产品缺陷率等需求，建立制造业大数据系统。整合已有的物理工厂、质量体系、工序数据、成本核算等建模数据，建立仿真工厂，对已有的生产实绩数据进行生产仿真，模拟工厂运行，为工厂实际生产提供决策依据[13]。另外，企业还可以从营销需求的挖掘和分析以及品牌影响力角度开展大数据研究[6]，通过收集公共机构和中介组织的数据分析整合，对数据进行其他目的的二次利用，将不同数据集整合成新的数据集引入质量管理中[7]。

企业大数据的研究已经开始蓬勃发展起来了，未来也必将在企业质量管理领域呈现出更多更广的应用。

(二)宏观质量大数据的几点应用展望

目前，大数据的应用主要是针对企业，对于宏观大数据尤其是宏观质量管理则鲜有研究。下面，笔者根据宏观质量管理和大数据的内容，对未来质量大数据的宏观应用提出几点展望。

1.服务质量评价。现阶段服务质量评价主要是运用顾客满意度测评的方法，如美国顾客满意度指数(ACSI)对行业、地区和国家的顾客满意情况统计、测评和分析。顾客满意度测评是一项基于主观角度的用来发现和解决质量问题的质量管理工具，不能全面反映包括服务组织的提供过程和提供能力在内的客观全面的服务质量水平。

未来，可以在大数据收集技术的支撑下，全面收集顾客对于服务水平的评价数据，这种评价数据区别于现行的顾客满意度的统计调查数据，而应该是接近总体样本量的服务评价数据，能够全面反映顾客对于服务的主观评价。同时，在主观评价基础上，基于服务提供组织的技术、人员、设施设备等服务提供能力和服务保障能力客观数据的采集，将两者有机结合形成服务质量评价方法，将原先单纯通过主观评价的方式拓展到主客观评价相结合的方法，而且通过大数据的手段可以更好的解决统计调查中存在的精度和系统性误差问题，真实全面的反映服务质量水平。

2.产品伤害监测。目前，部分国家已经建立了产品伤害监测体系，如美国的国家电子伤害监测系统(NEISS)，由专业伤害采集人员在样本医院急诊室采集非致命产品伤害信息，并通过网络系统直接报送美国消费品安全管理委员会。我国目前的产品伤害监测试点已经扩展到了全国11个地区32家样本医院，为建立我国的产品伤害监测系统奠定了工作基础。

未来大数据时代，产品伤害监测系统的数据来源更为广泛，在目前样本医院的基础上涵盖所有医院，将数据采集渠道扩展到社区等公共服务场所，另外也可以通过网络媒体渠道拓宽产品伤害数据采集，力求全方位收集产品伤害信息，同时在产品伤害数据采集基础上，扩大服务过程中伤害数据的采集，为产品技术指标和服务水平的改进和提高提供依据。

3.产品召回。现阶段产品召回中数据分析的主要应用是汽车等主要消费品，例如欧盟通过产品质量安全与缺陷召回法律法规及管理体系建立了完善的产品召回制度；美国国家公路安全管理局建立的国家汽车样本系统、特殊碰撞调查系统等数据系统，通过统计数据分析和把握公路安全状况。

从目前产品召回的现状看，国内外产品召回主要是通过法律法规和样本分析，数据应用具有一定的局限性。未来，产品召回的数据采集和分析对象可以扩大产品范围，对人身安全和财产权益造成伤害的产品数据全面监测和采集，例如政府产品监管数据、企业生产和销售数据、市场消费者数据等，还可以结合产品伤害监测系统联合采集数据，共同收集产品缺陷数据，为不同的应用提供数据支撑。

4.质量数据平台。《上海推进大数据研究与发展三年行动计划(2013-2015年)》提出了建设医疗卫生、食品安全等5个公共服务平台及推进金融证券、互联网等6个重点行业大数据应用的工作任务。无论是大数据还是质量大数据的宏观应用，前提条件都是要建立数据平台完成数据的采集、分析、共享、发布和应用。因此，建立质量数据平台也就成了质量大数据应用的关键要素。

质量大数据平台可以由数据采集系统、数据分析系统、信息发布系统组成。数据采集系统主要是跟踪和抓取质量相关数据，这些数据的格式不再局限于传统的文本、图片等结构化数据，还可以包含半结构化和非结构化数据。数据采集是后续进行分析和应用的基础，对整个质量大数据的研究和应用发挥着关键作用。数据分析系统是基于大数据分析技术和方法对采集的数据进行分析的系统，采用“第四范式”、“分布式系统”(未来出现的方法)等方法对数据进行分析，挖掘数据信息。数据应用系统是对数据分析呈现出的信息，经过辨别、确认以用于企业质量或者宏观质量管理，同时根据反馈结果不断改进采集和分析方法。

质量大数据的应用核心是通过数学方法处理巨量数据资源，将分析结果应用于企业或者公共服务和管理部门的决策过程中，提高决策可靠性。开展质量大数据的收集、分析和处理，目的在于更好的提升企业质量管理水平，进一步在“大质量”概念下推动我国宏观质量管理工作。

[1]王泽洪,黄国庆,周德文.宏观质量管理概论[M].北京:中国质检出版社,中国标准出版社,2013

[2]程虹.宏观质量管理[M].武汉:湖北人民出版社,2009

[3]钱仲裘,刘刚.关于宏观质量管理的几点思考[J].质量与标准化,2012

[4]马建光,姜巍.大数据的概念、特征及其应用[J].国防科技,2013(4):10-16

[5]王秀磊,刘鹏.大数据关键技术[J].中兴通信技术,2013(8): 17-21

[6]黄升民,刘珊.“大数据”背景下营销体系的解构与重构[J].现代传播,2012(11):13-20

[7]刘舒.掌握大数据的组织将超越对手—论质量专业人士在大数据时代的生存之道 [J].上海质量,2014(4): 34-38

[8]孟小峰,慈祥.大数据管理：概念、技术与挑战[J].计算及研究与发展,2013,50(1):146-169

[9]何非,何克清.大数据及其科学问题与方法的探讨[J].武汉大学学报(理学版),2014(1):1-12

[10]胡雄伟,张宝林,李抵飞.大数据研究与应用综述(上)[J].标准科学,2013(9):29-34

[11]郎志正.大质量概念、发展质量与品牌[J].交通企业管理,2012(4):18-19

[12]Hey T,Tansley S,Tolle K.The Fourth Paradigm:Data-Intensive Scientific Discovery [M/OL].Microsoft Research. Redmond.Washington.(2009)http://research.Microsoft. com/en-us/collaboration/fourth paradigm

[13]上海推进大数据研究与发展三年行动计划(2013-2015 年)[R].上海市科学技术委员会,2013

[责任编辑：王凤娟]

F490.3

B

1009-6043（2016）12-0087-03

2016-10-24

李存(1986-)，上海市质量和标准化研究院助理工程师、硕士。研究方向：质量和标准化相关领域。