邱国栋,王 易
(东北财经大学 工商管理学院,辽宁 大连 116025)
在DT (Digital Technology, 数字技术) 时代,数据正在以指数级增长,这些数据的计量单位已经远远超过 GB和 TB,开始以 PB、EB 甚至 ZB 来衡量,数据的来源有物联网、传感器、社交媒体网络、采购交易等,数据增长的速度已经超过了摩尔定律[1]。据IBM报道,90%的数据在过去两年内产生,每天超过2.67亿的交易记录数据在全球沃尔玛门店产生;在中国,百度每天准备10PB的数据供用户查询,阿里巴巴超过8.8亿的网上交易产生近20TB的数据[2]。通过以上的现象发现如下问题:大量数据的产生,这些数据全部来源于系统活动的真实记录,尽管新技术范式的快速发展使这些复杂类型的数据可以容易地被采集和存储,但是在实际决策过程中却缺乏对这部分数据的有效分析、处理和评价, 无法将这些数据转变为对企业和决策机构有价值的信息, 从而为决策组织提供参考和依据。基于此,本文的研究问题如下:(1)如何将积累的大量数据用于决策洞察,让数据产生更大价值?(2)面对决策问题的复杂性[注]本文对现实决策问题的复杂性界定在三个方面:(1)决策问题的非线性结构,在大数据时代,数据结构75%呈现非结构化,传统的线性化数据处理已经不适用。(2)决策问题的不确定性,系统活动的动态性和开放性导致复杂决策问题在结构、参数、特征以及环境变化等方面的不确定性。(3)决策问题计算的复杂性,计算的复杂性是指海量数据和多类型引起的问题规模、计算时长的问题,也就是在有限的时间内如何解决“算的多”和“算的快”的问题。,如何降低决策有限理性的局限,保障决策结果的理性合理?基于以上两个问题,传统的决策模型对海量数据的获取、分析、处理能力有限,在面对非线性、变结构、变参数等开放性复杂决策问题时,已有的定性定量模型无法有效应对并且难以扩展。而大数据的集成智慧具备解决复杂问题的能力[3],基于大数据构建的决策模型不仅可以显著地降低决策复杂度,减少决策过程中的不确定性,还能洞察隐藏在复杂性之下的潜在规律,从而在微观、中观、宏观层面为决策者提供支持。
纵观决策模型发展历程,人类获取和分析数据的能力是决策模式演进的重要驱动力。从数据获取和分析能力的视角来分类,决策模型可以分为:(1)“经验型”决策。20世纪之前,人类处于经验管理时代,其决策属于经验决策范畴。由于人类获取、分析数据的能力有限,决策过程只能依靠决策者的直觉、经验以及“记忆数据”进行,并受到决策环境、决策者主观偏好等因素的影响,最终决策结果更多情况下呈现低理性;(2)“科学型”决策。泰勒在1911年最早提出科学决策概念,其主要观点是通过实地调研以获得的科学知识来代替个人的经验判断,从经验决策向科学决策转变,科学决策以信息处理系统为主体并融入了专家智慧,运用数理统计、检索查询等现代科学技术处理手段克服了经验决策对信息处理的限制,但是由于获取的数据以描述性统计以及报表为主,并带有少量预测性分析数据,由这些数据构成的“小数据”样本在单个决策的效能问题上发挥了重要作用,但是很难从整体上解决决策效能问题[4];(3)Gartner公司在1996年提出商务智能的概念,商务智能是从人工决策向“人-机”智能决策进化的第一步,人-机智能决策系统是依据早期的决策支持系统(Decision Support System,DSS)发展而来,商务智能包括数据仓库(Data Warehouse,DW)、在线分析处理(On-Line Analytical Processing,OLAP)、数据挖掘(Data Mining,DM)三部分,从信息系统视角看,商务智能是通过信息技术将分散的、不同类型的、多维的数据加以整合,根据企业关键指标(KPI)将数据分类汇总,更加全面地为决策者提供在线数据分析,以预测趋势与辅助决策[5]。早期发展的商务智能仅限于分析、处理结构化数据,而大数据时代75%的数据为非结构化数据,这给基于商务智能的决策带来巨大挑战。以上三种模式的缺陷表现在,一是决策者自身理解能力和判断能力的局限性。二是在数据获取、分析能力的局限,即无法在短时间内获取足够多和正确的数据,无法对数据(非结构化数据)进行即时分析、处理从而导致决策过程中缺乏合理、智慧的决策依据,在这种情况下,上述三种决策模型的决策方式、决策信息依然属于“有限理性”的范畴。
为了克服以上决策模型“有限理性”的局限,尤其是“信息有限”在决策时的束缚,人们开始对大规模数据进行分析,期望从数据中发现隐含的规律或价值,在决策时赋予管理者智慧[4]。于是以大数据为主导的决策模式引发了学术界和实践界的研究热潮。从2008年大数据(Big Data)的概念在《Nature》[6]专刊上被提出以来,关于大数据研究的热度就一直未曾消减,本研究通过综述大数据在决策领域的研究发现,由“数据驱动决策”的研究范式主要集中在三个层次:一是决策思维转变的视角,研究认为从传统的基于直觉、经验、行为决策范式转变为基于数据决策的演进趋势,并揭示了大数据驱动管理与决策的重要性与必要性[7-10]。二是上升到“能力”的视角。在数据驱动决策过程中,数据挖掘、智能分析以及预测能力是企业大数据核心能力[11-13],大数据核心能力与管理学的动态能力相结合形成大数据为中心的动态能力[14-16]。本研究认为对大数据的研究上升到能力的角度是从管理的角度对大数据更深层次的应用,是大数据驱动决策能力提升的表现。三是实践应用的视角。大数据驱动的决策范式正在从“弱”应用转变为“强”应用,正在商业、金融、医疗、教育、社交、科研等领域被广泛应用[17],并产生了创新性的产业空间和一定的社会价值。综上所述,“数据驱动决策”的研究范式主要集中于以上三个视角,不同的学者们只是从各自的研究学科或行业出发,各有侧重,存在不同程度的局限性和片面性。然而关于大数据的研究只有融合、集成各方数据和观点,才能充分发挥大数据的优势,才能反映事物的全貌,发现事物的本质规律和相关关系,这也给本文的研究提供了契机。
本文融合已有研究视角,结合人工智能的背景,充分发挥大数据的集成智慧,而这与“协同创新-综合集成-大成智慧”[18-19]的思想一脉相承,因为在大数据时代,数据之间相互关联、相互作用,经过大规模综合集成处理后,会呈现出“惊人智慧”,展现了从“大数据”到“大智慧”的数据价值转换过程。本文以西蒙、罗宾斯等认为“信息有限”[注]西蒙(《管理行为:行政组织决策过程研究》1947)认为决策者因自身能力问题无法获取与决策相关的所有信息,并且处理信息的能力也有限,西蒙从信息决策论角度将决策“有限理性”的原因归结在信息收集、分析、处理等方面的局限,即“信息有限”。罗宾斯(《管理学》2012)从现实决策的角度认识有限理性,决策者通常会理性的制定决策,但是这种理性受到信息处理能力的限制,无法分析全部方案信息,其理性程度是在其处理信息的“有限”能力范围内保持理性。导致决策过程有限理性的观点为研究的逻辑起点,以大数据的集成智慧来破解“信息有限”带来的决策困境,探索适应大数据时代的管理决策模式,进而构建“数据-智慧”决策模型。通过构建的“数据-智慧”决策模型试图解决现代决策的复杂问题,降低决策过程中有限理性的局限性,提高决策结果的理性合理程度。
Ackoff(1989)[20]提出了“数据-信息-知识-智慧”(Data-Information-Knowledge-Wisdom,DIKW)的金字塔模型,数据是处于最基础层次的、不相关的数字或符号,信息是对数据进行筛选、系统化整理分析得到的资料,知识是对沉淀信息结构化后形成的产物,智慧是依据相关知识进行决策或准确评估采取最佳行动的能力。DIKW 模型阐述了早期“数据驱动决策”的理念,由于在20世纪80年代,数据规模、数据分析处理工具等都与DT时代有较大差距,所以DIKW模型更适合于“小数据”时代。DIKW模型典型的应用是1998年发表在《哈佛商业评论》上著名的“啤酒与尿布”案例,“啤酒与尿布”的案例背后技术支持是利用关联规则算法,分析客户的购物篮商品集合数据,发现客户的购买行为,这是从数据中挖掘智慧,产生价值的经典案例。在DIKW模型的启发下,与数据智慧相近的概念有数字智慧,“数字智慧”有两层含义:一是利用数字技术直接获取认知能力的智慧;二是使用先进的技术从数字中挖掘知识获取智慧,是一个间接的过程[21]。王萍(2015)[22]认为数字智慧和数据智慧都侧重于决策能力,不同在于数字智慧注重的是数字技术本身,而数据智慧注重的是数据,数据智慧为了更好地掌控和分析数据,需要数字智慧的技术支持。Girard等(2015)[23]认为,数据的处理要基于“DIKW模型”得以实现,即数据要经过加工为信息,提炼出体系化知识,升华为智慧的过程。
在大数据时代,人类有了更好的从数据中提取知识发掘智慧的工具,牛正光和奉公(2016)[4]提出基于“Data-Wisdom神经系统”模型,并认为“DIKW模型”会向“DW神经系统”模型转变。“Data-Wisdom神经系统”模型以神经网络为构建原理,由于神经网络的“输入-输出”层中间包含一个或多个隐藏层,其工作过程也被称为复杂的“黑盒”作业,人类目前的认知能力尚难以由结果回溯分析过程而了解结果产生的来龙去脉,因此此类神经网络模型的可解释能力有待提高[5]。而决策树作为机器学习中一种预测模型能有效地解决神经网络模型可解释能力低的问题,并能直观地解释决策的整个过程[24],也称为多阶段“白盒”作业,于是有研究提出“决策树-神经网络”的组合决策模式,利用决策树“白盒”作业分类清晰、原理简单的优势弥补“黑盒”作业神经网络模型可解释性不强的弱势,从而打开神经网络决策的“黑箱”,研究发现,基于“决策树-神经网络”组合模型比单一的神经网络有更好的分类和预测准确率[25]。以上研究关于“数据-智慧”决策模型的解释更多的是局限在一种或两种技术和算法的组合,唯“技术论”,存在一定的局限性。
综上研究,本研究拟构建基于大数据的“数据-智慧”决策范式框架,其内涵是以大数据为中心,以计算(算法)为手段,以平台为支撑,以最优决策为目标,建立在信息相对对称基础上的开放的、动态的新型智慧决策模型,一方面,在大数据驱动下以机器智能决策机制为原理,通过机器智能(Machine Intelligence)[注]德勤(2017)发布技术趋势,对机器智能(Machine Intelligence)的定义为相对于人工智能是一个更加广泛、更加重要的领域,主要分支包括:机器学习、深度学习、认知分析、机器人过程自动化等,这些技术和其他工具共同构成了机器智能”,机器智能的背后支撑是数据能力、计算能力、算法能力,这些能力能够将日益复杂的工作自动化和智能化。“德勤:机器智能技术模仿人类认知创造价值”,《机器人产业》,2017(3):97-104。强大数据分析能力、计算能力,对复杂决策问题进行分解、计算,从而实现机器的复杂决策和决策的自动化,另一方面,由决策者、数据分析师、领域专家一起构成的决策主体与机器智能通过人机智能接口进行协同决策,完成从数据到智慧的决策过程,帮助决策者最大限度地实现数据驱动的科学决策。
“数据-智慧”决策模型的核心要素是数据、计算、算法、平台的有机融合,在大规模数据收集的基础上,发挥大数据集成智慧,以解决复杂决策问题。
1.以数据为核心,重构大数据能力。“数据-智慧”决策模型的核心是数据,突出的是数据采集、分析挖掘,基于大数据分析的工具有效地解决了多源异构的数据采集问题和非结构化数据处理问题。在从IT时代转变为DT时代的过程中,以大数据为代表的数据科学(Data Science)[注]数据科学(Data Science)最早由Peter Naur(1974)在《Concise Survey of Computer Methods》书中正式提出,其内涵是“处理数据的科学”。之后发展缓慢,直到2007年Jim Gray把数据科学喻为“数据密集型科学研究的第四范式”,并认为未来无论什么科学问题都将由数据所驱动,此观点引起各领域广泛关注。2012年随着大数据的快速崛起,以大数据为代表的数据科学迎来爆发式发展,迅速成为各领域研究热点。与技术开始受到空前关注,人类的科学发展正在经历第四种范式即密集型数据科学[26],以数据为中心的研究方法与技术理念在工业、商业、学术界等不同的学科领域都得到了广泛应用与认可,并促进了大量科研成果的产生。从表现形式来分析大数据具有海量(Volume)、高速(Velocity)、多源(Variety)、价值(Value)的特征,从实践形式上来分析大数据具有易变性(Variable)、真实性(Veracity)、波动性(Volatility)、可视化(Visualization)的特征(见图1)[27]。然而对大数据的研究不能只停留在内涵、特征以及作为一种数据资源等方面的基础研究,更应该上升到“能力”的角度,与企业的动态能力相结合,使企业具备独特的大数据能力,从而提高企业的竞争优势。谢卫红等(2016)[16]对大数据能力有所研究,并将大数据能力维度分为“资源整合、深度分析、实时预测与洞察”三种能力。本文结合大数据最新发展趋势以及新工业革命的智能化属性,在已有的基础上对以大数据为中心的“动态”能力进行重构,认为大数据能力除了上述三种能力外还具有重要的机器学习能力,机器学习能力是指以机器学习为基础,利用计算机模拟或实现人类学习的行为,表现出一种自学习、自驱动、自适应的能力。在大数据时代,海量数据使机器学习相关算法能得到充分训练,机器学习表现出更强的学习能力,也在众多领域发挥越来越重要的作用,诸如“微博热搜”、“自动驾驶”、“AlphaGo战胜人类围棋冠军”等都充分证明机器学习能力的重要性,这些以大数据为中心产生的动态能力(图1)在“数据-智慧”模型中将对未来事件进行分析、预测和发现,在商业领域的作用将体现在商业决策、实时分析、精准营销、自动化运营、商业价值实现等方面。
图1 大数据为中心的“动态”能力
2.分布式实时计算能力。由于大数据的“8V”特征,在做大数据分析挖掘时,需要重新审视它的计算复杂性,大数据计算体量巨大,内在联系密切而复杂,数据价值密度分布不均,这些都对大数据计算范式提出新的要求[3],而云计算(Cloud Computer)[28]的出现,有效地解决了这个问题。在“数据-智慧”的决策模型中,云计算作为“计算”的核心,突出的是数据分布式存储、数据分析、IT解决方案,面对传统数据挖掘在计算能力方面的不足,云计算作为一种可扩展性强、高弹性化、虚拟化的计算模式,有效解决了传统数据挖掘算力不足的问题,主要表现在:(1)在“数据-智慧”模型的整个决策过程中,面对海量的数据无法用单机进行处理,必须采用分布式计算架构,而这与云计算“分布式、按需分配算力”的设计思想完美契合[29];(2)云计算的强大计算能力,可以更快速地处理大规模的数据信息,为即时决策提供有效的支持服务。例如2017年阿里巴巴的“双十一”网络营销活动,交易峰值达到每秒32.5万笔,支付峰值达到每秒25.6万笔,实时处理数据峰值每秒4.72亿条[注]数据来源:依据阿里云网站(http://www.aliyun.com/)资料整理。,理论上可以做到每秒百万级的交易支付能力,而且要求计算达到高精确、零误差,这背后是大数据平台上的云计算架构,是一个适应数据开放、互联、全球化的架构,具备实时计算大规模复杂性决策问题的能力。
3.算法的自动化决策能力。一方面,算法作为引擎是大数据处理、分析的核心,数据加工的每个步骤都有算法参与,从开始输入数据,通过引擎转换,到输出数据中的能量,然后提供给更上层的用于决策服务或数据产品开发,从而产生商业价值。另一方面,在大数据的支持下,神经网络、深度学习、机器学习、高级认知分析、机器人流程自动化等算法的迅速发展,这些多类型算法结合起来可以形成算力更强的算法,更好地分析数据,充分挖掘数据中的价值,让决策变得自动化和智能化,能模拟人类的思维活动和扩展人类的认知范围。相比人类的决策,算法的自动化决策具有相对客观、公正、高效等特点,因此其应用逐渐在社会各个领域发挥作用[30]。例如Hinton(2006)[31]提出的大数据结合深度学习算法显著提升了语音识别、图像识别、自动驾驶等应用的准确率和效率,并使“智慧+”等产业体现出巨大潜力,引发了深度学习在学术界和工业界的研究和应用浪潮。
4.大数据平台的支撑能力。一是大数据硬件平台的支撑,包括高速存储服务器、计算服务器等高性能硬件资源,这些是实施大数据驱动机器智能决策所必需的基础设施。二是大数据软件平台的支撑,包括大数据管理平台、大数据技术平台、大数据应用平台,具体功能是:(1)大数据管理平台。以DMM[注]2014年美国卡耐基梅隆大学软件工程研究所发布的数据能力成熟度模型(DMM),包含初始级、已定义级、已量化级、管理级、已优化级五个级别,级别越高数据能力成熟度越强。(Data Management Maturity,数据能力成熟度模型)为基准,用于规范管理数据生命周期的整个过程,其基础目标是管理大数据“脏”、“乱”、“杂”的问题,数据分析师根据实际需求对数据进行清洗、分析、管理,从而提炼有价值的决策信息,最后在应用中才会产生实际效益[32]。(2)大数据技术平台。大数据分析是技术平台的核心,同时也是“数据-智慧”决策模型价值创造的核心环节,通过诸多经典的数据挖掘方法进行预测、关联、分组,在数据分析技术方面,形成了成熟
的分布式文件系统(GFS)、批处理框架(MapReduce)、开源实现平台(Hadoop)等,这些技术平台是对大数据进行非结构化分析、处理非常有效的手段[33]。(3)大数据应用平台。通过大数据应用平台能够洞悉客户、产品、渠道在各个维度的信息情报和知识洞见,从而对创新应用模式和商业模式的设计提供线索和技术基础,以形成对未来事件的预测和发现。以上从大数据管理、分析、应用三个维度体现企业应用大数据的能力,企业大数据能力的提升是建立在先进的大数据硬件和软件平台基础之上,大数据平台建设水平是影响企业大数据能力的核心要素。
“数据-智慧”决策模型给解决现代决策问题提供了路径,但并不是仅仅有了大量的数据就可以实现,而是必须将数据转化为可用于决策的证据。基于大数据的“数据-智慧”决策模型的运行程序如图2所示。
图2 基于大数据的“数据-智慧”决策模型的运行程序[注]“数据-智慧”决策程模型内部运行机理:一方面,整合商业智能(BI)、机器学习(ML)等模型工具,构成机器智能模型(MI),实现自动化决策;另一方面,通过专家系统进行大数据建模、大数据分析、模型求解(OR)等步骤实现人机协同决策。最后对自动决策和人机协同决策的效果进行整合,提高决策的质量和效率。资料来源:依据星河互联网站(http://www.galaxyinternet.com/)资料总结整理。
具体的决策组织过程如下:
1.决策问题分类。一类问题是人能做的更好,比如创新、设计、辩论等需要创造性的事物,这类问题大数据的作用非常有限;二类问题是机器可以更好完成,比如重复性复杂计算,每年“双十一”购物、春运网购火车票等,针对这类精准计算、快速响应的问题,大数据的优势能最大化发挥;三类问题是机器和人需要协作才能更好完成,对于这类问题需要人-机相互协同共同决策。以上的三类问题涵盖了决策过程中的所有问题,在决策过程中,确定分类问题的基础上,将需要决策的问题与商业问题想结合,确定决策问题与决策目标的范围,要做到这一点,就必须全面分析企业的现状需求、面临的竞争和风险,深入了解待解决问题是取得成功的关键。
2.构建“全样本”数据源以辅助决策。一是大数据拓展了数据采集源。例如人为产生社交网络数据、电商购物数据、以及各种出行数据等;机器产生的各类运行数据、散落在不同位置的传感器数据、网络搜索数据等,通过对这些人和机器产生的数据进行全面采集,精准画像。以此拓展数据采集源,为生成“全样本”数据提供基础。二是对全样本数据的整体性分析。本文对“全样本”数据的定义是解决与目标问题相关的、足够全的数据,由结构化、半结构化、非结构化等不同数据类型构成的大样本。大数据通过海量规模的全样本进行分析处理,能在一定程度上克服决策过程中的“信息有限”的困境,使决策结果更客观理性。
4.人机协同与智慧决策。一方面,通过机器智能决策模型的自动化决策。另一方面,将数据分析阶段的可视化结果与决策问题以及具体的场景应用相结合,通过数据分析师、多领域专家、决策者构成的多元决策主体进行有组织、有逻辑的互动,在“数据-智慧”决策模型中,数据分析师将承担连接数据驱动的机器智慧与专家智慧的连接器,将形成“机器智慧-数据分析师-专家智慧”的决策解释模式,相比较传统决策模式,数据分析师的作用将更加重要,从传统的后台走向前台与多领域专家、决策者形成多元决策主体,以降低决策者因“认知有限”而产生的局限,确保决策结果的客观性和科学性,经过此过程以形成决策方案。
5.决策效果反馈。决策反馈的目标是对本次决策进行测量和评估,确定准确性和一般性,检测实际环境中决策模型是否符合要解决的商业问题,另一项任务是总结经验,为下次决策提供更客观更科学的依据。决策反馈的评估方法有三种:一是对决策者信息处理能力的评估。二是对决策过程的评估。数据驱动的决策过程是否在决策前的数据采集、决策中的数据分析、决策后的数据反馈每个环节发挥作用。三是决策绩效评价。数据驱动的决策是否在企业财务绩效、决策速度、运营效率等方面相比其它同行是否具有竞争优势。总之,决策反馈过程是一个自调整、自学习、自适应的持续改善过程,每次决策之后都会更新决策模型数据库,为下次决策提供更全面的数据样本。
“数据-智慧”决策模型适用于具有丰富数据资产的行业或组织,主要适应以下几类[34]:(1)以互联网为生存基础的公司(包含电商、社交媒体、无线通讯)。这些企业每天通过移动互联网能获取海量的数据,在此基础上利用大数据工具对数据进行分析、处理,就形成以数据为依据进行决策和利用大数据进行创新。这类企业在中国有阿里巴巴、腾讯、百度等,在美国有Amazon、FaceBook、Google等。(2)以事实和证据为决策依据的公司。这些企业以宝洁、IBM、沃尔玛为典型代表,宝洁早期就重视实事求是的调查过程,通过与消费者对话中收集用户需求,形成翔实的市场调研数据,在此基础上作出关键决策和重要的产品创新。以上企业的管理实践总结就是循证管理学(Evidence-Based Management)。(3)具有工程与研究职能的企业和机构。这些企业利用大数据分析作出关键的经营决策,例如在石油开采领域,利用物联网射频技术,实时采集原始地质、地貌的数据,部署在石油开采现场的感应器实时收集到油量观测数据、安全数据等,就构成了石油开采决策的大数据样本。(4)政府部门。政府部门在推进电子政务、智慧城市、信息消费、市场主体和公民个人交互过程中积淀了丰富的数据资源,利用这些数据作为公共决策制定的依据、简化政府的审批流程、提高办事效率,进行应急管理等。总之,当越来越多的行业或组织意识到自己可以通过收集、管理、分析大数据获取客观的价值时,就会有更多行业或组织加入大数据应用行列。
本文选择了两个不同决策类型的案例:阿里金融和宝洁(新品)。阿里金融信贷模式,属于以“机器决策为主体,无人工参与”的类型,而宝洁基于大数据的决策是属于“人-机”协同决策类型。但是这两这种类型决策程序相同,并能从不同维度验证了大数据驱动的“数据-智慧”决策模型的有效性和适用性,有助于提高决策效率和质量。
阿里巴巴是国内“数一数二”的大数据企业,具有丰富的数据资产,阿里金融的成功可以说是阿里大数据应用最典型的代表。阿里金融成立于2010年,在海量数据和网络平台的支持下,建构了网络数据模型和征信系统,基于此征信系统,小微企业可以获得从500元至100万元不等的信用贷款。相比需要担保和抵押品的传统金融模式,阿里金融仅依赖信用数据,企业就可以迅速获取所需贷款。其背后的机理就是大数据应用和模式创新,小微企业能否贷款成功,完全由数据决定,这种创新的信贷模式甚至推动了整个互联网金融行业的快速发展。
1.阿里金融“数据-智慧”决策模式构成要素
基于以上分析,阿里金融的信贷模式是实现“数据驱动智慧决策”的典范,这种基于大数据驱动的“数据-智慧”决策模式由以下核心要素构成。
(1)广泛的数据来源。阿里巴巴拥有广泛的多维数据来源,包括金融数据、电商数据、基本信息、公共信息等,对这些数据进行挖掘分析、交叉验证,从而保证数据的可用性和可信性。经过验证后的多维可信数据是阿里金融进行智慧决策的基础。
中介效应分析:由于应对方式量表中分为指向问题的应对和指向情绪的应对两个分量表,所以对中介变量问题的应对和情绪的应对的中介效应进行分别分析。自变量X对因变量Y的影响,如果X通过影响变量M来影响Y,则称M为中介变量。
(2)成熟的技术体系。阿里巴巴经历了每年“双十一”购物场景,以及阿里云技术支持的春运网购火车票场景,极大地锻炼了对大规模数据实时分布式处理能力和算法的自动化决策能力。具体而言,通过感知层的传感器、智能终端可以实时连续地采集数据,利用网络层的大数据和云计算平台分析和处理数据,利用应用层的智慧商务、智能制造等开展智能化、自动化等场景应用,从而形成一体化技术体系。这些成熟的技术范式有效地提高了阿里金融进行智慧决策的效率。
(3)完善的征信系统。阿里巴巴大数据平台上沉淀了10多年的数据资产,这使得征信系统极具价值。阿里的征信系统从最初有限数据支持下的“诚信通”演变为全域大数据支持下的基于云计算和机器学习的“云征信系统”,其中阿里巴巴的芝麻信用就是以大数据为核心的云征信系统典型代表。相比传统的征信系统,阿里云征信系统能够相对全面、客观、高效完成对客户的信用评估。趋于完善的征信系统有效地降低了阿里金融智慧决策的风险。
(4)多维度的应用场景。阿里巴巴有云计算、电商、金融、物流、健康、文娱等多维度的应用场景,在金融领域的应用场景表现如下:精准营销、风险控制、智慧决策、效率提升、产品创新等。这些多维度的应用场景有利于大数据真正落地,产生价值,同时也提升了企业利用大数据的能力。
2.阿里金融“数据-智慧”决策运行程序
基于以上分析,阿里金融以大数据为基础,通过引入大数据分析和挖掘工具来寻找企业经营状况、资金流向等关键数据,从而形成相关数据模型,经过阿里云征信系统将分析结果转化为提供授信审批的凭证。从而实现阿里金融的“三分钟申请、一秒钟放贷、无人工审核”的智慧决策过程。阿里金融“数据-智慧”决策程序如图3所示。
(1)明确用户需求,做好贷前审查。用户提出贷款申请,阿里金融平台通过机器智能对申请人的申请条件和申请资料进行全面审查,对客户的信用水平进行评估,这是贷款科学决策的前提。
(2)大数据样本的标准化处理。阿里巴巴的电商平台积累了丰富的全域大数据资产,在进行贷款决策之前,阿里金融平台需要从数据源(电商数据、金融数据、基础数据、公共数据等)中将数据导入,同时从外部导入相关数据,这些数据经过“清洗”后进入阿里金融的“数据仓库”备用。在数据仓库中完成对数据的标准化加工,加工后的数据以参数的形式传递到阿里巴巴集团的信贷通用决策系统(Ali-Generic Decision Service, A-GDS)。
(3)大数据驱动的模型计算及决策。在大数据驱动下阿里信贷通用决策系统(A-GDS)对于阿里电商平台上需要借贷的小微企业进行动态分析和管理。一方面,通过机器智能模型(水文模型等)可以非常直观地统计分析商家的经营状况、资金流向、周期性变化、交易频率等。把从传统基于人工的静态贷款变成基于数据计算的动态管理,准确掌控商家动态和资金需求的趋势,依据分析结果对风险可控的小微企业开放授信业务,实现自动化信贷决策服务,将决策风险前置[35]。另一方面,利用专家制定的各种规则模型(资金需求模型、预期风险模型、违约风险模型等)控制决策风险。阿里金融为客户配置相关专家规则,对专家规则及其关联性进行整理,形成一定数量的转化关系,依据此可计算出商家的授信模型。以上两方面的过程是将机器智能模型和专家规则模型进行融合交叉验证,全面评估商家承受风险程度和授信模型的过程。
图3 阿里金融“数据-智慧”决策运行程序
(4)大数据实时风险管控与预警。阿里金融利用大数据技术对贷前、贷中、贷后三个环节进行全面监测与控制,及时发现风险提出预警。具体而言,由于阿里巴巴的客户主要是其电子商务平台上的商家,所有交易订单的形成、业务数据的细节、退货情况和评价情况都汇集在阿里巴巴信贷决策系统中,而这些数据通过模型的计算,能够及时地预测客户的还款能力,一旦客户的还款能力下降,系统根据设置的阈值就会自动触发预警,使贷款风险降到最低[35]。
(5)贷后的评估与反馈。利用大数据能追踪决策的整个流程,获取各决策阶段的反馈数据,对反馈结果进一步分析,发现决策漏洞,不断完善和修正决策。阿里金融在用户贷款完成后,利用大数据实时监测用户的交易流水变化,利用监控评分模型和贷后催收模型来监控贷款的用途和运作效率,及时收回贷款[36]。
宝洁是全球日用消费品制造巨头公司,拥有丰富的数据资源,是以事实和证据为决策依据的典范。早在1920年宝洁就挨家挨户与用户对话,深入洞察用户需求,形成翔实的市场调研数据,以此为基础,进行新产品创新或广告投放决策。在大数据时代,宝洁利用人工智能技术对社交媒体以及消费者的行为数据等进行深度分析,将分析结果以可视化方式呈现给决策者,以此为依据做出各种类型的决策[34]。目前业界普遍观点是大型零售商以及快速消费品在大数据的实际应用中处于领先地位[37],而宝洁就是这类企业的典型代表。
1.宝洁“数据-智慧”决策模式构成要素
对宝洁“大数据驱动智慧决策”进行分析,这种由大数据驱动“数据-智慧”决策模型是由以下核心要素构成。
(1)多维数据来源。宝洁的数据来源主要包含线上电商数据(销售数据、打分数据、评价数据、物流数据等)、线下门店POS机实体数据、第三方渠道商数据等,这些不同区域的全球化数据构成了宝洁的大数据仓库。这些海量数据是宝洁应用数据进行各类决策的基础。
(2)智能商业决策系统。宝洁的商务智能具有将近30年的历史,从早期的基于问卷的结构化数据分析处理,到大数据时代对非结构化数据处理的智能商业系统,宝洁的智能商业系统是一个全球实时数据分析与决策支持系统,融合了传统商务智能、运筹学、机器学习以及人工智能等,具备闭环、自动优化、自动决策等功能,有助于提高决策效率和质量,增强宝洁在数字经济时代的竞争优势。
(3)数据机制和文化。宝洁作为一家非常重视数据的公司,所倡导的“基于数据的决策”文化[38],使其成为日化产品巨擎,宝洁的决策者绝不是依靠感觉进行决策,而是将西方的实证和数据量化决策思想融入宝洁生态系统的各个维度,宝洁依据数据做产品创新、精准营销、供应链优化、管理决策、战略决策等方面。
(4)数据科学家团队。宝洁的信息与决策方案部(IDS)聚集了卓越的数据科学家团队,运用先进的技术工具分析海量数据信息,发现商业价值,帮助决策者解决复杂的商业问题。
2.宝洁“数据-智慧”决策运行程序
宝洁作为“基于数据决策”理念的先驱和典范,下面以宝洁的新品研发为例,来阐述宝洁基于数据驱动“人-机”协同智慧决策的过程,如图4所示。
(1)全面采集数据,明确用户需求。宝洁的市场研究部(CMK),全面收集与决策目标相关的所有数据以及历史积累的数据,从而全面洞察用户需求,以决定给用户呈现什么样的产品和服务。
(2)对数据进行标准化处理。宝洁专家技术团队在获取数据后,将各方大数据进行整合,按照宝洁的数据逻辑进行校验、标准化处理,使其符合宝洁全球机器智能分析平台的数据格式要求,并自动生成可视化智能报表[37],将处理过的标准化数据以及报表传送到宝洁智能商业决策系统。
图4 宝洁“数据-智慧”决策运行程序
(3)大数据驱动的“人-机”协同智慧决策。宝洁的智能商业决策系统就是一个实时数据分析决策支持系统,将关键数据和可视化的视频会议整合到一起,分布在全球各地的管理者们在会议室就调用各种数据分析结果,现场制定决策[39]。整个决策过程是由机器智能分析平台自动生成数据分析报告,数据分析师和业务部门一起进行深入探讨,运用各种分析方法,比如对用户进行聚类分析,发现用户偏好,进一步挖掘用户的购买行为,从而评估新产品的商业价值,将数据分析视角与商业实践进行多次讨论、迭代,最终生成可执行的实践方案[38],这是一个“人-机”深度协同的过程。据统计,宝洁的中国市场一款新品从决策到上市,只用了4个月时间,且新品成功率高达90%[注]数据来源:依据品观网(http://www.pinguan.com/article/content/13596.html)资料整理。,这背后是依据大数据对消费市场的精准分析,从而洞察消费者的需求,以此作为研发新品重要的决策依据。
(4)利用大数据的全面风险管控与预警。在方案实施前,利用大数据技术对可能发生的风险和不确定性因素进行量化评估;在方案实施中,首先在小范围内进行测试,如果通过测试标准,将进一步推广到更大的市场范围;在方案实施后,由于决策效果需要一定的周期才能显现,而利用大数据技术进行动态监测,更能发挥大数据的优势。总之,决策方案的整个实施流程由大数据全面管控与预警,在提高管控效率的同时,能有效降低决策风险。
(5)决策效果评价和反馈。宝洁的信息与决策方案部利用大数据会追踪此次决策,结合决策目标对决策效果进行全面评估与反馈,这是科学决策的前提,也是选择最优决策方案的依据,通过此过程有助提升组织决策能力以及为下次决策提供经验。例如上述案例中,宝洁在获得新品上市周期大幅缩短并取得很高成功率的反馈后,迅速调整新品发布战略,加快新品上市的速度,根据市场环境灵活创新和生产,使创新产品产生更大价值。
本研究创新性地提出基于大数据的“数据-智慧”决策模型,重点讨论了决策模型的内涵、构成要素、决策组织过程、应用性条件以及在决策理论上的创新之处,在系统性模型下展示了从数据到信息,知识到决策的运行机制和实现路径。从阿里金融和宝洁的大数据应用分析发现,“数据-智慧”决策模型提高了决策效率,降低了决策风险,使数据在决策过程中产生了更大的价值,值得更多的企业和行业借鉴。
1.“数据-智慧”决策模型提升了组织利用大数据的能力。从数据到智慧的过程是企业利用大数据能力逐步提升的过程。具体而言,企业在大数据应用和管理过程中,所呈现的大数据思维、资源整合能力、数据挖掘能力、全局洞察与实时预测能力、机器学习能力和传递大数据的能力逐渐增强,进而提升了企业的创新能力和竞争优势。
2.“数据-智慧”决策模型是对“DIKW”模型的转型升级。一方面,“数据-智慧”决策模型的核心是数据、计算、算法、平台的有机融合,和小数据时代“数据-信息-知识-智慧”金字塔模型(DIKW)的应用相比,在处理复杂数据、计算能力、算法优化、平台构建等方面有全面的提升。另一方面,伴随着“小数据”时代的“随机样本”和“因果逻辑”关系转换为“大数据”时代的“全样本”属性和“相关性”关系,研究问题也从“为什么”转变为“是什么”,那么“数据-智慧”决策模型在理论上具备从“大数据”中直接获取“大智慧”的能力,而不再拘泥于“数据-信息-知识-智慧”(DIKW)固有的四层研究范式[4]。以上两方面的提升,为有效处理大数据时代的复杂决策问题提供了路径,是大数据实现价值转化的桥梁。
3.“数据-智慧”决策模型有效降低了决策的有限理性。Simon(1947)[40]认为在决策过程中由于人的“认知有限”和“信息处理能力有限”,从而提出决策“有限理性”的假设,决策结果只能追求“满意解”而不能实现“最优解”。但是,在大数据时代,能有效地降低决策的有限理性。一方面,面对复杂的决策环境和决策信息,人类在没有更多“认知资源”可以依赖的情况下,会越来越依靠机器的智慧决策,因为机器的决策效果更好,机器拓展了人类的认知范围。另一方面,“数据-智慧”决策模型能容易完成对数据的采集、分析以及处理,有效降低“信息处理能力有限”的困境。基于此,利用大数据驱动决策的理念,人类的认知范围将会扩大,信息处理能力增强,决策过程将更加合乎理性,甚至接近“全面理性”,决策结果将趋近“最优解”,这在一定程度上克服了“有限理性”的基本假设[41],从而提高了决策质量。
大数据已经上升到国家战略层面,作为一种创新工具和社会公共资源越来越广泛地被应用在各种公共管理和服务项目中。为了促进大数据的战略发展,2015年国务院发布的《促进大数据发展的行动纲要》为指导建立大数据中心,更有效地收集、处理、管理数据,发现数据潜在价值,全面提升应用决策水平。2016年人工智能机器阿尔法(AlphaGo)引发的人机围棋大战受到全世界瞩目,将“数据驱动的智慧决策”推上巅峰,人工智能重新崛起。我们国家也在2017年发布《新一代人工智能发展规划》,在各领域积极部署,将人工智能的地位上升到国家战略高度。那么在这种背景下,基于大数据和人工智能的“智慧决策”将是一个重大的研究课题,这种适应时代发展的决策模式对微观的企业决策、中观的智慧城市建设、宏观的政府公共决策具有重要的实践意义。
1.构建大数据生态系统,全面提升企业智慧决策能力。对于企业而言,数据将是所有企业创新的源泉,大数据作为重要资产和特殊的管理决策支持工具,其价值和重要性已经过实践检验,要正确运用大数据,一是要重视一线数据的积累;二是需要专门的数据技术部门,注重数据管理和分析人才的培养,三是根据业务目标从海量数据中发现模式和知识,提升业务效率,创造新的客户价值,逐渐形成“数据积累-技术成熟-业务应用-数据积累”的良性大数据应用循环结构,最终构建适应自身企业发展的大数据生态系统。在此基础上,以大数据生态系统为支撑平台,使用人工智能的机器学习方法,进行深度分析和实时预测,从而辅助企业进行生产决策、营销决策、管理决策、战略决策等活动,全面提升企业的智慧决策能力。
2.大数据为中心的智慧城市建设。在智慧城市的数字化建设中,大数据驱动是智慧城市建设的核心,扮演着城市智慧大脑的角色。2017年阿里巴巴提出的城市智慧大脑[注]阿里城市智慧大脑(2017)来源于ET大脑,ET大脑是阿里云研发的超级智能,具有“认知、判断、决策、学习”的智慧能力,其目标是在“即时、全量、全网”数据支持下实现“最优”决策。ET大脑广泛应用在城市、工业、农业、环境、航空等垂直领域,针对这些领域阿里巴巴构建了ET城市大脑、ET工业大脑、ET农业大脑、ET环境大脑、ET航空大脑,从而形成ET大脑生态系统(资料来源:依据阿里云网站资料总结整理)。,将大数据能力、人工智能技术、云计算与行业相结合,实现从单体智能到多体智能的技术跨越,实现“多维感知、全局洞察、实时决策、持续优化”的目标,从而在复杂环境下快速做出最优决定。其背后的原理是以阿里巴巴全域大数据为基础建立起来的高度可依赖的人机智能决策系统。本文结合阿里巴巴在智慧城市大脑建设方面的实践经验以及Gu(2013)[42]在理论层面提出用系统方法思考智慧城市建设的思路,为进一步系统化建设智慧城市提出如下建议:一是注重与诸如阿里巴巴这种具有大数据能力的公司合作构建大数据综合平台,因为现代数字化智慧城市建设的重心已由传统相对封闭的IT系统和信息共享中心建设,转变为对数据资产的整合、流通、共享以及深度挖掘。二是在着力构建大数据综合平台的同时,需要按照复杂系统工程的思路,兼顾城市“物理-信息-社会系统”的整体智能建设[43]。三是各大城市应设立首席信息官统一部署规划城市大数据建设,采用综合集成的系统方法,积极推动跨行业、跨区域、跨部门协作,整合分散数据资源,探索“智慧城市大脑”等数字化城市治理模式。通过以上系统化的改善措施,有望打破信息孤岛,实现大数据环境下的智慧决策,大幅提升数字化城市决策的智慧度。
3.构建政府智慧公共决策机制。智慧公共决策是“以大数据驱动为核心,以新一代技术范式为支撑,以公共利益最大化为目标,具有全面感知、客观透明、实时预测、自主预置和多元共治等特征的一种新型的公共决策模式”[29]。结合目前政府公共决策现状,在实际的智慧公共决策机制建设中应注重在以下方面改善,一是技术保障体系层面,充分认识包括大数据、物联网、人工智能、云计算、区块链、机器学习等新技术在智慧公共决策中的作用和地位,这些新技术为决策模型的建构与动态扩展提供了技术支撑。二是方法论层面,在数据科学的引导下,以大数据为核心的第四研究范式给已有的社会科学研究提供更高的数据起点和全新的理论视角[17],在这种新的方法论面前,要改善传统公共决策思维、决策过程、决策方式,以适应大数据时代的决策环境。三是在实践层面,加强大数据在舆情监测、精准扶贫、医疗卫生、教育文化、社会保障、环境保护、公共安全、应急管理等公共领域的应用,实现决策前预测、决策中控制、决策后反馈的持续优化决策流程,用数据驱动科学决策,降低决策风险,提升政府智慧决策能力。