关于大数据应用难点和解决方案的思考

羊 羚

（作者单位：国家开发银行四川分行）

一、前言

近年来，大数据及其相关的云计算、人工智能等数据处理应用技术获得了社会各界广泛关注。政府和企业也持续投资大数据相关新兴产业，将数字技术广泛应用于公共服务、节能环保和商业运营等方面。通过一段时间的研究和实践，社会加深了对于大数据性质、产生条件、具体应用和相关体系建设的理解。通过回看总结大数据的特点，分析其应用案例实施方案的特点、效果和难点，对于选择相关后续研究方向和把握具体应用的推广节奏具有启示作用。

二、大数据介绍

（一）大数据定义

针对大数据的定义，学界目前并没有一个共识性的结论，部分文献从大数据自身特点、历史沿革以及运用体系等方面对其进行了介绍和定义。通过结合大数据实际发展应用情况，本文倾向于从来源角度定义大数据，认为大数据本质为：通信基础设施和数据采集技术突飞猛进，人类数据收集能力快速提升，从而实际掌控的数据海量增长。近年来，互联网、移动通讯技术、工业互联网和物联网迅速普及和发展，扩宽了数据收集渠道，提升了数据采集速率。根据统计局公布的数据，2020 年末，我国电话用户总数177598 万户，其中移动电话用户159407 万户，较2010 年数据增长85.57%。移动电话已在中国实现广泛普及。同时，移动电话也从单一电话功能扩展至通话、聊天、视频、支付和定位等各个方面，能够全方位的服务居民日常生活。移动手机的普及和其性能的提升扩宽了数据来源渠道。4G 和5G 等通信技术的应用推广一方面提升数据上传速率，另一方面反馈至手机应用端，促使更多方便快捷的手机功能诞生，进一步丰富了人们的日常生活。例如常规舞台表演后，表演者的表演信息和观看者的“鼓掌”信息难以捕捉、存储和处理，但通信速率和稳定性的提升让居民可以在视频网站上传表演视频供网友观看，作者的表演内容和观看者的“点赞”和“评论”信息被储存至网站服务器。科技的进步让收集的数据类型从“小体积”的文本和图片拓展至“大体积”的视频影像。

（二）大数据影响

1.数据存储和应用技术。如果说大数据是“石油”，与之配套的存储和应用技术就是“发动机”。随着数据收集级别从MB 逐步提升至EB，社会数据处理能力也持续提升。数据中心、云计算、边缘计算、人工智能、5G 和云存储等技术逐步完善和推广应用，大数据相关的新型基础设施持续投入建设使用。

2.消费娱乐领域。通过运用科学技术吸引用户，商家可以通过用户点击、搜索、收藏、购买、打分、取消和评论等一系列操作收集用户行为数据，对用户进行“画像”，进一步了解用户喜好和习惯，从而提升服务和营销的精准性。

3.柔性制造。我国经济进入新常态，人民群众的需求不断增长，同时呈现个性化、非标准化等特点。为适应需求的个性化，厂商触达客户，并将其需求信息通过数字化系统及时共享给供应链合作伙伴、制作厂和经营商（如有）等全流程服务伙伴，缩短全流程合作者与客户的距离，提升商品供应的针对性；同时，数字化系统根据客户对于产品组合的个性化要求，整合客户需求数据和实时生产数据，通过对物料、制造设备和工人的智能化分工实现柔性生产。

4.公共服务。大数据相关应用广泛服务于电子政务、农业、智慧城市和国家安全等领域。政府相关部门通过收集国土地理、居民行动和城市交通等数据，相互汇总分享数据，根据职能或特定目的分析数据，为大众提供方便快捷的公共服务。

综上所述，大数据本质为“连接”的产物。人物和人人之间的连接是基础，大数据是连接的结果，再赋以云计算等数据处理“大脑”，提高商家和人、制造商和客户以及居民和政府部门间的联动性和灵活性。

三、大数据具体应用分析

（一）智慧城市

智慧城市主要指通过云计算、5G、物联网和数据中心等信息科技技术将政府、居民、城市基础设施和企业等城市空间内的个体和组织相互连接，提高民生、交通、城市安全和商业经营等城市活动的协调性、针对性和便利性，提升居民城市生活水平。智慧城市的核心在于横向整合了分散在政府各部门系统的城市运行数据。巫细波等（2010）和李文钊（2021）的研究显示，按照职能区分，智慧城市的组织架构包含了应用层、网络层、处理层和感知层。感知层主要由信息传递设备、软件和流程系统组成，负责实时感知、测量分散在城市空间内物体和活动产生的信息。网络层由无线网络、有线网络和互联网组成，负责高速率和稳定地传输感知层收集的海量数据。例如具有高并发、超低延迟的5G 通信技术。处理层主要为云计算、云存储和人工智能等技术，负责整合存储各政府部门数据，并在此基础上对人类决策提供支持和保障。应用层负责解决城市运行过程中的具体难点和困难，包括管理优化城市医疗、消防、安保、交通、营商和民生等。

2012 年以来，我国持续推进智慧城市建设，上海、浙江、成都、天津、深圳和沈阳等地均作出了相应的实践和探索。截至2018 年6 月，我国超过500 座城市就建设智慧城市提出了相关方案。以杭州智慧城市为例，根据张蔚文等（2020）的研究，杭州从交通治理单一型工具发展成全面惠民利民型城市大脑，服务城市居民医疗、交通、基层治理和疫情防控等各个方面。杭州城市大脑中枢包括政府各部门海量基础数据、大脑平台、各级政府数字驾驶舱、以及行业和部门等协同系统。该体系推动系统和数据互通，实现流程的跨部门改造，打破了职能部门条线分割的现象，整合城市治理职能。在96 个部门、317 个系统项目信息互联互通的支持下，杭州城市大脑的具体应用程序“企业复工平台”、“杭州健康码”和“亲清在线”等服务于企业复工、疫情防控和政企协同等事项。

（二）柔性制造

柔性制造主要指在工业互联网、新型机械臂和数字化动态管控平台等技术的支撑下，实现对多品种、小批量商品的快速低成本制造。“柔性”是相对于传统单一品种、大批量的规模生产方式，该制造方式更适用于满足消费者个性化的需求。根据单忠德等（2021）的研究，柔性化制造的智慧工厂由价值战略管理层、业务运营管理层、生产制造执行层、基础技术平台层、生产要素资源层等五个层级。价值战略管理层主要负责工厂及IT 系统建设、预算制订、工艺标准抉择、技术标准制订和绩效考核等宏观经营管理方面的工作。业务运营管理层主要负责人事任免和财务管理，以及在大数据技术的支持下构建销售商、生产工厂和供应链合作伙伴的协同工作平台。该协同工作平台负责进厂计划、生产计划和出厂计划，包括采购管理、生产运输管理和销售管理等子系统。生产制造执行层主要负责管控具体的生产流程。通过运用工业物联网、传感器、图像识别、标识编码与解析和数据集成、实时监控等技术，实现对整体生产计划、进厂物料和产品质量等具体生产流程影响要素的智能化管控。基础技术平台层主要构建基础数据采集、通信、服务器和云平台等基础信息设施，采集、集成和应用生产数据。生产要素资源层指具体执行上述层级生产计划和命令的设备和设施，并将生产数据实时反馈，主要包括机器人等智能生产设备、物流仓储设施和检测设备等。

以蔚来新能源汽车柔性制造为例。武建龙（2021）等的研究显示，蔚来新能源汽车建设运营了其创新生态系统，通过互联网平台集成了其应用服务子系统、研发子系统和制造子系统，及时采集客户需求，并根据客户要求展开研发和制作工作，及时解决客户信息需求和产品诉求。其中，制造子系统将蔚来新能源汽车的互补件供应商、汽车制造商和组建供应商充分网络化整合，通过信息系统实现信息共享、及时沟通。通过蔚来汽车的NIO APP，厂商可以随时对接客户的服务需求。在整合生产资源的基础上，针对客户差异化的汽车要求，蔚来成功实现个性化汽车的柔性生产。

四、大数据应用的难点

大数据核心特点在于横向纵向全面汇总目标任务相关要素的静态动态数据。为满足大数据关于“全面”和“连接”的要求，大数据相关技术在日常运用中主要面临以下难点：

（一）条线分割

条块分割导致的“信息孤岛”现象将不利于大数据收集和应用。为形成大数据资产，需全面收集与目标物体相关的各类要素状态和活动数据。例如智慧城市案例中，政府需收集医疗、教育、商业、住宿和交通等各类城市运营数据，并整合上述分散在各政府部门和企业的数据资产，作为人工智能、云计算等决策辅助技术的“燃料”。同时，条线分割、企业和部门的本位主义可能导致数据标准不统一，妨碍信息顺畅沟通。以云会计的运用为例，根据姚如佳（2014）的研究，云会计服务商各自为政，缺乏统一的数据标准，会导致数据迁移、访问、交互、汇集、整理和分析面临难题，数据应用效率被极大地限制。

（二）流程堵点

工作流程上的堵点可能导致全流程运营效率下降。通过上述案例，柔性生产等大数据应用场景的关键条件之一便是供应链合作伙伴和生产厂商的高度协同，缺一不可。供应链上部分环节数字改造进度落后等因素将导致“语言不通”；或因为特殊原因缺乏满足其他环节的基本条件，即“能力不足”。鉴于现代商品零配件数量众多、流程长、质量要求高，“语言不通”和“能力不足”将形成工作流程堵点，导致其他环节无法及时发挥作用，耽误工作进度，降低流程数字化改造的整体运行效果。在缺乏环节备选的情况下，堵塞现象将更加严重。

（三）建设成本

在杭州智慧大脑的案例中，虽然有一定程度地制度设计，但96 个行政部门并没有合并或分割，数字化信息系统在不影响整体行政架构的情况下成功促进了信息沟通，实现了数据互联互通，制度成本较小，但需要通过顶层设计让政府发挥强有力的组织协调作用。针对财务成本，IT 系统需要一定人力、物力和财力的投入。作为供应链条端点的中小企业，实力相对核心大企业较弱，缺乏足够的资金和精力投入系统建设，同时缺乏必要的人才队伍开展建设和维护工作。

五、对策建议

首先，针对条线分割和流程堵点等难题，建议进一步深化拓展数字化改造范围，特别是对企业和政府部门内部进行系统数字化改造。目前，部门间的沟通协调问题已经获得了广泛重视，但是部分部门内部同样主要采用条块分割的管理模式。其次，部门内部各业务或管理系统应统一数据标准，加强数字和信息沟通，保持敏捷的反应和沟通的及时性，促进部门间的协调配合，提升工作效率，充分发挥自身信息系统功能。最后，作为工作流程上的合作企业（部门），成员间信息化工作能力协调平衡需得到关注，提升信息化水平对于整体流程工作效率的提高至关重要，部门间的数字化实施方案及其基本原理可运用于部门内部信息化改造。具体方式各企业（部门）可根据自身资源禀赋、目标特点和行业特性，选择自建系统、外包服务或依靠政府支持等方式开展系统建设。

引用

[1]李学龙,龚海刚.大数据系统综述[J].中国科学:信息科学,2015,45(01):1-44.

[2]唐皇凤,陶建武.大数据时代的中国国家治理能力建设[J].探索与争鸣,2014(10):54-58.

[3]李文钊.数字界面视角下超大城市治理数字化转型原理——以城市大脑为例[J].电子政务,2021(03):2-16.

[4]张蔚文,金晗,冷嘉欣.智慧城市建设如何助力社会治理现代化?——新冠疫情考验下的杭州“城市大脑”[J].浙江大学学报(人文社会科学版),2020,50(04):117-129.

[5]潘卫军.现代柔性制造技术及其发展[J].装备制造技术,2007(12):89-92.

[6]单忠德,汪俊,张倩.批量定制柔性生产的数字化、智能化、网络化制造发展[J].物联网学报,2021,5(03):1-9.

[7]武建龙,郝蒙晓,黄静.“互联网+”环境下企业创新生态系统的构建研究——以蔚来新能源汽车为例[J].软科学,2021,35(05):70-77.

[8]姚如佳.大数据环境下云会计面临的困境及对策[J].会计之友,2014(27):76-79.

[9]沈国兵.“新冠肺炎”疫情对我国外贸和就业的冲击及纾困举措[J].上海对外经贸大学学报,2020,27(02):16-25.

[10]陈永光.2020 年10 大盘点之汽车供应链[J].汽车纵横,2021(02):48-51.

[11]陈兆杰,万康.中小企业信息化建设的意义与方法[J].中国国情国力,2010(01):56-58.

[12]王凤彬,江鸿,王璁.央企集团管控架构的演进:战略决定、制度引致还是路径依赖?——一项定性比较分析(QCA)尝试[J].管理世界,2014(12):92-114+187-188.