面向企业文档智能服务的AI中台构建研究*

2021-08-12 04:57施千里刘雨欣王可欣
山西档案 2021年5期
关键词:中台文档算法

施千里 刘雨欣 王可欣

(1.福建福清核电有限公司信息文档处 福清 350300;2.中国人民大学信息资源管理学院 北京 100872)

0 引言

在数据时代,企业文档是企业中重要的数据,在企业运行发展中具有重要作用。当下,随着人工智能技术的快速发展,其应用领域逐渐扩展到各行各业。其中,在企业文档服务方面,文字识别、语义解析、实体识别等人工智能(Artificial Intelligence,简称AI)技术也发挥着越来越重要的作用。2018年12月,中央经济工作会议做出要加快包括AI在内的新型基础设施建设的部署,AI正日益成为助力社会经济的发展重要应用基础设施。“AI新基建”强调普惠性和低成本,其技术服务应更加注意各种软件技术的开源开放,鼓励以模型库、算法包、开放接口等方式向公众提供各种服务,降低技术门槛,提高开发效率。基于人工智能技术的企业文档新基建,是企业文档智能服务的基础,提供智能服务是未来的发展趋势。但目前AI技术的应用开发成本高,且具有较高的门槛。若企业根据每个业务需求都进行一次AI技术研发,那将消耗大量的人力物力资源,同时,由于每个系统互不关联,随着建设的规模越来越大,越来越复杂,维护成本也会呈直线增加,在新基建的背景下,如何将AI技术以更低的成本,更迅捷的方式应用于文档管理,是目前文档智能服务急需解决的问题。

为了更好的支撑企业文档智能服务,本文提出构建面向企业文档智能服务的AI中台,来解决目前企业文档在AI技术构建与应用方面的问题。AI中台可以实现各种AI算法的集成和自由组合,以帮助企业更迅速的对前台业务的变化做出反应。但目前国内外学界关于面向企业文档智能服务的AI中台的研究还较为少见,因此本文重点研究在于对面向企业文档智能服务的AI中台进行构建研究,旨在为AI中台的建设提供理论依据。

1 研究现状

通过对知网全文数据库进行遍历,以“ (文档管理 + 档案管理 + 文件管理) * 人工智能、(文档管理 + 档案管理 + 文件管理) * 人工智能 * 企业、人工智能 * 中台”这些检索式在知网的全文数据库中进行检索,筛选收集到相关的目标文献。在对文献进行筛选和梳理后,发现目前国内关于AI技术在企业文档智能服务中的应用、AI技术的模块化应用以及AI中台的发展的研究情况如下。

1.1 AI技术在企业文档智能服务中的应用

AI技术在文档智能服务中的应用主要有智能化鉴定、智能化检索、智能化解读、智能化利用等。[1][2]在“互联网+”的背景下,网络中存在大量的档案信息资源,为了更好的利用这些资源,在对文档进行鉴定和解读的基础上可以利用AI技术以智能化的手段,如智能Agent技术、专家系统、知识图谱等,来提供面向企业文档的智能服务,如智能检索,智能解析等。

目前,AI技术在国内外企业文档智能服务中均已取得了一定的成果。在国内应用中,科大讯飞股份有限公司将语音AI 技术应用到音视频档案开发和利用中,实现口述档案智能化征集;[3]东软集团利用人工智能技术在档案管理系统中添加相关的业务规则,针对不同类型的档案提供相应的质量校验模型,并进行自动化检查。[4]国泰君安证券股份有限公司采用人脸识别技术,对企业工作人员的照片或身份证信息进行采集以及特征化处理,并提取相关片段,应用于公司人物、专题等档案编研,同时进行身份核对,保证企业信息安全。[5]江苏核电采用图像识别技术,对文档进行自动化识别,可自动发现海量扫描数据中的异常图像并辅助文档管理人员快速处理。[6]而在国外,微软亚洲研究院提出了结合文档结构信息和视觉信息的通用文档预训练模型 layoutLM,在表单理解、票据理解、文档图像分类等任务的测试中均取得了目前的最佳成绩;[7]意大利罗马特雷大学的学者将机器视觉技术运用于梵蒂冈秘密档案的转录工作,以解决传统OCR识别技术对中世纪档案文本识别误差大、效率低的问题,从而提升档案转录工作的精准度和效率;比尔肯特大学研究人员提出建立一个基于场景的视频监控档案查询系统。该视频监控档案查询系统通过引入倒置追踪方案,可以实现对以场景为单位移动对象的查询和搜索,同时,该系统配置了视觉查询专属界面,用以提升图像检索的精确度。[8]

1.2 “AI乐高模式”到AI中台

AI技术的开发具有成本高,周期长,门槛高的特点。为了使AI技术能够快速的在各种应场景中进行应用,很多企业开发了AI平台,以此提供各种AI技术的接口,以供用户快速使用。如百度的AI开放平台,腾讯AI开放平台,阿里智能应用平台,京东AI开放平台等,都可根据用户提出的需求,直接调用组合平台中的各种AI技术,帮助用户快速使用AI技术来面对各种业务场景。2020年10月12日,李彦宏在第三届数字中国建设峰会上提出了“乐高模式”[9],指将各种技术能力模块化,使用者根据具体的业务场景,可以对这些模块化技术能力进行自由组合,迅速搭建能够应对该需求的技术体系,AI技术的乐高模式可以帮助每一个企业以较低的门槛较为迅速的向智能化转型。模块化的人工智能技术体系调用也可被称“U盘式创新”[10],即面对不同的业务场景,企业可以使用不同的人工智能“U盘”,即插即用,这种U盘式思想极大提升了人工智能的利用效率。

在基础设施智能化层面,AI技术应用的乐高模式已成为未来的发展趋势。而中台的建设为AI技术“乐高模式”的发展提供了平台。国内最早建设中台的公司是阿里巴巴,自从阿里巴巴集团宣布启动“中台战略”以来,中台技术也受到了越来越多企业的关注。其中,AI中台是对企业需要的算法模型提供了分步构建和全生命周期管理的服务,让企业可以将自己的业务不断以“模块化”的形式下沉为一个个算法模型,以达到复用、组合创新、规模化构建智能服务的目的及业务赋能的作用[11]。AI中台可以作为“乐高模式”的具体实现方式,各种模块化的AI技术能力集中在企业内部的AI中台中,基于AI中台企业可以对内部的AI技术及算法进行集成化管理,并根据不同的业务需求对AI基础算法进行快速组合开发,通过AI中台的建设与使用,可以实现“AI乐高模式”从理论到实践的转化,AI中台的构建为“乐高模式”的实现提供了解决方案。目前,基于AI技术在文档智能服务中的重要作用,若将AI中台也应用于文档智能服务中,那对企业文档智能服务发展也会有极大的提升。

从以上相关研究中可以看出,AI技术的模块化应用已逐渐成为一种趋势,同时AI技术在企业文档智能服务中也有着重要的应用,各大企业也正增加AI技术在其中的比重,但很少对相应的AI技术进行集中的训练与管理,更多的是根据不同的业务场景中进行即时的选择与开发,造成了一定的资源冗余与浪费,且无法快速响应业务需求的变化。在当前的研究中,对面向企业文档智能服务的AI中台的构建关注相对较少,这也为本文提供了研究空间。

2 面向企业文档智能服务的AI中台建设需求分析

根据文献调研和企业在生产活动中的实践,本文对面向企业文档智能服务的AI中台的建设需求进行了分析,主要从文档数字化、知识化和AI技术优化两方面进行了梳理。

2.1 文档数据化、知识化的需求

目前企业普遍对文档的利用不够充分且效率低下。文档大部分以纸质版的形式进行存储,利用效率较低,无法在数据层面对企业各文档中蕴含的知识进行挖掘与深化,这样企业难以从以往大量的文档数据中获取更多新的知识;同时在企业的各项信息化建设中,数据孤岛的现象比较严重,文档之间没有建立完整的关系网络,各个项目之间的文档信息之间没有实现互通,无法形成共享数据池,为企业之后的各项任务提供接口和数据服务;并且文档中的各项知识元也缺少知识关联,在搜索某一关键词时,无法提供与之相关的完整的知识网络,现有系统难以回答有关机组的发散性、综合性、开放性的问题。

而AI技术的应用可以为以上提到的企业文档智能服务中存在的问题提供解决方法,企业文档数字化、数据化、知识化已成为一种新的趋势。其中OCR文字识别技术可帮助企业对纸质档案数字图像文件中的各种字符进行识别,实现文字转换,是文档从数字化向数据化转化的重要步骤。这对推动纸质档案管理具有重要的意义;图像识别技术可以帮助企业对图像文档中的各类特征进行识别,如人、物、地点等,实现图像文档的智能管理;自然语言处理技术可对企业中不同类型的文档进行处理,以实现文档的统一管理,消除信息孤岛,同时,自然语言处理技术可以将文档中的非结构化数据变为结构化数据,并按照相应类别进行存储,利于后续企业文档的图谱化组织与构建,形成企业文档知识库,构建基于知识库的智能问答应用,提升文档利用效率,以实现企业文档表示结构化、组织知识化、利用智能化,更好更快的面向各种个性化业务。

2.2 AI技术优化的需求

随着AI技术在企业文档智能服务中的应用,如何优化AI技术的开发及利用,也成为了企业急需解决的问题。若每出现一个业务需求,都需要根据该业务场景进行一轮分析、数据收集、数据整理,模型建立、模型训练,最后构建系统进行应用,那将耗费大量的时间和物力成本,AI技术开发周期长,成本高的特点,将导致系统无法快速响应快速变化的业务需求;同时,AI技术的开发流程以及某些算法高度类似,通用化程度很高,如果缺乏规划,对于每个业务需求,系统的开发都会经历完整的流程,会造成大量的重复建设,在这样不断重复的过程中,建设的系统会越来越多,即意味着矗立的烟囱越来越多,长此以往,整个系统的规模越来越大,系统越来越复杂,维护人力和成本直线增加,但效果却不尽人意。并且各系统之间互不相通,各部门的文档数据缺乏连贯性,信息无法共享。AI系统也无法从这些大量的文档数据中更快更准确的挖掘出其中蕴含的信息,为业务决策提供更精准的支撑。由此可见,企业在实现文档数字化、化知识化之后,需要进一步实现AI技术系统敏捷开发,降低系统耦合度,和信息互通。

针对以上需求,面向企业文档智能服务的AI中台的建立能帮助企业在实现文档数字化、知识化之余,把各种通用AI技术能力算法、标准下沉,形成通用的算法池,这样在面对新的业务需求时,可对算法池的各项算法能力进行灵活组配,调取即用,以此来减轻后台系统的运算负担,快速响应前台业务变化。同时算法池的实现易于AI技术能力的扩展和自我学习,在需要更新和维护时,只需维护更新AI中台算法能力,即可实现对所有应用系统的技术升级,这样的快速迭代,可极大降低人力物力成本。

3 企业文档AI中台技术模型与实现路径

本文以中台思想为基础,对面向企业文档智能服务的AI中台模型进行初步的构建,包括数据层、AI基础设施层、文档AI能力层。并根据AI技术在文档管理中的应用,对中台中进行应用的AI技术进行优选。

3.1 面向企业文档智能服务的AI中台架构

百度作为中国AI的先行者,在AI技术领域有着较为明显的优势,目前,百度智能云已为国家电网、央视等客户提供了产品与方案,效果良好,架构通用性和适用性较强。因此,本文参考百度智能云的AI中台架构[12],在此基础上构建面向企业文档智能服务的AI中台架构。百度智能云的AI中台主要包括开发中心和资产中心,开发中心主要包括数据处理、资源调度和模型生产三个部分,数据处理、资源调度主要是为上层模型构建提供底层资源,以便其进行模型构建和训练;资产中心主要包括模型中心、能力中心和资产共享中心,主要是根据下层的模型训练进行算法集成,形成各种可调用的AI能力。考虑到该AI中台主要是将其内部的各种技术及算法提供给其他的公司使用,且面向企业文档智能服务的AI中台主要是以文档为主要数据源,采用的AI技术服务于文档管理,与百度的AI中台有较大的差异,因此本文在此基础上,结合AI技术在档案管理中的实际应用情况,将文档AI中台分为了数据层、AI基础设施层、AI集成算法层。企业文档AI中台构架如图1所示。

图1 面向企业文档智能服务的AI中台架构图

3.1.1 数据层

数据层的数据存储于数据库,是数据库中被指定用于上层算法模型训练的数据,主要是企业中各个业务所产生的文档数据,包括各种文件数据如公文、信函、生产文件;信息系统数据如技术文件;档案如工作记录等,同时数据层具备对文档数据中数据的获取、聚合能力,如从文档数据中获取各种三元组,形成“知识库”,这些基于文档的关联数据,可以作为构建语义检索模型数据集,训练语义检索模型,并且用于文档类别模型的自动聚类与分类。数据层对数据库中的数据进行清洗,筛选,标注,提供跨域数据的治理能力,并将可用数据抽象封装成服务,作为AI中台模型训练的数据基础。同时,数据层可以规定企业文档数据的固定格式,以避免各种不规范的文档后续难以利用的问题,方便计算机的统一识别、整理与提取。

3.1.2 AI基础设施层

AI新基建强调各类通用技术的开源开放,以开放接口、模型库、算法包等形式向公众提供开放共享式的服务,AI基础设施层作为中台的底层通用算法训练层,是将各项最基本AI算法能力池化,以便上层进行调用组装。本文拟构建多个AI算法池,包括文字识别、图像识别、自然语言处理这些与文档管理紧密相关的算法,同时提供外部算法的接入接口。AI基础设施层将构建成为各项算法的底层“基板”,利用数据层提供的数据,对其进行进一步的提取与解析,以此为基础进行AI学习、预测、分析,形成可复用的模型库。AI基础设施层是在满足技术算法集成化和文档数据进一步处理要求的同时,将各个算法进行模块化解耦,满足外部算法的快速集成与未来新算法的持续扩展。

3.1.3 文档 AI能力层

文档AI能力层是根据不同的文档智能服务需求,对AI基础设施层中各项基本算法进行拼接整合后,形成面向不同智能服务的AI技术能力,即形成各种AI“工具包”,以解决不同业务场景的需要,例如面向文档领域的专有命名实体识别能力,可以对其直接调用以识别纸质文档中不同文本类型中包含的实体:首先通过OCR技术对文本进行扫描,对于表格文本和图像还需使用表格识别和图像识别技术,再通过自然语言处理技术中的专有名词识别技术进行实体识别,以到达预期效果。类似的AI技术能力还有面向知识图谱构建的文本关系抽取、面向智能问答的自然语言语义解析、面向图片分类的对象检测场景识别、面向人物照片分类的人脸识别等,这些AI技术能力提供可统一调用的接口,如HTTP RESTful API、应用程序SDK等,以便满足系统AI能力调用和集成需求,从而能更加敏捷的对各种智能服务做出反应。

3.2 AI中台的技术实现路径

依据层次模型的架构,AI中台得以更好支持前台创新的关键在于AI应用能力的建设。一方面,需要技术基础设施的构建;另一方面,AI中台还需实现能高效迭代、敏捷响应的一系列AI应用开发流程。基于企业文档数据的管理闭环,AI中台需要提供统一的数据存储、模型训练以及模块部署与接口调用等,因而优选人工智能技术和搭建AI应用敏捷化开发通用流程是技术实现路径的重点。

3.2.1 人工智能技术的优选

作为支撑AI基础设施层的重要组成部分,人工智能技术需要基于细分技术或算法来集成AI中台三大算法池。而针对文档管理方面尤其是文档对象识别、语义分析、关系抽取等方面的应用,需要优选相关技术并形成一定的AI体系。

基于企业文档智能服务的业务场景需求,技术优选的原则如下。除了必须包含机器学习、深度学习作为核心基础,大多数AI技术也往往与其他人工智能组合使用或者作为辅助为需求决策服务;原则上选取的技术应当在文档智能管理方面已有广泛的应用场景和可行性,能够完成对文档的识别、知识提取和关联乃至进一步分析挖掘及可视化,以支撑企业智能服务的具体功能应用。另外,AI中台系统优化和数据存储维护势必还依赖于基于云平台或边缘计算平台的底层数据管理技术,才能保证自下而上的正常运行。

据此,自然语言处理、OCR识别、计算机视觉、机器学习、深度学习、智能查询、用户画像技术、数据可视化和数据存储等底层数据管理技术成为企业文档智能管理中更为适用、常见的技术。而在体系架构层面,人工智能技术体系的分类研究尚未形成统一的观点,但由于人工智能作为多学科交叉结果和通用型技术,在企业文档智能管理方面的应用处于更为更新快速、变化剧烈的动态发展状态,它同上下游的相关技术和应用一起形成错综复杂的技术体系网络。为求全面,本文参考沈应龙的研究[13],遵循根技术、核心共性技术、智能应用技术的层次分类提出AI中台的人工智能技术体系(见图2),作为AI中台架构过程中应用AI技术赋能、开发应用的参考和基础。

图2 面向企业文档智能管理的人工智能技术体系

3.2.2 面向智能服务的AI应用敏捷化开发

AI中台的核心是将算法模型融入进来构建上层智慧服务,通过不同能力的组配和功能逻辑实现、构筑多种不同的应用,从而实现面向智能服务需求的快速迭代、有效复用。因此其减少重复建设的点就在于,将每一个业务所拆解的AI应用开发任务都需经过的通用开发流程步骤集成为算法设施,实现敏捷化开发。

从开发生命周期来看(见图3),每个AI应用的开发大体都经过业务需求理解、模型能力学习、模块集成处理三大层面的流程步骤[14][15],并加以迭代更新。

图3 面向智能服务的AI应用敏捷化开发流程

(1)业务需求理解

根据业务需求设计实施开发方案、服务编排、服务共享。分析技术需求,明确数据获取要求、模型训练任务和应用开发的部署封装指导。

(2)模型能力学习

包括数据获取、数据清洗、数据标注特征工程和模型训练等。

获取数据(可能包括文档“知识库”数据、业务数据、用户交互数据等),对数据进行标注和重新加工,最终输出模型训练数据和生产数据。随后依据模型服务任务、训练数据和其他相关信息进行模型能力学习。实施过程中首先进行特征处理,再将特征输入模型进行编码和训练;将模型训练结果输入模型追踪的功能组件进行模型评估;最终经过迭代获得最优训练模型输出。

(3)模块集成处理

将训练的模型能力进行模块化组装构建,以“乐高模式”进行AI应用能力管理。对业务和技术需求调整具体参数配置,通过接口调用的形式完成能力组配和功能逻辑实现,构筑面向企业文档智能服务多态化需求的不同应用系统。

面向智能服务的AI应用敏捷化开发流程整体呈现半闭环状态,基于业务场景、技术需求进行模型学习和能力构建,经过评估和部署的模型完成开发并进入性能监控阶段,从而进一步实现模型的应用、完成文档数据的分析与展示,实现AI能力开发后的模块化功能集成与接口调用。

4 AI中台在企业文档智能服务的应用分析

4.1 文档业务维度

企业文档工作主要包括收集、管理和利用三个环节,在收集文档数据的基础上,面向智能服务的文档管理是手段、文档利用是最终目的[16],AI中台的构建应用大幅提升了企业在文档业务不同阶段的潜力。

一方面,AI中台通过对基于文档知识数据的算法能力复用,更方便从大量文档中快速准确地挖掘信息,充分利用企业隐性知识,从知识层面加强文档管理[17]。AI中台建立通用算法池,避免了算法能力的重复建设,所有算法只需要开发一遍再进行实时调用即可;通用算法池作为中间调度板块,加强了文档管理系统与其它管理平台的集成与关联程度,促进企业内部的信息互通、知识共享。在文档管理粒度精细化的基础上,中台的应用从分发、检索、存储管理等方面提升了对文档全流程联动管理的效率,进而能够灵活响应业务需求变化。

另一方面,AI中台对企业文档信息的利用模式,是将数据模型服务与业务解决方案之间进行连接,使每个层级都有用以提供文档挖掘能力的可复用机制。集成AI算法能力的技术池,能避免所需应用能力的重复建设,在不同场景需求的功能要求下直接调用、集成其中相关的AI算法能力,再进一步对文档内容进行提炼、加工,更便捷高效地完成信息编研和知识服务,从而达到直接面向企业文档智能服务应用、提高文档挖掘开发程度与信息利用率的效果。

4.2 企业管理维度

(1)技术优化效益

AI中台在企业文档智能服务中的应用将实现一种全局化管理的技术优化,它通过人工智能的模块化集成调用组合形成创新的技术产品的模式,搭建出可以实时调用技术能力的中间层平台。通过实现技术优化,更方便根据业务需求所属场景和领域进行高效组配、敏捷开发,从而达到快速响应;也使得底层算法与面向需求的技术能力相对独立分离,能对文档非结构化数据快速结构化、语义化,提升数据价值和文档利用率,以增强中台效益的可持续性。

(2)人员组织增益

面向企业文档智能服务的AI中台在一定程度上能有效解决“重复造轮子”问题,进而降低开发成本,在一定程度上减少技术人员消耗。中台理论本就是为打破烟囱式开发弊端而兴起的算法能力模块化调用思想,其本身即为多个系统建设应用打造一般化的“中央调度中心”,大大较少了项目建设的人力物力消耗;而AI中台则更进一步充分利用人工智能技术算法为中台的敏捷化开发赋能。AI中台的有效复用性得以加速文档利用周期、有效提升业务人员和文档管理者的工作效率;同时,企业从低产能阶段得到改善文档工作流程、优化企业业务流程的创新机会,从而能进一步优化组织结构。

(3)制度创新成果

在信息化智慧化需求越发普遍的企业环境中,AI中台对于以文档智能管理为核心业务的大中小型企业都将实现制度化模式转型。人工操作到算法智能的进步,使得基于文档智能服务的建设成果完成从传统文档管理模式到数字文档管理模式再向文档智能管理模式的有效转型。而得益于文档工作模式的转变,AI中台能进一步实现文档的知识化活化,在完善企业化建设的基础上,向业务驱动、AI加持、知识服务的3.0时代迈进。

5 结语

随着 AI 的深度发展与应用,档案领域不可避免卷入AI浪潮中,为突破企业文档管理工作中的棘手问题,提供新的机遇,中台的建设引起了众多企业的关注。本文借助中台思想,构建了面向企业文档智能服务的AI中台整体框架,并对AI中台的构建流程进行了简单的介绍,同时对AI中台应用的效益进行了分析介绍。一方面,当前国内对于中台结合人工智能技术应用相关的文献极少,对企业文档智能管理的研究也尚处于起步阶段,本文从理论层面贡献了此类问题的创新研究角度与突破点;另一方面,文章针对新时代企业文档智能管理的需求提出了AI中台的层次模型架构与技术实现路径,对企业具有一定的实践指导意义。但整体而言,面向企业文档智能服务的AI中台在企业工作中的应用还处于尝试和探索阶段,需要经过实践来不断完善,这也是下一步研究的重点。

猜你喜欢
中台文档算法
浅谈Matlab与Word文档的应用接口
哪种算法简便
中台是媒体转型必经之路吗?
——媒体中台建设的特点和误区
有人一声不吭向你扔了个文档
轻松编辑PDF文档
关于零售企业“中台”建设的研究
汽车制造企业质量中台研究
以技术开发中心为中台,数字化转型之见解
Travellng thg World Full—time for Rree
Word文档 高效分合有高招