汪欢文 陆海龙
(浙江中烟工业有限责任公司信息中心,浙江杭州 310009)お
摘要 信息化推进的时序性必然导致信息系统呈现技术差异,包括硬件环境、平台技术、数据库管理、开发语言等,进而形成原有信息系统之间在数据层面、技术层面和网络层面上的异构。如何满足功能与数据两方面系统集成要求,形成稳定、可靠、高效的集成架构,双向兼容,实现统一视角的流程化的功能展示以及数据流图,同时兼备优异的扩展性以适应未来业务演进和可能的集成需求,就成为异构系统实施时必须考虑的首要问题。正是基于上述背景,在对系统集成理论以及数据与功能集成技术进行深入研究的基础上,以浙江中烟批次系统实施为案例,探讨了在异构环境下系统集成如何保持高性能等相关问题。研究发现,基于业务驱动的IT系统间耦合关系以及整体架构直接决定异构系统集成的高性能,数据库系统化设计直接影响系统的集成性能,数据流的实时监控与审计能够极大地提升异构系统集成的应用性能。
关键词 异构系统;集成;性能
中图分类号 SB126文献标识码
A文章编号 0517-6611(2014)19-06472-04
作者简介 汪欢文(1973- ),男,浙江杭州人,高级工程师,从事企业信息化和物流信息化研究。
收稿日期 20140604
鉴于企业信息化是对企业业务发展起支撑作用,因此信息化建设往往呈现很明显的企业发展阶段问题特征,并具有较强的时代特点。各个系统通常都构建在自己独特软硬件环境下,并形成包括应用架构、开发技术、开发工具、操作系统平台以及数据库平台等方面的异构环境。正是由于各种异构环境的存在,以及导入实施系统方一般仅关注各自业务部门内的数据与业务处理,缺少相应的接口标准和集成规范,导致系统各自为政,相互之间缺少基于信息共享的业务集成,进而形成“信息孤岛”现象[1]。上述问题存在于众多国有企业,且在一些行业或地方有愈演愈烈的趋势。因此,如何借用当前先进的信息集成技术,使不同时期、不同类型数据库、不同系统中的数据能够便捷互访,实现各种数据的高效集成并保持异构系统的高性能也便成为当前企业和学术界关注的重要问题之一[1-2]。基于上述背景,笔者在对系统集成理论以及数据与功能集成技术进行深入研究的基础上,探讨信息系统建设过程中如何保持异构系统的高性能。
1 异构系统集成背景介绍
由于国内早期企业主要关注如何开发系统,实现偏重于生产过程的自动化,对于不同应用系统间共享应用逻辑和应用数据关注度不够,重基层应用而忽视高层的商务智能分析。因此,在系统间互操作时,会出现一系列问题:①计算机体系结构的异构;②基础操作系统的异构;③开发语言的不同;④数据库管理系统的异构;⑤数据格式的异构;⑥网络通信协议的异构。上述问题直接影响后续系统间集成以及系统性能的完全发挥。特别是随着市场的不断成熟,竞争日趋激烈,企业需要快速发现市场并响应市场,高层决策要更加迅速、更加精确。在此背景下,异构系统集成问题会随着企业与市场距离进一步接近以及组织结构的扁平化对信息流的快速获取愈加凸显。
马俊等指出,对于众多企业来讲,通过异构系统集成有5大目的:①实现异构资源信息的共享,最大化已有信息化投资价值,简称“利旧”;②快速打通异构的应用软件,实现业务流的高效顺畅;③减少二次开发成本;④集成提升业务环节的稳定性以及保持可维护性,减少对原有系统的冲击;⑤适应技术和市场环境的快速变化等等[1,3]。故而每个企业其关注点不同,系统集成的类型也不同,有的企业重视表示层集成(主要是应用程序终端窗口的功能一对一映射到统一的用户界面上去),有的企业重视业务逻辑集成(通过共享业务逻辑来集成企业应用系统,主要面向供应链企业,解决以业务流程为核心的企业集成问题),还有的企业重视中间应用接口集成(函数和方法集成,例如一个应用程序使用其他应用程序所提供的API功能),也有的企业重视数据集成(共享或者合并多个应用的数据,包括数据共享、数据复制、数据转化、数据移植)。无论如何,企业对异构系统的重视已经成为行业发展趋势,关注层面的不同,其对于异构系统所采取的针对性措施也不尽相同。
2 异构系统集成性能评价研究
在异构系统集成性能评价研究方面,国内已经形成了部分研究成果。甘早斌等认为,系统集成要解决3大问题:①全局数据字典。描述集成系统中的数据属性,包括数据来源、中文含义、数据类型、量纲、值域等,上述属性是实现全局查询、统计的基础。②安全控制。多个异构子系统集成后,要防止授权意外操作,保证未授权访问数据的安全性。③冲突和一致性问题。应避免异构系统集成过程中出现的一系列冲突,保持数据全局一致性和完整性[4]。李军怀等认为,实用的信息系统集成应该有3大特性:①智能性。对来自不同数据源的各类数据进行统一清洗等工作。②开放性。针对分布的、异构数据源,需要解决信息展示与内部结构不匹配问题。③主动性。需要对现有Internet类的数据表示、交换和服务机制进行规范,并构建主动性服务机制[5]。
Christopher等从预算流程来衡量系统集成是否达到期望效果,以及系统集成效果,包括修改(修改预算信息和报告是否容易,需要详细信息来调查预算偏差是否容易)、内部透明性(预算过程能否弄清组成业务单元的一系列活动、预算过程能否提升对我业务单元运营的了解、预算过程能否提升对驱动收入/成本变化的因素了解、预算过程能否提升对业务单元如何整体运行的了解等)、全局透明性(预算过程能否对沟通业务单元战略产生帮助,预算过程能否表明哪些业务单元需要改变战略,预算能否帮助理清个人在全局工作的作用,能否分析预算信息帮助提升运营效率)、灵活性(是否只能依据在成本中已列出的项目来进行会计支出,对于预算过程的讨论是否严格遵循原有的假设和计划)[6]。
张玲玲等构建了企业信息系统的综合评价指标,提出已经开发的系统功能评价主要从以下几个方面:技术先进性(包括硬件/软件先进性)、软件可重用性、软件安全性、用户友好性、系统可维护性、可扩充性、可移植性、开放性、容错功能全面性、系统效率、软件对企业的适应度、主要目标实现的可能性与风险[7]。
与此同时,Rossak在集成的框架结构方面的集成关键部分与模型研究[8],Sing在新购买的系统与历史遗留系统之间的集成研究[9],Stirling等基于ERP为核心的集成研究[10]以及Kyung等提出的新集成工具(EIT:电子信息交换)[11]为异构系统集成评价提供了参考思路。
因此,要进行企业级应用集成,首先要确定企业应用集成级别,即确定企业应用集成的深度和广度,据此构建应用集成的体系架构。但近年来,随着互联网在各个领域应用的普及和深化,以及大数据应用的加快,迫切需要在网络上实现异构应用的交互和集成,这对分布式计算提出了新的甚至可以认为是革命性的要求。而WebServices提出的面向服务的分布式计算模式,具有简单、高效、灵活、动态等诸多优势。Web服务提供了一个分布式的计算技术,用于在Internet或者Intranet上,通过使用标准的XML协议和信息格式来展现,使得Web服务平台语言和发布者能够互相独立,并逐渐成为今后分布式计算模型的主流,因此也势必成为基于EAI体系架构演进的面向服务的架构(SOA)的首选[12-14]。
鉴于企业应用集成(Enterprise Application Integration,EAI)是以结构化方式集成的技术,异构系统要保持高性能必须重点关注集成过程中的核心问题是通信模式、集成方法、异构冲突、集成架构的灵活性和扩展性,从而构建一个较为完善、体现性能的集成架构平台。
3 异构系统集成保持高性能评价框架
基于上述分析以及浙江中烟多个项目实施经验,该研究提出异构系统保持高性能需要关注3个方面性能:①应用性能;②安全性能;③维护性能。通常来讲,在前期企业较为重视应用性能而忽视安全性能,在后期较为重视安全性能及维护性能。因此,可以从以下指标分析异构系统的性能的相应水平,并从相应指标拆解进而努力保持和提升异构系统的各项性能。
3.1 应用性能
主要关注以下几个方面:①技术先进性。技术的先进性通常意味着在兼容性、消息处理、数据库的分区化管理等方面表现卓越。②用户友好性。国内用户基于使用体验偏好,对系统操作界面要求较高,往往追求人性化的设计,友好的界面。而从系统设计本身来讲,用户友好性与系统性能要求往往呈现矛盾,要多方位予以平衡。此外,需要予以强调的是,此处所提用户友好性也包括用户对于系统架构设计的尊重或者说对于系统设计逻辑的包容性。③智能性。对来自不同数据源的各类数据进行统一清洗等工作。④对企业业务的灵活适应性。要寻求管理模式与信息技术结合平衡点,包括与业务流程的结合度、与组织结构的结合度以及与企业实际管理水平的结合度。⑤系统效率。系统效率往往是评价异构系统高性能的最关键的指标,包括周转时间、响应时间、信息吞吐量、可靠的数据抓取及处├淼取*3.2 安全性能
是保证外部访问以及数据传输可靠性的核心,主要包括如下5个方面:①操作系统及数据库是否有访问控制措施;②应用软件、系统信息有防破坏措施;③数据库及系统运行状态有完备监控措施;④用户身份是否有识别措施;⑤系统用户信息异地备份和数据库备份是否正常。
3.3 维护性能
系统开发与维护的“冰山”原理指出,系统维护的工作量将随应用的深入越来越大。据不完全统计,系统维护的费用甚至可能占整个系统生命周期总费用的60%以上。系统越复杂,其维护难度越大,为了减少损失,通常需要企业尽可能地做好维护应急预案,对于突发情况,尽快予以修复。主要包括如下方面:①可扩展性。可以根据需要灵活地通过系统提供的功能配置模块增删组件或者简单的配置,而不需要对系统本身做任何程序上的修改,其主要措施包括对系统中数据库表的命名规则和用户名进行合理重建,对元数据库的合理设计[8]。②可移植性。如从linux环境转移到Windows环境下的难易程度,其主要改进措施包括操作系统、数据库、应用服务器等。
综上所述,异构系统保持高性能涉及到多个方面,针对具体项目,在系统演进的不同周期点,其所关注的角度和重点也会有所不同。但是,可以明确的是从一个大型应用系统建设的过程来看,需要关注的层面要远远高于封闭式的内部系统。系统架构本身的规划已经不是单个系统内部的事情,而是涉及到众多方面,众多维度,由多方参与,共同商讨最终确定的。
4 基于浙江中烟工业企业批次系统实施的案例分析
浙江中烟是2006年经过国家烟草专卖局批准,“三位一体”联合重组而成。通过“三个一”目标指引、“一个优秀企业”要求推进体制机制建设,构建了市场驱动型的企业运作模式。因此,公司整体信息化建设紧紧围绕企业的发展战略要求,以支撑企业运作模式、管理与业务需求为目标,全面构建与之相适应的企业信息化服务平台,并于2009年启动了ERP建设项目,实现了ERP与PDM、营销平台、高架库、MES以及上位机等系统的衔接,构建了公司层面的、突出供应链高效协同运营的、一体化的信息化运作平台,实现了财务业务一体化管理要求,更好地支撑了联合重组后企业规模、管理层级放大所带来的业务运作与拓展的管理需求。
为了更进一步细化物料管理的颗粒度,满足质量追溯的需要,提升公司精细化管理水平,提出并明确利用批次,用信息手段记录和区别物料最小单元,实现全程供应链运作的跟踪与质量追溯。浙江中烟启动了业内乃至国内领先的批次系统规划及实施工作,开展了全业务链覆盖的批次实践。
4.1 系统架构 从外向来看,批次系统涉及到从原烟接收、分选、打叶复烤、调运到仓储运输、生产投料、成品下线、贴码等众多业务环节,包括打叶复烤远程监视平台、ERP系统、PDM系统、MES系统、DAS系统、高架库系统、1号工程码系统、质量追溯码系统、营销系统、扫码系统等等。从内向来看,批次系统又涉及到众多分子系统。如图1所示。
图1 浙江中烟工业企业批次系统架构
从图1可以看出,整体架构较为复杂,11个子系统,涵盖约130项功能。要实现功能广泛,稳定性与实时性兼顾,需要充分考虑采用成熟技术组件的实现方式,并根据业务特点进行二次开发,从而保证系统的可靠性:①要求大数据量的承载不会影响日常业务的可靠性,支撑高效的批次信息的追踪与追溯功能;②要求平衡数据模型复杂度与应用开发、后期维护之间的关系;③要求体现创新。
4.2 架构设计 为了保持高性能,系统在架构设计时就充分考虑应用性能、安全性能以及维护性能。
4.2.1 在应用性能方面。①技术先进性。采用将批次信息核心数据库定位成OLTP,表设计方面尽量符合第3范式,精简地收集必要的数据而不存在冗余;采用MQ组件实现外围消息传递的队列式管理,采用PureXML技术将数据结构层次化存储以减少表记录数量,同时PureXML也能够保证高效可靠地追溯与维护XML的功能。②用户友好性。整体采用B/S架构,JQuery作为界面技术,多渠道支持,并根据使用环境进行界面及功能优化,提升使用效率;通过通用用户交互界面(包括交互模型和交互规范)的统一设计,借用最先进和通用性的技术创新,使得批次管理信息平台的最终用户可以获得较好的使用和操作体验,并支持未来多渠道(多种手机、IPAD)的扩展性。③智能性。数据库内部实现表的分区化管理,提高查询效率。④对企业的适应度。整个批次系统在企业的信息化架构中定位清晰,批次系统实施严格遵循企业的业务流程规范以及业务操作控制要求,通过系统实施发现管理问题,提出管理要求,累计完成9份管理操作规范。⑤系统效率。根据设计要求,在大数据量报表查询的场景下,系统平均响应时间在5 s左右,随着用户量增加数据库服务器CPU/内存占用率略有增加,但总体稳定,正常运行;200个用户并发的情况下,系统响应时间为2 s左右,且CPU/Memory利用率皆比较稳定,系统运行正常;MQ在满负荷时平均每秒处理数据3 309.88条,服务器性能稳定,没有明显波动。
4.2.2 在安全性方面。系统根据实际使用要求,采取以下4个方面的措施:①根据《信息系统安全等级保护基本要求》,对操作系统以及数据均有访问控制措施;②根据外部人员访问批次系统的要求,采用堡垒机机制防范外部人员非法入侵风险;③批次系统已经根据信息中心管理规范进行了备份,防范突发状况;④在数据库及运行监控方面,实时监控系统运行情况、数据库状态以及通过接口监控平台监控部分外围系统数据发送及接收情况;⑤通过AM身份验证,实现单点登录统一验证,通过业务流程流转与用户职责的匹配实现操作步骤的有序分割,实现对登录用户及操作权限的统一┕芾怼*
4.2.3 在维护性能方面。由于此次项目为批次项目1期,后续2期及3期项目会在1期项目基础上做深化应用。整体开发采用模块式迭代开发,利用组件实现功能的复用,保证了后续系统外延及深化应用的可扩展性;在可移植性方面,目前尚存在一定的问题,后续会根据系统建设需要做适当完善。
因此,整体上来看,批次系统在接收及处理外围系统数据方面表现突出,上线整体运行情况稳定。与此同时也暴露出部分问题,例如异构系统之间数据重发机制以及如何避免垃圾数据包成为影响系统性能以及业务顺畅运转的一个重要方面。为了彻底解决上述问题,项目组引入数据审计机制,通过构建覆盖物资组、生产组、成品组、技术组的近20张数据审计表,进行系统间数据审计,保证业务流数据的准确性和一致性。经过近1年的用户跟踪情况来看,交互性完全符合用户要求,查询响应实现预期,未出现涉及多业务组的系统故障,CPU/Memory利用率稳定,MQ在满负荷时处理数据正常,服务器性能稳定,通过多次的安全预演以及运维测试,系统稳健,为了配合后续的大数据分析,已经启动数据中心规划等工作,支撑业务的全面实现。
5 结论
随着企业信息化水平逐步提高,新技术日新月异,异构系统集成问题依然会非常突出,所衍生的基于集成基础上对高性能追求问题相应地就更加突出。界定异构系统的功能定位,明确系统与系统之间的业务覆盖范围、边界,确定通信机制,应用各类新技术是提高异构系统集成高性能的重要方面。同时,针对异构系统自身,做好与外围系统的交互以及对运行情况的实时监控与审计也是保证系统高性能的重要努力方向。相信通过企业的信息化实践以及优化提升,整体的集成水平也会上一个新台阶,异构系统的性能水平也会越来越高。
参考文献
[1] 彭朝培.异构系统环境下功能与数据集成关键技术研究[D].大连:大连海事大学,2008.
[2] 马俊.基于SOA的异构系统集成研究[D].重庆:西南大学,2008:64.
[3] 马俊,丁晓明.基于SOA的异构系统集成研究[J].计算机工程与设计,2008,29(14):3638-3641.
[4] 甘早斌,李志欣,彭彬.多异构系统集成模型的研究[J].计算机应用研究,2003,20(10):16-18.
[5] 李军怀,周明全,耿国华,等.XML 在异构数据集成中的应用研究[J].计算机应用,2002,22(9):10-12.
[6] CHRISTOPHER S,CHAPMANLILI睞NNE KIHN.Information system integration,enabling control and performance[J].Accounting,Organizations and Society,2009,34(2):151-169.
[7] 张玲玲,佟仁城.企业信息系统项目综合评价指标体系探究[J].中国管理科学,2004,12(1):95-100.
[8] ROSSAK W.Some thought on system integration: A conceptual framework [J]. Journal of System Integration,1991(1):9-14.
[9] SINGH V.Systemsintegration瞔oping withlegacy systems [J].Integrated Manufacturing Systems, 1997(1):24-28.
[10] STIRLING M,PETTY D,TRAVIS L.A methodology for developing integrated information systems based on ERP package[J].Business Process Management Journal,2002,8(5):34-36.
[11] KYUNG K K,NARAYAN S.Umanath Information transfer in B2B procurement:An empirical analysis measurement [J]. Information & Management, 2005 ,42(9):813-828.
[12] 钟建明.探讨提高企业信息系统的安全性[J].电脑编程技巧与维护,2010(22):131-132.
[13] 周俊.大型信息系统用户权限管理的探讨与实现[J].计算机应用研究,2004,12(4):143-146.
[14] 程志军.基于Web Services的企业应用集成(EAI)研究[D].上海:同济大学,2006.