广东农信用好海量数据

程彦博

广东农信通过建设IBM ECM解决方案，成功支撑事后监督系统，将会计凭证影像文件等海量的非结构化数据进行很好的存储和管理，从而为事后监督和风险管控提供有效依据。

对于金融机构而言，风险管控体系就像汽车的刹车系统，虽然不能让车前进，却绝对不能缺失。

当然，要把“刹车”做得更加适当和精准，信息技术不容忽视。特别是对于广东省农村信用社联合社（下文简称广东农信）这样拥有多级法人、众多联社、数据规模庞大的机构而言，要在浩瀚的会计凭证“海洋”中查找到违规操作的蛛丝马迹，从而控制风险，如果没有信息系统的帮助，这几乎是不可能完成的任务。近日，广东农信信息技术部总经理韦旦接受了《中国计算机报》记者的独家采访，与记者分享了完成这个任务的秘诀。

没有案例可借鉴

广东农信成立于2005年8月5日，拥有99家联社（农村商业银行）、5622个营业机构，是广东省内营业网点最多、服务面最广的金融机构。而始于2009年的数据大集中项目，给广东农信的会计凭证影像等非结构化数据的存储和管理带来了极大的挑战。

“虽然广东农信实现数据大集中的时间并不早，但是数据规模庞大。我们的数据大集中项目可以说是全国农信系统中迄今为止规模最大的。”韦旦向记者介绍，广东农信每天柜面的交易量大约为500万笔，而其他广东省内银行的这一数字不超过100万笔。

事实上，如此大规模的交易量，给广东农信事后监督系统（下文简称后督系统）的运行提出了严苛的要求，而后督系统又是广东农信风险管控这一“刹车”系统的重要环节。

“后督系统是提供给全省各农合机构事后监督中心和网点使用的，用于监督各项业务处理的正确性、合规性、真实性和完整性。它可以及时发现各种核算差错事故，暴露业务核算中出现的各种违章、违纪、违法行为，完善业务操作风险控制体系，是实现差错处理的电子化、凭证管理的电子化的一整套管理信息系统。系统主要包括影像处理、重点监督、再监督、风险预警、差错处理流程管理、实物档案流程管理等功能。”韦旦说。

2011年，后督系统上线后，为了配合大量会计凭证影像文件的存储、在线查询和管理，同时兼顾日后可能出现的电子文档、影像、多媒体、报表、Web/EMail等非结构化数据的存储和管理，广东农信提出建设非结构化数据存储管理系统。

“根据业务需求，广东农信后督系统规划使用的非结构化数据存储管理系统需要实现满足新增400万张100KB影像文件的存储和生命周期管理的需求。” 韦旦告诉记者，“在选型之初，我们参考了很多银行的建设经验。但是我们发现，当时国内业界还没有如此大数据量的非结构化数据存储管理系统应用案例。”

“不得已，我们甚至做好了分地区建立多套内容管理系统的最坏打算。”韦旦说。

打破技术瓶颈

当然，韦旦并未放弃集中式非结构化数据管理的尝试。最终，广东农信通过部署IBM ECM（Enterprise Content Management，企业内容管理解决方案），实现了省内各农合机构会计凭证影像的统一分类、存储、管理、查询。事后监督人员可以通过会计凭证影像及时发现业务风险并进行快速响应，日后也可以方便快捷地从IBM ECM中调阅历史电子化影像文件。

“数据量大成为了广东农信后督系统面临的最大挑战。经过对广东农信后督系统数据存储需求的分析，我们发现如此大规模的文件存储会超出操作系统文件系统的限制，同时按照目前的数据量进行存储，三五年后就会达到数据库的上限，而根据行业规范很多会计凭证影像要保存十几年甚至几十年。”IBM ECM产品开发经理徐军告诉记者。

据了解，广东农信后督系统的内容管理平台项目分为三个阶段实施，分别是架构分析阶段、安装实施阶段和表分区优化阶段。此外，广东农信在IBM研发技术团队的协助下，还进行了软件调优和性能测试。

“这样一个难度极高的项目能够成功实施和应用，离不开双方的良性互动。IBM在内容管理方面的先进技术和经验是基础，而我们也结合自己的实际需求和对技术的理解，帮助ECM实现了突破和提升。”韦旦告诉记者，“比如在表分区优化阶段，IBM实验室针对数据库中的大表使用了表分区和单独表空间重建存储数据。在这一过程中，我们提出所有重建的表、索引都要进行压缩，减少数据库存储空间并提高数据库数据的读写速率。这一方案被IBM实验室采纳。”

“IBM和广东农信技术专家通力合作，利用IBM ECM优良的特性实现了数据库和系统架构的优化，最终突破了很多系统设定上的极限，从而顺利完成了项目。”徐军说。

“IBM ECM是一个应用非常广泛的内容管理平台，在国际上有很多金融机构在使用。广东农信的ECM项目在一开始就有非常清晰的规划和明确的需求，项目的规划、架构、调优等过程都有IBM中国开发中心研发团队与用户的共同努力，IBM中国开发中心也在这个项目上进行了巨大的投入。”IBM中国开发中心企业内容管理、业务分析及能源电力解决方案开发总经理吉燕勇告诉记者。

据了解，广东农信后督系统内容管理平台在2013年7月正式上线后，系统内存储的凭证数量为千万级（约为6000万张），每天新增约80万张凭证图像，数据装载每天花费40分钟，性能表现达到了预期。

后发优势

“现在看来，我们当时选择IBM的ECM解决方案无疑是正确的。”韦旦回忆着项目建设的点点滴滴，仿佛从选型到应用的整个过程都历历在目。

“ECM在广东农信后督系统成功运行中起到了至关重要的作用。虽然市场上也有不使用内容管理的后督系统解决方案，比如当时佛山农商行就使用了信雅达的解决方案，但是对于全省的数据规模，这样的方案并不适用。经过广泛的考察和调研，我们发现只有IBM的ECM解决方案适合广东农信大规模数据的苛刻需求，同时适合扩展并推广至全省各级农商行使用。”韦旦告诉记者，IBM ECM的核心优势在于其领先的数据模型设计，能够保证系统内的大量非结构化数据可以很好地被存储和管理。

韦旦介绍，截至2013年12月，广东农信的内容管理系统已经覆盖全省34个农村商业银行/联社，根据规划在2014年将实现该系统的全省覆盖。“到那时，我们将实现全国农信系统中最大规模的非结构化数据集中式存储管理，并利用会计凭证影像进行事后监督工作的风险控制。”韦旦认为，虽然广东农信的数据大集中以及非结构化数据存储管理做得并不早，却具有一定的后发优势。这其中包括具有充分的选型和实施过程，以及采用更为先进的技术和实现更广泛的应用。

“ECM作为全面的解决方案，也可以集成DB2、WebSphere Application Server等产品。而IBM中国开发中心承担了IBM ECM产品的核心开发，覆盖了ECM包括文档影像化和捕获、案例管理、信息生命周期管理等几乎所有的产品线。在应用系统研发和实施过程中，IBM的支持团队始终提供及时的支持和必要的现场服务以形成最佳的产品实施经验，帮助广东农信顺利完成后督系统的全面覆盖应用，在大数据时代提升了企业的竞争力和风险管控能力。”吉燕勇表示。endprint