大数据时代下数据挖掘技术在企业中的应用

◆何瑞娟

（中国五矿集团公司信息中心 北京 100010）

大数据时代下数据挖掘技术在企业中的应用

◆何瑞娟

（中国五矿集团公司信息中心 北京 100010）

本文针对大数据时代背景下，数据挖掘技术在企业中的实际应用进行研究。通过中国五矿管理与决策平台及全面风险管理系统的实践，建立了可灵活配置的基于统计分析方法的风险计量模型，并对模型的计量结果进行回测检验，可依据检验结果对模型进行调整优化。实现了对企业各类风险的量化监控、自动预警，并对未来一段时间市场潜在的风险进行预测分析，以提高企业经营决策能力和风险前防范水平。此外，本文对大数据的分析模式及分析的关键领域进行了深入研究，并对未来大数据在企业中的应用进行了展望。

大数据；数据挖掘；数据仓库；大数据应用

0 引言

本文针对大数据高速发展和经济形势严峻等背景，研究数据挖掘技术在企业中的实际应用。通过中国五矿的全面风险管理系统的实践，建立基于统计分析方法的风险计量模型，来实现对企业各类风险的量化监控、自动预警，并对未来一段时间市场潜在的风险进行预测分析,以提高企业经营决策能力和风险防范水平。

“数据海量，知识匮乏”是大数据时代多数企业的通病。大数据时代下，数据是核心，“数字会说话”，但如何让海量的数字会说话，并适时地说给合适的决策者，这是一个非常棘手的难题，同时也是诸多企业亟待解决的问题。

在经过多年的信息化建设后，企业往往积累了大量的业务数据，并且受阻于过量的冗余数据和口径不一致的数据；而且它们变得越来越难于访问、管理和用于决策支持；其数据量正以成倍的速度增长。基于数据仓库的数据挖掘与分析迎合了这一需要，企业急需利用数据仓库系统去整合ERP系统与其他业务系统中的异构数据，能够在一个统一的平台为公司各级管理层提供分析决策所需要的数据，实现数据展现灵活性，并提高数据分析利用能力。基于企业统一的数据仓库，企业可逐步建立有行业特点的各类指标体系，以及相应的数据模型和分析方法，实现数据挖掘的规范化和流程化，实现各个层次的经营管理信息以及外部市场信息的有效集成。为各级管理者提供一个集中、统一的数据支撑平台，并及时地、直观地、形象地提供给相应的管理决策人员等信息使用者，支持企业的战略、运营、财务等各方面管理能力的提升以及风险防范水平的提升。

1 数据挖掘技术在企业中的应用

1.1 管理与决策应用

中国五矿成功实施ERP系统后，积累了一定的业务数据基础，但对于各级领导层、管理人员来说，则更需看到从业务数据中提取、分析出来的信息以便支持决策。通过对管理与决策系统的建立、优化和提升逐步实现企业各类数据的集成和共享，最终形成企业统一的数据整合平台（即数据仓库），并在此基础上通过建立商业智能环境实现对信息的统计、检索、查询、分析与挖掘，从单一的数据查询、统计向业务洞察和面向绩效的管理方式进行转变，提高企业整体的管理与决策水平。管理与决策系统的建设一方面是对集团公司数据的深化应用，另一方面促进了ERP系统建设成果的优化与完善，对系统数据质量与覆盖范围提出进一步要求，逐步帮助集团公司建立统一的数据收集、使用机制，提升集团整体数据管理水平。

管理与决策系统建设是一个长期的、渐进的、不断优化与提升的过程，在管理与决策数据仓库不断发展演进的过程中逐步地扩展其对职能部门和业务板块的支撑范围和支持深度，实现应用能力的逐步释放和不断提升。目前包括集团领导管理驾驶舱、人力资源管理、可持续发展系统、投资管理系统、健康安全环保系统、全面风险管理系统等，进一步扩展了对职能的支撑范围，提升了决策支持的能力。

以下介绍全面风险管理系统如何通过数据挖掘技术支持集团公司的风险监控以及提升风险管理能力。

1.2 系统实施的目标和主要内容

本项目以信用风险、市场风险、内部控制为重点，建设中国五矿全面风险管理信息系统，为今后风险管理打好基础。全面风险管理信息系统帮助提升集团公司全面风险管理能力，包括对企业有重大影响的主要风险的管理能力，如信用风险、市场风险以及其他重大风险，以及建立内控管理能力，通过将集团公司现有业务运营风险控制的有效整合，形成集团公司全面风险管理战略能力，包括建立集团公司关键风险管理指标（KRI）、风险组合管理、风险分析、报告、绩效管理等。

集团公司全面风险管理信息系统包括全面风险统一展现，全面风险管理决策，重大风险管理，内控管理，风险管理引擎，风险数据管理，数据中心等模块。

图1 全面风险管理系统部署架构

1.3 系统收益

通过全面风险管理系统的实施，有效支撑了集团公司“集中、分层、分类”的风险管理原则，显著助力集团公司有效防范经营风险。

（1）集中统一的风险管理系统

集中统一的信息档案管理，集中的风险报告展现，集成的KRI指标展现为集中决策奠定了良好基础；集中的信用额度管理和市场限额管理都将极大提升防范风险的能力。

（2）合理分层的管理决策平台

满足集团、业务中心、事业部不同层次的风险管理需求。统一管理、灵活配置的风险管理模型能满足不同业务中心、事业部、商品的特性。

（3）有效分类的信息系统支持

系统建成后，将有效管理信用、市场、仓储三类主要风险。系统良好的扩展性为未来深化管理及逐步纳入各类其他风险奠定良好基础。

1.4 小结

本章结合基于管理与决策平台的全面风险管理系统的实施应用情况，来介绍数据挖掘等相关技术在中国五矿集团公司的具体应用。

全面风险管理系统分为信用风险、市场风险、仓储风险三个子系统，是基于数据仓库、数据挖掘技术建设的管理与决策类系统。通过建立基于统计分析方法的风险计量模型，并对模型计量结果进行回测检验，依据检验结果不断调整优化模型，来实现对企业各类风险的量化监控、自动预警，并对未来一段时间市场及潜在的风险进行预测分析，显著助力集团公司有效防范经营风险，提高企业经营决策能力和风险防范水平。

2 大数据应用展望

本章将对大数据的应用展望进行阐述，以期对金属矿产行业企业未来大数据的应用提供思路。

大数据的出现，开启了一次重大的时代转型。在IT时代，以前技术（technology，T）才是大家关注的重点，是技术推动了数据的发展；如今数据的价值凸显，信息（information，I）的重要性日益提高，今后将是数据推动技术的进步。大数据不仅改变了社会经济生活，也影响了每个人的生活和思维方式，而对于企业来说，这种改变才刚刚开始。

中国五矿集团公司当前已经积累了大量历史经营数据及外部数据，并建立了较为完善的数据仓库体系，实现了若干数据挖掘技术的应用。在大数据时代，如何引入大数据技术来进一步提升数据挖掘和分析的能力，则是未来思考和探索的方向。笔者认为有以下几方面值得去进行大数据实践的尝试。

2.1 市场价格走势预测

金属矿产行业企业受国际、国内经济形势影响较大，大宗商品价格走势和宏观经济形式的变化都对公司经营产生重要的影响。利用大数据分析技术，收集和分析多维度的环境数据，探索建立相关计量模型，通过机器学习实现对金属矿产品市场价格走势的预测，使企业在面临市场形势复杂多变的情况下，依然可以保持战略主动，就能为实现既定经营目标营造有利条件。

2.2 客户供应商“画像”分析

通过对客户、供应商的历史交易数据、信用评级信息、资产负债状况，结合第三方征信报告，客户、供应商行为分析等，对客户、供应商进行“画像”。可建立比传统方法更加全面、准确的客户供应商管理体系，及时发现客户、供应商的新动向以及潜在可能发生的风险。

此外，借助大数据分析技术，运用主题爬虫等技术爬取客户、供应商在互联网、社交网络等更加全面的信息，可发现潜在有价值的客户和供应商并反馈给相关业务人员，以便发掘新商机。

2.3 供应链优化

利用物联网技术通过传感器网络获取生产实时过程数据，使供应链流程虚拟化。通过对这些大数据集的整合、挖掘分析，有助于生产企业实现对供应链各环节的优化，包括需求预测、库存优化、资源配置、设备管理、生产作业计划、物料需求与采购计划等，使企业能够根据产能编制合理的生产计划，保证生产过程的有序与匀速。借助大数据分析模拟、优化技术，建立相关分析模型，使生产企业在供应链各环节做到综合平衡订单、产能、调度、库存和成本之间的关系，为复杂的生产和供应问题找到优化的解决方案。

2.4 物流优化

可建立高效的运输与配送物流管理信息平台，通过大数据分析合理的运输管理、道路运力资源管理，构建全业务流程的可视化；利用自动识别技术实现订单处理、跟踪、结算，货物的快速入库、盘点、仓储管理；利用GPS/LBS/GIS技术，实现货物及资产的实时定位；使用无线智能终端，实时地收集、传输物流信息，由此制定、优化操作物流计划，缩短物流周转时间。

从大量分散的物流数据中，挖掘出反映物流规律的信息，并不断优化物流流程。例如，可利用大数据分析实现优化配送线路。运用大数据来分析商品的特性和规格、客户的不同需求等问题，从而用最快的速度对这些影响配送计划的因素做出反映（比如选择哪种运输方案、哪种运输线路等），制定最合理的配送线路。而且企业还可以通过配送过程中实时产生的数据，精确分析配送整个过程的信息，使物流的配送管理智能化。此外，在物流中心选址问题上，在充分考虑到企业自身的经营特点、商品特点和交通状况等因素的基础上，可以利用大数据中分类树方法进行计量，使配送成本和固定成本等之和达到最小。

3 总结

随着信息技术的高速发展，互联网、智能设备、物联网等技术快速进步，在企业中，每天积累的内部运营数据以及外部市场数据量级也逐步增大。大数据正成为计算机科学研究的热点，而数据挖掘则是发掘大数据的价值的核心所在。尽管数据挖掘算法己经得到充分的发展，但其在企业中的实际应用还较少，如何利用数据挖掘技术为企业辅助决策、防范风险、降低成本、提高收益，已成为众多企业所关注的重点。

[1]Jiawei Han，Micheline Kamber,Jian Pei著.范明，孟小峰译.数据挖掘概念与技术.机械工业出版社，2015.

[2]Building the Data Warehouse W.H.Inmon著.机械工业出版社，2015.

[3](美)Lou Agosta著.潇湘工作室译.数据仓库技术指南.

[4](美)Richard J.Roiger,(美)Michael W.Geatz著.翁敬农译.数据挖掘教程.