“机器数据”把数据变成答案

贺文

同样的数据会有不同的用处，这是数据分析、数据挖掘目前的重要趋势 。

从现在每年接待乘客数量9000万人到2020年的1亿人，迪拜机场无疑是世界上最繁忙的国际旅游机场。与这个增速同步的是机场管理方对于乘客满意度的重视。

面对每年运送1 5亿件的行李规模，迪拜机场通过分析行李系统的数据，提高行李的流转速度，以确保乘客能尽快提取行李

Michael Ibbitson是迪拜机场负责技术和基础设施的执行副总裁，他介绍，在未增加飞机跑道的前提下，如何提升旅客承载量，挖掘数据背后的价值，是他们的解决之道。

一般来说，机场的安全检查需要10分钟左右，迪拜机场如何在5分钟或者更短的时间内让95%的乘客通过安检？他们的做法是，统计可能引发安全警报的情况和发生点，根据整个机场的人员流动情况，不断地动态调整安检口的人员部署，并且及时做好乘客的分流。

面对每年运送1.5亿件的行李规模，迪拜机场通过分析行李系统的数据，提高行李的流转速度，以确保乘客能尽快提取行李。因为已经装备了足够多的传感器，比如主要的行李系统和行李從飞机运到传送带的运输车，如果能够更早地获取包括飞机到达等信息，机场管理方就可以更好地安排地勤人员、协调资源，接待落地的飞机，让乘客不需要等待就拿到自己的行李。

拥有丰富数据的远不止是机场。随着移动硬件的迅速普及，互联网更广范围的覆盖，移动互联网应用越来越丰富，所有的互动几乎都会被传感器所捕捉，跟周边的环境进行数据的传递和互动。

挑战也随之而来，如何在这个互动的世界里去捕捉数据流，如何在呈几何数量级增长的各种各样的数据里，尤其是在非结构性的数据里，去挖掘价值，获取深度的分析。“不仅仅是存储数据，而是让数据能够有用”，“把数据变成答案”是一件非常困难但又极具价值的事。

“无用之用”的数据

迪拜机场在一年多之前开始使用Splunk的管理系统。

这家大数据的软件解决方案提供商，既提供云端部署也有本地部署。Splunk总裁兼首席执行官 Doug Merritt介绍，“把机器数据转换为答案”是他们一直秉持的发展理念，他们给企业客户提供解决方案和机器学习技术，来解决最棘手的IT运营，应用程序性能分析，业务分析，物联网和安全难题。现在Splunk生态系统中有超过1000个解决方案。

如何做到“把机器数据转换为答案”？Splunk亚太区副总裁梅正宇介绍，他们通常会先跟客户进行多次研讨会沟通，Splunk了解自己的产品，知道可以做什么;客户最了解自己的商业环境，双方通过沟通来找问题，要向数据提问什么样的问题，要解决什么样的问题，一起来开发解决方案。

在大中华区也有一个机场使用了Splunk的产品进行IT运维、安全维护。在这个过程中，该公司的CIO直觉可以更多地运用数据来帮助他们提升营运的效率。事实上，很多机场都可能有一个数据库，或者是数家服务商所提供的业务数据，当把所有这些数据放到一起时，可以做很多的营运系统，比如怎么去监测机场及周围环境的交通，怎么监测进出港的人流，怎么确保进港飞机增多时能有效调配机场的资源，通过一些演示项目，该机场的管理者发现，只要把他们的数据放到Splunk这个平台上，很多管理方面的问题是可以得到解决的。

对于亚太市场未来的增长，Splunk公司首席营销官Brian Goldfarb用“Huge（巨大的）”来形容：Splunk公司从美国起步，进入欧洲，再进入亚洲。亚洲市场“very large”，而且市场还处在非常早期，借由这几年移动互联网的飞速发展，这里的企业他们已经掌握（存储）了非常大量的数据。

如何把Splunk在美国、欧洲服务企业客户的经验，通过标准化的产品，用于服务亚太公司、中国公司，帮助他们解决在发展中面临的通用问题。

Splunk北亚区总经理戴健庆介绍，他们在中国专注于拓展以下行业的客户：金融、电信运营商和制造业，以华为、联想、小米为例的高新科技企业，“每个公司都在数字化转型，都面临着数据问题”。

大数据版“百度”

“数据驱动”在中国正在成为流行，不管是真正因为信仰数据而依据数据作出决策，还是为了赶时髦。

“当大家都在谈论大数据时，什么都可以是 ‘大数据的，反倒是没有意义。”Splunk公司IT市场高级副总裁Rick Fitz强调，Splunk是“机器数据”的拥趸：他们倾向于利用存储在机器当中的数据，强调通过各种传感器（包括移动智能终端设备在内）收集的数据，强调将各种文本信息（包括文字信息、语音信息等）变成机器可识别的数据，他们更偏爱热数据、实时动态的数据，用以进行数据分析、管理、运营，在这些数据中挖掘价值。

表面上看，Splunk的大数据技术与市面上很多数据挖掘公司大同小异，不过Doug Merritt坚持他们的独特性：Splunk的底层存储架构是一个扁平化的索引，这就不会要求你在存储数据时提取它的结构，而是在你提问的时候才去提取它的结构，这样一来，数据可以易于重复利用，因为你在存取数据时给所有的数据都已经做了标签。

梅正宇进一步阐释，相应地在“建模”这个问题上，传统的大数据解决方案都是前期建模，即当你存储导入数据时要先建模。早期建模，因为人的认知有限，要把很多有用的数据、有用的信息先淘汰掉，这样反倒降低了数据可利用的价值。Splunk的做法是把建模后置，数据存储进来时只做标签索引，发现问题时才把这个schema（格式、模式）建起来，过去不被利用的、非结构化的数据、非逻辑化的数据，都有可能发挥“无用之用”，这就给数据分析与挖掘带来很多的灵活性。“我们就好像是大数据的百度。”他如此比喻。endprint

数据生意的“开放”和“第三方”

“同样的数据会有不同的用处”，这是数据分析、数据挖掘目前的重要趋势，具体来说呈现出如下的特点：灵活的架构，我们可以去向数据源提各种各样的问题;把机器学习和人提问结合起来，先通过机器学习的算法来甄别异常，再通过人来判断异常是否真实，如果它确实有潜在威胁的，再去做深度挖掘，找到它的根本原因和根本問题所在。

具体到Splunk，所采集的数据可以用来回答比如客户活动应用开发的效率、系统的完整性等问题，也可以用来做安全分析。Splunk对于信息安全的认知，也较传统安全公司有了不同。

Splunk公司负责安全业务的高级副总裁宋海燕介绍，传统的安全公司以端为出发点提供安全解决方案，但是随着信息安全技术的发展，需要从终端、网络、神经网络等多个维度来考虑安全问题，这与之前“把门锁上”的思路是完全不同的。比如，从单点的信息来防范安全攻击，到更多维度信息综合分析安全隐患的可能;从面对安全攻击的“加锁”、“加防火墙”的防护，到对安全隐患的提前预警，建立信息安全的监视系统，尽早地找到入侵、解决入侵，建立动态的适应性的安全响应机制。

这是一种全新的解决问题的思路，不可能是通过单一产品来解决安全问题。宋海燕介绍，Splunk倾向于和合作伙伴一起来提供安全解决方案，他们的生态合作伙伴包括了赛门铁克、思科这样的传统安全公司和科技网络公司。Splunk在其中的角色是“给企业提供一个安全隐患分析研究的队伍”，相当于是“安全隐患分析的大脑”。

通过机器收集了大量的数据，但是哪些数据是有用的，如何来判断数据的有用性;实时数据带来的更大挑战是，需要时间来理解数据，才能进行分析，这对于原有的信息反馈机制都会带来转变。这种全新的数据理念，无疑需要有更多的拥趸，一起来建立新的数据生态。

无论是国外的Splunk还是国内的TalkingData，这类大数据公司都特别强调自己的“第三方”角色、专家角色。梅正宇介绍，Splunk可以和很多厂商成为合作伙伴或者是生意伙伴，甚至包括一些看似业务有竞争关系的公司，比如IBM、亚马逊、思科等。

在今年9月底的.conf大会上，Splunk宣布，他们在全球合作伙伴生态系统迅速扩大，目前为全球超过950家合作伙伴提供系统和支持，帮助推动更多市场机会和收益。Splunk 的合作伙伴范围广泛，涵盖全球系统集成商、代理商、增值分销商、技术联盟伙伴、原始设备制造商和托管服务提供商等。

Splunk在中国开展业务，除了要和传统的SI（System Integration，系统集成商），解决方案提供商，比如安全的、IT运维的，或者是做制造业解决方案的，做电信解决方案的服务商合作之外，他们更强调从“Use Case（用例）的合作伙伴”入手。戴健庆介绍，他们积极在中国与OEM成为合作伙伴，合作方式就是先从Use Case OEM开始。endprint