DPI：运营商大数据安全运营的基石

谷红勋 张霖

【 摘 要 】 DT（大数据）运营能力已成为当前电信运营商的关注重点，而DPI技术是提升网络对用户及业务感知能力的重要手段，论文详细地分析了DPI技术的基本原理及其价值，进一步讨论了运营商部署和运营DPI系统的策略以及应用场景的建议。

【 关键词 】 大数据；DPI；运营商；移动互联网

【 中图分类号 】 TP392 【 文献标识码 】 A

【 Abstract 】 Big data operational capacity has become the focus of the current telecom operators， while the DPI technology is an important means to enhance the network's ability to perceive the business and users.

【 Keywords 】 large data； dpi； operator； mobile network

1 引言

随着4G时代的到来，运营商的语音业务收费越来越低，甚至呈现逐渐免费的趋势，数据流量经营将成为运营商的主要方向。以某运营商开展4G业务后的业务结构变化为例，2015年前三季度语音和短信、彩信业务继续下滑，总通话分钟数比上年同期下降0.3%，短信使用量比上年同期下降20.2%；但同期移动网络数据流量比上年同期增长98.6%，几乎是去年同期的两倍，流量业务在营收中占据的比例越来越大。按照现有数据预测，到2016年末，语音、短信收入占比将从2011年的67%降至40%，而数据流量和数字服务的收入将增至60%，成为业务收入主体。数据流量经营对运营商的重要性越来越大，关系到运营商的生存价值甚至是生存问题。运营商拥有任何移动互联网公司都无法比拟的海量数据，大数据金矿价值凸显，由流量经营进入大数据运营已成为大势所趋。

运营商在大数据经营方面尚未形成明确的盈利模式，还处于“摸着石头过河”阶段。借鉴国外运营商的运行模式，结合信令数据、DPI技术、B+O域数据整合等可洞析大数据运营可能的方向。本文重点探讨DPI技术对于大数据运营的价值和应用方向。

在移动互联网时代，上网用户和应用的所有行为原始数据都在网络管道中遵循一定的协议以二进制码进行传输，电信运营商要让这些数据产生真正价值，必须对这些二进制码进行解密，将其还原到本来的业务含义，才能真正理解移动互联网的所有行为，这是运营商大数据运营能力的基础。

运营商解开这个秘密的钥匙，我们把它叫做DPI（Deep Packet Inspection），学名深度包解析，DPI系统建设是个极其复杂的过程，因为这涉及到运营商、应用商、设备商等的博弈，涉及到行业规则的制定，也涉及到运营商掌控核心能力的深层意义。

2 DPI的原理

2.1 网络协议的作用

就像联合国大会要以英语等作为官方语言，要实现沟通则都需要说同一种语言，协议是互联网的世界语，确立了各类网络和终端之间能够进行互相通信的规则。

网络协议的核心作用有：规定了网络中电流与数据流（0/1）相互转化的电器规则；将数据包转化成帧，从而能够被网络设备识别以实现传输；规定了数据包在网络中传输的路径和寻址规则；通过握手机制确保数据包被准确的传输到对端；奠定了互联网得以互联的基础；通过协议标准封装构建了一套基本访问应用，满足了基本的信息要求，如Http；企业基于协议创造更多的个性化应用满足人们需求，如QQ、微信等。

2.2 TCP/IP是互联网基础协议

TCP/IP则是移动互联网通信的世界语，其自下而上包括了四个层次，每层都有对应的协议，这些协议都定义了特定的通信功能，每层都为上层提供服务。

应用层：HTTP、FTP、TELNET、SNMP等标准协议和非标准协议，管数据的含义。向用户提供一组应用程序，比如电子邮件等，为解决不同主机中多个应用进程之间的通信和协作问题，定义了标准或非标准化的应用协议，如HTTP为标准化协议，QQ则为非标准化协议。

传输层：TCP协议和UDP协议，管数据准确传送。负责将数据可靠地传送到目的地，采取三次握手确保数据包按照规定被送达或接收。

网络层：IP协议，管数据传送路径。将传输层的数据装入IP数据包，选择好路由，发送给链路层；处理链路层的帧，如果已经到达目的地址，则去掉IP包头送给传输层，否则进行转发。

链路层：以太网协议（802.2/802.3），管数据通过设备。负责接收数据包并以帧的形式（比特流）通过网络发送；或者从网络上接收物理帧，抽出数据包，交给网络层。

2.3 应用基于协议进行数据通信

客户机和服务器是指通信中所涉及的两个应用进程的主机，客户是服务请求方，服务器是服务提供方，应用数据基于协议要求逐层生成数据包，以请求-响应的模式将数据比特流送入网络，当前我们通过移动互联网的APP的通信原理不会跳出这个框架。

2.4 协议数据包中蕴含着丰富的信息

如果能截获网络中的帧比特流，然后对协议进行逐层解析，就可以从IP首部、TCP首部、甚至应用数据中发现各类有价值信息，理论上，所有的上网行为都可以通过协议的解析而破解。

IP首部，比特流包含了源主机、目的主机的IP地址信息。由于大量的移动互联网应用服务器IP固定，因此通过IP首部可以判定数据包中的部分应用类型。

TCP首部，比特流包含了端口信息，端口是同一主机区别不同应用的关键。由于部分应用通过固定端口进行通信，如FTP使用21端口，因此可以通过TCP首部判定少量应用。

应用数据，比特流包含了应用传输的内容数据，可能加密。理论上通过应用数据的解密可以了解用户所有的移动互联网通信行为，包括应用类型及内容。

2.5 应用层协议复杂多样

通过对目前主流的五大类应用进行深入分析研究，发现当前移动互联网应用实际所采用的应用层协议普遍存在的特点。

（1）不公开。公有协议虽然制订了一套标准，但同时带来很多限制，互联网企业为灵活地满足其需要，出现了大量的自己定义的私用应用协议，而这些协议的格式是不公开的，例如QQ、MSN等。

（2）交叉多。互联网应用功能丰富多样，不同的功能可能采用不同的协议来实现，因此存在同一应用内共有协议和私有协议交叉使用的情况，如PPStream等。

（3）变化大。私有协议归属于某个互联网企业所有，协议格式的改动不受任何限制，往往随着应用版本的更新，格式也随之发生变化，且更新频繁，例如QQ一年之内发布了4个版本的应用。

2.6 DPI技术的定义。

DPI（Deep Packet Inspection）深度包检测技术是一种基于应用层的流量检测和控制技术，是当前主流的协议识别技术，当数据流通过基于DPI技术的带宽管理系统时，通过深度分析协议的特征来识别其业务类型和特征。六种主要识别方法。

（1）特征字识别，处于应用层，对应用层的内容进行滑动匹配一个或多个特征字。识别灵活、准确率高，但由于需深入解析应用层内容，会影响识别速度。

（2）URL匹配，处于应用层，匹配应用层中的URL地址。识别准确率高，但只适用于HTTP协议。

（3）IP地址匹配，处于网络层，匹配网络层中的IP地址。识别准确率高，且识别速度快，但当应用经常变更IP地址时，会导致准确率的下降。

（4）端口匹配，处于传输层，匹配传输层中的端口。识别准确率高，且速度快，但仅限于FTP等少量公有协议。

（5）包长匹配，处于传输层以上，根据数据包的长度来识别应用。仅分析流量包的长度，解析速度快，但是识别准确度低，主要用于识别RTP等少量协议。

（6）组合识别方法，处于传输层以上，对以上五种方法组合使用。识别能力随着协议和组合的复杂程度而动态变化。

3 DPI的价值

3.1 业务识别是实现网络智能控制（PCC）的关键技术

要实现网络资源的端到端QoS控制，减少资源占用，当前主要采用PCC技术，而其核心是业务识别及策略控制两大能力，运营商需要通过这个技术为用户提供良好的上网体验。

当前PCC要求能够基于时间、位置、用户、流量及业务等五个方面进行智能策略控制，其中区分业务的策略控制是最核心的一种手段。

3.2 业务识别是理解客户互联网偏好行为的前提

理解用户是运营商在移动互联网时代的核心竞争力，通过协议解析可以了解用户访问内容，从而为个性化的客户服务奠定基础，这是整个移动互联网企业孜孜以求的终极目标，谁理解用户，谁就能提供针对性服务，谁就拥有未来。

4 DPI面临的挑战

大家可以看到，如果没有了DPI，运营商的上网数据就是一堆没有任何意义的数字，因此，在移动互联网时代，掌控DPI对于运营商来说意义重大，但运营商当前面临前所未有的挑战。

4.1 DPI设备投资巨大

DPI设备需要部署在流量出口，这就好比要在海量的数据海洋中去根据既定规则检查每个BIT并识别出特征，这个对于设备的处理能力提出了很高的要求，也许只有运营商才能进行如此大的投入，以前由于运营商业务流量的分析统计、不良信息的监测管控、非法业务的发现整治需要，已经部署了大量的这些设备，但如果真要应用在PCC控制及客户行为的精准分析上，实现商业级的应用，其要求跟以往完全不同，DPI面临各省各自为政、标准规范不一、厂家设备能力参差不齐等系列问题，如果运营商全网完整部署这个能力，在未有收益情况下，投资也将是个天文数字，因此，在巨额投资与不确定的收益之间，运营商该何去何从？

4.2 解析能力至关重要

当前网上的APP数量应该以百万千万计了吧！而APP的协议基本都是私有协议，也就是APP的协议格式都是不一样的，DPI要能解析，就必须一个个APP去分析和解析，这是一个天文数字的工作量，谁愿意投入那么大去做？

尽管有很多DPI设备厂商说我能解析，但当前做的最好的估计也是以万计，解析准确率谁知道，解析深度就跟更无法提了，比如仅仅解析到应用类型，价值有多大呢？对于合作伙伴的依赖，也成为运营商的桎梏。

APP应用开发商，在应用开发设计中夹杂的混杂协议，版本更新速度如火箭发射速度一样快，也让解析难度进一步提高，APP应用协议运营商也无能为力。

解析能力建设过程中碰到的不少问题。

（1）准确性问题：当大量的移动互联网企业为了灵活满足用户的需求，采用了大量的私有应用协议，不像Http等公有协议，这些协议的格式是不公开的，甚至是保密的，当前流量TOP10的应用中有50%都采用私有协议，如QQ、PPStream等，使得精确识别难度巨大。

（2）及时性问题：当前无论是新的移动互联网应用发布还是版本更新，对于运营商来讲都是无法提前预知的，从捕获到形成新的业务识别规则需要一定的时间周期，业务的识别存在一定的滞后性。

（3）全面性问题：当前移动互联网应用成千上万，没有一个DPI厂商能识别出全部业务，例如华为能识别1500种应用，中创能识别350种，而宽广只能识别250种，业务解析的不全面性将导致部分关键业务无法实现控制。

4.3 理解客户是把双刃剑

DPI解析了上网行为，目的是理解客户和企业，为其提供更好的服务，但更好的服务也意味着有可能对其它企业和个人降低服务能力，比如为不同等级的客户提供差异化的网络质量，这是否可能违反网络中立原则呢？比如韩国运营商与OTT曾经有过博弈，最终不了了之，很久以前某运营商曾经采用DPI技术封堵过BT软件，因为这类软件占用了过多带宽，对于正常用户上网产生了极大影响，虽然也不了了之，但争议总是存在。

5 运营商DPI的建设策略

在移动互联网时代，DPI是运营商面临的众多关键性的抉择的一个，运营商一定要推进这个工作，但需要有一定的策略。

5.1 组织专业团队进行研发

DPI是个专业性非常高的工作，应该成立专门的公司去做，当前运营商有很多专业公司，也有很多研究机构，应该将DPI设备和知识库的打造纳入到专业公司去做，现在就连一些互联网公司，也在构建APP的解析知识库，一些互联网公司每天搞知识库识别的也有几十号人，基于这些知识库已经产生了较大的经济效益。但规模庞大的运营商，甚至没有一只正规的专业团队，的确需要正视，运营商DPI掌控必须以我为主。

当前运营商也在制定DPI的一些标准，但运营商体系很庞大，规范从制定到宣贯再到执行也需要很长时间，在没有足够的实践前制定规范是有风险的，也许小分队的形式更好。

同时，运营商应该建立自己的DPI运营流程，比如很多运营商由于依赖设备合作伙伴，DPI新增APP规则以月计算，效率低下。而互联网公司自组团队搞解析，一个月也可以解析上千款APP，其运营效率是很高的。

5.2 采取1+N方式进行业务突破

DPI的投资非常大，运营商全网统一完全部署的确困难，同时研发机构脱离了业务驱动也会举步维艰，可以考虑让一些发达省份牵头去进行业务的突破，在业务推进中去落实DPI设备的投资，去逐步完善DPI的解析能力，同时建立符合自身的运营流程，保证了投资的价值。

5.3 制定移动互联网的协议入网标准

当前其实移动互联网环境非常复杂，大量的非法APP肆虐网络，从维护健康的移动互联网环境讲，是否可考虑制定移动互联网APP的入网标准，移动互联网企业发布应用需要进行网络注册，告知协议的规则，就好比企业运营也要注册一样。运营商基于注册的协议进行准确的识别，为网络监管机构追踪非法行为提供支撑，另一方面也可以基于协议的识别为APP提供差异化的网络服务，让移动互联网更透明，从长远讲，应该对于客户是有利。

6 DPI应用场景

6.1 用户洞察

深入洞察客户、助力精准营销。首先，基于客户终端信息、手机上网行为轨迹等丰富的数据，借助DPI技术等，建立客户超级细分模型，为各细分群组客户打上互联网行为标签，完善客户的360度画像，深入了解客户行为偏好和需求特征；其次，根据用户行为偏好，推送合适的业务，并根据对客户特征的深入理解，建立客户与业务、资费套餐、终端类型、在用网络的精准匹配，同时也能做到在推送渠道、推送时机、推送方式上满足客户的个性化需求，实现全程精细化营销。

6.2 精准营销

对于运营商来说，对自己的数据资产进行DPI解析，全方位分析广告受众的长期喜好和短期关注（DMP），可以识别用户的Cookie、IMEI、计费代码等信息，将这些客户标签信息以实时的方式提供给广告平台（DSP）作为实时竞价的依据之一，可以有效帮助DSP更加精确地投放广告。

值得特别说明的是，运营商应对于精准营销的数据商用持非常谨慎的态度，因为涉及到用户隐私等问题。基于群体用户行为的分析是比较可行的。而对于B2C的精准营销，如个人短息推送等，运营商是要慎之又慎。

6.3 流量控制

对于政策禁止的业务进行封堵，如VoIP业务；对于P2P等占用带宽的业务进行监控和限速；与第三方进行合作，如对视频应用商的用户提供高带宽服务；异常流量的发现、告警和控制。

6.4 增值业务

利用基于DPI的用户的深度感知能力和精细的业务控制能力，运营商可以开展宽带提速、绿色上网等增值服务，拓宽业务内容，增加收入。

参考文献

[1] 高顺元.DPI技术在电信运营商精确化营销中的应用[J].南开大学，2011年5月.

[2] 朱永庆.DPI技术应用场景探讨[J].广东通信技术，2007年7月.

作者简介：

谷红勋（1972-），男，河南长垣人，工学硕士研究生，高级工程师，中国电信河南公司副总经理；主要研究方向和关注领域：市场营销、企业信息化、移动互联网业务。

张霖（1977-），男，河南长垣人，本科，中国电信河南公司移动互联网业务主管；主要研究方向和关注领域：市场营销、流量经营、移动互联网及增值业务。