基于终端的感知技术浅析

严斌峰，董 慧，侯玉华

（中国联合网络通信有限公司研究院 北京100032）

1 引言

近年来，随着移动通信技术的飞速发展和移动智能终端的日益普及，移动互联网产业发展迅猛，带动了移动应用的繁荣发展，全球加速步入移动互联网时代。以微信为代表的OTT类业务迅速获得用户喜爱，成为移动应用市场的主力军，根据第三方的观察，截止到2014年底，微信总用户数达到6亿户，其中国内用户5亿户，海外用户1亿户。

移动互联网业务的飞速发展带来网络流量的巨幅增长，然而却没有给电信运营商带来相应的利润增长。与之相反，以微信为代表的OTT业务旁路了运营商，将内容和用户掌握到自己手里，电信运营商成为只提供网络资源的比特搬运工，面临被管道化的命运：一方面传统电信业务，如语音、短/彩信等正逐步被取代，收入逐年下滑；另一方面，还要为维持日益增长的网络流量进行基础网络设备的扩容，出现流量收入剪刀差日益增大、增量不增收的现象，进一步降低了运营商的收入。

面对这种困境，国内外各大运营商都开始积极转变，希望通过技术创新实现管道的价值回归，通过网络流量管理来优化业务量，传送更多高价值的流量，避免被彻底管道化。在这种背景下，以运营商和通信设备制造商为主的通信产业界提出了“智能管道”的概念，通过提升网络的智能，使网络具有用户可识别、业务可区分、流量可调控、网络可管理的能力。智能管道是指客户感知良好、运营管理方便、业务开通灵活，提供高速协同接入、资源自助指配、速率针对性保障的差异化服务，成为客户首选、综合能力最强的网络[1]。智能管道的目的在于实现网络资源的可管、可控和动态配置，对用户和业务提供差异化的服务、质量保证和计费策略，实现为用户按约提供优化网络资源的同时，帮助运营商在不断增长的流量与成本控制间找到平衡，切实实现收入增长。

智能管道的构建有助于运营商网络资源的充分利用和合理调度，能够全面提升运营商网络的智能化水平，提升用户体验。而网络的智能化，首先应该是基于网络对管道中业务流量、用户体验、终端行为等的深层感知，才能在此基础上制定相应的智能化资源调度及管控策略，提供差异化服务。

2 智能管道多维感知技术

为了实现管道的智能化，使之具备接入灵活，网络资源可管、可控、可灵活配置，用户、业务和流量可区分、管理和控制，质量按需保障，需要网络具备带宽提速技术、多维感知技术、策略控制技术、网络协同技术和按需保障技术。多维感知技术是智能管道的基础，只有实现了网络的多维深度感知，才能进一步实施基于业务、用户、流量的控制和差异化的服务，实现网络的智能化。

感知技术是通过对采集到的信息进行分析，实现流量可感知、用户可识别、业务可区分、网络可配置，从而实现差异化的服务、质量保障和控制。智能管道的多维感知技术包括网络感知、终端感知、业务感知和用户感知。通过多维感知技术，智能管道能感知网络中各种用户使用的各种业务、各种接入方式、各种接入位置、各种终端类型、各种使用习惯等，从而制定合理的资源分配策略和计费策略，有效地使用网络资源，有效地提供业务与服务，摆脱哑管道。

网络感知是指感知网络类型、当前网络资源使用情况、网络是否拥塞、网络设备故障信息等。网络状态的感知应具体到用户所在的小区，可以通过无线网管从基站采集；或者通过基于 DPI（deep packet inspection，深度分组检测）的网络监测设备，根据探测到的小区吞吐量、用户数、分组处理时延等信息进行推算；或者由基站通过网络设备实时上报到网络状态分析系统。对网络状态信息进行周期性收集和分析，再结合用户位置信息、业务特性，可以作为制定流量管理策略的依据。

终端感知是指网络自动感知终端的类型、生产厂商、终端号码、芯片型号、处理能力、操作系统、版本和功能等。

业务感知是指网络自动感知用户当前使用的业务类型、业务对网络资源的需求、业务特征（如是否具有位置特征）等，从而根据一定的策略进行网络资源分配。如对于视频类业务可以分配高带宽、高速率的网络资源，对QQ等区域性特征比较明显的业务在热点地区多分配小区、热点覆盖等网络资源。

用户感知是指网络能自动识别用户，感知用户所处的位置、用户正在使用的业务、用户的等级、用户行为习惯等，不仅仅能识别用户是谁，还包含用户行为特征、使用习惯和用户体验，从而针对不同的用户提供不同的服务、质量保证和计费策略，并根据用户对网络、业务的感知，分析出网络中可能存在的问题，迅速定位、预警或解决，大大提高网络速率和性能，提升用户体验。

通过各种感知技术，网络能自动识别用户、识别业务和终端，从而根据业务需求、用户需求进行网络资源的动态指配和控制等，实现网络的智能化。

3 基于终端的感知技术研究

智能管道的多维感知不等同于DPI，而可以从多个维度、采用多种方法实现，DPI只是网络感知、业务感知的一种方式，除此之外，还可以基于终端实现。

作为云—管—端中的重要节点，终端直接与最终用户打交道，是用户使用业务、网络的主要载体，能最真实地反映用户的行为和喜好，可向网络提供业务行为、用户感知等信息，成为智能管道多维感知技术中重要的一环。因此，采集用户的第一手资料和数据，分析用户行为、业务特征及终端类型，研究基于终端的感知技术及其解决方案，将会助推智能管道的实现，形成良好的移动互联网生态环境，从而构建和谐共赢的发展局面。

基于终端可以实现智能管道的终端感知、业务感知和用户感知。

3.1 终端感知技术

网络对终端的感知需要终端在初次注册网络时自动上报自己的信息数据，终端的信息数据包括终端的生产厂商、IMEI、SIM卡的IMSI号、芯片型号、处理能力、显示屏参数、支持的分辨率、音视频编解码能力、支持的操作系统及版本、具有的功能和可安装的应用等。终端在网络注册时，可以通过发送注册短信或内置应用自动将终端信息数据传送给网络，网络运营商将通过上述方式搜集到的终端信息形成终端信息库，对终端信息进行汇总、统计、分析、维护和管理，掌握市场上用户使用终端的类型、终端在各地的分布和受欢迎程度、终端市场占有率、对增值业务的支持以及上网速率等。

通过形成终端信息库，网络可感知终端类型及能力，从而为分析用户体验、兴趣爱好及终端的能力信息，为用户提供特定的定制服务奠定基础；网络可以快速分析恶意代码传播途径及感染终端的类型，可阻断病毒和不良信息的传播；通过分析影响用户体验的因素，分析出哪些原因是由终端引起的，哪些原因是由网络引起的，并进行优化，提高服务质量；可以分析用户对终端的喜好或偏爱，并反馈给终端厂商，帮助其优化产品，提高产品竞争力；将终端信息库与业务信息进行匹配，分析出用户喜爱的应用都安装在何种类型的终端上，并评测出在何种终端上适配体验更好、速率更快等，将分析结果反馈给业务开发商，使其开发出受用户欢迎的热门应用，扩大市场占有率，形成多赢的局面。

3.2 业务感知技术

传统的业务感知，都是通过在网络侧加装探针或分光设备进行 DPI和 DFI（deep/dynamic flow inspection，深度/动态流检测）来分析业务数据，除此之外，还可以从终端侧直接分析业务数据，因为终端是用户使用业务的工具，用户使用业务的行为完全被终端所感知。

基于终端的业务感知即通过终端记录用户使用业务、终端调用应用的行为，从而记录用户运行应用后的行为，比如打开的网页、输入的关键字等，将与业务运行相关的行为统统记录下来，这些数据比单纯从网络侧DPI分析更方便、更快捷。通过采集业务数据，形成业务相关的大数据，便于分析业务类型、业务特征、业务对网络的需求以及用户的业务使用习惯等，根据统计数据分析用户的最新需求，进行精确推销和精细化流量运营。

通过感知业务，网络可实现区分业务的流量控制，在流量规模大、链路拥塞时，可将带宽分配给视频类业务，对一些时延不敏感的业务降低网速，对一些滥用带宽的业务进行限流或丢弃；通过分析业务特征，可以识别业务是否具有恶意行为或者传播恶意代码的行为，从而在网络侧进行控制和阻断；通过感知业务，可以分析用户的业务行为和习惯，建立用户业务需求模型，细分用户群，进行更精准的营销和更有效的流量经营；通过感知业务，可以分析出热门应用及其运营模式，并将结果反馈给业务提供商，使其针对市场需求开发出更多优质高效的应用，提高公司收益。

3.3 用户感知技术

基于终端的用户感知技术是指通过终端采集用户的位置信息、用户使用业务、终端、网络的行为及其真实体验，将数据上报给网络，结合从网络设备中获取的用户等级、签约数据等，形成用户画像和标签，便于网络识别用户，提供差异化的服务、管理和计费策略，并根据用户体验数据快速定位影响用户体验的因素，进行网络配置优化，提高网络性能，从而为用户提供更高速、更优质的服务，吸引用户使用。

基于终端的数据采集可以分析最真实的单用户行为特征、使用体验和位置信息，终端时时记录用户的行为，且可以与用户互动获取用户最直接的体验，从而形成用户感知数据库。通过对用户感知数据的分析，可将用户进行精确划分：按消费级别划分为VIP用户和普通用户，按行为习惯划分为喜爱上网用户、喜欢游戏用户、喜欢购物用户、喜欢聊天用户等，按使用时间划分为白天上网用户和夜晚上网用户，按用户体验划分为重数据业务体验用户和重语音业务体验用户等。通过采集的用户体验数据分析影响用户体验的因素，从用户感知的角度更好地评估和掌控网络运行质量，找出网络业务质量的短板,从而迅速定位问题，进行网络优化，提高网络性能提升用户体验，最终提高用户黏性。

4 基于终端的感知技术解决方案

4.1 终端感知技术解决方案

网络对终端的感知需要采集终端信息库，终端信息库依赖于终端信息的自动上传，可以采用以下两种解决方案：开机短信注册方式和客户端自动上报方式。

4.1.1 开机短信自注册方式

开机短信自注册方式是指终端首次开机后进行网络注册时，通过短信方式向终端感知系统发送终端的信息，终端需要预置短信自注册机制及终端感知系统的短信接入号码。

如果终端收到由短信中心下发的表明自注册短信已到达短信中心的消息，则终端存储此次注册成功的SIM卡的IMSI信息，以便终端可以在下次开机时检测此IMSI是否发生变化。存储的IMSI信息只能被终端自注册功能访问，终端其他应用不能更改该值。

此后，终端每次重新启动，都应检测所插SIM/USIM卡的IMSI与保存在终端中的IMSI是否一致。如果不一致，终端必须重新向终端感知系统发送自注册短信。终端在国际漫游状态下不执行该过程。

终端自注册正常流程如图1所示。

图1 终端开机自注册流程

4.1.2 客户端自动上报方式

通过在终端上内置终端信息采集客户端的方式，将客户端采集到的终端信息参数上报给感知系统。终端信息采集客户端需要具有root权限，除自注册功能之外没有其他功能，不能影响终端其他软件的正常使用，且无须用户干预。客户端方式的触发条件是当终端初次使用或终端信息变化时自动触发。

终端信息采集客户端软件应在终端第一次启动时自动启动，并执行下列操作。

（1）检测是否已经完成注册，如果已经完成注册，客户端软件应立即退出。

（2）如果未完成注册，客户端软件应检查尝试注册的次数，如果重试注册次数已经到达设定的限值（如10次），则客户端软件应立即退出。

（3）如果上述条件不满足，客户端软件应尝试进行注册，并在完成终端注册后自动退出。

（4）如果注册不成功，客户端软件应进行重试，如果重试次数到达设定的限值（如10次），客户端软件应自动退出。

如果终端的机卡对应关系发生变化，将再度触发终端信息采集客户端进行自注册操作。

短信注册方式可以上报的终端信息较少，但实现方式简单；客户端方式可以上报更多的终端信息，但是实现方式复杂。通过对终端信息的采集，形成终端信息库，并进行分析，进而建立用户终端偏好模型，根据用户基本信息，历史记录中的IMSI和IMEI的情况，可以发现用户拥有终端的个数、类型、更换频率等，结合其他数据，判断用户属性和消费习惯。

4.2 业务感知技术解决方案

基于终端的业务感知技术可通过在终端上内置业务感知客户端实现，该客户端对于用户使用的业务进行实时记录，并将采集到的数据实时或定时传送到业务感知分析系统进行深度挖掘分析，系统采用C/S架构，如图2所示。

图2 业务感知分析系统

业务感知客户端需要具有root权限，具有业务数据采集和上报功能，不会影响终端上其他软件的正常使用，且无需用户干预，触发条件是当用户使用终端上的业务或应用时自动触发。业务感知客户端开机后自动后台运行，一旦用户使用终端业务或应用则进行实时记录，采集所运行应用的ID、类型、特征、收发数据的IP地址和端口号、对接入网和核心网的需求、用户使用应用的频率、偏好设置、应用访问的服务器等信息，客户端把采集到的数据发送给业务感知分析系统进行数据挖掘和分析。

业务感知分析系统负责分析业务感知客户端采集到的业务数据，并与通过DPI或DFI分析的业务数据相结合，更全面地分析业务类型、业务特征、业务对网络的需求、客户端访问服务器的频率及与服务器的数据传输以及用户的业务使用习惯等，根据分析结果动态配置网络资源、建立用户业务需求模型，进行更精准的营销和更有效的流量经营。

为了避免采集到的数据量太大，消耗流量和终端电量，业务感知客户端首先将采集到的数据根据一定的算法进行压缩处理，然后每隔一段时间（如30 min）或在用户有联网业务时同步进行数据上报，这样将会降低终端电量的消耗和对终端其他应用的影响，在不影响用户体验的情况下完成业务感知数据采集并上报给业务感知客户端，通过建立科学的业务分析模型实现网络对业务的感知，从而为业务分配适当的网络资源，实现管道的最大价值。

4.3 用户感知技术解决方案

基于终端的用户感知技术实现方案是通过客户端软件采集用户位置、业务使用习惯、行为特征及用户体验等原始数据并上传到用户感知分析系统进行深度挖掘分析。系统采用C/S架构，逻辑部署如图3所示。

图3 用户感知分析系统

系统分为三大部分：用户感知数据采集、用户感知呈现和用户感知分析。

4.3.1 用户感知数据采集

通过在终端内置具有root权限的客户端的方式实现用户感知数据采集和上报功能，在用户使用业务或终端运行应用时自动采集用户信息，用户信息包括用户位置、业务使用习惯、行为特征及用户体验等，难点是用户体验数据尤其是主观体验数据的采集。

（1）数据采集内容

用户位置信息：借助终端GPS或带GPS功能的软件如导航软件获取用户的位置信息。

业务使用习惯：采集用户使用业务的类型、时间、使用方式、频次和偏好设置等数据。

用户体验数据：用户体验数据除了客观数据外还包括主观体验数据，可从基础业务体验、数据业务体验、Wi-Fi体验、应用体验、终端体验、服务体验等方面进行采集。

· 基础业务体验：采集主被叫接通率、接通时长、掉话率、语音质量、单通/串话比率、切换成功率、短彩信发送成功率、短彩信送达率、短彩信送达延时等参数。

· 数据业务体验：采集上网速度、登录成功率、网页显示时长、断线率、刷新成功率、刷新时长、下载速率、视频卡顿、流量跟踪、流量提醒、网络故障提醒等参数。

·Wi-Fi体验：采集信号强弱、接入速度、稳定性等参数。

· 应用体验：采集应用启动速度、是否有后台推送、应用安装、卸载时间和复杂程度、运行速度、CPU消耗、应用兼容率等参数。

· 终端体验：采集开机速度、耗电（上网、待机、通话）、后台运行程序、后台联网应用等参数。

· 服务体验：采集业务办理速度、业务办理满意度、业务投诉满意度、问题反馈满意度、客户关怀等参数。

（2）数据采集方式

数据采集方式可分为实时采集和非实时采集方式。

· 实时采集：在用户使用相关业务（语音通话、上网、即时通信等）或手机时，后台启动该客户端实时采集终端数据，用户使用业务结束后将自己的真实体验通过列表选择或手动输入，客户端实时或定时将数据上传到分析系统。

· 非实时采集：在出现异常或用户主动投诉/反馈时进行数据采集，并弹出提示建议用户参与体验计划，根据分析结果及时处理用户的投诉或反馈。

使用时采集终端数据和用户体验数据，将大大降低终端的数据采集量和功耗。

（3）实施方式

用户感知数据采集的具体实施方式有以下几种：测试人员主动采集；鼓励终端用户参与，如通过加入体验计划奖励话费或流量，参与体验计划可抽奖等方式鼓励部分终端用户参与；或者在部分用户如出租车司机、快递员、大学生中免费推广使用进行采集；当终端在使用过程中出现异常事件时自动触发数据采集。

用户感知采集客户端允许用户选择参与的体验项目，并设计用户输入界面；采集客户端可集成调查问卷、用户投诉、用户反馈等功能；允许用户查看上传数据的大小和内容，上传过程产生的流量免费。

4.3.2 用户感知呈现

根据终端上传的用户感知数据结合从网络大数据平台中获取的数据形成用户感知报告，并绘制感知地图。感知地图用不同的颜色表示不同的用户感知，并按用户感知指标显示，如把掉话率、上网速率、彩信发送成功率、延时等分别做成若干张感知地图，支持分地区感知轨迹展现和单用户感知轨迹显示，支持网络运维部门或个人用户查看用户感知情况。

4.3.3 用户感知分析

把终端采集到的用户感知数据与智能管道大数据平台中采集的数据进行匹配分析，建立用户分析模型，从海量数据中挖掘、分析出用户属性、订购信息、用户的位置、使用的业务、对终端的偏好、消费习惯以及影响用户体验的因素。分析内容包括话统数据分析、话务模型分析、用户属性分析、用户行为习惯分析、用户业务行为分析、用户体验分析等。根据分析结果构建用户标签体系，形成用户感知知识库，便于网络资源动态指配，可为精细化流量运营提供参考和依据。

该方案能直接获取用户的体验数据，作为网络分析的依据，能形成比较真实的用户感知数据。但也面临一些挑战：用户信息、特征的聚集和分析方法是否科学，海量用户数据的挖掘算法是否合理，如何量化用户体验，如何在用户数据化中保护用户的隐私以及如何吸引用户参与等都是需要进一步研究和论证的。

4.4 小结

终端感知技术目前业界普遍的做法是通过开机注册短信或客户端完成终端信息的采集，只是目前通过这两种方式采集的终端信息有限，需要进一步优化以采集更多的终端信息。

终端作为用户使用业务的主要载体，天然地拥有业务相关数据，因此从终端侧采集业务数据并进行分析比从网络侧通过DPI分析更有优势，一般业务提供商如腾讯，基本上都是通过这种方式来分析业务的。不过这种方案需要对终端软件进行更改，同时多操作系统适配是个问题。

用户感知尤其是用户体验数据分析是业界公认的难题，单纯通过网络指标无法反映用户的真实体验，通过终端能直接获取用户的体验数据，形成比较真实的用户感知数据。业界相关的解决案例有中兴CEMC、鼎新创利U-You感知系统、中国移动OTS、中国联通移动网用户感知系统以及移动业务质量端到端优化等，只是侧重点不同，且在用户体验数据采集、如何量化用户体验数据上存在差别，对此业界尚未达成共识。本文的解决方案正是基于对上述方案的研究与探索提出的，从原理上讲是可行的，但该方案同样需要对终端软件进行更改，同时也需要用户的主动参与。

智能终端多维感知技术的实现目前尚未达成共识，尚处于探索、研究阶段，本文提出的解决方案可为智能管道多维感知技术的实现提供参考和借鉴。

5 结束语

基于终端的感知技术可助力智能管道的实现，通过构建终端感知技术，获取终端上的用户数据、业务数据和终端数据，结合网络端的大数据平台，形成用户感知、业务感知、终端感知知识库，使得网络可识别流量、识别用户、识别业务、识别终端，从而针对不同用户提供差异化的服务和质量保障，执行差异化的收费策略，并根据业务特性进行网络资源的动态分配，实现比特的分级定价，使管道具有智能化，使得运管商不再成为比特搬运工，摆脱彻底沦为管道的困境，从而使运营商的投入收益成正比，提高运营商的积极性。

但是，基于终端的感知技术也面临一些困难和挑战：工业和信息化部最新颁布的《移动智能终端安全能力技术要求》中明确规定，禁止不经用户同意后台发送短信，这一规定使得运营商无法通过开机自注册短信的方式采集终端信息；通过在终端内置客户端的方式需要终端厂商和用户的积极配合，用户主动参与的积极性不高，终端厂商也没有利益驱动，因此将会给感知数据采集带来一定的困难；数据采集涉及用户隐私，因此如何保护用户隐私是运营商需要考虑的问题。相信随着技术的发展、用户的认知以及国家政策的引导和支持，基于终端的感知技术终将获得业界共识，管道的智能化也不再是梦想。

1 陈运清，张文强，徐向辉等.面向应用的智能管道关键技术新解.北京：电子工业出版社,2013

Chen Y Q,Zhang W Q,Xu X H,et al.New Perspective of Application-Oriented NICE Technologies.Beijing:Publishing House of Electronics Industry,2013

2 张继平，李华，曹磊等.通信网络智能管道架构与技术实现.北京：电子工业出版社,2012

Zhang J P,Li H,Cao L,et al.Framework and Technological Realization ofCommunication Network IntelligentPipeline.Beijing:Publishing House of Electronics Industry,2012

3 孔力，陈婉珺，赫罡等.智能管道发展及技术实现.邮电设计技术,2012(3)

Kong L,Chen W J,He G,et al.Development and technology implementation of intelligent pipeline.Design Technology of Posts and Telecommunications,2012(3)

4 张园，赵慧玲.移动互联网环境下的智能管道关键技术.中国通信学会信息通信网络技术委员会年会论文集，呼和浩特，中国，2013

Zhang Y,Zhao H L.Key technology of intelligent pipeline under mobile internet environment.Proceedings of the Annual Meeting of the China Information and Communication Network Technology Institute,Hohhot,China,2013

5 孙连发，宋春鹏，李凤花.基于用户感知的3G网络规划方法探讨.信息通信技术,2014

Sun L F,Song C P,Li F H.Discussion on 3G network planning method based on user perception.Information and Communication Technology,2014

6 管天云，侯春华.大数据技术在智能管道海量数据分析与挖掘中的应用.现代电信科技，2014（1-2）：71～79

Guan T Y,Hou C H.Application of large data technology in the intelligent pipeline massive data analysis and mining.Modern Telecommunication Science and Technology,2014（1-2）：71～79

7 周友盟，库伟，张俊等.中国联通WCDMA数字蜂窝移动通信网移动台技术规范 第7分册：支持终端管理业务的移动台技术要求.中国联合网络通信集团有限公司，2013

Zhou Y M,Ku W,Zhang J,et al.Technical specification for China Unicom WCDMA digital cellular mobile telecommunication network mobile station volume XI:device management.China United Network Communcaitons Group Co.,Ltd.,2013

8 TMF.Wireless Service Measurements Handbook V3.0,2004

9 ITU-T E.800 Series E.Overall Network Operation,Telephone Service,ServiceOperation and Human Factors.Quality of Telecommunication Services:Concepts,Models,Objectives and Dependability Planning-Terms and Definitions Related to the Quality of Telecommunication Services,2008 10 3GPP TS23.203.Policy and Charging Control Architecture,2011