互联网视频中多屏互动技术的应用

魏 峥，施唯佳，祝谷乔

（中国电信股份有限公司上海研究院 上海 200122）

1 引言

自互联网视频 （本文中所指的互联网视频包括OTT视频和IPTV视频）相关领域的崛起，人们观看视频内容的方式已经发生了天翻地覆的变化，互联网视频已经成为人们生活中不可或缺的一部分。权威报告显示，截至2013年12月，中国网络视频用户规模达4.28亿人，较上年底增加5637万人，增长率为15.2%。网络视频使用率为69.3%，与上年底相比增长3.4个百分点[1]。同时随着智能手机的飞速发展，预计2014年中国市场上将销售4.435亿部手机，智能手机将达4亿部，智能手机的渗透率极高，高达95%。互联网视频在移动终端上的增长也呈井喷的态势，艾瑞咨询数据显示，截至2013年12月，移动端月度覆盖人数已经达到1.48亿人，同比增长58.4%。随着4K等新的视频技术的不断普及，用户对于大屏幕高清视频内容的需求也再次成为了焦点。用户一方面越来越习惯利用各种碎片时间在智能手机等移动终端上进行视频内容的观看，同时也越来越渴望分辨率更高、声音效果更好的大屏幕观看体验。从行业的角度，中国的视频行业市场已经愈发成熟，竞争格局渐成，入口延伸至电视、PC、手机、平板电脑、机顶盒以及智能电视等多类型终端，用户普及度和渗透率几乎覆盖整个中国。相关运营方会更多地考虑如何实现优质的内容捆绑，整合多屏联动，向受众传达其统一的品牌和理念。所以针对当前互联网视频的发展特点，如何同时满足当前用户对于智能手机的依赖以及用户对于高清视频和大屏观看体验的需求，对资源进行高效利用，使多个屏幕之间形成互动，为用户提供完整的综合服务，成为互联网视频领域一个备受关注的焦点。

2 关键技术

在详细介绍互联网视频相关的多屏互动关键技术之前，为了更好地理解各种技术的特点和不同，有必要先详细介绍一下常见的典型互联网视频应用下的多屏互动功能。伴随着互联网视频产业的迅猛增长，互联网视频相关的多屏互动技术也在同步飞速发展，其主要功能一直以视频内容在手机和平板电脑等移动终端与智能机顶盒和智能电视等固定终端之间进行推送和拉回为发展核心。当前常用的典型功能如下。

·甩屏类型:用户通过手机或平板电脑等移动终端对互联网视频内容进行搜索，然后在手机上对选定的节目进行预览，最后确定观看后甩屏至智能电视机或机顶盒进行观赏；或者用户已经在智能电视或机顶盒上观看选定的视频节目，由于无法继续在电视机前观看，可将正在观看的节目甩屏至手机或平板电脑等移动终端，继续观看刚才的节目。

·操作类型:用户在使用智能电视机或机顶盒观看视频内容的同时，使用手机或平板电脑等移动终端对机顶盒或电视机进行控制。

·分享类型:用户将手机或平板电脑中的文档、图片、音乐或本地视频等内容，分享至智能电视机或机顶盒，在电视机或机顶盒上进行观看和播放，提升体验效果，方便多人观看。

当前的互联网视频相关的多屏互动功能大体上就是前面所介绍的3种类型，虽然不同厂商或设备所提供的功能名称可能不一样，但是互动的核心模式都是以上这3种类型。下面结合以上3种功能类型，详细介绍几种在互联网视频领域常用的多屏互动技术。

2.1 DLNA

DLNA(Digital Living Network Alliance)[2]创始于 2003年6月24日,它的前身是DHWG（Digital Home Working Group，数字家庭工作组），该联盟当时由微软、英特尔和索尼等厂商发起，目的在于解决个人电脑、家用电子设备和多种移动终端在内的各种设备，在家庭有线局域网或者无线局域网环境内进行互联互通，使人们可以在家庭内部使用电脑、手机、平板电脑、机顶盒、电视机和其他支持DLNA的设备分享各种多媒体内容和服务，并且可以在DLNA基础上进行扩展。现在，DLNA成员企业已经有300余家，除了当初联盟的创立者之外，现在联盟中还包括AT&T、思科、华为技术、博通、爱立信、惠普、松下、三星和夏普等，涉及通信运营商、芯片制造厂商、家电厂商、通信设备厂商等多种类型的企业。

DLNA的组织庞大，知名厂商众多，是设备互联和多屏互动技术领域的一个至关重要的技术规范，下面会对其基本技术构架进行较为简要的介绍，从而方便对整个互联网视频领域的多屏互动技术进行基本的了解。DLNA的目的是提供一个开放的行业标准，确立技术规范，供相关厂商设计和开发可以在家庭内部进行智能互联互通的设备，以此标准为基础，提供一个开放的互联互通环境，供相关企业的设备在这个环境内进行互动。DLNA内的各种类型厂商众多，为了方便大家进行互联互通时对各种类型的设备进行区分，DLNA定义了以下类型的设备，并以此为规范。

（1）家庭网络设备（home network device，HND)[2]

这类终端主要指家庭设备，具有相对比较大的尺寸和较为全面的功能，主要用来与移动终端设备进行区分，家庭设备又分为以下5个子类。

·数字媒体服务器（DMS）[2]。该类型终端设备主要提供媒体获取、记录、存储和输出服务。在DLNA规范中，DMS设备一定包含有数字媒体播放（DMP）设备的功能，DMS可以提供全面的综合媒体服务，属于DMS终端设备的有个人电脑、家庭媒体服务器、智能机顶盒和智能电视一体机等。

·数字媒体播放[2]设备。该类型终端可以从DMS/M-DMS设备上查找和获取相应的多媒体内容，并进行渲染和播放。属于DMP终端设备的有智能电视机、高清播放器等。

·数字媒体控制（DMC）[2]设备。该类型终端设备的主要功能在于使DMS和DMP设备之间建立联系、传递内容数据，同时控制相应的操作。属于DMC设备的有遥控器等。

·数字媒体渲染（DMR）[2]设备。该类型终端设备的主要功能是播放DMS上的相应内容，播放功能与DMP设备类似，与DMP设备的主要不同在于DMR设备没有浏览和查询功能，仅具备单纯的播放功能。属于DMR设备的有显示器、音响等。

·数字媒体打印（DMPr）[2]设备。该类型终端设备主要提供打印功能。属于DMPr设备的有网络打印机。

（2）移动手持设备（mobile handheld device，MHD）[2]

相比前面的家庭设备，手持设备类型终端的功能相对简单一些，更注重便携性，该类设备所支持的媒体格式也稍有区别。

·移动数字媒体服务器（M-DMS）[2]。该类终端设备与DMS设备较为相似，如手机和平板电脑等。

·移动数字媒体播放器（M-DMP）[2]。该类终端设备与DMP设备较为相似，如移动小尺寸显示器（该类设备当今已经较难见到实用性产品）。

·移动数字媒体下载设备（M-DMD）[2]。该类终端设备主要提供内容的下载和存储功能，属于该类型设备的有MP3播放器和电子相框等。

·移动数字媒体上传（M-DMU）[2]设备。该类终端设备与M-DMD相对应，提供内容的上传和存储功能，属于该类型设备的有数码摄像机和数字录音笔等。

·移动数字媒体控制（M-DMC）[2]设备。该类终端设备与DMC设备相似。属于该类型设备的有多功能遥控器等。

（3）联网基础设备(networked infrastructure device，NID）[2]

该类设备为终端提供相应的网络服务。

·无线网络连接模块 （mobile network connectivity function，M-NCF）[2]。该模块负责提供无线网络接入服务，DLNA建议所有网络连接都以无线的形式连接。

·协调模块（interoperability unit，MIU）[2]。该模块负责各类型终端设备之间的协调工作以及各种媒体格式的转换。

表1为DLNA设备分类。

综上，可以看出DLNA规范并没有创造全新的协议或技术，只是将现有的成熟技术和协议进行整合和规范，从而方便不同设备之间互动时使用。这个特点使其开发难度低，适用面广，部署容易，也正是这些原因才使得DLNA规范得到大力推广，广泛应用在各种设备互联的领域，当然也包括互联网视频的多屏互动领域。DLNA规范在当前各种可用于互联网视频的多屏互动技术中的影响力最大，除了DLNA的200多个成员外，国内外的主要智能机顶盒、智能电视以及智能家电产品，也大都支持DLNA规范，同时互联网视频在各种终端上的客户端也都对DLNA提供良好的支持，如优酷、搜狐视频、爱奇艺和PPTV等互联网视频客户端的iPhone、iPad和Android手机等版本。

虽然DLNA规范在当前的互联网视频领域的多屏互动技术当中占据着绝对统治地位，可以满足大多数互联网视频应用领域内的多屏互动功能需求，但是从前面的DLNA规范技术框架和所采用的各种相关协议可以看出，DLNA的技术基础还停留在2003年建立时的技术特点，对近几年才开始流行的互联网视频领域各种技术并不能提供很好的支持，如网络层面的IEEE 802.11ac协议、通信协议中的SIP、媒体格式中的H.265编码格式等，所以DLNA技术规范已经不再能完全满足当前的功能需求。虽然众多厂商的研究机构针对DLNA进行了各种扩展和改进，例如:

·中国电信在DLNA技术规范的基础上，通过协议扩展，实现了通过手机对IPTV机顶盒和互联网视频机顶盒的控制以及视频内容的甩屏[3]；

·台湾成功大学电子工程学院通过将DLNA和SIP进行结合，实现了家庭内部各种终端设备的视频和控制传输。

但是这些扩展和改进，都具有一定的局限性，增加了终端设备对接的适配难度，也为后续的应用开发造成了一定的障碍，失去了原有DLNA的许多便利特点。

2.2 AirPlay

AirPlay是苹果开发的一种无线互动技术，AirPlay初期命名为AirTunes，它由苹果公司在2004年发布，意在将iTunes上的流音频文件通过无线技术传输至扬声器（扬声器与AirPort Express连接）。2010年乔布斯将AirTunes更名为AirPlay。当时苹果已为AirPlay扩展了播放视频/相片流的功能，并将其整合到Apple TV中。虽然iTunes已经可以在Apple TV上重播流音频和视频文件，但还是无法从其他应用上获取音、视频流。现在AirPlay已经可以通过Wi-Fi将iOS设备上的包括图片、音频、视频等使用无线的方式传输到支持AirPlay的设备。当前所有的iOS设备均支持AirPlay。

表1 DLNA设备分类

相比较于DLNA的支持厂商众多、适配终端数量庞大和功能多种多样，苹果的AirPlay主要应用于苹果公司的各种终端设备上，并且该技术主要针对图片、音乐和视频内容的分享，并没有太多的其他扩展功能。苹果公司的AirPlay强调移动终端上的所见内容即电视屏幕上所分享的内容，如图1所示。

图1 AirPlay分享功能示意

但是AirPlay具备DLNA所没有的镜像功能，可将iPhone或iPad上的画面无线传输到电视上，也就是说设备显示的是什么，电视屏幕显示的就是什么，而不仅限于图片和视频，还可以拿着iPad来当做方向盘，然后看着大屏玩游戏，如图2所示。

图2 AirPlay DualScreenApps功能示意

苹果的AirPlay技术本身是加密的，第三方设备无法支持AirPlay，但网络开发者James Laird通过拆解AirPort Express，读取其ROM数据进行反向工程，从而拿到了AirPort Express的私有密钥，将其公之于众，并很快写出了自己的虚拟流媒体终端软件ShairPort。其实现在使用的众多基于第三方平台的Airplay就是利用James Laird公布的AirPort Express的私有密钥，才使得AirPlay不再是苹果设备之间的专属技术。但是好景不长，2011年的WWDC苹果对AirPlay技术进行了升级，推出iOS 5的一个非常重要的功能也就是AirPlay的升级功能AirPlay Mirroring(Airplay镜像输出），利用它通过Apple TV硬件将iPhone 4s/iPad 2上画面镜像输出到电视机上。它将iPad变成一个强大的电视应用平台，能在电视上渲染任何应用，同时允许用户使用其触摸屏设备来浏览、选择、导航，诸如此类。想要完全利用这种能力，开发者需要创造“DualScreenApps”（如图2所示），这些应用能感知到AirPlay服务、电视机 (显示器）、本地iOS屏幕。基于iPad有丰富的互动界面，同时又能在电视上渲染输出媒体内容，这是非常好的一种体验方式，通过电视机大屏幕看电影、玩游戏是很多设备在当时基本不能实现的一个功能。这个新功能更新了密钥，至今苹果没有正式公开该密钥，也尚未有人破解，所以第三方设备对AirPlay的支持仅停留在音乐、图片和视频内容的分享上，无法实现AirPlay Mirroring和DualScreenApps功能。由于苹果的iOS设备无论是在手机和平板电脑等移动终端市场，还是在机顶盒市场，都只是占据部分市场份额，除此之外还有大量的Android、Linux和Windows终端设备，所以对非苹果iOS设备的多屏互动技术提出了挑战。

2.3 Miracast（Wi-Fi Display）

随着Wi-Fi相关技术的进步以及Android终端设备的飞速普及，Miracast（Wi-Fi Display）应运而生，新的 Miracast设备提供简化发现和设置，用户可以迅速在设备间传输视频。该技术与认证项目由Wi-Fi联盟中的移动与消费性电子设备制造商及芯片厂商共同制定。整个行业对Miracast给予极大的关注和推动，谷歌在2012年发布的Android 4.2操作系统中添加了Miracast的相关组件和服务，成为了所有Android设备的标准功能。同时各个硬件厂商也在大力推广支持Miracast功能的终端设备。所以2012年年底之后上市的中高档手机，大部分都已经可以完整地支持Miracast功能，并且随着智能手机的飞速增长以及终端设备的不断更新，可以支持Miracast功能的设备会在2014年内普及。Miracast最大的好处之一就是其连接方式为最新的Wi-Fi Direct方式，设备之间可以直接进行连接，而无需额外的网络接入设备。凡是提到Miracast就会提到Wi-Fi Display。Wi-Fi Display是Wi-Fi组织定义的一种无线交互协议，而Miracast[5]实际上就是Wi-Fi Display认证的商品名称，以方便大家记忆。所以下面将不再区分Miracast和Wi-Fi Display。

Miracast技术相关应用的目标十分明确，就是希望在Android设备上实现类似苹果AirPlay的屏幕镜像功能，所以其技术构架清晰。借助当前大红大紫的谷歌Android开放系统，再配合硬件厂商的大力推广，Miracast为互联网视频的多屏互动功能提供全新的、先进的技术平台，大大降低了开发和适配难度。但是Miracast也存在较大局限性，它只能实现镜像功能，重点在于视频和音频信号的传输，而无法实现操控和扩展性的功能，而且对于硬件的依赖较大，所以虽然谷歌和各大硬件厂商均在全力推广，但是普及效果一直未达到预期。

3 多屏互动技术对比

综合前面所介绍的3种主流多屏互动技术，每一种都各有特点和优势，每一种也都存在自己的弊端，主要对比见表 2。

可以看出各种多屏互动技术各有优点，但是由于技术标准创立的年代和立场不同，也都存在着较明显的缺点。DLNA技术的适用范围虽然广泛，但是其大部分规范内容并非针对互联网视频技术领域，同时由于创建时间相对较久，部分底层协议较为陈旧，虽然具备一定的扩展性，但扩展能力有限，用户体验一般。苹果的AirPlay从技术和功能角度讲都较为完善，并且其中重点部分为视频内容的分享以及传输，所以十分适合互联网视频领域的多屏互动，但是由于其属于未开放的标准，只能依赖于苹果的iOS硬件设备，所以适用范围较窄，也不具备扩展性。Miracast是最新的针对视频应用而创建的智能终端间的技术，再加上Android系统的配合，具有较好的发展前景，但是该技术局限性较大，功能针对性较强，并且扩展能力十分有限。同时这些多屏互动技术共同的问题在于都只能工作在家庭局域网环境下。在第4节会详细说明在新的技术趋势下，这些传统多屏互动技术的缺点会暴露得越来越明显。

4 新技术趋势下的多屏互动发展

随着时间的推移和技术的演进以及互联网视频产业的飞速发展，许多多屏互动的相关功能和概念都已经被重新定义，本节主要讲述未来与互联网视频领域相关的多屏互动技术的发展趋势和特点。

（1）云平台下的多屏互动

云平台是当前最火热的科技趋势之一，无论国内国外，在云计算和云平台领域都进行了大量的投入，随着云技术的不断发展，云平台也在不断地改变着人们的使用习惯。由于云平台的普及，用户现在更多地选择将各种内容数据存储在云平台，而不是本地设备；电信运营商和互联网视频内容提供方也越来越多地提供以用户为单位的云同步管理功能，从而取代以前以终端设备为单位的单一管理功能。例如，以前用户手机拍照后，照片存储在手机内，然后通过多屏互动将照片分享至其他终端。但是随着云平台的应用，云存储和云转码等技术已经被广泛采用，用户的数据和信息将不再以保存在本地为主，而是以保存在云存储为主；用户所选定节目资源，不再是在家庭局域网内部，从一个终端推送至另一个终端，而是从一个终端通知云平台，云平台经过转码适配之后，再通知另一个终端进行播放或展现。看似增加流程和复杂程度，但是借助当前强大的云计算能力，反而用户感知更为优秀，用户体验更好。

（2）4G 移动网络接入

当前对移动视频最利好的消息莫过于2013年12月4日工业和信息化部向三大运营商发放4G牌照，中国的4G化进程正式开启。因此可以很乐观地预见，随着高速网络时代来临，移动端将从图文时代向影像时代迈进，网络视频将成为移动端最核心的应用。随着4G业务的发展，用户一方面对于移动互联网视频服务的需求飞速增长，同时用户对于移动网络接入也会越来越依赖。另外，随着 4G视频广播业务（LTE-broadcasting）的大力发展，移动互联网视频在服务模式和核心技术上也会产生较大的改变，使用户在移动终端上的视频服务体验具备与IPTV机顶盒和广电DVB机顶盒所提供的视频服务直接竞争的可能性，同时也为更多种形式的多屏互动带来了可能。例如，用户可以在手机或者平板电脑等移动终端上观看4G广播的体育比赛高清直播视频，该直播视频可以提供比赛场地多个不同角度的摄像机所拍摄的不同画面的预览，然后用户将选定的摄像机画面甩屏至智能电视机或机顶盒进行大屏播放，感受真实的赛场体验，同时继续用手机或者平板电脑等移动终端跟进其他角度摄像机的内容，当某一个摄像机的角度更为接近赛场上的突发状况时，用户可通过甩屏控制重新切换至新摄像机画面。

表2 当前主流多屏互动技术对比

（3）大数据分析

大数据是未来另一个在任何领域都会被广泛采用，并且对现有技术和应用体系产生重大影响的新型技术。与其说大数据在互联网视频相关的多屏互动领域是一项可以进行数据处理和分析的新技术，更不如说是彻底重新定义多屏互动概念的关键。传统意义的多屏互动主要是指手机或者平板电脑等移动终端和智能电视机或者机顶盒等固定终端之间的一些内容的分享和传输。但是随着大数据分析和处理的广泛应用，当前已经在音视频内容分析领域取得了长足的进展，并且可以对用户的喜好和行为进行一定程度上的判断和预测。结合这些大数据所能带来的新技术和新特点，多屏互动在未来会更加强调人机交互的用户体验，在内容的分享和传输基础上，为用户提供更多的信息互动，提升用户在观看互联网视频内容时的参与感，同时也提升互联网视频的附加值。例如，用户在观看体育节目时，通过音视频分析技术，可以在用户感知的情况下精确定位用户当前正在观看的节目，并将其数据反馈给大数据分析平台，之后平台可以结合用户的其他数据，得出用户的兴趣点和使用习惯，将用户最感兴趣的运动员的个人信息和近期赛事状态主动推送至用户的手机或平板电脑等移动终端，省去了用户自己查找的过程，方便用户浏览，同时当赛场状况发生变化时，也可以向用户主动推送最新的技术统计信息或竞猜信息。

5 结束语

综合以上这些技术趋势，互联网视屏领域的多屏互动技术很快就会被重新定义，新的相关技术和架构组成也会发生较大的变化。从前针对家庭局域网内部的互动技术，会被更新、更简化、更开放的智能家电互联技术所取代。借助云平台的优势，家庭内部互动大多只需要传输指令信息即可，图片、音频或视频等实体内容部分可以由不同的终端各自从云平台获取相应的数据内容。由于4G网络的大面积应用，终端设备的网络接入方式也会出现多样性的特点，所以统一的网络接入平台、统一的用户管理平台也会应运而生，为用户在各种终端上提供无缝的视频服务。在未来，新的互联网视频领域的多屏互动技术会具备更好的开放性，从而解决现在多屏互动功能受制于终端类型的问题；未来的多屏互动技术也一定会具备更好的扩展性，从当前的基本音视频内容的分享和传输，转变成多种内容的消息推送，只需改变消息内容就可以实现文本、图片、音视频以及其他各种应用的指令传输需求。最终，通过多屏互动技术的发展，大幅提升互联网视频领域的用户体验，为用户提供更多、更好的服务形式，也为互联网视频运营商提供更多的运营和盈利模式。多屏互动将成为互联网视频应用中不可缺少的一个用户功能，也将成为互联网视频技术架构中极为重要的关键技术要点。

1 中国互联网信息中心.第33次中国互联网络发展状况统计报告，2014

2 DLNA联盟官方白皮书.http://www.dlna.org/

3 中国电信集团公司.中国电信IPTV业务系统媒体共享技术要求(V3.0）

4 Lai C F,Huang H C,Huang Y M.Design and implementation of the DLNA family intercom system for smart homes.Computer Journal,2008(8）

5 Miracast白皮书.http://www.Wi-Fidisplay.org/