即时通信系统中的音视频处理技术分析

贾玮玮

（96616部队，北京 100085）

即时通信系统中的音视频处理技术分析

贾玮玮

（96616部队，北京 100085）

在对即时通信系统中音视频处理技术进行研究的过程中，我们应当从即时通信协议的概念及内容入手，并且掌握音视频处理框架，最后掌握即时通信系统中音视频通信的实践过程，加强对即时通信系统中音视频处理技术的了解。

即时通信系统；音视频；处理技术

从目前即时通信系统中的音视频处理技术来看，该技术的应用有效地解决了音视频处理问题，并且保证了即时通信系统能够正常工作。按照即时通信系统的工作原理以及信号传输原理，音视频处理在即时通信系统中需要遵守专门的即时通信协议，同时视频处理也有固定的框架需要遵守，我们还应根据音视频通信的需要，探讨即时通信系统中音视频通信的实现过程，掌握即时通信系统音视频处理技术的要点。

1　即时通信协议的概念及内容

1.1即时通信协议的概念

即时通信协议是进行即时通信必须遵循的信息规范，主要负责完成用户信息传输通道协商，客户端与服务器通信信令传输控制等任务。

即时通信作为一种新的信息传输方式，在传输过程中需要遵守相应的通信协议，只有按照即时通信协议的规定进行信号传输，才能够保证信号传输通道的及时性和有效性。从目前即时通信协议的概念来看，即时通信协议是即时通信系统中的一个重要的规范，也是即时通信系统的通信基础。如果没有即时通信协议作为辅助，那么即时通信系统在工作过程中将无法达到预期的工作目标。与此同时，即时通信系统需要在多个信号传输点进行信号传输，只有具备了完善的通信协议，才能够在各个信号传输点之间建立起完善的信号传输通道，为信号传输奠定良好的基础。参考其他的通信系统，在信号传输之前建立完善的通信协议，是信号传输系统工作的重要选择。所以，明确即时通信协议的概念，并且根据即时通信系统的工作需要建立完善的即时通信协议，对于提高即时通信系统的工作效率和满足即时通信系统工作要求具有重要意义。

1.2即时通信协议的内容

XMPP是主流即时通信协议之一，是基于可扩展标记语言（Extensible Markup Language，XML）的协议，其集成了在XML的高可扩展性，可以通过发送扩展的信息来处理用户的需求。目前最常用的即时通信协议体系主要是会议初始化协议（Session Initiation Protocol，SIP）和可扩展通信和表示协议（Extensible Messaging and Presence Protocol，XMPP）协议体系。

从目前即时通信协议的发展来看，即时通信协议类型较多，在通信协议的制定和应用过程中，也存在多种应用方式。但是究其主要类型，目前即时通信协议主要形成了两种通信协议体系。这两种通信协议体系能够基本满足即时通信系统的工作需要，并且在信号传输过程中，能够与其他的信号传输系统进行有效的对接，避免了通信协议衔接的困难，使得通信协议衔接能够达到无障碍衔接，提高通信协议衔接的有效性。从这一点来看，即时通信协议是即时通信系统工作过程中的重要基础，即时通信协议体系的建立和完善及其应用对于即时通信系统的工作有着重要的影响。基于当前即时通信系统的工作需求和用户的现实需求，即时通信协议按照现有的协议体系进行发展，能够提高即时通信系统的有效性，并且保证即时通信系统能够得到有效的运用。

2　音视频处理框架

2.1Gstreamer音视频处理

Gstreamer通过其模块化设计，更加便于构建流媒体应用程序。它将各个模块封装起来，以元件的形式提供给用户使用。用户可以利用库中原有的元件进行应用程序的编程。

在即时通信系统中音视频的处理需要按照专门的处理框架来构建相应的处理系统，其中，音视频处理框架主要采取了模块化设计的方式，其中最重要的框架是Gstreamer框架，将各个音视频处理功能变成了具体的模块，并且，将模块封装起来，在用户使用过程中可以直接调用相应的功能模块，就能够实现音视频的处理。这种音视频处理框架减轻了用户的选择负担，能够根据用户的现实需求进行有效的调用，对于提高音视频处理效果和满足音视频处理需要具有重要意义。与此同时，Gstreamer音视频处理框架，能够做到根据用户的实际需求进行有针对性的选择，在具体的音视频处理过程中，能够与其他的处理程序进行有效的融合，既提高音视频处理效果，同时也能够保证音视频的处理达到相应的处理标准。所以，我们应当掌握Gstreamer音视频处理框架，并对这一框架有较为深入的了解。

2.2Farsight视频会议框架

Farsight是以Gstreamer为基础开发的视频会议框架，它能够提供一套完整的为多媒体流协议编写插件的应用程序接口，同时还为用户提供应用程序编程接口（Application Programming Interface，API）调用这些插件。

在音视频处理框架中，除了Gstreamer音视频处理框架之外，在Gstreamer音视频处理框架的基础上，又发展产生了Farsight视频会议框架，这种视频会议框架既能够提高音视频处理的效果，同时又能够满足音视频处理的需要，对于快速处理音视频和进行音视频电话会议有着重要的推动和促进作用，这一音视频处理框架在实际的运用过程中得到了多数用户的追捧，并且取得了积极的应用成效。这一视频会议框架，由于以Gstreamer音视频处理框架为基础，在关键功能上对Gstreamer音视频处理框架进行了有效的修补和升级，同时在整体功能上也有更强的针对性，为此我们应当加强对Farsight视频会议框架的了解。将Farsight的视频会议框架作为当前音视频处理技术的主要框架来了解，同时在即时通信系统中有效地应用Farsight视频会议框架，保证音视频处理能够达到预期目标。

3　即时通信系统中音视频通信的实现

3.1即时通信系统的开发思路

为了开发的便捷，Pidgin软件的开发者将负责通信部分与图形用户界面部分分开，分离出来的核心代码构成即时通信客户端开发的核心部分，被称为Libpurple。这个程序已被Adium与Proteus这些客户端使用。

在即时通信系统音视频通信实现过程中，首先应当掌握即时通信系统的开发思路。从目前即时通信系统的开发思路来看，主要的开发思路是将负责通讯部分图形用户界面部分分开，保证即时通信系统在音视频处理过程中能够有专属代码进行应用。同时还能够根据通信的实际需要，进行通信协议和源代码的完善，使得即时通信系统在音视频通信过程中能够有正确的思路作为支撑。从当前即时通信系统中音视频通信框架的构建来看，这种即时通信系统开发思路，能够满足音视频通信需要。并且由于将通信部分与图形用户界面部分分开，使得音视频通信功能得到了有效地加强，对于提高语音视频通信能力和满足音视频通信需要起到了重要的促进作用。因此我们应当重视即时通信系统开发思路的研究，并且在即时通信系统中音视频通信的实现过程，将开发思路作为重要的因素来看待。

3.2即时通信系统流媒体模式分析

在Libpurple中，为实现多媒体通信，开发者将基于Farsight的多媒体处理框架进行继承和封装，实现即时通信协议，并提供接口供用户使用。

在即时通信系统音视频通信实践过程中，流媒体模式成了保证音视频通信能够有效实现的关键模式。通信协议是在原有通信协议的基础上进行的升级和再造，对于提高通信协议的适用性和做好与其他通信接口的对接有着重要的作用。与此同时，流媒体模式也是用语音视频通信的信号传输，对于解决信号传输过程中的传输困难和信号不稳定问题都有着较大的帮助。因此我们应当认识到流媒体模式的优点，并且在即时通信系统音视频实现过程中，将流媒体模式作为主要的信号传输模式来看待，积极利用流媒体模式所形成的新的通信协议，做好与其他接口的对接。

3.3即时通信系统音视频通信模式分析

Farsight通过选择不同的连接通道，将音视频数据流通过发送器进行发送。Libpurple中实现了Jingle协议进行RTP通信的规范，并提供两种数据通道，RAWUDP和ICE-UDP供用户使用。

在即时通信系统中，音视频通信模式关系到音视频通信的质量和通信的效果，这种双通道的音视频通讯模式具有一定的优势，在实际的运用过程中也取得了积极的效果，能够解决音视频通信数据拥堵问题，同时能够根据客户的实际需要进行合理地选择和调整，在实际应用过程中有较强的优势。按照目前即时通信系统音视频通信的实际需要，双数据通道的通信模式得到了具体的应用，在实际的应用过程中也取得了积极的效果，既满足了用户的实际需求，同时也提高了音视频通信效率，对于满足音视频通信需要和解决音视频通信过程中存在的问题具有重要作用。

4　结语

通过本文的分析可知，在即时通信系统中对音视频进行处理应当掌握具体的音视频处理技术，结合音视频处理实际，在即时通信系统中，要想提高音视频处理效果，就应当掌握即时通信协议的概念和内容，并且对音视频处理框架有正确的认识，同时还应当做好对即时通信系统中音视频通信实现过程的了解，为即时通信系统音视频处理奠定良好的技术基础，满足音视频处理的实际需要。

[1]黄伟敏.基于XMPP协议的Android即时通信系统设计[J].电子设计工程，2011（8）：57-58.

[2]马瑞竹，吴锦强，屈静.关于通信系统的应用研究[J].中国新技术新产品，2011（2）：51.

[3]孙震强，董智明.利用即时通信实现人机共享的方案研究[J].移动通信，2010（15）：44-46.

[4]苑为，陶卓彬.即时通信软件点对多音视频交互功能分析与实现[J].电脑编程技巧与维护，2010（19）：58-61.

[5]魏明亮.基于RCS的即时通信系统的设计实现与验证[D].北京：北京邮电大学，2011.

[6]范治宇.基于Web的移动P2P即时通信系统的设计与实现[D].长春：吉林大学，2011.

Analysis of audio and video processing technology in real time communication system

Jia Weiwei
（96616 Troops, Beijing 100085, China）

In the research process of audio and video processing technology in instant communication system, we should start from the concept and content of instant communication protocol, grasp the audio and video processing framework, finally master the practice process of audio and video communication in instant communication system, and strengthen the acquaintance of audio and video processing technology in instant communication system.

instant communication system; audio and video; processing technology

贾玮玮（1981— ），女，北京。