即时通信系统音视频处理技术研究

曹亮

摘要：随着互联网的快速发展，基于网络条件下的即时通信从最早时期的消息聊天转变为具有音视频功能的综合性程序。现阶段音视频即时通信方式主要有点对点视频、视频会议以及视频语音电话等，即时通信系统最为重要的标准就是传输过程的质量。本文将系统分析即时通信相关概念，有针对性的分析音视频处理技术并提出了相应观点，具有一定参考借鉴价值。

关键词：即时通信;音视频;处理技术

中图分类号：TN919.8 文献标识码：A 文章编号：1007-9416（2019）03-0046-01

在即时通信系统中实现音视频通信功能的核心主要包括音视频处理框架以及即时通信协议。从现阶段的即时通信音视频处理相关技术来看，可以有效解决音视频通信过程中所遇到的一些问题，确保即时通信能够正常运行。根据即时通信系统的工作原理可知，音视频在使用运行过程中需要遵守即时通信协议，同时还需要符合相应的框架。

1 即时通信协议的概述

1.1 即时通信协议概念分析

首先需要充分了解即时通信协议的概念，它主要是指即时通信过程中所需要遵循的基本规则，负责完成用户信息传输通道的协商以及客户端与服务器之间的控制等。现如今即时通信是我们日常生活中不可缺少的一部分，当信息在传输过程中只有当符合相应的即时通信协议才可以有效实现信息传输，进而确保信息传达的准确性与及时性[1]。从现阶段即时通信协议的概念上来看，即时通信协议具有着直观重要的作用，同时是即时通信系统的基础条件之一。

1.2 即时通信协议相关内容分析

目前较为常用的即时通信协议为会议初始化协议SIP以及可扩展通信和表示协议XMPP两种，上述两种即时通信协议都可以完成音视频通信的功能。除此之外，还有一些企业拥有自主开发的即时通信协议来实现相对封闭的信息传输通道，如早起的MSN以及现在的QQ。现阶段XMPP是主流的即时通信协议之一，它主要是基于可扩展标记语言XML协议，集成了XML的高扩展性，进而通过发送扩展的信息来满足用户的需求。XMPP协议其实是一个总的称呼，它主要包括了核心协议、扩展协议等，核心协议仅仅只规范了部分的功能，大部分即时通信功能都是通过扩展协议实现的。

通过对即时通信协议发展分析可知，即时通信协议的类型非常多，在即时通信协议制定以及使用的过程中具有着多种应用方式，但根据类型来分析，形成了两种主要的即时通信协议体系，这两种体系既可以满足日常即时通信及音视频功能的需求，还可以有效避免通信过程中信号斜街困难，使得通信协议衔接能够没有任何障碍。

2 音视频处理框架分析

音视频处理框架对于即时通信系统而言非常重要，它主要是为用户提供一组多媒体数据处理的接口，用户能够通过所提供的接口实现从多媒体采集卡上获得数据，还可以进行压缩编码、格式转换等其它操作，之后用户就可以通过所提供的接口从多媒体数据采集卡中获得所需要的数据，除此之外还可以进行其它一系列的操作，如编码以及各式转换，进而能够有效实现多媒体的实时传输工作，可以加快即时通信音视频的处理速度[2]。目前能够进行二次开发功能的音视频处理框架有：Gstreamer、Directshow，Opencore等。Gstreamer是微软公司所推出的基于COM的流媒体处理开发包;Directshow可以方便的从支持Windows驱动模型的采集卡中获得数据，并且进行相应的后期操作，甚至还可以实现储存功能;Opencore则是手机操作系统中的核心，主要运用在Android多媒体，它的代码非常庞大，主要是基于C++实现。

2.1 Gstreamer音视频处理框架分析

Gstreamer通过模块化的设计理念，可以更加便捷的构建流媒体应用程序。它能够将各个模块封装起来，通过元件的形式供用户进行使用。用户则可以通过库中原有元件进行应用程序的编程，同时还可以进行编写元件，之后插入到数据库之中，以便于后期的使用。即时通信系统中的音视频处理需要专门的处理矿建，其中基本都采用的为模块化设计，Gstreamer音视频处理框架可以将音视频处理功能分别转变为具体的模块，进而实现对音视频的处理。这种音视频处理框架不仅可以减轻用户的选择负担，同时还可以让用户根据实际需求进行调用。Gstreamer音视频处理框架能够做到根据用户的实际需求来针对性的进行选择，在具体的处理过程中同时还可以与其它程序有效融合，既可以有效提高音视频的处理效果，同时也能够轻松达到音视频的处理标准，因此应当深入研究Gstreamer音视频处理框架。

2.2 Farsight视频会议框架

通过Gstreamer开发库中所具有的基礎元件完成音视频的处理工作，同时还可以在局域网内部使用视频通信。但是视频会议通常会包括多个多媒体会话，而且让各个多媒体会话之间实现协调是非常复杂的，因此只有更为高级的处理框架才可以完成这样的任务。其中Farsight就可以实现满足这些要求，它主要是在Gstreamer为基础所研究出来的视频会议框架，它具有一套完整的为多媒体流协议编写插件的应用程序接口。即时通信相关程序可以通过Farsight来进行音视频会议，无需担心底层数据流以及NAT穿越问题。这些最主要是因为Farsight是基于Gstreamer所开发的，研发出来的新元件与Gstreamer原有的元件进行结合实现视频会议处理框架的构建[3]。

Farsight包括了4个核心内容：会议、会话、参与者以及流。会话参与者主要是指多媒体数据源，如音频或视频;会话则是指视频会话，通常为一个输出端;会议则是指一个多媒体会话，可以由多路会话组成，并实现对多路会话进行管理;当参与者进入到会话时，就可以将多媒体数据引入其中，使得数据能够进行流动，进而形成数据流。

3 即时通信系统中音视频通信实现分析

即時通信系统中音视频通信实现首先需要充分了解通信系统的研发思路，从现阶段发展来看主要是将负责通信部分图形用户界面部分进行分开，确保即时通信的音视频在实际处理的过程中能够具有自身专属代码进行应用。同时为了能够满足通信的其它需求，需要对通信协议以及源代码进行完善，确保即时通信系统能够具有正确的思路作为支撑。从目前的即时通信系统音视频构建框架来看，如今的研发思路已经能够满足音视频的基本需求，其次当通信部分与图形用户界面分开后，音视频的通信功能可以得到极大的增强，能够有效提高音视频的通信效果。所以应当重视即时通信系统的研发思路，并在高质量即时通信音视频的实现过程中将其视为重要的因素。

4 结语

综上所述，即时通信系统音视频处理技术更新变得非常频繁，同时也可以为用户提供更为丰富和个性化的使用体验，因此相关技术研发人员应当高度重视。在即时通信中若想有效提高音视频处理效果，应当充分掌握即时通信协议及其相关概念，并且能够对音视频处理框架具有深刻的认知，这样才可以更好的实现即时通信中音视频的通信。

参考文献

[1] 徐文莉，熊燕，李燕.P2P即时通信系统关键技术研究及应用[J].软件导刊，2017，16（09）：151-153+157.

[2] 贾玮玮.即时通信系统中的音视频处理技术分析[J].无线互联科技，2016（20）：1-2.

[3] 苏育挺，金富玉，张承乾.即时通信系统中的音视频处理技术[J].电视技术，2012，36（01）：37-40.

Research on Audio and Video Processing Technology of Instant Messaging System

CAO Liang

（Shenzhen Guanxu Electronics Co.， Ltd.，Shenzhen Guangdong  518117）

Abstract：With the rapid development of the Internet， instant messaging based on network conditions has changed from the earliest messaging chat to a comprehensive program with audio and video functions. At present， there are mainly point-to-point video， video conferencing and video voice telephone， etc. The most important standard of instant messaging system is the quality of transmission process. This paper will systematically analyze the related concepts of instant messaging， pertinently analyze the audio and video processing technology and put forward corresponding views， which has a certain reference value.

Key words：instant messaging; audio and video; processing technology