视频会议传输系统

于RTP 的H.323视频会议系统音视频同步 2012年09月21日 15:27 来源：计算机系统应用 作者：秩名 我要评论(0) 标签：视频会议系统(32)RTP(8)H.323(6) 摘 要： 针对H.323 视频会议系统设计了一种基于RTP 的音视频同步方法，该方法在严格遵守RTP 协议的前提下，将音视频数据联系起来通过同一个媒体通道传输，从而达到唇音同步的目的。实验表明：该方法在对图像质量影响很小的情况下，很好地实现了音视频的同步播放，并且具有实现简便，不增加系统负担等优点，具有广泛的实用性。

H.323 视频会议系统中，发送端同时采集到的音视频数据能在接收端同时播放，则认为唇音同步。终端采集到的音视频数据肯定是同步的，要保证同时播放，就要保证音视频在采集和播放处理过程中消耗的时间相同。IP 网络的特点决定了通过不同通道的音视频数据传输所消耗的时间不可能完全相同，唇音同步是视频会议系统中的一大难题。如果同时采样的音视频数据播放时间偏差在［-80ms，+80ms］以内，用户基本上感觉不到不同步， 一旦超出［-160ms，+160ms］，用户就可以明显感觉到，中间部分是临界范围。

1 引言 1.1 文章安排 本文第2 节分析了现有的音视频同步方案的缺点。第3 节详细描述了本文所设计方案的实现过程。第4 节给出实验数据以及分析结果。第5 节给出结论。

1.2 基本介绍 H.323 视频会议系统中，音视频不同步现象产生的原因除了网络环境外，还有一个是音视频的分开传输。虽然H.323 建议音视频通过不同道道传输，但是实际传输数据的RTP［2，3］协议和其底层的UDP 协议都没有规定一对连接只能传输音频或者视频中的一种，通过同一个通道传输音视频完全可能，而且这样可以最大程度的减少网络原因引起的音视频不同步，本文给出了这一设想的实现方案，并做了验证。

2 现有解决方案 目前最常用的唇音同步方法从思路上可以分为以下两类： 思路一，发送端给每个要发送的RTP 包打上时戳，记录它们的采样时间。接收端通过增加延时等方式，保证同时采样的数据同时播放。这类方法的实现需要一个中立的第三方参考时钟，需要有RTCP 协议的SR［2，3］的参与， 如果这两个条件不具备，同步就失去了依据。

思路二，唇音不同步本质上是由H.323 视频会议系统中音视频的分开传输和处理导致的，如果采用某种方法将音视频信息关联起来，就可以有效的避免不同步现象。一种实现方案是，将音频按一定的对应关系嵌入到视频中传输，接收端从视频中提取音频数据并重建，从而达到唇音同步的目的［4］。该方案实现较复杂，而且采用非标准的RTP 实现方式，会给不同厂商H.323 产品间的互通带来困难。

3 一种新的音视频同步方法 本方法基本思路是：在音视频数据的采样、编码、打包、发送、网络传输、接收、网络异常处理、拆包、解码、播放这十个处理过程中，采集、编码、打包、拆包和解码的时间基本上固定，不会因为网络环境差异造成时延的差异，而发送、网络传输、接收、网络异常处理四个过程则具有较大的随机性，其处理时间会随着网络性能的不同有较大的差异，进而造成播放时音视频的不同步。因此唇音同步处理的重点就在于保证发送、网络传输、接收、网络异常处理这四个过程中音视频的同步，即图1 中发送同步到组帧同步之间的部分。

图1 唇音同步实现全过程 其他处理过程引起的时间差，只要在系统稳定后给音频加上固定的延时即可，因为一般情况下，音频处理所花的时间比视频处理少，具体的差值可多次实验统计得到。

RTP 协议规定每个RTP 包中所承载的有效载荷类型（PT）是唯一的，但是如果将音视频通过同一个通道传输，并且保证同一时刻采集到的音视频帧顺次交错发送，则既能保证音视频在传输中的同步，又遵守了RTP 协议。音频数据量较小，一个RTP 包即能承载一帧，一个视频帧则需要多个RTP 包承载，帧结束标志采用RTP 包头中的Mark 字段，该字段为1，则说明当前包是一帧的结束包。

依据上述思想，方案具体实现过程设计如下： （1） 发送端分别独立的对音视频信息进行采样，组帧和打包，然后放到各自的缓冲队列中等待发送（2） 数据发送模块从发送缓冲中取数据，1） 从音频缓冲队列中取一个包（一帧）；2） 从视频缓冲队列中取数据，每取一个包，都判断RTP 包头的Mark 字段是否为1，如果为1，说明当前视频帧已经取完，转1），如果Mark 字段为0，说明当前视频帧还未取完，转2）；（3） 音视频数据通过同一个通道发送到网络；（4） 接收端收到数据，根据包头中的PT 字段区分音视频，放到各自的接收缓冲队列中进行请求丢包重传、乱序重排等网络异常处理［5，6］，然后进入组帧缓冲等待解码器取走数据，进入组帧缓冲的数据没有乱序包和重包，偶有丢包；（5） 音视频各自拆包组帧，实现过程如图2 所示： 图2 组帧同步实现原理图。 （6） 音视频从各自的解码缓冲队列中按顺序取数据送解码，通过组帧过程中给音视频数据加上的本地时戳来校准后同步播放。 数字调音台在整合视频会议系统中的应用 2010年12月25日 11:54 本站整理 作者：佚名 用户评论（0） 关键字：视频会议(31)数字调音台(2)

全国各级公安系统自上而下建立起的视频会议系统，对于快速反应应急通信保障以及警令的畅通都起到了非常重要的作用。鉴于此设备不能在关键时刻出问题，因此公安部到省( 区) 厅图像控制中心建立4套视频会议系统，省到市也建有至少一套系统。由于需要会场越来越多，电视电话会议室、指挥中心、部直接与图像控制中心等等，如此多的会议系统同时使用并确保正常运行，以往的解决方法是摆放几台调音台进行互联，同时召开会议的时候就临时把所需要的音频信号重新调整插拔到分开的调音台上，让彼此相互独立，从而达到互不干扰的效果。但是此种方式有很多弊端，一般不熟悉调音台的技术人员无法进行会议系统的操控，同时调音台插口经过频繁的插拔，容易使接口处接触不良，造成隐性技术故障，不易排查。

为了解决上述问题，笔者利用数字调音台雅马哈LS-9 为核心整合视频会议系统的音频信号，取得了非常理想的效果。一般不了解调音台性能的技术人员极易上手操作会议系统。

1 数字调音台的概述 数字调音台是带有电脑液晶显示屏的调音设备，具有多路输入和输出，每一路输入和输出均可由电脑操作显示完成。数字调音台还包含了效果器、混响器、均衡器以及压缩、扩张、限制器等周边设备的数字处理器，有多种操作菜单可供调用。

由于数字信号在总谐波失真和等效输入噪声这两项指标上可以轻易地做得很高，并且其所有功能单元的调整动作都可以方便地实现全自动化。数字调音台的主要特点如下。

1) 操作过程的可存储性。数字调音台的所有操作指令都可存储在一个磁盘上，从而可以在以后再现原来的操作方案。

2) 信号的数字化处理。调音台内流动的是数字信号，可以方便地直接用于数字效果处理，而不必经过数/ 模、模/ 数 转换，简单方便。

3) 数字调音台的信噪比高和动态范围大。变通的噪声干扰源对数字信号不起作用，因而数字调音台的信噪比和动态可以轻易地做到比模拟调音台好10 dB，各通道的隔离度可达110 dB。

4)20 bit 的44.1 kHz 取样频率， 可以保证20 Hz~20 kHz 范围内的频响不均匀度小于±1 dB。 5) 每个通道都可方便地设置数字压缩限制器和降噪扩展器，可用于对音源进行必要的技术处理。

6) 数字通道的位移寄存器，可以给出足够的信号延迟时间，以便对各声部的节奏同步作出调整。

7) 立体声的两个通道的联动调整十分方便。因为通道状态调整过程中，所有的数据可以方便地从一个通道复制到另一个通道。

8) 数字式调音台设有故障自动诊断功能。 2 方案的实现 在音频信号的汇集点图像控制中心，使用雅马哈LS-9 数字调音台作为系统的控制核心，系统构成见图1。

该调音台具备16~64 路输入通道数量，特别具备多达16~32 路可各自调节设置的MIX 混音输出通道，而且每一个输入输出通道都有功能强大的音频动态处理，相当于一台功能强大而又使用方便直观的数字音频矩阵。

同时该调音台还具有USB 接口供存储录音机、播放机以及全面的场景存储和回叫，以及随时用外部预先连接跳线的效果器和推子前辅助混音进行*。LS-9 的效果器提供了34 种不同类型的效果，数字调音台采用线性20 bit A/D.D/A 转换器件，动态范围为105 dB，采样频率为44.1 kHz 和48 kHz。利用LS-9 强大的混音功能和全面的场景存储回叫完成多路音频信号的整合。

1) 音频信号组网模式 首先在信号汇集点图像控制中心放置两台LS-9，其中一台用来汇集各个会场以及公安部的音频信号，另一台用来接收和发送各市的音频信号;其他每个会场放置一台普通的调音台即可，用于与中心交换音频信号，如图1 所示。

图1 图像控制中心系统构成 2) 详细进行场景的规划 这个步骤很关键，不同的会场具有详细的不同用途，每一次会议使用的会场都不尽相同，因此多个会议同时召开时，会场的利用就会存在多种组合，这就要求务必做好会前具体情况的分析，罗列出可能存在的情况，做到有备无患，避免出现问题措手不及。

通常有什么样的具体场景呢?例如，针对各省中央控制点图像控制中心视频通话设为A，为场景1 ;利用电视电话会议室单独对各市召开电视电话会议，设为B，为场景2。当场景1 和场景2 不在一个时间段出现，两者都是相互独立的场景，不会产生任何的相互影响。

当场景1 和场景2 需要在同一时间段分别召开会议时，两者不能进行混音，就会存在冲突现象，因此这就要求在LS-9 上设置场景3，即A ∪ B，两者同时进行但互不干扰。同理，针对各省召开视频会议时，用到的是电视电话会议室，并且各市也需要参加会议，此时应该设置场景4 以满足此种情况的出现，即在LS-9 上设置A ∩ B 的情形，两个视频会议都需要进行混音。

以此类推，不管存在多少个会议，存在多少个会场，都可以按照这个方法，事先把场景规划好，并设置好各类参数存储，操作人员都只需要对号入座，一键调用场景即可。

3) 利用全面的通道功能、直观的Selected Channel来设置参数 LS-9 调音台具有强大的通道功能，它们的操作就类似一个直观方便的数字音频矩阵，在每一个场景中，每一路音频输入信号全部送入LS-9 的16 路通道，只需要根据场景的定义，把16 路中需要进行混音输出通道的MIX 母线旋钮打开到合适位置，同时把向本方返回的这一路MIX 母线关闭即可;同时音频输入、输