视频同步
- 格式:doc
- 大小:343.50 KB
- 文档页数:5
剪映旋转同步怎么操作方法剪映旋转同步是一种常用的视频编辑操作,它可以让你将视频进行旋转与同步操作,使得视频在播放时能够达到更好的观看效果。
下面我将为你详细介绍剪映旋转同步的操作方法。
首先,打开剪映编辑器,进入到你要编辑的视频页面。
接下来,选择要编辑的视频,在视频的右下角点击“编辑”按钮。
1. 旋转视频:在视频编辑页面的右下角,有一个图标显示为一个旋转箭头。
点击该图标,即可对视频进行旋转操作。
图标的样式分为两种,一种是顺时针旋转的箭头,另一种是逆时针旋转的箭头。
点击该图标一次,视频会顺时针旋转90度;点击两次,视频会旋转180度;点击三次,视频会逆时针旋转90度。
你可以根据需要点击相应的次数进行视频旋转。
如果想要恢复视频到原始状态,可以再次点击旋转箭头图标即可。
2. 同步视频:剪映旋转同步功能可以让你的视频与音频保持同步。
如果你的视频和音频不同步,你可以通过以下操作来进行同步操作:(1)点击视频编辑页面右下角的“同步”按钮。
(2)在弹出的界面中,你可以拖动一个滑块来调整视频和音频的同步情况。
当滑块向左移动时,视频会提前于音频播放;当滑块向右移动时,视频会延迟于音频播放。
你可以通过观察视频和音频的同步情况,来调整滑块的位置,确保视频和音频能够同步播放。
当滑块的位置调整到你满意的位置后,点击“确定”按钮即可完成同步操作。
3. 保存和导出:当你完成了对视频的旋转和同步操作后,点击页面右上角的“完成”按钮。
在弹出的界面中,你可以对视频进行裁剪、添加滤镜和音乐等操作。
完成后,点击“保存”按钮,即可保存你编辑的视频。
你还可以选择导出视频的格式和分辨率,并设置导出视频的质量。
点击“导出”按钮后,剪映会开始导出你编辑的视频,并在导出完成后自动保存到你的相册中。
剪映旋转同步的操作方法就是这样,你可以根据自己的需求进行旋转和同步操作,同时还可以进行其他的视频编辑操作。
剪映是一款功能强大、操作简单的视频编辑器,希望以上内容能够帮助到你。
使用AE进行音频与视频同步的技巧指南当我们编辑视频时,音频和视频的同步是非常重要的。
Adobe After Effects(AE)是一款功能强大的视频编辑软件,它提供了丰富的工具和功能,用于处理音频与视频的同步。
本文将为您介绍一些使用AE进行音频与视频同步的技巧指南。
一、导入音频和视频素材首先,在AE中创建一个新项目。
然后,将您想要同步的音频和视频素材导入到项目资源中。
您可以将它们直接拖放到资源面板中,或通过选择“文件”→“导入”→“文件”来导入。
二、创建合成并调整音频与视频素材在资源面板中,右键单击音频素材并选择“新建合成”。
然后,右键单击视频素材并选择“新建合成”。
这样,AE将为音频和视频素材分别创建两个合成。
三、设置合成音频和视频的时长打开音频合成,您会看到合成的时长与音频素材一样长。
在合成设置窗口中,可以根据需要调整合成的时长使其与视频素材保持一致。
选择“合成”→“合成设置”并设置合成的时长。
四、对齐音频和视频将音频合成和视频合成拖放到“时间轴”面板中。
确保它们位于同一时间轴上。
然后,可以使用时间拉伸工具来调整音频和视频的时长,以确保它们完全同步。
五、调整音频和视频音量在AE中,您可以精确调整音频和视频的音量,以确保它们在播放时保持平衡。
选中音频合成,在“效果控制”面板中选择“音频”→“音频级别”。
在这里,您可以调整音频的整体音量或应用音频效果。
六、添加转场与效果AE提供了丰富的转场效果和视频特效,您可以根据需要在音频和视频之间添加转场效果来增强观看体验。
选择音频和视频合成,在“效果控制”面板中选择适当的转场或效果,并将它们应用到合成上。
七、导出同步后的音频与视频完成所有调整和编辑后,可以导出同步后的音频与视频。
选择“文件”→“导出”→“添加到Adobe Media Encoder队列”,然后在Adobe Media Encoder中选择适当的输出设置并导出。
结论使用AE进行音频与视频同步需要一些技巧和经验。
影片音频配准教程:Final Cut Pro的音视频同步方法在视频编辑的过程中,正确地将音频与影片同步是非常重要的。
失去音视频的同步将会破坏观影体验,并可能引起观众的不满。
幸运的是,Final Cut Pro提供了一些简单但有效的方法来确保音视频的同步性。
在本教程中,我们将介绍一些常用的音视频同步方法,以帮助您更好地编辑您的影片。
第一种方法是使用Final Cut Pro中的自动音频同步功能。
首先,导入您的影片和音频文件。
确保两者之间有一个共同的参考点,例如影片中的一句对白或音频中的一个特定声音。
在Final Cut Pro中,在项目库中选中您的影片和音频,然后右键单击选择“自动同步音频”。
在弹出的对话框中,选择您的参考点,并点击确定。
Final Cut Pro将自动将您的音频与影片同步,并将其添加到您的项目中。
第二种方法是手动调整音视频的时间轴。
在Final Cut Pro中,您可以拖动影片和音频的时间轴来手动进行同步调整。
确保您在Timeline中选择了音频和影片的轨道,然后使用鼠标或键盘上的箭头键来微调它们的位置。
您可以根据音频波形和影片中的动作来判断它们是否同步。
这种方法可能需要一些尝试和错误,但在一些情况下,它可能是最准确的方法。
除了以上两种方法,Final Cut Pro还提供了一些高级的音视频同步方法,如使用时间代码或使用外部设备进行同步。
这些方法需要更多的专业知识和设备,并且超出了本教程的范畴。
但是,如果您需要更准确和精确的音视频同步,您可以进一步研究这些方法。
在进行音视频同步时,还有一些额外的技巧可以帮助您更好地完成任务。
首先,始终使用高质量的音频和视频文件。
低质量的文件可能会导致失真和不正确的同步。
其次,使用好的耳机或音响来审听和观看您的影片。
这将帮助您更好地判断音频和视频之间的同步情况。
同时也提醒您,在编辑过程中多次审查和测试音频与视频的同步性以确保最终效果符合要求。
总结起来,使用Final Cut Pro进行影片音频配准并保持良好的音视频同步是非常重要的。
视频内同步与外同步有什么区别
视频内同步与外同步有什么区别
不管是标清还是⾼清信号均可以采⽤内同步及外同步⽅式传送视频信号。
所谓内同步,就是图像数据与同步信号均包含在图像数据中,标清时⼤多采⽤ITU-656,⾼清时采⽤BT-1120
所谓外同步,就是图像数据与同步信号单独传送,标清时采⽤ITU-601标准,⾼清时采⽤CEA-861标准
⼀般地,因为内同步是将图像与同步信号⼀起传送,因此会有同步分离机制,所以亮度及⾊彩不可能全编码,以8BIT为例,可以传送的范围为0-255,但因同步⼀起传送,实际编码不可能有256范围,在ITU-656中⼤多采⽤16-235,⽽ITU-601因为采⽤外同步,可以传送0-255 范围的数据。
因此,内同步的⾊采及亮度在细节上没有内同步好。
但是,在串⾏编码及低带宽传送中,内同步可以减少数据流,因此,通过内同步传送图像虽然⾊彩有⼀定的损失,但可以换来更低的带宽。
解决音频和视频不同步的问题问题描述:在观看视频或者听音频的过程中,我们经常会遇到音频和视频不同步的情况。
这种问题让我们的观影、听音体验大打折扣,因此寻找解决音频和视频不同步的方法变得尤为重要。
本文将为大家介绍几种解决音视频同步问题的途径,希望能够帮助大家享受更好的媒体播放体验。
一、调整硬件设置首先,我们应该检查和调整硬件设置。
有时音频和视频不同步是由于我们使用的设备引起的。
我们可以尝试以下方法来解决这个问题:1. 更新驱动程序:确保你的声卡和显卡驱动程序是最新的,以确保设备正常工作并保证音视频同步。
2. 调整音频设置:在电脑系统或者媒体播放软件中,我们可以尝试调整音频设置来解决音视频同步问题。
比如,可以尝试调整音频缓冲区大小或者改变音频采样率。
3. 调整视频设置:同样地,我们也可以调整视频设置来解决音视频同步问题。
尝试更改视频的帧率、分辨率或者使用硬件加速等方法。
二、使用专业的音视频同步工具如果硬件设置调整后仍然存在音视频不同步的问题,我们可以尝试使用专业的音视频同步工具来解决。
这些工具通常具有强大的同步功能,可以更精确地调整音频和视频的同步关系。
1. VLC Media Player:这是一款免费且功能强大的媒体播放器,它提供了音频和视频同步的调整选项。
通过进入“工具”→“同步处置”的选项,可以调整音频和视频之间的同步关系。
2. Avidemux:这是一款专业的视频编辑软件,它也提供了音视频同步调整的功能。
通过对视频文件进行重新编码或者调整时间轴,可以实现音视频同步。
三、转换媒体文件格式另一种解决音视频不同步问题的方法是转换媒体文件的格式。
有时候,不同的视频播放器或者音频播放器对媒体文件的支持度不同,从而导致了音视频不同步的问题。
通过转换媒体文件的格式,我们可以尝试解决这一问题。
1. 视频转换器:使用专业的视频转换器软件,将视频文件转换为支持的格式。
这样可以确保视频的播放和音频的同步。
2. 音频转换器:同样地,我们也可以使用音频转换器将音频文件转换为支持的格式,以确保音频和视频的同步。
Adobe Premiere Pro中的视频速度匹配和同步技巧Adobe Premiere Pro是一款功能强大的视频编辑软件,它提供了许多有用的功能和工具,帮助用户轻松编辑和制作高质量的视频。
在视频编辑过程中,有时需要调整视频的速度,以实现特定的效果或达到音视频的同步。
本文将介绍一些Adobe Premiere Pro中的视频速度匹配和同步技巧。
1. 改变视频速度要改变视频的速度,可以在Premiere Pro的时间轴中选中要调整速度的视频片段。
然后,通过右键点击片段,选择“速度/持续时间”选项。
在弹出的对话框中,可以选择将视频速度加快或减慢,也可以手动输入一个特定的速度值。
调整完成后,点击“确定”即可应用新的速度设置。
2. 速度匹配当需要将多个视频片段调整到相同的速度时,可以使用PremierePro的速度匹配功能。
选中第一个视频片段,右键点击并选择“速度/持续时间”选项。
在对话框中,记录当前的速度数值。
然后,选中其他要调整速度的视频片段,右键点击并选择“速度/持续时间”选项。
在对话框中,将速度数值修改为之前记录的数值,并点击“确定”应用新的速度设置。
这样,所有选中的视频片段都将匹配到相同的速度。
3. 音视频同步有时在拍摄视频时,音频和视频的同步可能会出现问题。
在Premiere Pro中,可以通过调整视频或音频的速度来实现音视频同步。
首先,选中要调整的视频或音频片段,然后右键点击并选择“速度/持续时间”选项。
在对话框中,可以通过增加或减少速度来修复音视频同步的问题。
如果音频比视频慢,可以加快视频速度;如果音频比视频快,可以减慢视频速度。
通过反复尝试调整,可以找到最适合的速度,实现音视频的同步。
4. 使用关键帧Adobe Premiere Pro还提供了关键帧功能,可以对视频的速度进行更加精细的控制和调整。
选中要调整速度的视频片段,在“效果控制”面板中找到“速度和持续时间”选项。
点击小钟表图标,可以添加关键帧。
剪辑中如何处理音频和视频同步性问题剪辑是视频制作过程中不可或缺的一部分。
在剪辑过程中,一个常见的问题是处理音频和视频的同步性问题。
如果音频和视频不同步,会导致观看体验差,甚至破坏整个视频的质量。
因此,正确处理音频和视频同步性问题至关重要。
下面将介绍几种常见的处理音频和视频同步性问题的方法,以帮助您更好地应对这个问题。
1. 预处理音频和视频文件在开始剪辑之前,确保您的音频和视频文件已经进行了预处理。
这包括检查音频和视频的质量,确保它们没有损坏或有其他技术问题。
如果发现问题,您可能需要重新导入或修复这些文件。
2. 在时间轴中进行手动调整如果发现音频和视频不完全同步,您可以手动进行调整。
在Adobe Premiere Pro中,您可以将视觉和音频轨道分开,并使用时间轴中的编辑工具来微调它们的位置。
您可以使用滑块工具或剪刀工具将音频和视频剪切,并移动它们到正确的位置。
这需要一些耐心和细心,以确保音频和视频的同步性。
3. 使用时间码进行匹配利用时间码可以更准确地匹配音频和视频。
时间码是视频和音频数据的时间参考标记,是一种用于标识特定时间点的数字编号系统。
Adobe Premiere Pro可以读取和显示时间码信息,从而使您更轻松地匹配音频和视频。
通过在时间轴中使用正确的时间码数值,您可以精确地将音频与视频同步。
4. 使用同步工具Adobe Premiere Pro还提供了一些实用的同步工具,可以自动调整音频和视频的同步性。
例如,"自动同步"工具可以通过比较音频和视频文件的声音波形来帮助您快速同步它们。
只需选择要同步的音频和视频文件,点击"自动同步"按钮,软件将自动调整它们的位置,使它们在时间轴上同步。
5. 处理音频延迟有时,音频和视频的同步问题可能是由于音频延迟引起的。
音频延迟是指在播放音频时,有一定的延迟时间。
您可以通过在Adobe Premiere Pro中调整音频延迟来解决这个问题。
解决音视频不同步:Adobe Premiere Pro同步处理与修正教程在视频剪辑制作过程中,经常会遇到音视频不同步的问题,这给最终的制作效果带来困扰。
而Adobe Premiere Pro作为一款专业的视频编辑软件,提供了多种方法来解决音视频不同步的问题。
在本篇教程中,我们将介绍一些常用的同步处理与修正技巧,希望能帮助到您。
1. 使用Premiere Pro的自动同步功能Adobe Premiere Pro提供了一种自动同步音频与视频的功能。
只需将音频和视频文件导入软件,选择它们并右键点击,在弹出的菜单中选择“合并剪辑”。
Premiere Pro会自动将它们同步,并创建一个新的合并剪辑,确保音频和视频始终保持同步。
2. 手动调整音频与视频的对齐关系在某些情况下,自动同步功能可能无法满足我们的需求。
这时,我们可以手动调整音频和视频的对齐关系。
首先,将音频和视频文件导入软件,在时间轴上将它们对齐。
然后,选中音频文件,在右键菜单中选择“时间”>“时间拉伸/收缩”,将拉伸比例微调,直到音频与视频完美对齐为止。
3. 使用“修剪”工具修正音频与视频在Premiere Pro中,还有一个强大的修剪工具可以用来调整音频与视频的同步。
将音频和视频导入软件,选择它们并将其拖放到时间轴上。
然后,在工具栏中选择“修剪”工具,并将其应用于音频或视频文件。
通过移动被选中的文件,可以微调音频和视频的对齐关系,以实现完美的同步效果。
4. 使用“时间偏移”效果修正音视频同步Premiere Pro提供了一个称为“时间偏移”的效果,可以用来调整音频和视频之间的时间差。
首先,将音频和视频导入软件,并将它们拖放到时间轴上。
然后,在“效果控制”面板中搜索“时间偏移”效果,并将其应用于音频或视频文件。
通过调整时间偏移的数值,可以微调音频和视频之间的时间差,达到同步的效果。
5. 使用“速度/持续时间”选项修正音视频同步另一种修正音视频同步的方法是使用“速度/持续时间”选项。
视频音频同步:Final Cut Pro中的音视频对齐方法视频音频同步是视频编辑过程中非常重要的一步,它确保了音频和视频在播放过程中的同步。
在Final Cut Pro软件中,有几种方法可以实现音视频的对齐。
本文将介绍一些常用的方法。
首先,Final Cut Pro提供了自动同步音频和视频的功能。
您可以选择将音频和视频文件导入到项目库中,然后选中它们,并在菜单栏中选择“片段”>“同步片段”。
在弹出的对话框中,您可以选择使用音频或视频作为同步点,然后点击“同步”按钮。
Final Cut Pro将自动对齐音频和视频,并将它们放置在一个新的片段中。
另一种常用的方法是使用波形对齐音频和视频。
在时间轴中,您可以将音频和视频层分开,并放置在相应的轨道上。
然后,您可以打开音频波形视图,通过观察波形形状来确定音频和视频的对齐点。
一般情况下,视频的关键帧和音频的峰值波形会有相应的变化。
您可以在时间轴上将音频和视频对齐,确保它们的波形形状相似。
当您对齐到一个合适的位置时,您可以在时间轴上标记该点,并进行微调,使音频和视频完全对齐。
此外,Final Cut Pro还提供了时间码对齐音频和视频的方法。
在播放器窗口中,您可以将音频和视频文件同时播放,同步地观察它们的时间码。
通过观察时间码的变化,您可以找到适合的对齐点。
在时间轴上,您可以将音频和视频文件拖动到合适的位置,将它们的时间码对齐。
除了以上方法,Final Cut Pro还提供了一些高级的音频对齐功能,例如使用时间压缩、时间拉伸等。
这些功能可以帮助您更精确地对齐音频和视频文件。
最后,当您完成音视频对齐后,您可以使用Final Cut Pro的编辑工具进行进一步的编辑和调整。
您可以对音频进行剪辑、变速、音量调节等操作,以实现更好的效果。
您还可以对视频进行剪辑、修复、调色等操作,使最终的视频音频更加完美。
总之,视频音频同步是视频编辑过程中不可或缺的一步。
在Final Cut Pro中,有多种方法可以实现音视频的对齐,例如自动同步、波形对齐、时间码对齐等。
将视频与音频进行同步的步骤Adobe Premiere Pro 是一款强大的视频编辑软件,它提供了多种工具和功能,方便用户进行视频编辑和音频处理。
在视频编辑过程中,确保视频和音频的同步是非常重要的,否则会导致观看体验不佳。
在这篇文章中,我将介绍一些将视频与音频进行同步的步骤,帮助你在编辑过程中解决相关问题。
步骤一:导入视频和音频素材首先,打开 Adobe Premiere Pro,并将你的视频和音频素材导入软件中的项目面板中。
你可以点击 "文件" 菜单,选择 "导入",然后选择你的视频和音频文件。
导入完成后,它们将会出现在项目面板中。
步骤二:创建序列要创建一个序列,你可以点击 "文件" 菜单,选择 "新建",然后选择 "序列"。
在弹出的对话框中,选择视频和音频素材的格式和帧率,然后点击"确定"。
创建完成后,你将在项目面板中看到新创建的序列。
步骤三:拖动视频和音频素材到序列上现在,你需要将视频和音频素材从项目面板拖动到序列面板上。
你可以选择并拖动视频素材到视频轨道上,然后选择并拖动音频素材到音频轨道上。
确保它们的起始位置对齐。
步骤四:对齐视频和音频素材有时候,由于不同设备或软件的处理方式不同,视频和音频素材之间的同步可能会存在差异。
如果你发现视频和音频之间有延迟或不同步的情况,你可以通过移动音频素材来对齐它们。
在序列面板中,你可以点击并选择音频素材,然后使用鼠标拖动来调整其位置。
通过观察迅速剪辑预览窗口中视频和音频的同步情况,你可以逐步调整音频素材的位置,直到达到最佳效果。
步骤五:剪辑工具同步音频除了手动调整音频素材的位置,Adobe Premiere Pro 还提供了一些剪辑工具来帮助你更精确地同步音频。
其中一种常用的工具是 "剪切和推动音频"。
你可以点击工具栏中的 "剪切和推动音频" 图标(一个剪刀和箭头)来激活该工具。
H.323视频会议系统音视频同步原理针对H.323 视频会议系统设计了一种基于RTP 的音视频同步方法,该方法在严格遵守RTP 协议的前提下,将音视频数据联系起来通过同一个媒体通道传输,从而达到唇音同步的目的。
实验表明:该方法在对图像质量影响很小的情况下,很好地实现了音视频的同步播放,并且具有实现简便,不增加系统负担等优点,具有广泛的实用性。
H.323 视频会议系统中,发送端同时采集到的音视频数据能在接收端同时播放,则认为唇音同步。
终端采集到的音视频数据肯定是同步的,要保证同时播放,就要保证音视频在采集和播放处理过程中消耗的时间相同。
IP 网络的特点决定了通过不同通道的音视频数据传输所消耗的时间不可能完全相同,唇音同步是视频会议系统中的一大难题。
如果同时采样的音视频数据播放时间偏差在[-80ms,+80ms]以内,用户基本上感觉不到不同步,一旦超出[-160ms,+160ms],用户就可以明显感觉到,中间部分是临界范围。
1 引言1.1 文章安排本文第2 节分析了现有的音视频同步方案的缺点。
第3 节详细描述了本文所设计方案的实现过程。
第4 节给出实验数据以及分析结果。
第5 节给出结论。
1.2 基本介绍H.323 视频会议系统中,音视频不同步现象产生的原因除了网络环境外,还有一个是音视频的分开传输。
虽然H.323 建议音视频通过不同道道传输,但是实际传输数据的RTP[2,3]协议和其底层的UDP 协议都没有规定一对连接只能传输音频或者视频中的一种,通过同一个通道传输音视频完全可能,而且这样可以最大程度的减少网络原因引起的音视频不同步,本文给出了这一设想的实现方案,并做了验证。
2 现有解决方案目前最常用的唇音同步方法从思路上可以分为以下两类:思路一,发送端给每个要发送的RTP 包打上时戳,记录它们的采样时间。
接收端通过增加延时等方式,保证同时采样的数据同时播放。
这类方法的实现需要一个中立的第三方参考时钟,需要有RTCP 协议的SR[2,3]的参与,如果这两个条件不具备,同步就失去了依据。
思路二,唇音不同步本质上是由H.323 视频会议系统中音视频的分开传输和处理导致的,如果采用某种方法将音视频信息关联起来,就可以有效的避免不同步现象。
一种实现方案是,将音频按一定的对应关系嵌入到视频中传输,接收端从视频中提取音频数据并重建,从而达到唇音同步的目的[4].该方案实现较复杂,而且采用非标准的RTP 实现方式,会给不同厂商H.323 产品间的互通带来困难。
3 一种新的音视频同步方法本方法基本思路是:在音视频数据的采样、编码、打包、发送、网络传输、接收、网络异常处理、拆包、解码、播放这十个处理过程中,采集、编码、打包、拆包和解码的时间基本上固定,不会因为网络环境差异造成时延的差异,而发送、网络传输、接收、网络异常处理四个过程则具有较大的随机性,其处理时间会随着网络性能的不同有较大的差异,进而造成播放时音视频的不同步。
因此唇音同步处理的重点就在于保证发送、网络传输、接收、网络异常处理这四个过程中音视频的同步,即图1 中发送同步到组帧同步之间的部分。
图1 唇音同步实现全过程其他处理过程引起的时间差,只要在系统稳定后给音频加上固定的延时即可,因为一般情况下,音频处理所花的时间比视频处理少,具体的差值可多次实验统计得到。
RTP 协议规定每个RTP 包中所承载的有效载荷类型(PT)是唯一的,但是如果将音视频通过同一个通道传输,并且保证同一时刻采集到的音视频帧顺次交错发送,则既能保证音视频在传输中的同步,又遵守了RTP 协议。
音频数据量较小,一个RTP 包即能承载一帧,一个视频帧则需要多个RTP 包承载,帧结束标志采用RTP 包头中的Mark 字段,该字段为1,则说明当前包是一帧的结束包。
依据上述思想,方案具体实现过程设计如下:(1)发送端分别独立的对音视频信息进行采样,组帧和打包,然后放到各自的缓冲队列中等待发送(2)数据发送模块从发送缓冲中取数据,1)从音频缓冲队列中取一个包(一帧);2)从视频缓冲队列中取数据,每取一个包,都判断RTP 包头的Mark 字段是否为1,如果为1,说明当前视频帧已经取完,转1),如果Mark 字段为0,说明当前视频帧还未取完,转2);(3)音视频数据通过同一个通道发送到网络;(4)接收端收到数据,根据包头中的PT 字段区分音视频,放到各自的接收缓冲队列中进行请求丢包重传、乱序重排等网络异常处理[5,6],然后进入组帧缓冲等待解码器取走数据,进入组帧缓冲的数据没有乱序包和重包,偶有丢包;(5)音视频各自拆包组帧,实现过程如图2 所示:图2 组帧同步实现原理图。
(6)音视频从各自的解码缓冲队列中按顺序取数据送解码,通过组帧过程中给音视频数据加上的本地时戳来校准后同步播放。
丢包判断实现细节说明:在终端的可靠性和代码的健壮性得到保证的前提下,发送端是不可能有包序号不连续的,对于接收端,本方案中的丢包,是指经过丢包重传等网络异常处理策略之后依然存在的丢包,必然是及其少量的。
本方法中的音频采样、组帧和打包是分开处理的,即音视频RTP 包号分别连续,所以一般情况,依据各自的包序号即可判断是否有丢包。
而对于一个会话中收到的第一个媒体包即丢失的情况,一旦出错,可能导致音视频播放时间整体错位。
本文通过发送端所加的RTP 包头中的时戳来避免这种情况,时间戳的计算公式如下:Timestamp(0) = (unsigned long) r and();Timestamp(t)=Timestamp(0)+△T*fr eq /1000;△T = T(t)– T(0),时间差,单位: ms;freq: 采样频率;H.323 视频会议中,与会各方的编解码协议、采样率、帧率等参数在打开通道后的能力协商阶段即已确定,要改变这些参数,必然要重新能力协商,而任何时候应用层都知道协商的结果。
所以只要规定一个会话中发送的头一个音频包和头一个视频包的时戳相同,即可由时戳来建立音视频包的对应关系。
实际上,视频数据头一帧的图像分成多个包传输,这几个包具有相同的时戳,同时丢失的可能性很小。
而且视频组帧解码过程中,还要分I 帧、P 帧和B 帧区别处理,比如每个GOP 中只要I 帧丢失,其后的P 帧和B 帧都必须丢弃,直到收到下一个I 帧,这已经超出了本文的研究范围,此处不再详述。
4 理论分析和结果验证理论上讲,采用本方法后,在网络状态良好时能做到音视频传输中的完全同步。
网络状态恶化时,随着丢包率的增加,同步效果会稍微变差,其中随机丢包比周期丢包对同步效果的影响更明显,这是因为随机丢包会引起更多的网络抖动。
而在帧率码率和编解码协议不变的情况下。
带宽越小,网络越容易拥塞,所以带宽降低时同步效果也会变差。
将本方案应用在开源的H.323 协议栈OPENH323 上[7],实现了一个简单的基于PC机的H.323 桌面终端。
两台终端建立会话,通过IP cloud 在两台终端间模拟各种复杂恶劣的网络环境,然后使用Wireshark 抓包,可以看到音视频包的发送接收时间以及有关包头信息,进而计算出传输中引起的音视频偏差时间。
考虑到算法的复杂度,本方案选择了相对较易实现的H.261 和GSM6.10 作为音视频编解码协议。
图3 是呼叫建立后在发送端10.21.11.121 上截的图。
发送端敲击麦克风,接收端看到敲击动作的同时听到敲击声,同步效果良好。
图3 验证平台--终端互通实现效果图。
终端10.21.11.121 在正常网络环境下,以512k 的带宽呼叫终端10.21.11.152,呼叫建立5 分钟之后用Wireshark 抓到的音视频数据包如图4 和图5 所示:图4 发送端音视频数据抓包。
图5 接收端音视频数据抓包。
随机选取了20 个这样的音视频组合,测得传输引起的音视频时间差值,求的平均值为0.000051s,即51μs.可以认为,在正常情况下,传输阶段不会引起失步。
多次改变呼叫带宽和网络丢包率,反复试验,得到的不同环境下由传输引起的音视频时间差如表1 所示。
表1 不同环境下由传输引起的音视频时差(单位:μs)。
由表1 中的数据可以看出,随着丢包率的增大,音视频失步有所增加。
并且相同丢包率下,随机丢包对同步效果的影响更明显,这和理论分析的结果完全吻合。
但是即便在播放阶段还有2%丢包这样恶劣的环境下,传输引起的音视频时间差仍然低于1000us.即:该方法将[-80ms,+80ms] 的同步范围的159/160 留给音视频处理和组帧解码阶段。
理论上讲,低带宽高丢包环境下,使用该方法后视频质量会有所下降。
这是因为,本文的算法增加了视频帧被丢弃的概率。
如图4 所示,每个CIF 格式的视频帧需要4 个H.261 的RTP 包来传输,其中任意一个包丢失都会使该帧成为无用帧被丢弃。
采用了本文的同步策略后,如果该视频帧对应的音频包丢失,该帧也会被丢弃。
这一点可以根据系统的实际需求做出取舍,比如用前一个包的重复播放来代替丢掉的音频包,而这样会增加音频播放的滞顿感。
这些问题正在进一步研究中。
5 结语本方法最大的亮点在于很好的实现了音视频同步的同时,最大程度的遵守了RTP 协议和H.323 标准。
此外,该方法实现简便、可以和现有的唇音同步方案同时使用、并且不会额外增加系统的负担,具有很大的实用价值__。