专业音视频基础知识培训共23页文档

第5章音视频学基础ISSUE 1.0日期：引入视讯会议系统是一门综合的学问，要正确的使用好视讯会议系统，需要具备音视频学基础理论知识课程目标学习完本课程，您应该能够：⏹掌握听觉和视觉的特点⏹理解声音和色彩的三要素⏹掌握视觉暂留原理和三基色原理⏹理解影响听觉和视觉效果的因素⏹熟悉音视频质量的评判标准目录⏹声音和听觉基础⏹色彩和视觉基础⏹音视频质量的评判标准什么是声音？●物体的振动产生声音●声音传播需要介质●声音在空气中传播形成一种连续的波叫声波●正在发声的物体叫做声源●声音信号在时间和幅度上都是连续的模拟信号●频率→每秒钟振动的次数，决定了声音音调的高低，单位为Hz●振幅→物体振动的幅度，决定了声音能量的大小，即音量的大小，单位为dB●声音的三要素→响度、音调、音色●人类语音的频率范围为300Hz～3400Hz●声音被感知器官（人耳）感知形成听觉●人耳可感知的声音频率范围为20Hz～20000Hz●人耳对1000Hz～3000Hz的声音最敏感●利用人耳的掩蔽效应，音频编码器可以提高压缩比影响语音质量的因素●延迟●回声●噪声●抖动目录⏹声音和听觉基础⏹色彩和视觉基础⏹音视频质量的评判标准视觉的特点●物体的反射或透射光进入人眼，刺激视神经，引起视觉反应，经过大脑整合产生视觉影像，形成最终图像●人类视觉系统的特性→人眼对色度信号的敏感程度比亮度信号低→人眼对图像细节的分辨能力有限视觉暂留现象●视错觉的一种表现●人眼对于物体形状和颜色的感知不会随着物体移开而立即消失●物像在人眼会有一个短暂的停留，时间约为0.1秒●正因为有了这种视觉暂留现象，人们才能欣赏到电影、电视的连续画面色彩的三要素●色调→色彩的颜色类别●亮度→色彩作用于人眼引起的明暗程度的感觉●色饱和度→颜色的深浅程度即颜色的浓度三基色原理●自然界中出现的各种色彩，可以用三种单色光以不同比例混合而得到●具有这种特性的三种颜色叫三基色●三基色中任一颜色均不能由其他两种颜色混合产生，同时这三种颜色可以混合成其他的所有颜色●根据人眼的视觉特征，电视系统通常选择人眼最敏感的红、绿、蓝作为三基色影响视觉效果的因素●图像跳跃●块效应●模糊度●噪声图像显示的相关概念●隔行扫描与逐行扫描●显示分辨率●CIF、QCIF、4CIF和SQCIF目录⏹声音和听觉基础⏹色彩和视觉基础⏹音视频质量的评判标准●MOS（Mean Opinion Score，平均意见分）→遵循ITU-T P.800→依据许多收听者的感受给出主观的度量数据MOS 收听质量收听状态5Excellent 最佳Complete relaxation 放松地听4Good 好（4.5～4.0 =可收费电信级）Attention necessary 注意地听3Fair 中级（4.0～3.5 =可通话通信级）Moderate effort required 努力地听2Poor 较差（3.5～2.5 =可建立连接级）Considerable effort required 费劲地听1Bad 差No meaning understood 听不明白●PSQM（Perceptual Speech Quality Measure ）→1996年提出→遵循ITU-T P.861→感知音质测量法●PESQ（Perceptual Evaluation of Speech Quality）→2001年提出→遵循ITU-T P.862→感知音质评估法●将待评价的图像序列播放给评论者观看，并记录他们的打分●对所有评论者的打分进行统计，得出平均分作为评价结果●遵循ITU-RBT.500-7→DSCQS：( Double Stimulus ContinuousQuality Scale，双刺激连续质量分级法)→SSCQE：( Single Stimulus Continuous QualityEvaluation，单刺激连续质量评价方法)●ITU-RVQEG （ITU-R Video Quality Experts Group ，ITU-R视频质量专家组）→专门研究和规范图像质量客观测量的方法和标准●基于仿人眼视觉模型，对图像质量进行客观评估，并给出客观评价分●求出重建图像与原始图像的差别→将这些差别统一认为是噪波，并以峰值信噪比（Peak Signal to Noise Ratio，PSNR）的分贝数作为指标客观地表征数字图像质量本章总结⏹描述声音特性的三要素⏹视觉暂留的基本原理⏹描述物体色彩的三要素⏹评价音视频质量的标准杭州华三通信技术有限公司。

音视频技术基础知识技术大讲堂（4）第一部分：基本概念讲解媒体：是表示，传输，存储信息的载体，常人们见到的文字、声音、图像、图形等都是表示信息的媒体。

多媒体：是声音、动画、文字、图像和录像等各种媒体的组合，以图文并茂，生动活泼的动态形式表现出来，给人以很强的视觉冲击力，留下深刻印象多媒体技术：是将文字、声音、图形、静态图像、动态图像与计算集成在一起的技术。

它要解决的问题是计算机进一步帮助人类按最自然的和最习惯的方式接受和处理信息。

流媒体：流媒体是指采用流式传输的方式在Internet播放的连续时基媒体格式，实际指的是一种新的媒体传送方式，而不是一种新的媒体格式（在网络上传输音/视频等多媒体信息现在主要有下载和流式传输两种方式）流式传输分两种方法：实时流式传输方式(Realtime streaming)和顺序流式传输方式(progressive streaming)。

多媒体文件：是既包括视频又包括音频，甚至还带有脚本的一个集合，也可以叫容器；媒体编码：是文件当中的视频和音频所采用的压缩算法。

也就是说一个avi的文件，当中的视频编码有可能是A，也可能是B，而其音频编码有可能是1，也有可能是2。

转码：指将一段多媒体包括音频、视频或者其他的内容从一种编码格式转换成为另外一种编码格式视频：连续的图象变化每秒超过24帧（Frame）画面以上时，根据视觉暂留原理，人眼无法辨别单幅的静态画面，看上去是平滑连续的视觉效果，这样连续的画面叫做视频音频：人类能听到的声音都成为音频，但是一般我们所说到的音频时存储在计算机里的声音第二部分：视频文件格式基本视频概念讲解：码率：码率就是数据传输时单位时间传送的数据位数,一般我们用的单位是kbps 即千位每秒。

通俗一点的理解就是取样率，单位时间内取样率越大，精度就越高，处理出来的文件就越接近原始文件，但是文件体积与取样率是成正比的，所以几乎所有的编码格式重视的都是如何用最低的码率达到最少的失真。

音视频通信基础知识目录1. 内容概要 (3)1.1 音视频通信的定义与重要性 (4)1.2 历史发展概述 (5)1.3 本文内容和架构概览 (7)2. 音视频通信基础 (7)2.1 声音与音乐基本原理 (9)2.1.1 声音波形与频率 (10)2.1.2 编码与解码 (11)2.1.3 常见音频格式 (12)2.2 视频基本原理 (13)2.2.1 视频信号与帧率 (14)2.2.2 分辨率与压缩 (16)2.2.3 视频编解码标准 (16)2.3 音视频数据处理 (18)2.3.1 数据包结构和传输协议 (19)2.3.2 编解码与码流控制 (20)2.3.3 错误检测与恢复 (22)3. 音视频通信网络 (23)3.1 网络基础与架构概述 (24)3.2 常见网络协议与音视频传输 (26)3.2.1 TCP/IP 协议栈与音视频通信 (28)3.2.2 RTSP, RTP, RTCP 等协议 (29)3.3 音视频通信中的网络质量管理 (31)3.3.1 网络带宽与速度 (33)3.3.2 延迟与抖动 (34)3.3.3 拥塞控制与带宽自适应 (36)4. 音视频通信应用 (37)4.1 实时音视频会议 (38)4.1.1 系统架构与组件 (40)4.1.2 音频和视频流的处理与同步 (41)4.1.3 安全性与隐私保护 (42)4.2 远程教育和远程医疗 (44)4.2.1 音视频通信的需求与挑战 (45)4.2.2 实例分析与应用案例 (47)4.3 音视频流媒体应用 (49)4.3.1 流媒体服务体系结构 (50)4.3.2 流式传输与自适应流媒体 (51)4.3.3 用户体验与流媒体质量 (52)5. 未来发展与挑战 (53)5.1 下一代音视频通信技术 (55)5.1.1 新型编解码技术的突破 (56)5.1.2 AI 与机器学习在音视频中的应用 (57)5.1.3 全息、虚拟现实和增强现实 (59)5.2 音视频通信网络的演进 (60)5.2.1 从有线到无线网络的扩展 (61)5.2.2 5G 和 WiFi 6+ 的影响 (63)5.3 标准化与合作 (64)5.3.1 国际标准组织的角色与贡献 (65)5.3.2 性能评估与测试方法 (67)1. 内容概要音视频通信作为现代通信的主要手段，其发展历史悠久，应用广泛。