多媒体技术图片音视频知识点 多媒体＝多种媒体（文本、图形、图像、声音、动画和视频等） 多媒体技术：计算机综合处理文字、图形、图像、音频、视频等多媒体信息，使多种信息建立逻辑连接，集成为一个系统并且具有交互性的一门综合性技术。 多媒体技术主要包括：媒体处理技术、人机交互技术、数据压缩技术、软硬件平台技术、通信与网络技术。 多媒体技术基本特征：数字性、多样性、交互性、集成性和实时性。其中交互性是关键特征。 多媒体计算机特征部件：光驱、音箱、显卡 声卡、视频采集卡、刻录机、摄像头、触摸屏、扫描仪、数码相机、数字投影仪……多媒体技术主要应用：教育培训、电子出版、影音娱乐、网络。 多媒体【例题】 1、多媒体技术不包含以下哪种技术（C） A、数据压缩技术 B、人机交互技术 C、机械技术 D、通信与网络技术 2、以下哪一项不是常用的多媒体设备（B） A、摄像头 B、U盘 C、数据照相机 D、数字投影仪 3、以下哪一项不是多媒体技术的应用（D） A、教育培训 B、电子出版 C、网络 D、数字投影仪 4、计算机可以处理图像、声音和视频等信息，这种技术属于（D） A、智能化技术 B、自动控制技术 C、网络技术 D、多媒体技术 5、在多媒体计算机中，用来播放、录制声音的硬件设备是（B） A、网卡 B、声卡 C、视频卡 D、显卡 6. 下列关于多媒体技术主要特征描述正确的是：(D) ①多媒体技术要求各种信息媒体必须要数字化 ②多媒体技术要求对文本，声音，图像，视频等媒体进行集成 ③多媒体技术涉及到信息的多样化和信息载体的多样化 ④交互性是多媒体技术的关键特征 A. ①② B. ①④ C. ①②③ D. ①②③④ 7. 下面关于多媒体技术的描述中,正确的是： (C) A. 多媒体技术只能处理声音和文字 B. 多媒体技术不能处理动画 C. 多媒体技术就是计算机综合处理声音，文本，图像等信息的技术 D. 多媒体技术就是制作视频 8、以下属于多媒体技术应用的是：（B） （1）远程教育（2）美容院在计算机上模拟美容后的效果 （3）电脑设计的建筑外观效果图（4）房地产开发商制作的小区微缩景观模型 A、(1)(2) B、(1)(2)(3) C、(2)(3)(4) D、全部 9、在多媒体课件中，课件能够根据用户答题情况给予正确和错误的回复，突出显示了多媒体技术的(D)。 Ａ、多样性Ｂ、非线性 Ｃ、集成性Ｄ、交互性
电影院音视频系统 技术方案 启拓电子（中国）有限公司全国热线电话：400 1818 026
一、概述 1、引言 数字电影指的是从电影制作工艺、制作方式、到发行及传播方式上均全面数字化。与传统电影相比，数字电影最大的区别是不再以胶片为载体，以拷贝为发行方式，而是以数字文件形式发行或通过网络、卫星直接传送到影院。数字化播映是由高亮度、高清晰度、高反差的电子放映机依托宽带数字存储、传输技术实现的。 2、发展状况 电影院是为观众放映电影的场所。电影在产生初期，是在咖啡厅、茶馆等场所放映的。随着电影的进步与发展，出现了专门为放映电影而建造的电影院。电影的发展——从无声到有声乃至立体声，从黑白片到彩色片，从普通银幕到宽银幕乃至穹幕、环幕，使电影院的形体、尺寸、比例和声学技术都发生了很大变化。电影院必须满足电影放映的工艺要求，得到应有的良好视觉和听觉效果。 电影的历史已有百年之久．它的每一次进步都缘于科技的推动，数字技术进入电影产业．是电影继无声变有声，黑白变彩色之后的第三次革命性改进，数字技术的介入，将使电影从制作到表现手法、运作方式、发行方式、播映方式都发生革命性的变化。 电影业在长期发展中形成了全球统一的标准，一部影片可以在全球任何影院放映。数字影院发展初期，由于没有标准，各系统不能兼容，阻碍了数字影院成规模发展。在建立统一的数字影院标准的呼声
下， 2002年4月，好莱坞七大电影制作公司宣布成立名为DCI （Digital Cinema Initiatives, LLC）的组织来共同制定数字电影技术的标准，并鼓励电影院采用数字式放映设备。 2005年7月DCI 《数字影院系统规范1.0》发布，全球数字影院标准取得了突破性的发展。之后，SMPTE DC28 (美国电影电视工程师协会、数字影院技术标准委员会) 以DCI规范为基础，研究和制定数字影院行业标准，迄今为止，超过50%的数字影院标准已经发布。 3、电影在中国的发展 在国家和政府的大力支持下，2002年2月中国开始了发展影院的进程。目前，我国已建成60多家2K数字影院，成为世界上数字电影发展最快的国家之一。并发行了《天上草原》、《星战前传Ⅰ》、《哈利波特》、《海底总动员》《太行山上》、《蜘蛛侠III》等十几部数字电影。2002年中国电影科学技术研究所起草、制定了《电影技术要求（暂行）》，由国家广电总局颁布，实施。目前，电影科研所还密切追踪国外标准制定组织的进展，参考各项国际规范并结合我国现状及市场需求对已颁布的《电影技术要求（暂行）》进行修改。在城市影院的发展中，将建立与国际接轨的电影标准。 二、需求分析 目前，越来越多的消费者希望着电影院能给观众带来的更直接逼真视觉传达和舒适身临其境的听觉冲击，从1996年以来，出现了利用双音箱音响系统来产生虚拟环绕声的虚拟环绕声技术。虚拟环绕声主要原理是基于人的“双耳效应”原理和“耳廓效应”原理。它是一种利
1引言 以太网技术由于其开放性好、价格低廉和使用方便等特点，已经广泛应用于电信级别的网络中，以太网的数据传输速度也从早期的10M提高到100M，GE，10GE。40GE，100GE正式产品也将于2009年推出。 以太网技术是“即插即用”的，也就是将以太网终端接到IP网络上就可以随时使用其提供的业务。但是，只有“同步的”的IP网络才是一个真正的电信级网络，才能够为IP网络传送各种实时业务与数据业务的多重播放业务提供保障。目前，电信级网络对时间同步要求十分严格，对于一个全国范围的IP网络来说，骨干网络时延一般要求控制在50ms之内，现行的互联网网络时间协议NTP （NetworkTimeProtocol），简单网络时间协议SNTP（SimpleNetwork Time Protocol）等不能达到所要求的同步精度或收敛速度。基于以太网的时分复用通道仿真技术（TDM over Ethernet）作为一种过渡技术，具有一定的以太网时钟同步概念，可以部分解决现有终端设备用于以太网的无缝连接问题。IEEE 1588标准则特别适合于以太网，可以在一个地域分散的IP网络中实现微秒级高精度的时钟同步。本文重点介绍IEEE 1588技术及其测试实现。 2IEEE1588PTP介绍 IEEE1588PTP协议借鉴了NTP技术，具有容易配置、快速收敛以及对网络带宽和资源消耗少等特点。IEEE1588标准的全称是“网络测量和控制系统的精密时钟同步协议标准（IEEE1588Precision Clock Synchronization Protocol）”，简称PTP（Precision Timing Protocol），它的主要原理是通过一个同步信号周期性的对网络中所有节点的时钟进行校正同步，可以使基于以太网的分布式系统达到精确同步，IEEE 1588PTP时钟同步技术也可以应用于任何组播网络中。 IEEE1588将整个网络内的时钟分为两种，即普通时钟（OrdinaryClock，OC）和边界时钟（BoundaryClock，BC），只有一个PTP通信端口的时钟是普通时钟，有一个以上PTP通信端口的时钟是边界时钟，每个PTP端口提供独立的PTP通信。其中，边界时钟通常用在确定性较差的网络设备（如交换机和路由器）上。从通信关系上又可把时钟分为主时钟和从时钟，理论上任何时钟都能实现主时钟和从时钟的功能，但一个PTP通信子网内只能有一个主时钟。整个系统中的最优时钟为最高级时钟GMC（Grandmaster Clock），有着最好的稳定性、精确性、确定性等。根据各节点上时钟的精度和级别以及UTC（通用协调时间）的可追溯性等特性，由最佳主时钟算法（Best Master Clock）来自动选择各子网内的主时钟；在只有一个子网的系统中，主时钟就是最高级时钟GMC。每个系统只有一个GMC，且每个子网内只有一个主时钟，从时钟与主时钟保持同步。图1所示的是一个典型的主时钟、从时钟关系示意。
https://www.doczj.com/doc/5b23882.html, 音视频技术基本知识一 网易视频云是网易倾力打造的一款基于云计算的分布式多媒体处理集群和专业音视频技术，为客户提供稳定流畅、低时延、高并发的视频直播、录制、存储、转码及点播等音视频的PaaS服务。在线教育、远程医疗、娱乐秀场、在线金融等各行业及企业用户只需经过简单的开发即可打造在线音视频平台。现在，网易视频云总结网络上的知识，与大家分享一下音视频技术基本知识。 与画质、音质等有关的术语 这些术语术语包括帧大小、帧速率、比特率及采样率等。 1、帧 一般来说，帧是影像常用的最小单位，简单的说就是组成一段视频的一幅幅图片。电影的播放连续的帧播放所产生的，现在大多数视频也类似，下面说说帧速率和帧大小。 帧速率，有的转换器也叫帧率，或者是每秒帧数一类的，这可以理解为每一秒的播放中有多少张图片，一般来说，我们的眼睛在看到东西时，那些东西的影像会在眼睛中停留大约十六分之一秒，也就是视频中只要每秒超过15帧，人眼就会认为画面是连续不断的，事实上早期的手绘动画就是每秒播放15张以上的图片做出来的。但这只是一般情况，当视频中有较快的动作时，帧速率过小，动作的画面跳跃感就会很严重,有明显的失真感。因此帧速率最好在24帧及以上，这24帧是电影的帧速率。 帧大小，有的转换器也叫画面大小或屏幕大小等，是组成视频的每一帧的大小，直观表现为转换出来的视频的分辨率的大小。一般来说，软件都会预置几个分辨率，一般为320×240、480×320、640×360、800×480、960×540、1280×720及1920×1080等，当然很多转换器提供自定义选项，这里，不得改变视频长宽比例。一般根据所需要想要在什么设备上播放来选择分辨率，如果是转换到普通手机、PSP等设备上，视频分辨率选择与设备分辨率相同，否则某些设备可能会播放不流畅，设备分辨率的大小一般都可以在中关村在线上查到。 2、比特率 比特率，又叫码率或数据速率，是指每秒传输的视频数据量的大小，音视频中的比特率，是指由模拟信号转换为数字信号的采样率；采样率越高，还原后的音质和画质就越好；音视频文件的体积就越大，对系统配置的要求也越高。 在音频中，1M以上比特率的音乐一般只能在正版CD中找到，500K到1M的是以APE、FLAC等为扩展名的无损压缩的音频格式，一般的MP3是在96K到320K之间。目前，对大多数人而言，对一般人而言192K就足够了。 在视频中，蓝光高清的比特率一般在40M以上，DVD一般在5M以上，VCD一般是在1M 以上。（这些均是指正版原盘，即未经视频压缩的版本）。常见的视频文件中，1080P的码率一般在2到5M之间，720P的一般在1到3M，其他分辨率的多在一M一下。 视频文件的比特率与帧大小、帧速率直接相关，一般帧越大、速率越高，比特率也就越大。当然某些转换器也可以强制调低比特率，但这样一般都会导致画面失真，如产生色块、色位不正、出现锯齿等情况。
南水北调东线一期工程山东段调度运行 管理系统 同步时钟子系统 技术建议书 上海泰坦通信工程有限公司 2012 年3月
本次投标我方严格按照技术规范书的要求，提出以下适合技术规范书要求的详细的方案建议书： 本次工程拟定在干线公司和穿黄现地管理处（备调中心）各配置一套同步时 钟设备，作为区域基准钟LPR作为全网主备用基准钟LPR。每套配置为双GPS 接收系统+BITS设备。设备选型为美国Brilliant公司的GPS接收机ST2000、美国Symmetricom公司的TPIU和TimeProvider1100。干线公司和穿黄现地管理处(备调中心)的传输设备从时钟同步设备上引接同步时钟信号。其他节点的传输设备从线路侧提取同步时钟信号。 单个站点设备连接示意图如下： 一、本次投标方案的几大特点 1．为干线公司和穿黄现地管理处配置的GPS具有BesTime专利技术，可以有效地削弱SA的干扰，相比其它GPS产品，这种性能确保了同步网的安全与稳定， 避免在特殊环境下美国对GPS的干扰； 2．为干线公司和穿黄现地管理处配置的GPS具有SSM功能，这对避免全网“定时环”具有非常重要的意义； 3．本次投标的BITS设备特别方便运行维护，设备开通后，无论需要更换卡板， 还是需要插入卡板，都不需要专业工程师到场，新卡板自动从设备获取运行参数；4．本次投标的BITS设备特别方便运行维护，用户可将每一个端口的使用情况储 存在卡板中，不需要固定的维护终端； 二、本次投标售后服务的特别承诺 本次投标采用的主设备全部为进口设备。尽管Symmetricom公司是全球最有实力
的、也是唯一一家专业的同步厂商，但考虑到设备维修需要返回工厂，前后周期 较长，本次投标特别承诺，我公司已有备品备件，在遇到故障报告后，我公司免 费提供备品备件，并确保48小时内恢复设备正常运行。待故障板卡经工厂维修返 回后换回借给的备品备件。 三、设备详细配置 干线公司和穿黄现地管理处各配置如下设备： GPS1---ST2000，内置高性能晶体钟，独立设备，有SSM GPS2---TPIU --- 内置高性能晶体钟，独立设备，有SSM BITS---TimeProvider1100，双加强型铷钟，四路输入，32路冗余输出，有SSM ST2000 TPIU TimeProvider1100外观 TimeProvider1100
2005年3月Journal on Communications March 2005 第26卷第3期通信学报V ol. 26 No. 3 LDPC编码系统符号同步技术 薛英健，吴晓富，项海格 （北京大学信息科学技术学院, 北京 100871） 摘要：根据低密度校验码（LDPC）译码算法的统计特性，分析了接收端符号同步误差对译码性能的影响。针对LDPC编码系统的特点提出了一种新的符号同步误差校正算法，该算法通过4倍过采样技术判断同步误差的大小，并通过插值方式对精确同步采样点的信号进行估计。对于信噪比极低的通信系统，当存在较大符号同步误差时，该算法可以保证LDPC编码系统的性能接近精确同步情况下的性能。 关键词：低密度校验码；符号同步；高斯近似 中图分类号：TN911.22 文献标识码：A 文章编号：1000-436X(2005)03-0130-06 Timing error recovery for LDPC-coded systems XUE Ying-jian, WU Xiao-fu, XIANG Hai-ge (School of Electronics Engineering and Computer Science, Peking University, Beijing 100871, China) Abstract: Based on the statistical properties of LDPC decoding algorithm, the effect of the symbol synchronization error on the decoding performance was investigated in detail. A new timing error recovery algorithm was developed based on the algorithm in [3]. The new algorithm estimated the timing error with four times of over-sampling rate, and the estimated value of the signal with precise timing was given by interpolation of the over-sampled data. With the proposed algorithm, little performance degradation has been observed for LDPC coded system with severe symbol timing error when working at very low SNR. Key words: low-density parity-check codes; symbol timing; Gaussian approximation 1引言 低密度校验码（LDPC）是Gallager于1962年[1]提出的一种纠错编码方案，但是，由于当时仿真分析工具的计算能力有限，直到1996年LDPC才被发现是一种可以逼近加性高斯白噪声（AWGN）信道容量的编码方案。近几年，LDPC的理论和应用研究得到了国际上的广泛关注[2]。 尽管LDPC可在非常低的信噪比条件下工作，但在实际应用的通信系统中，如何保证在低信噪比条件下符号同步定时电路的正常工作将是一个新的课题。事实上，由于传统的符号同步定时单元所提供的同步定时精度是随信噪比的降低而减小的，当信道信噪比SNR<0dB时接收端符号往往会有较大的同步误差。因此，在采用LDPC编码的通信系统中，必须提高符号同步误差的校正精度来保证在低信噪比条件下获得可靠的符号同步。 文献[3]对Turbo编码系统中符号同步误差的校正问题进行了有益的探讨，并提出了一套同步误差校正算法。文献[3]采用过4倍过采样技术获得同步误差ε∈(?0.25, 0.25)范围内的两组靠近最佳采样点信号，然后分别对这两组信号译码，最后对两组译码输出软信息进行加权合并，这一方法有效地克服了接收端符号同步误差引起的系统性能恶化。但 收稿日期：2004-02-19；修回日期：2004-10-28 基金项目：国家自然科学基金资助项目（60302006，60402026）；武器装备预研基金资助项目（51421060203JW0205）
ESS与AVB音频视频桥网络系统 基于以太网的数字音频传输技术 基于以太网的数字音频传输技术是专业音频行业的一个技术焦点，以其不依赖于控制系统而独立存在的特性，广泛的应用到很多项目中。不仅解决了多线路问题，还解决了远距离传输、数据备份、自动冗余等一系列在模拟传输时代无法面对的问题。 目前比较成熟的以太网音频传输技术主要有CobraNet和EtherSound技术，但这两种技术都各有千秋，在它们此基础上，Audinate于2003年推出了Dante这种融合了很多新技术的数字音频传输技术。 至于下一代网络音视频实时传输技术，新IEEE标准——音视频桥，简称AVB，以即插即用和自主开发的姿态面世，则是全世界现场演出行业所梦寐以求的系统解决方案。 CobraNet网络 CobraNet网络是美国PeakAudio公司开发的一种在以太网上传输专业非压缩音频信号的技术，工作在数据链路层（OSI二层）的低层传输协议，但无法穿过路由器，只能在局域网中传递，音频流不能大于8个数据包Bundle。它可以在100M以太网下单向可以传输64个48kHz、20bit的音频信号通道（48kHz、24bit信号为56路）；除音频信号外，还可以传输RS485串口通信数据及其它非同步IP数据；开放的MIB文件，支持SNMP。一般使用星型（或连星型）网络结构。 EtherSound网络 EtherSound网络是由法国Digigram公司开发的一种基于以太网传输音频信号的技术，工作在数据链路层（OSI二层）的低层传输协议，只能在局域网中传递。传输能力为单方向64个24bit、48kHz（或44.1kHz）采样频率的音频通道。不能传递串口信号以及其它IP数据，具有极低的延时。一般采用菊花链结构或以太网星型结构或者这两种结构的混合形式，通过以太网交换机互相连接。
音视频直播技术的总结 1. 流媒体协议 流媒体协议是服务器与客户端之间通信遵循的规定。当前网络上主要的流媒体协议如图所示。 2. 直播平台参数对比 主流互联网视音频平台直播服务的参数对比如图所示： 3. 直播技术架构图： 可以看到直播的流程可以分为如下几步： 采集 —>处理—>编码和封装—>推流到服务器—>服务器流分发—>播放器流播放 1.音视频采集 采集是整个视频推流过程中的第一个环节，它从系统的采集设备中获取原始视频数据，将其输出到下一个环节。视频的采集涉及两方面数据的采集：音频采集和图像采集，它们分别对应两种完全不同的输入源和数据格式。
音频采集：麦克风采集，系统采集等 音频数据既能与图像结合组合成视频数据，也能以纯音频的方式采集播放，后者在很多成熟的应用场景如在线电台和语音电台等起着非常重要的作用。音频的采集过程主要通过设备将环境中的模拟信号采集成 PCM 编码的原始数据，然后编码压缩成 AAC等格式的数据分发 出去。常见的音频压缩格式有：MP3，AAC，HE-AAC，Opus，FLAC，V orbis (Ogg)，Speex 和 AMR等。 音频采集和编码主要面临的挑战在于：延时敏感、卡顿敏感、噪声消除（Denoise）、回声 消除（AEC）、静音检测（V AD）和各种混音算法等。 视频采集：摄像头采集，屏幕录制，视频文件等 将图像采集的图片结果组合成一组连续播放的动画，即构成视频中可肉眼观看的内容。图像的采集过程主要由摄像头等设备拍摄成 YUV 编码的原始数据，然后经过编码压缩成 H.264 等格式的数据分发出去。常见的视频封装格式有： MP4、3GP、A VI、MKV、WMV、MPG、VOB、FLV、SWF、MOV、RMVB 和 WebM 等。图像由于其直观感受最强并且体积也比较大，构成了一个视频内容的主要部分。图像采集和编码面临的主要挑战在于：设备兼容性差、延时敏感、卡顿敏感以及各种对图像的处理操作如美颜和水印等。 2.音视频处理 音频可以变声变调，视频可以美颜加水印，滤镜等 视频或者音频完成采集之后得到原始数据，为了增强一些现场效果或者加上一些额外的效果，我们一般会在将其编码压缩前进行处理，比如打上时间戳或者公司 Logo 的水印，祛斑美颜和声音混淆等处理。在主播和观众连麦场景中，主播需要和某个或者多个观众进行对话，并将对话结果实时分享给其他所有观众，连麦的处理也有部分工作在推流端完成。 3.编码和封装 编码：把原始音频PCM，视频yuv编码为 AAC和h264等 视频编码的意义 原始视频数据存储空间大，一个 1080P 的 7 s 视频需要 817 MB 原始视频数据传输占用带宽大，10 Mbps 的带宽传输上述7 s 视频需要 11 分钟 而经过 H.264 编码压缩之后，视频大小只有 708 k ，10 Mbps 的带宽仅仅需要 500 ms ，可以满足实时传输的需求，所以从视频采集传感器采集来的原始视频势必要经过视频编码。 编码基本原理 为什么巨大的原始视频可以编码成很小的视频呢?这其中的技术是什么呢?核心思想就是去除冗余信息： 1）空间冗余：图像相邻像素之间有较强的相关性 2）时间冗余：视频序列的相邻图像之间内容相似 3）编码冗余：不同像素值出现的概率不同 4）视觉冗余：人的视觉系统对某些细节不敏感 5）知识冗余：规律性的结构可由先验知识和背景知识得到 封装:把AAC和h264封装成MP4或fiv等格式 目前，我们在流媒体传输，尤其是直播中主要采用的就是 FLV 和 MPEG2-TS 格式，分别用
传输系统中的时钟同步技术同步模块是每个系统的心脏，它为系统中的其他每个模块馈送正确的时钟信号。因此需要对同步模块的设计和实现给予特别关注。本文对影响系统设计的时钟特性进行了考察，并对信号恶化的原因进行了评估。本文还分析了同步恶化的影响，并对标准化组织为确保传输质量和各种传输设备的互操作性而制定的标准要求进行了探讨。摘要：网络同步和时钟产生是高速传输系统设计的重要方面。为了通过降低发射和接收错误来提高网络效率，必须使系统的各个阶段都要使用的时钟的质量保持特定的等级。网络标准定义同步网络的体系结构及其在标准接口上的预期性能，以保证传输质量和传输设备的无缝集成。有大量的同步问题，系统设计人员在建立系统体系结构时必须十分清楚。本文论述了时钟恶化的各种来源，如抖动和漂移。本文还讨论了传输系统中时钟恶化的原因和影响，并分析了标准要求，提出了各种实现技巧。基本概念：抖动和漂移抖动的一般定义可以是“一个事件对其理想出现的短暂偏离”。在数字传输系统中，抖动被定义为数字信号的重要时刻在时间上偏离其理想位置的短暂变动。重要时刻可以是一个周期为 T1 的位流的最佳采样时刻。虽然希望各个位在 T 的整数倍位置出现，但实际上会有所不同。这种脉冲位置调制被认为是一种抖动。这也被称为数字信号的相位噪声。在下图中，实际信号边沿在理想信号边沿附近作周期性移动，演示了周期性抖动的概念。图 1.抖动示意抖动，不同于相位噪声，它以单位间隔 (UI) 为单位来表示。一个单位间隔相当于一个信号周期 (T)，等于 360 度。假设事件为 E，第 n 次出现表示为 tE[n] 。则瞬时抖动可以表示为：一组包括 N 个抖动测量的峰到峰抖动值使用最小和最大瞬时抖动测量计算如下：漂移是低频抖动。两者之间的典型划分点为 10 Hz。抖动和漂移所导致的影响会显现在传输系统的不同但特定的区域。抖动类型根据产生原因，抖动可分成两种主要类型：随机抖动和确定性抖动。随机抖动，正如其名，是不可预测的，由随机的噪声影响如热噪声等引起。随机抖动通常发生在数字信号的边沿转换期间，造成随机的区间交叉。毫无疑问，随机抖动具有高斯概率密度函数 (PDF)，由其均值 (μ) 和均方根值 (rms) (σ) 决定。由于高斯函数的尾在均值的两侧无限延伸，瞬时抖动和峰到峰抖动可以是无限值。因此随机抖动通常采用其均方根值来表示和测量。图 2.以高斯概率密度函数表示的随机抖动对抖动余量来讲，峰到峰抖动比均方根抖动更为有用，因此需要把随机抖动的均方根值转换成峰到峰值。为将均方根抖动转换成峰到峰抖动，定义了随机抖动高斯函数的任意极限 (arbitrary limit)。误码率 (BER) 是这种转换中的一个有用参数，其假设高斯函数中的瞬时抖动一旦落在其强制极限之外即出现误码。通过下面两个公式，就可以得到均方根抖动到峰到峰抖动的换算。 3[!--empirenews.page--] 由公式可得到下表，表中峰到峰抖动对应不同的 BER 值。确定性抖动是有界的，因此可以预测，且具有确定的幅度极限。考虑集成电路 (IC) 系统，有大量的工艺、器件和系统级因素将会影响确定性抖动。占空比失真 (DCD) 和脉冲宽度失真(PWD) 会造成数字信号的失真，使过零区间偏离理想位置，向上或向下移动。这些失真通常是由信号的上升沿和下降沿之间时序不同而造成。如果非平衡系统中存在地电位漂移、差分输入之间存在电压偏移、信号的上升和下降时间出现变化等，也可能造成这种失真。图 3，总抖动的双模表示数据相关抖动 (DDJ) 和符号间干扰 (ISI) 致使信号具有不同的过零区间电平，导致每种唯一的位型出现不同的信号转换。这也称为模式相关抖动 (PDJ)。信号路径的低频截止点和高频带宽将影响 DDJ。当信号路径的带宽可与信号的带宽进行比较时，位就会延伸到相邻位时间内，造成符号间干扰 (ISI)。低频截止点会使低频器件的信号出现失真，而系统的高频带宽限制将使高频器件性能下降。7 正弦抖动以正弦模式调制信号边沿。这可能是由于供给整个系统的电源或者甚至系统中的其他振荡造成。接地反弹和其他电源变动也可能造成正弦抖动。正弦抖动广泛用于抖动环境的测试和仿真。不相关抖动可能由电源噪声或串扰和其他电磁干扰造成。考虑抖动对数字信号的影响时，需要将整个确定性抖动和随机抖动考虑在内。确定性抖动和随机抖动的总计结果将产生另外一种概率分布
各种音视频编解码学习详解 编解码学习笔记（一）：基本概念 媒体业务是网络的主要业务之间。尤其移动互联网业务的兴起，在运营商和应用开发商中，媒体业务份量极重，其中媒体的编解码服务涉及需求分析、应用开发、释放license收费等等。最近因为项目的关系，需要理清媒体的codec，比较搞的是，在豆丁网上看运营商的规范标准，同一运营商同样的业务在不同文档中不同的要求，而且有些要求就我看来应当是历史的延续，也就是现在已经很少采用了。所以豆丁上看不出所以然，从wiki上查。中文的wiki信息量有限，很短，而wiki的英文内容内多，删减版也减肥得太过。我在网上还看到一个山寨的中文wiki，长得很像，红色的，叫―天下维客‖。wiki的中文还是很不错的，但是阅读后建议再阅读英文。 我对媒体codec做了一些整理和总结，资料来源于wiki，小部分来源于网络博客的收集。网友资料我们将给出来源。如果资料已经转手几趟就没办法，雁过留声，我们只能给出某个轨迹。 基本概念 编解码 编解码器（codec）指的是一个能够对一个信号或者一个数据流进行变换的设备或者程序。这里指的变换既包括将信号或者数据流进行编码（通常是为了传输、存储或者加密）或者提取得到一个编码流的操作，也包括为了观察或者处理从这个编码流中恢复适合观察或操作的形式的操作。编解码器经常用在视频会议和流媒体等应用中。 容器 很多多媒体数据流需要同时包含音频数据和视频数据，这时通常会加入一些用于音频和视频数据同步的元数据，例如字幕。这三种数据流可能会被不同的程序，进程或者硬件处理，但是当它们传输或者存储的时候，这三种数据通常是被封装在一起的。通常这种封装是通过视频文件格式来实现的，例如常见的*.mpg, *.avi, *.mov, *.mp4, *.rm, *.ogg or *.tta. 这些格式中有些只能使用某些编解码器，而更多可以以容器的方式使用各种编解码器。 FourCC全称Four-Character Codes，是由4个字符（4 bytes）组成，是一种独立标示视频数据流格式的四字节，在wav、avi档案之中会有一段FourCC来描述这个AVI档案，是利用何种codec来编码的。因此wav、avi大量存在等于―IDP3‖的FourCC。 视频是现在电脑中多媒体系统中的重要一环。为了适应储存视频的需要，人们设定了不同的视频文件格式来把视频和音频放在一个文件中，以方便同时回放。视频档实际上都是一个容器里面包裹着不同的轨道，使用的容器的格式关系到视频档的可扩展性。 参数介绍 采样率 采样率（也称为采样速度或者采样频率）定义了每秒从连续信号中提取并组成离散信号的采样个数，它用赫兹（Hz）来表示。采样频率的倒数叫作采样周期或采样时间，它是采样之间的时间间隔。注意不要将采样率与比特率（bit rate，亦称―位速率‖）相混淆。 采样定理表明采样频率必须大于被采样信号带宽的两倍，另外一种等同的说法是奈奎斯特频率必须大于被采样信号的带宽。如果信号的带宽是100Hz，那么为了避免混叠现象采样频率必须大于200Hz。换句话说就是采样频率必须至少是信号中最大频率分量频率的两倍，否则就不能从信号采样中恢复原始信号。 对于语音采样： ?8,000 Hz - 电话所用采样率, 对于人的说话已经足够 ?11,025 Hz ?22,050 Hz - 无线电广播所用采样率 ?32,000 Hz - miniDV 数码视频camcorder、DAT (LP mode)所用采样率 ?44,100 Hz - 音频CD, 也常用于MPEG-1 音频（VCD, SVCD, MP3）所用采样率
本技术公开了一种音视频同步的方法及监控系统，包括步骤：S1，采集音视频数据；S2，基于实时传输协议RTP传输音视频数据；S3，采用音视频同步技术处理数据。本技术基于实时传输协议RTP，采用音视频数据同步技术解决了现有技术中存在的音视频数据不同步以及音频处理效果不佳问题，能够播放同步的声音和图像数据，使得声音和图像数据更加真实、流畅。 技术要求 1.一种音视频同步的方法，其特征在于，其包括步骤： S1，采集音视频数据；
S2,基于实时传输协议RTP传输音视频数据； S3,采用音视频同步技术处理数据； S3中，音视频同步控制在数据接收端实施；音视频同步技术以音频为主媒体，视频为从媒体，接收音视频数据时设置缓冲区，通过比较音视频数据包的时间戳判断同步关系，实现音视频数据同步。 2.根据权利要求1所述的一种音视频同步的方法，其特征在于，所述步骤S3中，采用队列作为缓冲区，缓存音视频数据。 3.根据权利要求1所述的一种音视频同步的方法，其特征在于，所述步骤S3中，对于音频缓存，使用iOS系统提供的AudioQueue框架的队列处理音频数据。 4.根据权利要求1所述的一种音视频同步的方法，其特征在于，所述步骤S3中，音频队列的长度至少为3。 5.根据权利要求1所述的一种音视频同步的方法，其特征在于，所述步骤S3中，音视频数据的时间差在允许范围内，则认为音视频同步；否则认为音视频不同步，丢弃视频帧。 6.根据权利要求1所述的一种音视频同步的方法，其特征在于，所述步骤S3中，采用H264硬编解码技术处理音视频数据。 7.一种音视频同步的监控系统，其特征在于，包括设备端、服务器端和客户端，所述设备端通过互联网和防火墙与服务器端连接，所述客户端通过WiFi或4G或4G+网络与路由器连接，所述路由器通过互联网与服务端连接； 所述设备端采集音视频数据，并将音视频数据压缩编码、打包后通过互联网发送到服务器端； 所述服务器端包括流媒体服务器和SIP信令服务器，流媒体服务器将设备端采集到的音视频数据通过互联网和WiFi或4G或4G+网络转发到客户端，SIP信令服务器负责转发系统中的信令消息，同时负责管理客户端中各个终端设备，流媒体服务器通过ICE与SIP服务器进行通信；
作为数字通信网的基础支撑技术，时钟同步技术的发展演进始终受到通信网技术发展的驱动。在网络方面，通信网从模拟发展到数字，从TDM网络为主发展到以分组网络为主；在业务方面，从以TDM话音业务为主发展到以分组业务为主的多业务模式，从固定话音业务为主发展到以固定和移动话音业务并重，从窄带业务发展到宽带业务等等。在与同步网相关性非常紧密的传输技术方面，从同轴传输发展到PDH，SDH，WDM和DWDM，以及最新的OTN和PTN技术。随着通信新业务和新技术的不断发展，其同步要求越来越高，包括钟源、锁相环等基本时钟技术经历了多次更新换代，同步技术也在不断地推陈出新，时间同步技术更是当前业界关注的焦点。 2、时钟技术发展历程 时钟同步涉及的最基本技术包括钟源技术和锁相环技术，随着应 用需求的不断提高，技术、工艺的不断改进，钟源技术和锁相环 技术也得到了快速的演进和发展。 (1) 钟源技术
时钟振荡器是所有数字通信设备的基本部件，按照应用时间的先后，钟源技术可分为普通晶体钟、具有恒温槽的高稳晶振、原子钟、芯片级原子钟。 一般晶体振荡器精度在nE-5~nE-7之间，由于具有价格便宜、尺寸小、功耗低等诸多优点，晶体振荡器在各个行业和领域中得到广泛应用。然而，普通晶体钟一般受环境温度影响非常大，因此，后来出现了具有恒温槽的晶体钟，甚至具有双恒温槽的高稳晶体钟，其性能得到很大改善。随着通信技术的不断发展，对时钟精度和稳定性提出了更高的要求，晶体钟源已经难以满足要求，原子钟技术开始得到应用，铷钟和铯钟是其中最有代表性的原子钟。一般来说，铷钟的精度能达到或优于nE-10的量级，而铯钟则能达到或优于1E-12的量级。 然而，由于尺寸大、功耗高、寿命短，限制了原子钟在一些领域的应用，芯片级原子钟有望解决这个难题。目前民用的芯片级原子钟基本上处于试验阶段，其尺寸只有立方厘米量级，耗电只有百毫瓦量级，不消耗原子，延长了使用寿命，时钟精度在nE-10量级以上，具有很好的稳定性。芯片级原子钟将在通信、交通、电力、金融、国防、航空航天以及精密测量等领域有着广泛的应用前景。 (2) 锁相环技术 锁相环技术是一种使输出信号在频率和相位上与输入信号同步的电路技术，即当系统利用锁相环技术进入锁定状态或同步状态后，系统的震荡器输出信号与输入信号之间相差为零，或者保持为常数。锁相环路技术是时钟同步的核心技术，它经历了模拟锁相环
实时音频采集与播放技术的研究 荣治国陈松乔(中南大学信息工程学院 湖南 长沙 410083） 【摘 要】介绍了音频采集、播放的三种技术，分别给出实现模型，并对三种技术作出对比分析，以此提出了声音实时传输的依据。 【关键词】声音采集、播放；媒体控制器；DIRECTSOUND；实时传输 在信息化日益加速的今天，数字多媒体的应用越来越广泛，随着宽带网概念深入人心，数字多媒体进入到了一个更广阔的空间，许多应用课题都围绕着两者展开，其中可视电话、电话会议系统和视频会议系统发展迅速，这些都要涉及到多媒体数据通信。在多媒体数据通信中，要求有良好的实时性，能够对多媒体数据进行细节的操作，如压缩、实时流传输等。而在这些应用之中，因为现实的网络状况还难以满足较好的实时视频通讯，音频数据在其中就更显重要，本文对比分析了实时音频采集和播放技术，以期为音频数据通讯提供参考。 1 音频采集、播放的三种模式 Windows通过高级音频函数、媒体控制接Array口MCI[1、2]设备驱动程序；低级音频函数 MIDI Mapper、低级音频设备驱动；以及 DirectSound提供了音频服务，可以从声卡获 取音频流。图1说明了应用程序与提供音频支 持的Windows成员之间的关系。 使用MCI的方法极其简便，灵活性较差； 使用低级音频函数的方法相对来说难一点，但 是能够对音频数据进行灵活的操控；而采用 DirectSound的方法，控制声音数据灵活，效 果比前二者都好，但实现起来是三者中最难的。下面我将分别介绍如何用三者实现音频的实时采集和播放。 2 使用MCI方法实现音频采集与播放 用MCI方法是很方便的，它对媒体设备控制主要通过命令接口函数mciSendCommand （）或者字符串接口函数mciSendString（）来完成的，这两个函数的作用相同。命令接口函数比命令字符串使用起来要复杂，但它为MCI提供了更为强大的控制能力，下面就介绍命令接口函数的使用。 2.1命令接口函数的原型 MCIERROR mciSendCommand(MCIDEVICEID IDDevice,UINT uMsg, DWORD fdwCommand,DWORD dwParam);
收稿日期:2004212227 基金项目:国家自然科学基金资助项目(60572148) 作者简介:易鸿锋(19792),女,西安电子科技大学硕士研究生. 一种高精度的符号定时同步方法 易鸿锋,谷春燕,易克初,金力军 (西安电子科技大学综合业务网理论与关键技术国家重点实验室,陕西西安 710071) 摘要:利用同步搜索和跟踪环路并结合基于多相滤波器的重新抽样法实现高精度同步,提出一种高精 度符号定时同步方法.其中多相滤波器组中的滤波器是通过一个低通滤波器取不同群延迟值导出的.该 方法是一种基于信号采样时钟速率的全数字化处理过程,其同步精度可达到信号采样间隔的1%以上, 且便于FPG A 或DSP 实现. 关键词:符号定时同步;多相滤波器组;样点内插 中图分类号:T N914.332 文献标识码:A 文章编号:100122400(2005)0620915205 A h i gh prec ise m ethod for sy m bol ti m i n g synchron i za ti on Y I Hong 2feng,G U Chun 2yan,YI Ke 2chu,J I N L i 2jun (State Key Lab .of I ntegrated Service Net w ork,Xidian Univ .,Xi ′an 710071,China ) Abstract: This paper p resents a high p recise method for sy mbol ti m ing synchr onizati on,which is realized by using a synchr onizati on searching/tracking l oop combined with the re 2sa mp ling of the input digital signal based on a multi 2phase filter 2bank whose filters are deduced fr om a l ow 2pass filter p r ot otype with different gr oup delays .The method is a fully 2digitized p r ocess at the sa mp ling cl ock rate,s o that it can be conveniently i m p le mented by FPG A or DSP,whose synchr onizati on p recisi on can reach 1%of the sa mp ling interval . Key W ords: sy mbol ti m ing synchr onizati on;multi 2phase filter 2bank;sa mp le inter polati on 符号定时同步在数字通讯和无线电距离测量等系统中是一个不可缺少的基本环节,通常的同步精度只需达到±015个采样间隔.在某些场合需要实现高精度符号定时同步,其实现方法可分为两大类:一类是通过同步误差反馈环路微调压控时钟(VCC )控制信号A /D 变换的采样频率和采样点位置;另一类是采样数字信号处理方法通过样点内插以提高信号采样率然后进行同步搜索和跟踪.第一类方法存在多方面的缺 陷[1],如VCC 的相位噪声引入同步误差、同步反馈环路时延引入同步偏差或波动等等.第二类方法需要在每两个样点间插入N -1个零,并用相对带宽为π/N 的低通滤波器(插值滤波器)滤波,计算量较大不利于实际 应用.有人将内插和下采样过程相结合推导出一种简化的插值滤波器[2～4],并在此基础上将符号同步匹配滤 波器设计成包括N 个不同群延迟值的恒定群延迟多相滤波器组[1],利用不同滤波器采样位置的略微偏差提 高采样精度.但当N 较大时,此种高阶的多相滤波器设计效率较低,并且当符号同步匹配滤波器(如伪随机码匹配滤波器)不适于设计成多相滤波器组时,此方法也就不再适用. 基于上述问题,笔者提出了一种更为通用的高精度符号定时同步方法.此方法可将系统中的任何滤波器设计成多相滤波器组,并通过选用多相滤波器滤波一次完成内插、下采样等复杂过程提高采样率.当本方法用于数字解调系统时,可将多相滤波器组与后端的匹配滤波器分离,解决符号定时同步匹配滤波器不适于设计成多 相滤波器组的问题[1].本文中还提出一种多相滤波器组更一般的设计方法,即便当N 很大时也可基于Re mez 算 法或其他最优化方法,设计出低阶、高效多相滤波器组,并保证同步精度达到1%个抽样间隔以上.同时该方法为基于原信号采样时钟的全数字化处理方法,适于构成同步反馈控制环路,且其软硬件实现复杂度较低,便于FPG A 或DSP 实现.理论分析及仿真结果表明,此方法能够准确而有效地实现高精度符号定时同步. 2005年12月 第32卷 第6期 西安电子科技大学学报(自然科学版) J O U RNAL O F X ID IAN U N IV ER S ITY Dec .2005 Vol .32 No .6