下载文档原格式
多媒体信息处理与传输一、课程说明课程编号：090375Z10课程名称：多媒体信息处理与传输/ Multimedia Information Processing and Transmission课程类别：专业教育课程（专业选修课）学时/学分：32/2先修课程：计算机与程序设计语言基础，信息论与编码，计算机网络原理适用专业：电子信息工程教材、教学参考书：[1] 蔡安妮,等. 多媒体通信技术基础(第三版). 北京：电子工业出版社，2012.[2] 王汝言. 多媒体通信技术. 西安：西安电子科技大学出版社，2014[3] 朱志祥,等. IP网络多媒体通信技术及应用. 西安：西安电子科技大学出版社，2007二、课程设置的目的与意义本课程是面向电子信息工程专业的高年级本科生开设的一门专业课，主要目的是让学生掌握多媒体信息处理与传输的基础知识与关键技术，使他们能够从系统或整体的角度深入理解所学的多方面专业知识与技术在现实世界中的综合应用，同时扩大专业知识面、培养一定的自主探索新技术的能力。
现代信息系统大部分都需要综合处理图文声像等多媒体信息，现代通信业务也正朝着多媒体业务的方向发展，多媒体化、智能化、网络化是现代电子设备的必然发展趋势。
多媒体通信技术是音视频处理技术、计算机技术与网络通信技术有机结合的产物，涉及到的理论与技术比较广。
通过本课程的学习，学生不仅能进一步加深对已学过的多门专业基础课的认识，而且还能开阔视野、扩大知识面，学习到多媒体通信技术研究与应用开发的一些新理论与新技术，有助于培养开放思维和创新精神，从而增强对时代发展和未来工作的适应能力。
三、课程的基本要求知识：理解多媒体相关的基本概念，掌握多媒体信息处理的基础知识；理解多媒体信息传输过程中可能存在的问题及其解决办法；了解多媒体通信的数据压缩技术、网络技术、同步技术和流媒体技术的基本原理；了解多媒体通信系统设计应遵循的主要标准、典型应用系统的结构及工作原理。
视频传输原理视频传输是指将视频信号从一个地方传输到另一个地方的过程。
视频传输原理涉及到信号的采集、编码、传输和解码等多个环节，是实现视频通信的基础。
本文将从视频信号的采集、编码、传输和解码等方面进行介绍，帮助读者深入了解视频传输的原理。
首先，视频信号的采集是视频传输的第一步。
视频信号可以通过摄像头、摄像机等设备进行采集，将现实世界中的图像转换成电信号。
采集到的视频信号经过模拟/数字转换器转换成数字信号，以便后续的数字处理和传输。
接下来是视频信号的编码。
在视频编码过程中，视频信号会经过压缩处理，以减小数据量，提高传输效率。
常见的视频编码标准包括MPEG-2、MPEG-4、H.264等。
这些编码标准通过采用不同的压缩算法，实现对视频信号的高效压缩，从而减小数据量，保证视频传输的流畅性和清晰度。
然后是视频信号的传输。
视频信号的传输可以通过有线或无线方式进行。
有线传输主要包括光纤传输和同轴电缆传输，无线传输则包括无线局域网、蓝牙、红外线等方式。
在传输过程中，视频信号会经过调制处理，将数字信号转换成适合传输的模拟信号或数字信号，以便在传输过程中保持信号的稳定性和可靠性。
最后是视频信号的解码。
接收端会对传输过来的视频信号进行解码处理，将压缩的视频信号还原成原始的视频数据。
解码过程中需要使用与编码相对应的解码算法，以确保视频信号的质量和清晰度。
解码后的视频信号可以通过显示器、投影仪等设备进行显示，让用户观看到高质量的视频画面。
综上所述，视频传输原理涉及到视频信号的采集、编码、传输和解码等多个环节。
通过对这些环节的深入了解，可以更好地理解视频传输的工作原理，为视频通信技术的发展和应用提供理论支持。
希望本文能够帮助读者对视频传输原理有更深入的认识。
一、实验背景随着信息技术的飞速发展，多媒体技术已成为现代生活中不可或缺的一部分。
多媒体技术是将文本、图像、音频、视频等多种信息载体集成在一起，通过计算机技术进行处理、存储、传输和展示的一种技术。
为了更好地理解和掌握多媒体技术，我们开展了此次实验。
二、实验目的1. 了解多媒体技术的基本概念和组成要素；2. 掌握多媒体制作工具的使用方法；3. 熟悉多媒体文件格式及其特点；4. 学会使用多媒体技术进行简单的多媒体作品制作。
三、实验内容1. 多媒体制作工具的使用（1）文字处理软件（如Microsoft Word）实验步骤：① 打开Microsoft Word，创建一个新的文档；② 输入文字内容，设置字体、字号、颜色等格式；③ 添加图片、表格等元素，调整其位置和大小；④ 保存文档。
（2）图像处理软件（如Photoshop）实验步骤：① 打开Photoshop，创建一个新的图像文件；② 使用各种工具对图像进行编辑，如调整亮度、对比度、色彩饱和度等；③ 使用图层功能对图像进行合成；④ 保存图像文件。
（3）音频处理软件（如Audacity）实验步骤：① 打开Audacity，导入音频文件；② 使用各种工具对音频进行编辑，如剪切、复制、粘贴、添加效果等；③ 保存音频文件。
（4）视频处理软件（如Adobe Premiere Pro）实验步骤：① 打开Adobe Premiere Pro，导入视频文件；② 使用各种工具对视频进行剪辑、调整画面、添加转场效果等；③ 保存视频文件。
2. 多媒体文件格式及特点（1）文本格式：如TXT、DOC等，适用于文字内容的存储和传输；（2）图像格式：如JPG、PNG等，适用于图像内容的存储和传输；（3）音频格式：如MP3、WAV等，适用于音频内容的存储和传输；（4）视频格式：如AVI、MP4等，适用于视频内容的存储和传输。
3. 多媒体作品制作（1）设计多媒体作品主题和内容；（2）根据主题选择合适的制作工具；（3）收集和整理所需素材；（4）按照设计要求进行多媒体作品制作；（5）对作品进行测试和修改，直至达到预期效果。
一、实验背景随着信息技术的飞速发展，信息工程已成为我国经济发展的重要支柱。
为了提高我国信息工程领域的技术水平和创新能力，我们开展了信息工程创新实验。
本次实验旨在培养学生运用现代信息技术解决实际问题的能力，提高学生的实践操作能力和创新思维。
二、实验目的1. 熟悉信息工程的基本原理和实验方法；2. 培养学生运用现代信息技术解决实际问题的能力；3. 提高学生的实践操作能力和创新思维；4. 了解信息工程领域的前沿技术和发展趋势。
三、实验内容1. 实验一：信息采集与处理（1）实验目的：掌握信息采集与处理的基本方法，提高信息获取和处理能力。
（2）实验内容：采集网络上的文本、图片、音频、视频等多种类型的信息，运用信息处理技术进行数据清洗、转换、存储和检索。
（3）实验步骤：① 采集网络信息，包括文本、图片、音频、视频等；② 运用信息处理技术进行数据清洗、转换、存储和检索；③ 分析实验结果，总结信息采集与处理的方法。
2. 实验二：信息传输与交换（1）实验目的：掌握信息传输与交换的基本原理，提高网络通信能力。
（2）实验内容：利用TCP/IP协议实现信息传输与交换，包括数据封装、传输、路由、接收等过程。
（3）实验步骤：① 搭建实验环境，配置网络设备；② 编写TCP/IP协议栈，实现数据封装、传输、路由、接收等功能；③ 分析实验结果，验证信息传输与交换的正确性。
3. 实验三：信息安全与加密（1）实验目的：掌握信息安全与加密的基本原理，提高信息保护能力。
（2）实验内容：研究常用加密算法，如RSA、AES等，实现信息加密和解密。
（3）实验步骤：① 学习常用加密算法的原理；② 编写加密和解密程序，实现信息加密和解密；③ 分析实验结果，验证加密和解密的有效性。
4. 实验四：大数据处理与分析（1）实验目的：掌握大数据处理与分析的基本方法，提高数据挖掘和分析能力。
（2）实验内容：运用Hadoop、Spark等大数据处理技术，对海量数据进行处理和分析。
数字视频流通信传输一 实验目的1.了解流传输的原理。
2.理解计算机网络体系结构3.掌握SOCKET编程4.了解TI DSP平台下网络开发工具NDK5. 结合原理对程序进行分析6.运行.out文件看到视频流传输的效果。
二 实验原理1.流媒体实现的关键技术就是流式传输。
流式传输定义很广泛，现在主要指通过网络传送媒体(如视频、音频)的技术的总称。
其特定含义为通过Internet 将影视节目传送到PC机。
实现流式传输有两种方法：实时流式传输(Realtime Streaming)和顺序流式传输(progressive Streaming)。
一般说来，如视频为实时广播，使用流式传输媒体服务器，或应用如RTSP的实时协议，即为实时流式传输。
如使用HTTP服务器，文件即通过顺序流式传输。
2. 要使得计算机在网络中有条不紊地交换数据，就要为网络中数据交换建立统一的规则、标准或约定，称为网络协议；各层协议的集合构成了网络的体系结构。
计算机网络的五层协议体系结构图2.1所示：图2.1 计算机网络五层协议①应用层是所有用户所面向的应用程序的统称。
ICP/IP协议族在这一层面有着很多协议来支持不同的应用，许多大家所熟悉的基于Internet的应用的实现就离不开这些协议。
如我们进行万维网（WWW）访问用到了HTTP协议、文件传输用FTP协议、电子邮件发送用SMTP、域名的解析用DNS协议、远程登录用Telnet协议等等，都是属于TCP/IP应用层的；就用户而言，看到的是由一个个软件所构筑的大多为图形化的操作界面，而实际后台运行的便是上述协议。
②传输层的功能主要是提供应用程序间的通信，TCP/IP协议族在这一层的协议有TCP和UDP。
③网络层是TCP/IP协议族中非常关键的一层，主要定义了IP地址格式，从而能够使得不同应用类型的数据在Internet上通畅地传输，IP协议就是一个网络层协议。
④网络接口层是TCP/IP软件的最低层，负责接收IP数据包并通过网络发送之，或者从网络上接收物理帧，抽出IP数据报，交给IP层。
序号：82学生实验报告课程名称：多媒体信息基础选课课号：学生所在学院：年级/专业/班：学生姓名：学号：实验总成绩：任课教师：实验中心名称：信息科学与技术教学部实验一 MPC系统配置设计姓名：学号：实验时间：成绩：一、实验目的：1、掌握MPC硬件系统的构成 2、掌握MPC软件系统的构成 3、掌握多媒体计算机的各个部件的功能协调配置二、实验内容：a) 说明设计主题、思路、实现的策略、设计分析；b) 按照教程上所讲的计算机各个部件的特征、实现功能，在网络上找出对应的部件和软件;c) 根据比较分析各个部件及软件，组合成一套完整的多媒体计算机系统。
操三、作步骤：第一步 MPC硬件信息搜索第二步 MPC软件信息搜索第三步功能比较分析第四步硬件配置设计第五步软件配置设计第六步配置设计的功能说明MPC硬件配置表（低端）配置设计说明（一）：这种配置算是很低端了，但是也高于书上的MPC 4.0标准。
3000多一点就能买到。
这个配置能支持CD DVD的读取与刻录，麦克风音频的输入。
硬件上能支持硬解高清，cpu也能支持一般的视频编辑，而文字，图片，音频文件编辑更不在话下。
由于是低端就没考虑扫描仪，电视卡之类的设备。
多媒体的获取重要靠互联网。
MPC软件配置表(低端)配置设计说明（二）：主要考虑易用性，注重于多媒体文件的回放和软件的执行流畅度，编辑功能不强。
MPC硬件配置表(高端)配置设计说明（三）：在满足多媒体信息的一般处理能力的基础上，能够支持超级动画、电视电影特技处理；突出支持多媒体信息的处理速度和；突出支持多媒体信息时显示的层次感支持快速处理多媒体信息时的动能供给；突出支持处理多媒体信息是的良好散热性。
MPC软件配置表(高端)配置设计说明（四）：为处理各种多媒体对象提供较全面、完整的功能；为处理后的各种多媒体结果提供尽可能完美的展现平台。
设计者：实验二PowerPoint 处理多媒体姓名：学号：实验时间：成绩：一、实验目的：合理地在幻灯片中插入和播放动画和多媒体视频文件，通过训练掌握PowerPoint XP处理动画和视频方面的几项基本技术。
实验四RTP-RTCP协议一、实验目的1、了解实时传输协议RTP和实时传输控制协议RTCP的基本原理；2、学习使用RTP数据报发送实时数据，并接收重组；3、学会使用Wireshark进行抓包，并分析数据。
二、实验内容1、RTP协议报文段的说明语句RTP（Real-time Transport Protocol，实时传输协议）是一个网络传输协议。
RTP报文由两部分组成：报头和有效载荷。
RTP报头格式如图1所示，其中：图1 RTP报头格式V：RTP协议的版本号，占2位，当前协议版本号为2。
P：填充标志，占1位，如果P=1，则在该报文的尾部填充一个或多个额外的八位组，它们不是有效载荷的一部分。
X：扩展标志，占1位，如果X=1，则在RTP报头后跟有一个扩展报头。
CC：CSRC计数器，占4位，指示CSRC 标识符的个数。
M: 标记，占1位，不同的有效载荷有不同的含义，对于视频，标记一帧的结束；对于音频，标记会话的开始。
PT: 有效载荷类型，占7位，用于说明RTP报文中有效载荷的类型，如GSM 音频、JPEM图像等。
序列号：占16位，用于标识发送者所发送的RTP报文的序列号，每发送一个报文，序列号增1。
接收者通过序列号来检测报文丢失情况，重新排序报文，恢复数据。
时戳(Timestamp)：占32位，时戳反映了该RTP报文的第一个八位组的采样时刻。
接收者使用时戳来计算延迟和延迟抖动，并进行同步控制。
同步信源(SSRC)标识符：占32位，用于标识同步信源。
该标识符是随机选择的，参加同一视频会议的两个同步信源不能有相同的SSRC。
特约信源(CSRC)标识符：每个CSRC标识符占32位，可以有0～15个。
每个CSRC标识了包含在该RTP报文有效载荷中的所有特约信源。
2、RTCP协议报文段的说明语句RTCP（RTP Control Protocol,控制协议）——监控服务质量并传送正在进行的会话参与者的相关信息。
RTCP包括五种数据包类型（RFC3550 Page69）：以上五种分组的封装大同小异，以SR报文为例详细描述一下RTCP报文格式（RFC3550 Page35）：每个字段的含义如下：V、P字段与RTP报头中相应字段的含义相同。
RC：接收报告计数，5位。
数据包中RR数据块的数目，可为0。
PT：数据包类型，8位。
其值为常量200，用于标识SR数据包。
Length：16位。
RTCP数据包的长度，包括报头和补充字节信息，每32位为一个计数单元。
SSRC：32位。
创建SR数据包的同步源标识符。
第二部分是长度为20个字节的发送端信息，每个SR都含有这部分信息。
它对发送端传输的数据进行计数。
每个字段的含义如下：NTP时间标志：64位。
表示SR的发送时间。
它与从接收端返回的时间标志配合用来计算在发送端和接收端间的数据传输时间。
RTP时间标志：32位。
与NTP时间标志对应的时间值。
它用于同步与NTP 时间标志同步的数据源。
也可用于接收端估算RTP时钟频率。
发送端数据包计数：32位。
从开始传输到产生SR数据包这段时间内由发送端发送的RTP数据包。
发送端改变其SSRC标识符时重新设置该计数值。
第三部分是0个或多个RR数据块。
数据块的数量由接收最后一个报告以来该发送端所收听的其它数据源的数量确定。
每个RR数据块通过接收来自单同步源的RTP数据包传输统计信息。
由于冲突而使数据源改变其SSRC标识符时，接收端不改变其统计信息。
统计信息有：SSRC_n(数据源标识符)：32位。
SSRC标识符，在RR数据块中与数据源有关的信息。
丢失率：8位。
发送前一个SR或RR数据包后来自数据源SSRC_ n的RTP 数据包的丢失比例等于丢失的数据包除以发送的数据包。
因复制而使数据包丢失数为负值时，丢失率为0。
丢失数据包累计数：24位。
开始接收后，来自数据源SSRC_n的丢失数据包数量等于发送的数据包减去实际收到的数据包，包括以后收到的或复制的数据包。
因此，后来收到的数据包不作为丢失数据包。
当复制数据包时，丢失数据包的值可能为负数。
发送的数据包个数等于收到的数据包中的最大序号减去最小序号。
收到的最大序号扩展：32位。
低16位为从数据源SSRCen收到的RTP数据包的最大序号。
高16位为对上述序号的扩展。
接收抖动:32位。
RTP数据包收到时刻的统计偏差的估值，用时间标志单元作测量单位，用无符号正数表示。
最后SR延时(LSR)：32位。
NTP时间标志的中间32位。
若没有收到SR报告，则该字设置为0。
从最后一个SR以来的延时(DLSR)：32位。
从数据源SSRC_ n接收到最后的SR数据包到发送相应的接收报告间的延时，以1/65536秒为单位。
若没有收到SR数据包，则DLSR字段设置为0。
RR数据包的格式如图4所示。
除净荷类型字段的值为常量201外，其它字段与SR数据包中相应字段的含义相同。
去掉了5个字(NTP时间标志、RTP时间标志、发送端数据包和字节计数)的发送端信息。
不发送数据或不接收报告时，在混合RTCP数据包的开始部分应放置空的RR 数据包(RC=0)。
表3 RR的报文格式三、实验过程1、完成RTP报文段的说明语句struct RTP_PDU {unsigned short Version:2; /* protocol version */unsigned short P:1; /* padding flag */unsigned short X:1; /* header extension flag */unsigned short CC:4; /* CSRC count */unsigned short M:1; /* marker bit */unsigned short PT:7; /* payload type */u_int16 SEQ; /* sequence number */u_int32 TS; /* timestamp */u_int32 SSRC; /* synchronization source */u_int32 CSRC[1]; /* optional CSRC list */}2、完成RTCP报文段的说明语句struct RTCP_PUD {unsigned short Version:2; /* protocol version */unsigned short P:1; /* padding flag */unsigned short Count:5; /* varies by packet type */unsigned short PT:8; /* RTCP packet type */u_int16 Length; /* pkt len in words, w/o this word */ }3、用Wireshark软件抓取视频和音频网络数据报，并给出RTP和RTCP数据报的分析结果。
在用Wireshark进行抓包实验中，首先是对其进行软件设置。
我在实验过程中的设置如图2。
图2 软件设置在Capture Options的设置中，将Interface设置为图上所示。
该字段指定我想用于进行捕捉的接口。
一次只能使用一个接口。
我的IP address是：192.168.0.100。
Capture Filter是捕捉过滤器，我只是选择抓取UDP的包。
进行简单的设置之后，点击开始进行抓包，等待几秒后，停止抓包，得到如图3所示。
图3 抓包四、数据结果分析整个窗口被分成三个部分：最上面为数据包列表，用来显示截获的每个数据包的总结性信息；中间为协议树，用来显示选定的数据包所属的协议信息；最下边是以十六进制形式表示的数据包内容，用来显示数据包在物理层上传输时的最终形式。
使用Wireshark可以很方便地对截获的数据包进行分析，包括该数据包的源地址、目的地址、所属协议等。
选取第一个包进行分析：帧号时间源地址目的地址高层协议包内信息概况No. Time Source Destination Protocol Info1 0.000000 218.0.156.24 192.168.0.100 UDP 62 Source port: 31843 Destination port:64512 源端口目的端口以下为物理层的数据帧概况,如图4所示：图4 物理层的数据帧Frame 1: (62 bytes on wire, 62 bytes captured) 1号帧，线路62字节，实际捕获62字节Arrival Time: NOV 11, 2013 09:49:10.062652000 捕获日期和时间Epoch Time: 1384134550.062652000 seconds 捕获时间[Time delta from previous captured frame:0.00000 seconds]此包与前1个捕获帧的时间间隔[Time delta from previous displayed frame:0.00000 seconds] 此包与前1个显示帧的时间间隔[Time since reference or first frame: 0.00 seconds]此包与第1帧的间隔时间Frame Number: 1 帧序号Packet Length: 62 bytes 帧长度Capture Length: 62 bytes 捕获长度[Frame is marked: False] 此帧是否做了标记：否[Protocols in frame: eth:ip:udp:data] 帧内封装的协议层次结构以下为数据链路层以太网帧头部信息,如图5所示：图5 数据链路层Ethernet II, Src: Tp-LinKT_6d:05:86 (00:21:27:6d: 05:86), Dst: ControlR _00: d2:16 (00:e0:80:00:d2:16)以太网协议版本II，源地址：厂名_序号（网卡地址），目的：厂名_序号（网卡地址）Destination: ControlR_00:d2:16(00:e0:80:00:d2:16)目的：厂名_序号（网卡地址）Source: Tp-LinKT_6d:05:86 (00:21:27:6d:05:86) 源：厂名_序号（网卡地址）Type: IP (0x0800) 帧内封装的上层协议类型为IP（十六进制码0800）以下为互联网层IP包头部信息，如图6所示：图6 互联网层IP包Internet Protocol, Src: 218.30.118.189 (192.168.0.100) , Dst: 192.168.0.100 (192.168.0.100) 互联网协议，源IP地址，目的IP地址Version: 4 互联网协议IPv4Header length: 20 bytes IP包头部长度Differentiated Services Field:0x00(DSCP 0x00:Default;ECN:0x00)差分服务字段Total Length: 48 IP包的总长度Identification:0xb7cd (47051) 标志字段Flags:0x00 记字段Fragment offset: 0 分段偏移量（将一个IP包分段后传输时，本段的标识）Time to live: 52 生存期TTLProtocol: UDP (17) 此包内封装的上层协议为UDPHeader checksum:0x97cc[correct] 头部数据的校验[正确的] Source: 218.30.118.189 (192.168.0.100) 源IP地址Destination: 192.168.0.100(192.168.0.100) 目的IP地址以下为传输层TCP数据段头部信息,如图7所示:图7User Datagram Protocol, Src Port: 31843 (31843), Dst Port:64512(64512) 传输控制协议UDP的内容Source port: 31843 (31843) 源端口名称（端口号）Destination port: 64512(64512) 目的端口名称（端口号）Length: 28 长度Checksum: 0x0000 UDP数据段的校验和(由于选取的第一个目的地址是本机)Data: (20 bytes) 可选项五、实验中遇到的问题本次实验的主要问题在于文献的阅读和软件的使用，由于知识面的限制，对RTP和RTCP协议的了解和认识比较浅显，对于文献的阅读能力还需进一步提高；另外对于软件的使用和数据的分析，还是需要熟读协议的手册，对照抓包软件抓到数据进行分析和理解。
