1 / 7 20XX年复习资料
大
学
复
习
资
料
专 业：
班 级：
科目老师：
日 期：
2 / 7 第1章 绪论
1.1 信息论的形成与发展
信息论的发展过程
✓ 20XXXX24年，H Nyquist， 信息率与带宽联系
✓ 20XXXX28年，RV Hartley, 引入非统计信息量
✓ 20XXXX36年，EH Armstrong， 带宽与抗干扰能力
✓ 20XXXX36年，H Dudley, 发明声码机
✓ 40年代初，N Wiener, “控制论”
✓ 20XXXX48年，Shannon, “信息论” “A mathematical theory of
communications”信息时代的里程碑
✓ 50年代开始，IRE成立信息论组，出版信息论汇刊
信息论的形成与发展
✓ 20XXXX59年，Shannon, 信源压缩编码理论，“Coding theorem for a discrete
source with a fidelity criterion”
✓ 20XXXX0XX1年，Shannon, “双路通信信道”，多用户理论
✓ 20XXXX0XX2年，Cover, 广播信道
三大定理
无失真信源编码定理（第一极限定理）
信道编码定理（第二极限定理）
限失真信源编定理（第三极限定理）
Shannon信息论：在噪声环境下，可靠地、安全地、有效地传送信息理论
----狭义信息论
信息
✓ 定义
广义定义：信息是物质的普遍属性，所谓物质系统的信息是指它所属的物理系统在同一切其他物质系统全面相互作用（或联系）过程中，以质、能和波动的形式所呈现的结构、状态和历史
概率信息：信息表征信源的不定度，但它不等同于不定度，而是为了消除一定的不定度必须获得与此不定度相等的信息量
2.3 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？
解：
设随机变量X代表女孩子学历
X x1（是大学生） x2（不是大学生）
P(X) 0.25 0.75
设随机变量Y代表女孩子身高
Y y1（身高>160cm） y2（身高<160cm）
P(Y) 0.5 0.5
已知：在女大学生中有75%是身高160厘米以上的
即：bitxyp 75.0)/(11
求：身高160厘米以上的某女孩是大学生的信息量
即：bitypxypxpyxpyxI 415.15.075.025.0log)()/()(log)/(log)/(11111111
2.4 设离散无记忆信源8/14/1324/18/310)(4321xxxxXPX，其发出的信息为(202120130213001203210110321010021032011223210)，求
(1) 此消息的自信息量是多少？
(2) 此消息中平均每符号携带的信息量是多少？
解：
(1) 此消息总共有14个0、13个1、12个2、6个3，因此此消息发出的概率是：
62514814183p
此消息的信息量是：bitpI 811.87log
(2) 此消息中平均每符号携带的信息量是：bitnI 951.145/811.87/
2.5 从大量统计资料知道，男性中红绿色盲的发病率为7%，女性发病率为0.5%，如果你问一位男士：“你是否是色盲？”他的回答可能是“是”，可能是“否”，问这两个回答中各含多少信息量，平均每个回答中含有多少信息量？如果问一位女士，则答案中含有的平均自信息量是多少？
解：
男士： symbolbitxpxpXHbitxpxIxpbitxpxIxpiiiNNNYYY/ 366.0)93.0log93.007.0log07.0()(log)()( 105.093.0log)(log)(%93)( 837.307.0log)(log)(%7)(2
2-1、一阶马尔可夫链信源有3个符号，转移概率为：，，， ，，，，，。画出状态图并求出各符号稳态概率。
解：由题可得状态概率矩阵为：
状态转换图为：
令各状态的稳态分布概率为，，，那么： ， , = 且：1
稳态分布概率为： =，=，=
2-2.由符号集｛０，１｝组成的二阶马尔可夫链，其转移概率为：P(0|00)=0.8(0|11)=0.2(1|00)=0.2(1|11)=0.8(0|01)=0.5(0|10)=0.5(1|01)=0.5(1|10)=0.5画出状态图，并计算各符号稳态概率。
解：状态转移概率矩阵为： 令各状态的稳态分布概率为、、、，利用〔2-1-17〕可得方程组。
且； 解方程组得： 即：
2-3、同时掷两个正常的骰子，也就是各面呈现的概率都是，求：
〔1〕、“3和5同时出现〞事件的自信息量；
〔2〕、“两个1同时出现〞事件的自信息量；
〔3〕、两个点数的各种组合的熵或平均信息量；
〔4〕、两个点数之和的熵；
〔5〕、两个点数中至少有一个是1的自信息量。
解：〔1〕3和5同时出现的概率为：
〔2〕两个1同时出现的概率为：
〔3〕两个点数的各种组合〔无序对〕为： (1,1),(1,2),(1,3),(1,4),(1,5),(1,6)
(2,2),(2,3),(2,4),(2,5),(2,6)
(3,3),
(3,4),(3,5),(3,6)
(4,4),(4,5),(4,6)
(5,5),(5,6)
(6,6)
其中，(1,1), (2,2), (3,3), (4,4), (5,5), (6,6)的概率为1/36，其余的概率均为1/18
第二篇 压缩与编码
数字信号的压缩与编码是多媒体的核心技术和重要内容。第3章中所讲的，音频信号的自适应编码、差分编码和预测编码等，都是典型的压缩编码。
本篇先介绍压缩的基本概念，再讲解可用于静态图像编码的若干常用熵编码压缩算法、基于DCT的JPEG编码、运动图像和伴音的MPEG编码压缩算法、以及当前十分热门的AVC和AVS编码。
本篇分为如下5章：
第7章 压缩与熵编码
第8章 JPEG编码
第9章 MPEG编码
第10章 H.264/AVC编码
第11章 AVS视频编码 多媒体技术基础
• 2 •
第7章 压缩与熵编码
由于多媒体信号的数据量巨大，为了节省存储空间和传输带宽，需进行压缩编码。多媒体数据的压缩方法，可以分成三大类，其中的熵编码是基础，源编码是重点，而将它们二者相结合的混合编码则是各种编码标准所采用的主要方法。
本章先介绍压缩的基本概念，包括：压缩的需要与可能、算法的特点与分类和一般的编码过程。然后，在了解熵定义的基础上，讨论若干常用的熵编码算法，包括：Shannon-Fano编码、Huffman编码、算术编码、RLE和可用于GIF图像编码的LZW算法。
7.1 压缩概论
数据压缩(data compression) ，在电子与通信领域也常被称为信号编码(signal coding)，包括压缩和还原（或编码和解码）两个步骤，相关概念的英文单词参见表7-1。与压缩相关的学科有：信息论、数学、信号处理、数据压缩、编码理论和方法。
7.1.1 压缩的需要与可能
由于多媒体信号的数据量巨大，所以需要压缩；同时，由于在多媒体数据中，存在着各种冗余，所以可以压缩。
压缩的需要
数据量巨大是多媒体信号的特点，例如：
一幅1024*1024真彩图：1024行 * 1024列 * 3B彩色 = 3MB
5分钟的CD音乐：44100样本 / 秒 * 2B(16b) / 样 * 2声道 * 60秒 * 5分钟 =
