当前位置：文档之家 › 华侨大学信息论chapter4

华侨大学信息论chapter4

  • 格式：ppt
  • 大小：475.50 KB
  • 文档页数：31

下载文档原格式

  / 31

合集下载

近代信息论-第四章-1

近代信息论-第四章-1

F(0)=1 F(1)=0
F(0)=1 F(1)=1
问题
选择怎样的译码规则，才是最佳的？
平均错误译码概率
发a ，收到b ，正好译回 a , F (b ) = a
i j i j i
正确译码
i
发a ，收到b ，译码不为a , F (b ) ≠ a
i j i j
错误译码
j
正确译码的概率 错误译码的概率
p p
s
给定信道，采用最大后验概率准则，为使 最小误码率减小，则只能改变信源分布； 给定信源，为使最小误码率减小，可改变 信道的统计特征。
最大似然准则
p (a )
i
先验分布概率
p ai | b j
(
)
后验分布概率 转移概率，似然函数
p b j |a
(
i
)
由贝叶斯公式
( )( ) p (a *|b ) = p (b ) p (a ) p (b | a ) p (a | b ) = p (b )
译码规则
信道，输入等概
0 3/4 3/4 1 1 1/4 1/4 0 当译码规则为： 收到0，译为0 收到1，译为1， 当译码规则为： 收到0，译为1 收到1，译为0， 可见， 可见，译码规则与通信 的可靠性之间关系大。 的可靠性之间关系大。 Pe =3/4
Pe =1/4
译码规则
a a
⋮
1 2
P(Y|X) X
j e
最大后验概率准则（MAP） 最大后验概率准则（MAP）
最大后验概率准则（MAP） 最大后验概率准则（MAP）
对应的最小的误码率：
s e j =1 j j
p = ∑ p(b )[1 − p(a* |b )] = ∑ p(b )− ∑ p(b )p(a* |b )

信息论与编码(第四章PPT)

信息论与编码(第四章PPT)
q
变长编码
l p( si )li (码元 / 信源符号).
i 1
编码速率:编码后每个信源符号所能承载的的最大信 息量
R l log m(比特 / 码符号).
编码效率:
H(X ) H(X ) . R l log m
码的多余度（剩余度）:
l H ( X ) / log m 1 . l
0级节点
0 1 1 2 2
1级节点
2 0 1 2
w1
0
0
w2 w3 w4 w8
w5
2
2级节点
1
0 1
3级节点
w6 w7
w9
w10
w11
26
4.3
r
变长编码
克拉夫不等式( L.G.Kraft, 1949) 长度为l1, l2,…,lr的m元 即时码存在的充分必要条件是：
li m 1 i 1
唯一可译码: 任意有限长的码元序列,只能被唯一地分割成一个一个的 码字,则称为唯一可译码,或单义可译码. 否则，就称为非 唯一可译码, 或非单义可译码. 例：码4是唯一可译码: 1000100 1000, 100 码3是非唯一可译码: 100010010, 00, 10, 0 或10, 0, 01, 00 或10, 0, 01, 00
麦克米伦定理(麦克米伦: B. McMillan, 1956). 长度为l1, l2,…,lr的m元唯一可译码存在的充分必要条件是:
li m 1 i 1 r
27
4.3
变长编码
例 对于码长序列1,2,2,2, 有 + + + = >1,
1 1 1 1 5 2 4 4 4 4 不存在这样码长序列的唯一可译码, 如码2,码3 1 1 1 1 15 对于码长序列1,2,3,4, 有 + + + = <1, 2 4 8 16 16 存在这样码长序列的唯一可译码！ 码4与码5都是唯一可译码！码5是即时码，但码4不是即时码！

第4章信号的相关分析

第4章信号的相关分析
?
t
X
蝌
- ?
ゥ
y (t + t ) x(t )dt -
axy y 2 (t + t )dt = 0
6
6.1 相关系数及其性质
蝌
- ? ゥ
y (t + t ) x(t )dt -
?
axy y 2 (t + t )dt = 0
?
axy
ò ò
- ?
¥
y (t + t ) x(t )dt
¥
- ?
y (t + t )dt
¥ - ?
7
X
6.1 相关系数及其性质

用信号x(t)的能量对最小误差归一化处理： 2 轾¥ x ( t ) y ( t + t ) dt 2 犏 ò xe (t ) min - ? 犏 臌 emin = ¥ = 1ゥ 2 x 2 (t )dt y 2 (t )dt ò x (t )dt
- ?
蝌
- ?
则： x(- t ) * y (t ) 噲 垐FT垎 垐 X (- w) ?Y (w) Q Rxy (t ) = x(- t ) * y(t )
FT 垐 \ Rxy (t ) 噲 垎 垐 X (- w) ?Y (w)
* X (w) × Y (w) 为函数x与y的互能量(功率)谱密度 称
结论：互相关函数与两个信号的互能量谱密度 是一傅里叶变换对
（2）自相关函数与自相关系数
当x(t)=y(t)时，相关函数描述同一信号不同时刻取值的依赖关系 称Rxx(τ)为自相关函数;称ρxx(τ)为自相关系数
15
X
6.2 相关函数的性质 6.2.1互相关函数的性质
引例（2－30）：

信息论4-1

信息论4-1
信息论基础课件之 信息论基础课件之14
在一般的广义通信系统中， 在一般的广义通信系统中，信道是很重要的一部 分，信道是信息传输的通道（如电缆、光纤、电波传 信道是信息传输的通道（如电缆、光纤、 播的介质等物理通道，以及磁盘、光盘等），其任务 播的介质等物理通道，以及磁盘、光盘等），其任务 ）， 是以信号方式传输信息和储存信息， 是以信号方式传输信息和储存信息，在信息论中只研 究信号在这些信道中传输的特性及在此基础上信息的 可靠传输问题，而并不研究这些特性如何获得的 即研 可靠传输问题，而并不研究这些特性如何获得的(即研 究信道中理论上能够传输和存储的最大信息量， 究信道中理论上能够传输和存储的最大信息量，即信 道容量问题) 道容量问题 。
4.据信道的统计特性来分类 据信道的统计特性来分类 ①无记忆信道：信道的输出只与信道该时刻的输入有关 无记忆信道： 而与其他时刻的输入无关 . 有记忆信道(无扰信道 无扰信道) 信道某一时刻输出的消息， ②有记忆信道 无扰信道 ：信道某一时刻输出的消息， 不仅与该时刻的输入消息有关， 不仅与该时刻的输入消息有关，而且还与前面时刻的输 入消息有关。 入消息有关。 5. 根据信道的参数与时间关系来划分 统计特性)不随时间而变化 ①恒参信道：信道的参数(统计特性 不随时间而变化 . 恒参信道：信道的参数 统计特性 统计特性)随时间而变化 ②随参信道：信道的参数(统计特性 随时间而变化 随参信道：信道的参数 统计特性 随时间而变化. 6.根据信道的统计特性对输入端是否有对称性分类 根据信道的统计特性对输入端是否有对称性分类 ①恒参信道 ②随参信道
(2) 对称信道 ① 定义 若信道矩阵中，每行元素都是第一行元素的不同排列， 若信道矩阵中，每行元素都是第一行元素的不同排列， 每列元素都是第一列元素的不同排列， 每列元素都是第一列元素的不同排列，则这类信道称为 对称信道。 对称信道。

信息论讲义-第四章(10讲)

信息论讲义-第四章(10讲)

信息理论基础第10讲北京航空航天大学201教研室陈杰2006-11-274.3离散无记忆扩展信道一、无记忆Ｎ次扩展信道定义：假设离散信道［X, p (y|x ), Y ］,输入符号集合:A ={a 1,a 2,……,a r }输出符号集合:B ={b 1,b 2, ……,b s } X 取值于Ａ，Ｙ取值于Ｂ．将输入，输出Ｎ次扩展得其中,Ｘi 取值于Ａ，Ｙi 取值于Ｂ，i =1,2,……Ｎ12()N X X X =X "12()N YY Y =Y "信道ＸＹp (y|x )2006-11-274.３离散无记忆扩展信道二、无记忆Ｎ次扩展信道其数学模型如下：若则称为Ｎ次无记忆扩展信道。

信道NX X X ……21NY Y Y ……211212(|)N N p y y y x x x ……12121(|)(|)(|)NN N i i i p p y y y x x x p y x ===∏y x ""[,(|),]N N N N X p y x Y2006-11-27三、离散无记忆信道数学模型信道输入序列取值信道输出序列取值信道转移概率信道X YNX X X X (21)Y Y Y Y ……=2112,N x x x x =……A x i ∈12,N y y y y =……B y i ∈1(|)(|)Ni i i p y x p y x ==∏{,(|),}i ip y x X Y 离散无记忆信道2006-11-27离散信道的数学模型可表示为定义若离散信道对任意N 长的输入、输出序列有称为离散无记忆信道，简记为DMC 。

数学模型为{,(|),}p y x X Y 1(|)(|)Ni i i p y x p y x ==∏{,(|),}i i p y x X Y2006-11-27(1) 对于DMC 信道，每个输出符号仅与当时的输入符号有关，与前后输入符号无关。

(2) 对任意n 和m ，，，若离散无记忆信道还满足则称此信道为平稳信道的或恒参信道。

信息论与编码技术Chap4 思考题与习题 khdaw

信息论与编码技术Chap4 思考题与习题 khdaw

， λ 满足
∑D
k =1
K
k
=D
(a) m
(b ) m
≥ ∑ h( x i ) − ∑ h( x i | x ˆi ) i =1 i =1
m
m
m
(c) m
i =1
(d ) m
其中 D = E ( X − ˆ i X
课
真函数定义，（d）高斯变量的率失真函数。式中有两个不等号，其中 （b）
当q( x | x ˆ i) = ∏ q( x i | x ˆ i)时，等号成立。
或
D =λ
i
'
D m
D 2 ≤ min{σ i } 时 i m
这表示当失真分配给各分量时，最佳分配方案是每个分量等失真。但这仅当 才可行，当某个分量的
σ
2
i
小于
D 时 就 不 行 了 ， 必 须 利 用 K-T 条 件 来 解 ， 即 选 λ 使 m
2 ⎧ 1 1 ∂J ⎪ 0, D i < σ i =− +λ⎨ 2 2 Di ∂D ⎪ ⎩≤ 0, D i ≥ σ i
⎡1 0 ⎤ ⎡0 1⎤ ⎡α 1 − α ⎤ ⎥ ⎢ ⎥ ⎢ ⎥ 0 ≤α ≤1 [ P(υ j | u i )] = ⎢ ⎢1 0 ⎥ , ⎢0 1⎥ 或 ⎢α 1 − α ⎥ ， ⎢ ⎣1 0 ⎥ ⎦ ⎢ ⎣0 1⎥ ⎦ ⎢ ⎣α 1 − α ⎥ ⎦
w. kh d
aw .
co m
3
1 [1 + 1 + 1] = 1 3
所以
无噪无损信道中进行传输，而信道每秒钟只传递二个二元符号。 (1)试问信源能否在此信道中进行无失真的传输。 解：（1）此信源的熵 H(s)=1 （比特/符号）

《信息论与编码》PPT第四章

→ →

L

L

2）误差准则：
→ → e( f , g ) p ε 即P g f (uL ) ≠ uL p ε差准则： E [e ( f , g )] p ε 即E P g f (u ) ≠ u p ε ，
四、 密码 它是研究信息与通信系统在传输最安全的指标下， 系统中的信源和信宿，在什么样条件下能实现统计匹 配，即最优的加、解密密码存在； 反之，又在什么样条件下不能实现统计匹配，即 最优的加、解密密码不存在。
定理： 设掌握密钥的信宿V，它对应的系统传送的互信息 R=I（U，V，）不掌握密钥的信宿V’，它对应的系统传 送的互信息R’=I（U，V’），信源的信息熵为H（U）。 则：掌握密钥的信宿V，通过最优化的加、解密码 V （f2,g2），使得R=I（U，V）=H（U）。 反之，对不掌握密钥的信宿V’，几乎找不到最优化密钥 （f2,g2’）=（f2,g2），即R’=I（U，V’）→0. ——1949年，香农给出的密码学基本定理。 * 概率分布分析： P (ϕ ) = P (u L ).P (cm | sm ).P ( sm | cm ) ′ ′
定理：若系统要求达到的实际传输速率为R，无失真 信源的可用信息熵为H（U），则若R＞H（U）时， 最有效的信源编、译码 ( f1 , g1 ) 存在，反之R＜ H（U）则不存在。——香农编码第一定理。 从另一角度来理解定理——用系统的概率分布函数
′ 由无失真准则，则 即 P ( sm | uL ) = P (vL | sm ) → → 所以 P(ϕ ) = p(uL ) f .g = p(uL ) 即系统与信源匹配。
•系统优化其物理实质： 就是要研究系统在某种优化指标下，上述两类 参数在满足什么条件时对应的编、译码存在； 又在什么条件下，对应的编、译码不存在。

《信息论与编码》课件


发展趋势与未来挑战
探讨信息论和编码学领域面临的未 来挑战。
介绍多媒体数字信号压缩和编码技术的发展和应用。
可靠的存储与传输控制技术
解释可靠存储和传输控制技术在信息论中的重要性。
生物信息学中的应用
探讨信息论在生物信息学领域的应用和突破。
总结与展望
信息论与编码的发展历程
回顾信息论和编码学的发展历程和 里程碑。
信息技术的应用前景
展望信息技术在未来的应用前景和 可能性。
介绍误码率和信噪比的定义和关系。
2
码率与修正码率的概念
解释码率和修正码率在信道编码中的重要性。
3
线性码的原理与性质
探讨线性码的原理、特点和应用。
4
编码与译码算法的实现
详细介绍信道编码和译码算法的实现方法。
第四章 信息论应用
无线通信中的信道编码应用
探索无线通信领域中信道编码的应用和进展。
多媒体数字信号的压缩与编码技术
《信息论与编码》T课 件
# 信息论与编码 PPT课件
第一章 信息的度量与表示
信息的概念与来源
介绍信息的定义，以及信息在各个领域中的来源和 应用。
香农信息熵的定义与性质
介绍香农信息熵的概念和其在信息论中的重要性。
信息量的度量方法
详细解释如何度量信息的数量和质量。
信息压缩的基本思路
探讨信息压缩的原理和常用方法。
第二章 信源编码
等长编码与不等长编码
讨论等长编码和不等长编码的特点 和应用领域。
霍夫曼编码的构造方法与 性质
详细介绍霍夫曼编码的构造和优越 性。
香农第一定理与香农第二 定理
解释香农第一定理和香农第二定理 在信源编码中的应用。

《信息论及编码(第二版)》第4章

16
平均互信息
• 平均互信息I(X;Y)：
– 信源的概率分布p(xi)的上凸函数。 – 信道传递概率p(yj|xi)的下凸函数。
• 信道容量：
C max I ( X ; Y )
p ( xi )
• 信息率失真函数：
R( D) min I ( X ; Y )
PD
17
信道容量
• 信道容量：
– 假定信道固定的前提下,选择一种试验信源 使信息传输率最大。
• 例：设信源符号序列为X={0,1},接收端收到符号 序列为Y= {0,1,2},规定失真函数为 失真矩阵 d(0,0)＝d(1,1)= 0 0 1 0.5 d(0,1)＝d(1,0)= 1 d d(0,2)＝d(1,2)= 0.5 1 0 0.5
5
失真函数
• 失真函数形式可以根据需要任意选取,最常用的有:
第 4章
信息率失真函数
内容
4.1 平均失真和信息率失真函数 4.2 离散信源和连续信源的R(D)计算
2
4.1 平均失真和 信息率失真函数
3
4.1.1 失真函数
• 假如某一信源X,输出样值xi , xi∈{a1,a2,…an},经 信道传输后变成yj , yj ∈{b1, b2,…bm},如果: xi ＝ yj 没有失真 x ≠ yj 产生失真 x yi 0 d (x , y ) x y 0 • 失真的大小 ,用一个量来表示,即失真函数d(xi,yj), 以衡量用yj代替xi所引起的失真程度。
Dmax min D
R ( D ) 0
27
R(D)的定义域
• 由于I(X,Y) = 0的充要条件是X与Y统计独立,即：
p ( y j | xi ) p ( y j )

信息论课件.ppt教学文案


– 先验概率：选择符号 ai 作为消息的概率----P(ai)
– 自信息：ai 本身携带的信息量
I(ai
)
log 1 P(ai
)
– 后验概率：接收端收到消息(符号) bj 后而发送端
发的是 ai 的概率 P(ai/bj)
– 互信息：收信者获得的信息量-----先验的不确定 性减去尚存在的不确定性
I(ai;bj)loP g(1 ai)loP g(ai1/bj)
第一章 绪论
信息论
通信技术 概率论 随机过程 数理统计
相结合逐步发展而形 成的一门新兴科学
奠基人：美国数学家香农（C.E.Shannon） 1948年“通信的数学理论”
本章内容：
信息的概念 数字通信系统模型 信息论与编码理论研究的主要内容及意义
1.1 信息的概念
信息是信息论中最基本、最重要的概念，既抽象又复杂
– 信息具有以下特征： （1）信息是可以识别的 （2）信息的载体是可以转换的 （3）信息是可以存贮的 （4）信息是可以传递的 （5）信息是可以加工的 （6）信息是可以共享的
1.2 信息论研究的对象,目的,内容
一、 研究对象 – 前面介绍的统一的通信系统模型。人们通过系统 中消息的传输和处理来研究信息传输和处理的共 同规律。
消息：用文字等能够被人们感觉器官所感知的形式， 把客观物质运动和主观思维活动的状态表达出来。 知识：一种具有普遍和概括性质的高层次的信息 ， 以实践为基础，通过抽象思维，对客观事物规律性的 概括。 情报：是人们对于某个特定对象所见、所闻、所理解 而产生的知识 。
它们之间有着密切联系但不等同 ，信息的含义更深刻、广泛
– 它的主要目的是提高信息系统的可靠性、有效性、 保密性和认证性，以便达到系统最优化；
  1. 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
2012-3-4 10
4.1 失真测度
2、序列失真度 、 r r 取自符号集A； 设 x = ( x1 , x2 , , y2 ,L , y N ) yi取自符号集 。则序列失真度定义为 取自符号集B。 r r 1 N d N ( x , y ) = ∑ d (xi , yi ) N i =1 3、平均失真度 、 ai和bj是一个随机变量，所以失真函数 (ai, bj)也是随机变 是一个随机变量，所以失真函数d 也是随机变 所以限失真时的失真值只能用数学期望表示， 量，所以限失真时的失真值只能用数学期望表示，即信源的 平均失真度
信宿
(1)信源发出的消息 通过有失真的信源编码，编码后的输出 信源发出的消息X通过有失真的信源编码 信源发出的消息 通过有失真的信源编码， 通过理想无噪信道传输，接收信息经信源译码后的输出为Y 通过理想无噪信道传输，接收信息经信源译码后的输出为 (2)把有失真信源编码的问题转化为无失真的信源通过有噪 把有失真信源编码的问题转化为无失真的信源通过有噪 信道传输的问题， 信道传输的问题，进而通过研究试验信道输入与输出之间的 互信息来研究限失真信源编码。 互信息来研究限失真信源编码。
2012-3-4 5
4.1 失真测度
二、失真度和平均失真度
1、单符号失真度 、 信源的输入为X，取值于符号集 信源的输入为 ，取值于符号集A={a1,a2,…,an}； ； 信道的输出为Y，取值于符号集B={b1,b2,…bm}。 信道的输出为 ，取值于符号集 。 对每一对(x, y)，定义非负函数 称为单符号失真度， 对每一对 ，定义非负函数d(x, y)称为单符号失真度，或 称为单符号失真度 单符号失真函数。 单符号失真函数。
0 1 [d ] = 1 0
汉明失真矩阵的特点为：主对角线元素全为 ，其他全为1。 汉明失真矩阵的特点为：主对角线元素全为0，其他全为 。 对二元对称信源(m=n=2)，信源X＝{0,1}，接收变量 ＝ ，信源 ＝ 对二元对称信源 ，接收变量Y＝ {0,1}。在汉明失真定义下，失真矩阵为： 。在汉明失真定义下，失真矩阵为：
0 1 4 [d ] = 1 0 1 4 1 0
上述三个例子说明了具体失真度的定义。 上述三个例子说明了具体失真度的定义。一般情况下根据 实际信源的失真，可以定义不同的失真和误差的度量。 实际信源的失真，可以定义不同的失真和误差的度量。另 外还可以按其他标准，如引起的损失、风险、 外还可以按其他标准，如引起的损失、风险、主观感觉上 的差别大小等来定义失真度d 的差别大小等来定义失真度 (u, v)。 。
2012-3-4 8
4.1 失真测度
[例2] 删除信源。信源变量A={a1,a2,…,an}，接收变量 例 删除信源。信源变量 ， B={b1,b2,…bm} (m=n+1)；定义单个符号的失真度 ；
0 d ( a i , b j ) = 1 1 / 2
i= j i≠ j j=s
以外所有的j和 除j=s以外所有的 和i 以外所有的 所有i 所有
其中，接收符号bm作为一个删除符号 其中，接收符号 在这种情况下，意味着若把信源符号再现为删除符号b 在这种情况下，意味着若把信源符号再现为删除符号 m时， 其失真程度要比再现为其他接收符号的失真程度少一半 若二元删除信源n=2，m=3，A={0,1}，B={0,1 ,2} 。 若二元删除信源 ， ， ， 失真度为 失真矩阵 d(0,0)＝d(1,1)= 0 ＝ 0 1 0.5 d = d(0,1)＝d(1,0)= 1 ＝ 1 0 0.5 d(0,2)＝d(1,2)= 0.5 ＝
2012-3-4 12
4.1 失真测度
无论是无噪信道还是有噪信道： 无论是无噪信道还是有噪信道： R<C，总能找到一种编码使在信道上能以任意小的错误 ， 概率，以任意接近于C的传输率来传送信息 的传输率来传送信息； 概率，以任意接近于 的传输率来传送信息； R>C，就必须对信源压缩，使其压缩后信息传输速率 ，就必须对信源压缩，使其压缩后信息传输速率R’ 小于信道容量C， 小于信道容量 ，但同时要保证压缩所引入的失真不超 过预先规定的限度。 过预先规定的限度。 若平均失真度D不大于我们所允许的失真 规定D≤ 若平均失真度 不大于我们所允许的失真D0 (规定 ≤D0)的 不大于我们所允许的失真 规定 的 即通常所说的保真度准则 保真度准则。 形式来体现 ，即通常所说的保真度准则。 当信源p(xi)给定，单个符号失真度 给定， 给定时， 当信源 给定 单个符号失真度d(xi,yj) 给定时，选择 不同的试验信道p(yj|xi)，相当于不同的编码方法，其所 不同的试验信道 ，相当于不同的编码方法， 得的平均失真度不同。 得的平均失真度不同。 试验信道： 试验信道： D≤D0，保真度准则
2012-3-4 2
保真度准则下的离散信源编码定理 香农首先定义了信息率失真函数R(D)，并论述了关于这 ， 香农首先定义了信息率失真函数 个函数的基本定理。 个函数的基本定理。 定理指出：在允许一定失真度 的情况下 的情况下， 定理指出：在允许一定失真度D的情况下，信源输出的信 息传输率可压缩到R(D)值，这就从理论上给出了信息传输率 息传输率可压缩到 值 与允许失真之间的关系，奠定了信息率失真理论的基础。 与允许失真之间的关系，奠定了信息率失真理论的基础。 信息率失真理论是进行量化、数模转换、频带压缩和数据 信息率失真理论是进行量化、数模转换、 压缩的理论基础。 压缩的理论基础。 本章主要介绍信息率失真理论的基本内容， 本章主要介绍信息率失真理论的基本内容，侧重讨论离散 无记忆信源。 无记忆信源。 首先给出信源的失真度和信息率失真函数的定义与性质； 首先给出信源的失真度和信息率失真函数的定义与性质； 然后讨论离散信源和连续信源的信息率失真函数计算； 然后讨论离散信源和连续信源的信息率失真函数计算；在这 基础上论述保真度准则下的信源编码定理。 基础上论述保真度准则下的信源编码定理。
2012-3-4 3
目录
4.1 失真测度 4.2 信息率失真函数及其性质 4.3 离散无记忆信源的信息率失真函数 4.4 连续无记忆信源的信息率失真函数 4.5 保真度准则下的信源编码定理
2012-3-4
4
4.1 失真测度
一、系统模型
X Y
信源
信源 编码器
无噪信道
试验信道 p(y/x)
信源 译码器
d (a1 , b1 ) d (a1 , b2 ) d (a , b ) d (a , b ) 2 1 2 2 [d ] = : : d (an , b1 ) d (an , b2 )
[d]称为失真矩阵 称为失真矩阵
2012-3-4
... d (a1 , bm ) ... d (a2 , bm ) ... : ... d (an , bm )
i= j 0 d (ai , b j ) = α (> 0) i ≠ j
称为单个符号的失真度 或失真函数)。 称为单个符号的失真度(或失真函数 。 失真度 或失真函数 通常较小的d值代表较小的失真， 通常较小的 值代表较小的失真，而d (ai, bj)=0表示没 值代表较小的失真 表示没 有失真。 有失真。
2012-3-4 13
目录
4.1 失真测度 4.2 信息率失真函数及其性质 4.3 离散无记忆信源的信息率失真函数 4.4 连续无记忆信源的信息率失真函数 4.5 保真度准则下的信源编码定理
2012-3-4
14
4.2 信息率失真函数及其性质
一、信息率失真函数的定义
2012-3-4
1
无失真信源编码和有噪信道编码告诉我们： 无失真信源编码和有噪信道编码告诉我们：只要信道的信 息传输速率小于信道容量，总能找到一种编码方法， 息传输速率小于信道容量，总能找到一种编码方法，使得 在该信道上的信息传输的差错概率任意小；反之， 在该信道上的信息传输的差错概率任意小；反之，若信道 的信息传输速率大于信道容量，则不可能使信息传输差错 的信息传输速率大于信道容量， 概率任意小。 概率任意小。 但是，无失真的编码并非总是必要的： 但是，无失真的编码并非总是必要的： 在实际应用中，信宿的灵敏度和分辨力都是有限的； 在实际应用中，信宿的灵敏度和分辨力都是有限的； 无失真的编码并非总是可能的(连续信源 无穷大)； 连续信源H无穷大 无失真的编码并非总是可能的 连续信源 无穷大 ； 由于信道噪声的影响，即使信源消息的编码是无失真的， 由于信道噪声的影响，即使信源消息的编码是无失真的， 信息在传输过程也会产生差错或失真 结论：在实际信息传输系统中，失真是不可避免的 结论：在实际信息传输系统中，失真是不可避免的，有时 甚至是必要的。 甚至是必要的。
2012-3-4 11
4.1 失真测度
同理， 同理，可定义序列平均失真为
1 N 1 N D = ∑ E[d ( xi , y j )] = ∑ Di N i =1 N i =1 平均失真度在平均意义上， 平均失真度在平均意义上，从总体上度量整个通信系统失真 的大小。 的大小。
平均失真度是信源的统计特性 平均失真度是信源的统计特性p(ai)、试验信道传递特性 信源的统计特性 、 p(bj/ai)和定义的失真函数或失真度 和定义的失真函数或失真度 的函数。 和定义的失真函数或失真度d(ai,bj)的函数。 的函数 当失真度d(ai,bj)被确定、信源的统计特性p(ai)给定以后， 当失真度 被确定、信源的统计特性 给定以后， 被确定 给定以后 平均失真度D就仅是试验信道传递概率 就仅是试验信道传递概率p(bj/ai)的函数；据 的函数； 平均失真度 就仅是试验信道传递概率 的函数 改变信道的传递概率 相当于采用不同的编码方法， 传递概率， 此，改变信道的传递概率，相当于采用不同的编码方法，就 可改变平均失真度。 可改变平均失真度。
D = E[d (ai , b j )] = ∑ p (ai b j )d (ai , b j ) = ∑ p (ai )p (b j / ai )d (ai , b j )