2.1 离散无记忆信源
z 离散单符号信源:输出离散取值的单个符号
离散单符号信源是最简单、最基本的信源,是组 成实际信源的基本单元。
z 离散单符号信源X的概率空间:
⎡ ⎢ ⎣
X P( X
⎤ )⎥⎦
=
⎡ ⎢ ⎣
x1 p( x1 )
x2 L p(x2 ) L
xq ⎤ p(xq )⎥⎦
p(xi ) ≥ 0
q
3.1 预备知识
定义1:对于离散随机变量序列 X1X 2 L X n L,若任意 两个不同时刻i和j(大于1的任意整数)信源发出消息的 概率分布完全相同,即对于任意的 N = 0,1, 2,L,Xi Xi+1L Xi+N 和 X j X j+1L X j+N 具有相同的概率分布。也就是
P(X i ) = P(X j ) P( X i X i+1) = P( X j X j+1) P( Xi Xi+1 L Xi+N ) = P( X j X j+1 L X j+N )
离散
取值 离散 连续
信源种类
举例
消息的数学描述
离散信源 (数字信源 )
连续信源
文字、数 据、数字 化图像
离散随机变量序列 连续随机变量序列
连续 连续
连续 离散
波形信源 (模拟信源 )
语音、音 乐、图形 、图像
不常见
随机过程
1.1 信源的分类
z 根据信源发出的消息序列之间是否有统计依赖 关系,信源可分为有记忆信源/无记忆信源。
解: (1) ¾ 离散单符号信源熵
3
∑ H ( X ) = − p ( x i ) lo g 2 p ( x i ) = 1 .5 b it i =1