下载文档原格式
信息论导论参考资料
作者 龙非池
第一章 概论
● 在认识论层次研究信息时，把只考虑到形式因素的部分称为语法信息， 把只考虑到含义因素的部分称为语义信息；把只考虑到效用因素的部分称为语用信息。目前，信息论中主要研究语法信息
● 归纳起来，香农信息论的研究内容包括： 1) 信息熵、信道容量和信息率失真函数
2) 无失真信源编码定理、信道编码定理和保真度准则下的信源编码定理 3) 信源编码、信道编码理论与方法
● 一般认为，一般信息论的研究内容除香农信息论的研究内容外，还包括 维纳的微弱信号检测理论：包括噪声理论、信号滤波与预测、统计检测与估计理论、调制理论等。
信息科学以信息为研究对象，信息科学以信息运动规律为研究内容，信 息运动包括获取、传递、存储、处理和施用等环节。
第二章 离散信源及离散熵
● 单符号离散信源的数学模型：1
212
()()()()n n x x x X P x P x P x P X ⎧⎫
⎡⎤=⎨⎬⎢⎥⎣⎦⎩⎭
自信息量：()log ()i x i I x P x =-，是无量纲的，一般根据对数的底来定义单位：当对数底为2时，自信息量的单位为比特(bit,binary unit)；对数底为e 时，其单位为奈特(nat,nature unit)；对数底为10时，其单位为哈特(Hart, Hartley)
自信息量性质：I(x i )是随机量；I(x i )是非负值；I(x i )是P(x i )的单调递减函数。
● 单符号离散信源的离散熵：
1()[()]()()n
i i i i H X E I x P x lbP x ===-∑，单位是比特/符号(bit/symbol)。
离散熵的性质和定理：H(X)的非负性；H(X)的上凸性； 最大离散熵定理：()H X lbn ≤
● 如果除概率分布相同外，直到N 维的各维联合概率分布也都与时间起点 无关，即：
111
11
1()()()()()()
k l k k l l k k k N l l l N P X P X P X X P X X P X X X P X X X ++++-++-==
=
则称该多符号离散信源为N 维离散平稳信源。
● N 维离散平稳信源的数学模型：
1
2121
212()()()()N N N n N n a a a X X X P a P a P a P X X X ⎧⎫
⎡⎤=⎨⎬⎢⎥⎣⎦⎩⎭
1212,,,,
,{1,2,
,}N i i i i N a x x x i i i n =∈其中 12
12112
1()()()(/)
(/)N N N i i i i i i i i i i i P a P x x x P x P x x P x x x x -==
● 二维离散平稳信源的离散熵：
2
121211
()()()()(/)n i i i H X X P a lbP a H X H X X ==-=+∑
H(X 2/X 1 )称为条件熵，是条件信息量在联合概率上的数学期望，H(X 1X 2)称为联合熵，离散熵H(X 1)、 H(X 2)称为无条件熵，H 2(X 1X 2)称为平均符号熵
且：212(/)()H X X H X ≤，2121211
()()()2
H X X H X X H X =≤
● 对于，12
1211
()()()N N N H X X X H X X X H X N
=
≤，当N→∞时，平均
符号熵取极限值，称之为极限熵，用H ∞表示：12
1
lim ()N N H H X X X N
∞→∞=
● 如果离散平稳信源发出的符号序列中各符号相互独立，则称该信源为离 散平稳无记忆信源。N 维离散平稳无记忆信源(一维离散平稳信源的N 次扩展信源)的数学模型：
1
212()
()
()()N N N n N n a a a X p a p a p a P X ⎧⎫
⎡⎤=⎨⎬⎢⎥
⎣⎦⎩⎭
12
12,,,,
,{1,2,
,}N i i i i N a x x x i i i n =∈其中，12()()()()N i i i i p a p x p x p x =
其离散熵：121()()()()()N N H X H X H X H X NH X =+++=
信源的平均符号熵：11
()()()N N N H X H X H X N
=
=
● 如果离散平稳信源发出的符号只与前面已经发出的m( 11121121 2112/()() ()(/)m m m m n m m n a a a X X X X p a p a p a P X X X X ++++⎧⎫ ⎡⎤=⎨⎬⎢⎥⎣⎦⎩⎭ 112 112 /()(/)m m m m i i i i i i i i i i a x x x x p a p x x x x ++==其中，， 为强调m 阶马尔科夫信源的长度特征，一般将其极限熵H ∞记为H m+1，即： 111 ()(/)(/)m m n n m i j i j i i j H H p e p e e lbp e e ∞+====-∑∑ 马尔科夫链的各态历经定理： 1 1 ()()(/)1,2, ,()0,()1m m n n m j i j i j j i j p e p e p e e j n p e p e ====>=∑∑，，其中 第三章 离散信源无失真编码 ● 码字的每一个比特携带信息的效率即编码效率：() H X K η= ，K 平均码长 一般采用不等长编码，使平均码长接近离散熵，从而在无失真前提下提高编码效率；编码的基本原则是大概率符号元编成短码，小概率符号元编成长码 如果所采用的不等长编码使接收端能从码序列中唯一地分割出对应与每一个符号元的码字，则称该不等长编码为单义可译码。 单义可译码中，如果能在对应与每一个符号元的码字结束时立即译出的称为即时码，如果要等到对应与下一个符号元的码字才能译出的称为延时码。 异前置码：任何一个码字都不是其他码字的前缀 m 元长度为k i , i=1,2, …,n 的异前置码存在的充分必要条件是： 1 1i n k i m -=≤∑，（克拉夫特(Kraft)不等式） ● 无失真编码定理：（香农第一定理） 如果L 维离散平稳信源的平均符号熵为H L (X 1X 2…X L )， 对信源符号进行m 元不等长组编码，一定存在一种无失真编码方法，当L 足够大时，使得每个信源符号所对应码字的平均比特数： 12 12()()L L L L K H X X X lbm H X X X L εε≤ <+，为任意给定的小数 1212()()L L L L lbm K H X X X lbm H X X X L L εε≥ ≤ <+只要， 无失真编码定理从理论上阐明了编码效率：1η→
