信息论与编码课堂小测验2014(含答案)
- 格式：docx
- 大小：161.56 KB
- 文档页数：9
《信息论与编码》课堂测验Log 3 = 1.5851. 掷两颗均匀的骰子，当其向上的面的小圆点之和是3时，该消息包含的信息量是多少？当小圆点之和是7时，该消息所包含的信息量又是多少？解：每颗骰子各有六面,每面分别有1、2、3、4、5、6个小圆点以示区分，又知两颗骰子是均匀的，所以每个骰子每面出现的概率均为1/6,1） 因圆点之和为3的情况是（1,2）、（2,1）两种情况，设x为圆点之和为3的情况，所以其出现的概率为：1()(1,2)(2,1)18p x p p =+=该消息自信息量()log ()log18 4.170I x p x bit =-==2）因圆点之和为7的情况是（1,6）、（6,1）、（2,5）、（5,2）、（3,4）、（4,3）六种情况，设x 为圆点之和为7的情况，所以其出现的概率为：1()(1,6)(6,1)(2,5)(5,2)(3,4)(4,3)6p x p p p p p p =+++++=该消息自信息量()log()log 6 2.585I x p x bit =-==2. 每帧电视图像可以认为是由3 105个像素组成的，所有像素均是独立变化，且每像素又取128个不同的亮度电平，并设亮度电平是等概率出现，问每帧图像含有多少信息量？若有一个广播员，在16384个汉字中选出1000个汉字来口述此电视图像，试问广播员描述此图像所广播的信息量是多少（假设汉字字汇是等概率分布，并彼此无依赖）？若要恰当的描述此图像，广播员在口述中至少需要多少汉字？ 解：1) 因为每像素可取128个不同的亮度电平，并设亮度电平是等概率出现.设X 为像素这一信源，则其有128中等概率的不同亮度电平情况，所以像素的平均信息量为:22()log log 1287 /H X n bit symbol ===每帧电视图像由3 105个像素组成，所有像素均是独立变化，所以每帧图像是单个像素的3 105次扩展，每帧图像的平均信息量为:56()()3107 2.110 /N H X NH X bit symbol ==⨯⨯=⨯2) 16384个汉字等概率出现，每个汉字的平均信息量为：22()log log 1638414 /H X n bit symbol ===用1000个汉字描述该图像，包含的信息量有（因为相互独立，所以是1000次的扩展）：()()10001414000 /N H X NH X bit symbol ==⨯=3)若要完整描述该图像，需要的汉字数为：6() 2.110150000()14N H X N H X ⨯===3. 一阶马尔可夫信源消息集},,{321a a a X ∈，状态集},,{321S S S S ∈，且令3,2,1,==i a S i i ，条件转移概率为[]⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=03121311214141)/(i j S a P ，(1)画出该马氏链的状态转移图；(2)计算信源的极限熵。
解：(1)马尔科夫链的状态转移图如下：（2）令11()w p s =、22()w p s =、33()w p s =根据状态转移图得到以下联立方程：⎪⎪⎩⎪⎪⎨⎧=++=+=++=++1321323112123312311411332231141w w w w w w w w w w w w w w 求解后，得到 ⎪⎩⎪⎨⎧===3.03.04.0321w w w各状态条件熵为：H(X|S 1) =H (1/4,1/4,1/2) =1111(2log + log )4422-⨯⨯⨯=1.5比特/符号 H(X|S 2)=H (1/3,1/3,1/3) =11(3log )33-⨯⨯==1.585比特/符号 H(X|S 3)=H (2/3,1/3) =2211(log + log )3333-⨯⨯== 0.918比特/符号 所以该马尔科夫信源极限熵为：()3|0.4 1.50.3 1.5850.30.918 1.3511H w H X S i ii ==⨯+⨯+⨯=∑∞=比特/符号4. 设有一离散无记忆信源(1) 求信源熵H (X )。
(2) 用哈夫曼编码方法编成二元变长编码。
(3) 计算出其编码效率。
解：(1)(2)33113333()(log + log + log +log884416163232331111+log +log +log ) 646432326464=2.26/H X bit symbol=-⨯⨯⨯⨯⨯⨯⨯3/163/32 3/64 3/64(3)编码效率() 2.260.9712.328H x Kη===另解： (1)(2)(3)61()31333112+ 2+ 2+3+4+5+5)8416326432642.328/i ii K p x K ===⨯⨯⨯⨯⨯⨯⨯=∑码元符号33113333()(log + log + log +log884416163232331111+log +log +log ) 646432326464=2.26/H X bit symbol=-⨯⨯⨯⨯⨯⨯⨯编码效率 () 2.260.9712.328H x Kη===5. 设有扰离散信道的传输情况分别如图所示（每条线对应转移概率都是1/2），求出该信道的信道容量，及取得该信道容量时的信源概率分布。
XYx 1x 2x 3x 4y 1y 2y 3y 4解：该信道的信道转移概率矩阵为：112211221122112200000000⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦该矩阵每行、每列都是有两个1/2、两个0构成，满足行可排列性和列可排列性，所以为对称信道，其容量为：log mi C m H =-1log 42log 22=-⨯61()31333111+ 2+ 3+4+5+6+6)8416326432642.328/i ii K p x K ===⨯⨯⨯⨯⨯⨯⨯=∑码元符号取2为底 1C =bit/符号对应的信源概率分布为等概率分布，均为1/4。
6. 设有离散信源1212......n n x x x X pp p P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦和121121......111n n y y y Y p p p P p p p --⎡⎤⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦---⎢⎥⎣⎦。
试证：()log (1)log(1)(1)()H X p p p p p H Y =----+-证明：11111111111111()log (log log(1))(1)(1)(1)()(1)()log log log(1)log (1)log(1)=1 = 1,(1)= ()(1)n n i i i i i i nn n i i i i i i i i n n n n n ii i i n p p H Y p p p p p p H X p H Y p p p p p p p p p p p p p p p pH X p --==--===--===-=--------=-+--=--------∑∑∑∑∑∑∑由于，则得()log (1)log(1)H Y p p p p =----所以 ()log (1)log(1)(1)()H X p p p p p H Y =----+-练习题：有一离散无记忆信源，其输出为{}0,1,2X ∈，相应的概率为0121/4,1/4,1/2p p p ===，设计两个独立的实验去观察它，其结果分别为{}{}120,1,0,1Y Y ∈∈，已知条件概率:(1) 求1(;)I X Y 和2(;)I X Y ，并判断哪一个实验好些(2) 求12(;)I X Y Y ，并计算做Y 1和Y 2两个实验比做Y 1和Y 2中的一个实验可多得多少关于X 的信息(3) 求12(;|)I X Y Y 和21(;|)I X Y Y ，并解释它们的含义P(y 1=0)=p(y 1=1)=1/2 p(y 2=0)=p(y 2=1)=1/211111111(;)()(|)log 2log log 2log 242424I X Y H Y H Y X ∴=-=---⨯=0.5bit/符号222111(;)()(|)log 2log1log1log11/442I X Y H Y H Y X bit =-=---=符号>1(;)I X Y所以第二个实验比第一个实验好（2）因为Y 1和Y 2 相互独立，所以1212(|)(|)(|)p y y x p y x p y x =121212111(;)(,)(|)log 4log1log12log 2444I X Y Y H Y Y H Y Y X ∴=-=---⨯bit/符号=1.5bit/符号由此可见，做两个实验比单独做Y 1可多得1bit 的关于X 的信息量，比单独做Y 2多得0.5bit 的关于X 的信息量。
（3）12112212212122(;|)(|)(|,)(,)()[()(;,)][()(;)][()(;,)](;,)(;)I X Y Y H X Y H X Y Y H X Y H X H X I X Y Y H X I X Y H X I X Y Y I X Y Y I X Y =-=---=---=-=1.5-1=0.5bit/符号表示在已做Y2的情况下，再做Y1而多得到的关于X 的信息量 同理可得21121(;|)(;,)(;)I X Y Y I X Y Y I X Y =-=1.5-0.5=1bit/符号表示在已做Y1的情况下，再做Y2而多得到的关于X 的信息量。
