第三章 多符号离散信源与信道3.1设X ＝X 1X 2…X N 是平稳离散有记忆信源，试证明：H(X 1X 2…X N )=H(X 1)+ H(X 2/ X 1)+H(X 3/ X 1 X 2)+…+H(X N / X 1 X 2…X N -1)。
(证明详见p161-p162)3.2试证明：logr ≥H(X) ≥H(X 2/ X 1) ≥H(X 3/ X 1 X 2) ≥…≥H(X N / X 1 X 2…X N -1)。
证明:)/()/()/()(log )(log log )()/()/()/()(:)/( )/(log )( )/(log )( )/(log )( )/(log )/()()/()/()/(:12121312121213122211111122111211111122111211111132112111111321121111212211132----==----==-=---==--=-==--=------≥≥≥≥∴≥≥≥≥=-=-=-=⎥⎦⎤⎢⎣⎡-≤∴=∑∑∑∑∑∑∑∑∑∑∑N N N N k k ri rik ik i i ik ik i i r i rik rik ik i i ik ik ik i i ri r ik ik i i ik rik ik ik i i ri rik ik i i ik r ik ik i i ik ik i k k ik i i ik ik i i ik X X X X H X X X H X X H X H r X H r r X H X X X X H X X X H X X H X H X X X X H a a a a p a aa p a a a a p a a a a p a a a a p a a a a p a a a a p a a a a p a a p X X X X H a a a a p a a a a p，即达到最大，又仅当输入均匀分布时重复应用上面式子可得条件概率的平稳性有由离散平稳有记忆信源3.3试证明离散平稳信源的极限熵：)/(lim 121-∞→∞=N N n X X X X H H(证明详见p165-p167)3.4设随机变量序列(XYZ)是马氏链，且X ：{a 1, a 2,…, a r }，Y ：{b 1,b 2, …,bs},Z:{c 1,c 2, …,cL}。
又设X 与Y 之间的转移概率为p(b j /a i )(i=1,2, …,r;j=1,2, …,s)；Y 与Z 之间的转移概率为p(c k /b j )(k=1,2,…,L;j=1,2, …,s)。
试证明：X 与Z 之间的转移概率：∑==sj j k i j i k b c p a b p a c p 1)/()/()/(证明:∑∑∑========∴=∴=================sj j k i j i k j k i j k sj i j k i j sj i j k i sj j k i k i k b Y c Z P a X b Y p a c p b c P a b c P Markov XYZ a X b Y c Z P a X b Y p a X b Y c Z p a X b Y c Z p a X c Z p a c p 1111)/()/()/()/(),/(),/()/( )/,()/,( )/()/(＝序列为3.5试证明：对于有限齐次马氏链，如果存在一个正整数n0≥1，对于一切i ，j ＝1，2，…，r ，都有p ij (n 0)>0，则对每个j ＝1，2，…，r 都存在状态极限概率：),,2,1()(lim r j p n p j ij n ==∞→(证明详见:p171~175)3.6设某齐次马氏链的第一步转移概率矩阵为：⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡p q p q p q 000210 2 1 0 试求：(1) 该马氏链的二步转移概率矩阵； (2) 平稳后状态“0”、“1”、“2”的极限概率。
解：[][]⎪⎪⎪⎪⎩⎪⎪⎪⎪⎨⎧-=--=-=---=-=--=⇒⎪⎪⎪⎪⎩⎪⎪⎪⎪⎨⎧=>=++⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡∙⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡++=⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡==pq p pq q p p pq pq pq p q p pq q pq p q p i i p p p p p p p p q p q p q p p p p pq pqq p pqq p pq pqq p qp q p q p qp qp qP P P T11)1()0(11)1)(1()1(11)1()0()2,1,0(0)(1)2()1()0()2()1()0(000)2()1()0()2(200000)]2()[1(22222222＝由：3.7设某信源在开始时的概率分布为P{X 0=0}=0.6;P{ X 0=1}=0.3; P{ X 0=2}=0.1。
第一个单位时间的条件概率分布分别是：P{ X 1=0/ X 0=0}=1/3; P{X 1=1/ X 0=0}=1/3; P{ X 1=2/ X 0=0}=1/3; P{ X 1=0/ X 0=1}=1/3; P{ X 1=1/ X 0=1}=1/3; P{ X 1=2/ X 0=1}=1/3; P{X 1=0/ X 0=2}=1/2; P{ X 1=1/ X 0=2}=1/2; P{ X 1=2/ X 0=2}=0.后面发出的Xi 概率只与Xi-1有关，有P(Xi/Xi-1)=P(X 1/ X 0)(i ≥2)试画出该信源的香农线图，并计算信源的极限熵H ∞。
解：[][]bit/symbl439.1)21log 2141(2)31log 3183(3)31log 3183(3 )/(log )/()(41)(83)(83)()3,2,1(0)(1)()()()()()(02/12/13/13/13/13/13/13/1)()()()3,2,1)(()3,2,1,(0)2(023/13/13/19/218/718/79/218/73/102/12/13/13/13/13/13/13/102/12/13/13/13/13/13/13/1)]2([02/12/13/13/13/13/13/13/1210][21 0 3132132132132100=⨯⨯-⨯⨯-⨯⨯-=-=∴⎪⎪⎪⎩⎪⎪⎪⎨⎧===⇒⎪⎪⎪⎪⎩⎪⎪⎪⎪⎨⎧=>=++⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡∙⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=∴=>==∴⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡∙⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡==∴⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=∑∑=∞i j i j i j i i T i S S p S S p S p H S p S p S p i S p S p S p S p S p S p S p S p S p S p i S p j i n pij n P P P P ＝由存在极限概率信源具有各态经历性，，既有时二步转移概率均大于且一步转移概率为：有记忆信源：由题意，此信源为一阶香农线图如下：3.8某一阶马尔柯夫信源的状态转移如下图所示，信源符号集为X ：{0,1,2}，并定义p -=1(1) 试求信源平稳后状态“0”、“1”、“2”的概率分布p(0)、p(1)、p(2)； (2) 求信源的极限熵H ∞；(3) p 取何值时H ∞取得最大值。
解：)bit/symbl2log log ()2log 2312log 231log 31(3 )/(log )/()()2(31)(31)(31)()3,2,1(0)(1)()()()()()(2/2/2/2/2/2/)()()()3,2,1)(()3,2,1,(0)1(012/2/2/2/2/2/210][21 0 )1(3132132132132100pp p p p p p p p p S S p S S p S p H S p S p S p i S p S p S p S p S p S p S p p p p p p p p p p S p S p S p i S p j i n p n p p p p p p p p p P i j i ji j i i T i ij +-=⨯+⨯+⨯-=-=∴⎪⎪⎪⎩⎪⎪⎪⎨⎧===⇒⎪⎪⎪⎪⎩⎪⎪⎪⎪⎨⎧=>=++⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡∙⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=∴=>==∴⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=∑∑=∞＝由存在极限概率信源具有各态经历性，，既有时二步转移概率均大于移概率为：由题意，此信源一步转symble/bit 585.13log 323122122)2log 22log 2log ()2log log ((3)max ======∴=++++-=+-=∞∞∞H H p p p p p p p pp p p p p p p p p H 取得最大，且时即由熵的极限定理，当3.9某一阶马尔柯夫信源的状态转移如下图所示，信源符号集为X ：{0,1,2}。
试求： (1)试求信源平稳后状态“0”、“1”、“2”的概率分布p(0)、p(1)、p(2)； (2)求信源的极限熵H ∞；(3)求当p=0,p=1时的信息熵，并作出解释。
解:bit/symbl0)1(,1 bit/symbl 0)0(,0(3)bit/symbl )()log log ( )log 31log 31log 31log 31log 31log 31( )/(log )/()()2(31)(31)(31)()3,2,1(0)(1)()()()()()(000)()()()3,2,1)((,000210][21 0 )1(31321321321321=======+-=⨯++⨯++⨯+-=-=∴⎪⎪⎪⎩⎪⎪⎪⎨⎧===⇒⎪⎪⎪⎪⎩⎪⎪⎪⎪⎨⎧=>=++⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡∙⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=∴∴⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=∞∞=∞∑∑H H p H H p p H p p p p p p p p p p p p p p p p S S p S S p S p H S p S p S p i S p S p S p S p S p S p S p p p p p p p S p S p S p i S p p p p p p p P i j i j i j i i T i 时时＝由存在极限概率期性、各态经历性信源此信源为不可约、非周由状态转移图可知移概率为：由题意，此信源一步转pp3.10设某马尔柯夫信源的状态集合S ：{S 1S 2S 3}，符号集X ：{α1α2α3}。
