P(b1 | a1 ) P(b2 | a1 ) P(b | a ) P(b | a ) 2 2 [ PY | X ] 1 2 P(b1 | ar ) P(b2 | ar )
一.1.”输入符号 a,输出符号 b”的联合概率 i j
P{X a i ,Y=b j } p a i ,b j p a i p b j /a i
1。当p (ai / b j ) 1时， 1 I (ai ; b j ) log I (ai )(i 1, 2, , r; b 1, 2, , s) p (ai )
信号 a i ．
收信者收到输出符号 bj 后，推测信源以概率１发
2。当p (ai〈p (ai / b j〈1时， ) ) I (ai ; b j ) log p (ai / b j ) p (ai ) 〉 i 1, 2, , r ; b 1, 2, , s ) 0(
此式称为符号 a i 和 bj 之间的互信函数． 我们把信宿收到 bj 后，从 bj 中获取关于 a i 的信 息量 I (ai ; bj ) 称为输入符号 a i 和输出符号 bj 之间 的交互信息量，简称互信息．它表示信道在把 输入符号 a i 传递为输出符号 bj 的过程中，信道 所传递的信息量．
收信者收到 b j后，推测信源发信号 a i的后验概率，反而小于 收到 b j 前推测信源发信号 a i的先验概率.
例2.3 表2.1中列出某信源发出的八种不同消息ai(i=1,2,…,8),相应的
先验概率p(ai)(i=1,2,…,8),与消息ai(i=1,2,…,8)一一对应的码字wi
(i=1,2,…,8).同时给出输出第一个码符号“0”后，再输出消息a1,a2,a3,
