第二章 信源与信息度量 习题

1、设英文字母E出现的概率为0.105，X出现的概率为0.002，试求E和X 的信息量。

2、某离散信源输出x1、x2、…、x8共8个不同的消息，符号速率为2400B，其中四个消息出现的概率为P(x1)=P(x2)=1/16，P(x3)=1/8，P(x4)=1/4，其他消息等概率出现。

①求该信源的平均信息速率；②求传送一小时的信息量。

3、设一离散信源分别以概率P A、P B、P C、P D发送四个消息A、B、C、D，每个消息的出现是相互独立的，试根据条件完成以下计算：①如果P A=1/4，P B =1/8，P C =1/8，P D=1/2，试计算该信源的熵；②对于传输的每一消息用二进制脉冲编码，00代表A，01代表B，11代表C，10代表D，每个脉冲宽度为5ms，如果不同的消息等可能出现，试计算传输的平均信息速率；③如果P A=1/5，P B =1/4，P C =1/4，P D=3/10，试用Huffman编码算法对该信源进行编码，并计算编码效率。

4、设A系统以2000bps的比特率传输2PSK调制信号的带宽为2000Hz，B 系统以2000bps的比特率传输4PSK调制信号的带宽为1000Hz。

试问：哪个系统更有效？5、设某四进制数字传输系统的每个码元的持续时间（宽度）为833×10-6s，连续工作1h后，接收端收到6个错码，且错误码元中仅发生1bit的错码。

①求该系统的码元速率和信息速率；②求该系统的误码率和误信率。

6、设某数字传输系统传送二进制码元的速率为1200B，试求该系统的信息速率；若该系统改为传送八进制信号码元，码元速率不变，则这时系统的信息速率为多少？7、设输入抽样器的信号为门函数G(t)，宽度为τ=20ms，若忽略其频谱第10个零点以外的频率分量，试求其最小抽样频率。

8、已知信号f(t)=6.4×sin(800πt)，按Nyquist速率进行抽样后，进行64个电平均匀量化编码，采用自然二进制码。

第二章随机过程的信息度量和渐进等分性
填空题
1、信源按其数学模型随机过程的统计特征来分类，随机过程的随
机变量之间互相独立的称（独立信源），不独立的称（不独立信源），平稳或遍历随机过程则对应（平稳或遍历信源）。

2、若存在X上的一个概率分布u，满足（uM=u），则称u为马氏
过程的平稳分布。

3、对无记忆信源{Xk，k〉=1 }有（-1/n㏒P（X^n））以概率收敛
到H（X）。

简答题
1、简述无记忆信源的定义
答：当X1，X2，……Xn，……为相互独立的随机变量序列，且服从相同的分布
Pr（Xi=x）=P（x）
对任意i成立，称它为无记忆信源。

2、简述平稳信源的定义
答：设X={X1，X2，……Xn，……}为平稳信源，则
（1）H’（X）=，存在
（2）H（X）=H'（X）
证明题
设f（n）是满足f（m+n）<=f（m）+f（n）的半可加数列，则
答记C=inf f(n)/n,假设C=!-,显然
>=C
对给定的任意ε>0,选取充大的K,使
f(K)/K<C+ε/2 （1）
令n=aK+b,其中a为整数,0<=b<K,则
f（n）〈=af（K）+（n-aK）f（b）
两边除以n，
f（n）/n〈=af（K）/（aK+b）+bf（1）/（aK+b）〈=C+ε（*）（2）其中*成立是是因为（2）右式中第二项当K充分大时小于ε/2，再用（1）即得，于是
〈=C+ε。

第二章 信息的度量习题参考答案不确定性与信息（2.3）一副充分洗乱的牌（含52张），试问： （1）任一特定排列所给出的不确定性是多少？（2）随机抽取13张牌，13张牌的点数互不相同时的不确定性是多少？ 解：（1）一副充分洗乱的扑克牌，共有52张，这52张牌可以按不同的一定顺序排列，可能有的不同排列状态数就是全排列种数，为6752528.06610P =≈⨯!因为扑克牌充分洗乱，所以任一特定排列出现的概率是相等的。

设事件A 为任一特定排列，则其发生概率为 ()6811.241052P A -=≈⨯!可得，任一特定排列的不确定性为()()22log log 52225.58I A P A =-=≈!比特 （2）设事件B 为从中抽取13张牌，所给出的点数都不同。

扑克牌52张中抽取13张，不考虑其排列顺序，共有1352C 种可能的组合，各种组合都是等概率发生的。

13张牌中所有的点数都不相同（不考虑其顺序）就是13张牌中每张牌有4种花色，所以可能出现的状态数为413。

所以()131341352441339 1.05681052P B C -⨯!!==≈⨯!则事件B 发生所得到的信息量为()()13213524log log 13.208I B P B C =-=-≈ 比特2.4同时扔出两个正常的骰子，也就是各面呈现的概率都是1/6，求： （1）“2和6 同时出现”这事件的自信息量。

（2）“两个3同时出现”这事件的自信息量。

（3）两个点数的各种组合（无序对）的熵。

（4）两个点数之和（即2，3，…，12构成的子集）的熵。

（5）两个点数中至少有一个是1的自信息。

解：同时扔两个正常的骰子，可能呈现的状态数有36种，因为两骰子是独立的，又各面呈现的概率为61，所以36种中任一状态出现的概率相等，为361。

（1） 设“2和6同时出现”这事件为A 。

在这36种状态中，2和6同时出现有两种情况，即2，6和2，6。

信息论基础第二版习题答案信息论是一门研究信息传输和处理的学科，它的基础理论是信息论。

信息论的基本概念和原理被广泛应用于通信、数据压缩、密码学等领域。

而《信息论基础》是信息论领域的经典教材之一，它的第二版是对第一版的修订和扩充。

本文将为读者提供《信息论基础第二版》中部分习题的答案，帮助读者更好地理解信息论的基本概念和原理。

第一章：信息论基础1.1 信息的定义和度量习题1：假设有一个事件发生的概率为p，其信息量定义为I(p) = -log(p)。

求当p=0.5时，事件的信息量。

答案：将p=0.5代入公式，得到I(0.5) = -log(0.5) = 1。

习题2：假设有两个互斥事件A和B，其概率分别为p和1-p，求事件A和B 同时发生的信息量。

答案：事件A和B同时发生的概率为p(1-p)，根据信息量定义，其信息量为I(p(1-p)) = -log(p(1-p))。

1.2 信息熵和条件熵习题1：假设有一个二进制信源，产生0和1的概率分别为p和1-p，求该信源的信息熵。

答案：根据信息熵的定义，信源的信息熵为H = -plog(p) - (1-p)log(1-p)。

习题2：假设有两个独立的二进制信源A和B，产生0和1的概率分别为p和1-p，求两个信源同时发生时的联合熵。

答案：由于A和B是独立的，所以联合熵等于两个信源的信息熵之和，即H(A,B) = H(A) + H(B) = -plog(p) - (1-p)log(1-p) - plog(p) - (1-p)log(1-p)。

第二章：信道容量2.1 信道的基本概念习题1：假设有一个二进制对称信道，其错误概率为p，求该信道的信道容量。

答案：对于二进制对称信道，其信道容量为C = 1 - H(p)，其中H(p)为错误概率为p时的信道容量。

习题2：假设有一个高斯信道，信道的信噪比为S/N，求该信道的信道容量。

答案：对于高斯信道，其信道容量为C = 0.5log(1 + S/N)。

2.4 设离散无记忆信源⎭⎬⎫⎩⎨⎧=====⎥⎦⎤⎢⎣⎡8/14/1324/18/310)(4321x x x x X P X ，其发出的信息为(202120130213001203210110321010021032011223210)，求 (1) 此消息的自信息量是多少？(2) 此消息中平均每符号携带的信息量是多少？解：(1) 此消息总共有14个0、13个1、12个2、6个3，因此此消息发出的概率是：62514814183⎪⎭⎫ ⎝⎛⨯⎪⎭⎫ ⎝⎛⨯⎪⎭⎫ ⎝⎛=p此消息的信息量是：bit p I811.87log =-=(2) 此消息中平均每符号携带的信息量是：bitn I 951.145/811.87/==41()()log () 2.010i i i H X p x p x ==-=∑2.6 设信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡17.016.017.018.019.02.0)(654321x x x x x x X P X ，求这个信源的熵，并解释为什么H(X) > log6不满足信源熵的极值性。

解：585.26log )(/ 657.2 )17.0log 17.016.0log 16.017.0log 17.018.0log 18.019.0log 19.02.0log 2.0( )(log )()(26=>=+++++-=-=∑X H symbol bit x p x p X H ii i 不满足极值性的原因是107.1)(6>=∑iix p 。

2.7 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求： (1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息；(3) 两个点数的各种组合（无序）对的熵和平均信息量； (4) 两个点数之和（即2, 3, … , 12构成的子集）的熵； (5) 两个点数中至少有一个是1的自信息量。

解：(1)用随机事件i x 表示“3和5同时出现”，则bitx p x I x p i i i 170.4181log )(log )(18161616161)(=-=-==⨯+⨯=(2) 用随机事件i x 表示“两个1同时出现”，则bitx p x I x p i i i 170.5361log )(log )(3616161)(=-=-==⨯=(3)两个点数的排列如下： 11 12 13 14 15 16 21 22 23 24 25 26 31 32 33 34 35 36 41 42 43 44 45 46 51 52 53 54 55 56 61 6263646566共有21种组合：其中11，22，33，44，55，66的概率是3616161=⨯ 其他15个组合的概率是18161612=⨯⨯symbol bit x p x p X H ii i / 337.4181log 18115361log 3616)(log )()(=⎪⎭⎫ ⎝⎛⨯+⨯-=-=∑(4)参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下：sym bolbit x p x p X H X P X ii i / 274.3 61log 61365log 365291log 912121log 1212181log 1812361log 3612 )(log )()(36112181111211091936586173656915121418133612)(=⎪⎭⎫ ⎝⎛+⨯+⨯+⨯+⨯+⨯-=-=⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧=⎥⎦⎤⎢⎣⎡∑(5)bitx p x I x p i i i 710.13611log )(log )(3611116161)(=-=-==⨯⨯=2.10 对某城市进行交通忙闲的调查，并把天气分成晴雨两种状态，气温分成冷暖两个状态，调查结果得联合出现的相对频度如下：忙晴雨冷 12暖 8暖 16冷 27闲晴雨冷 8暖 15暖 12冷 5若把这些频度看作概率测度，求： (1) 忙闲的无条件熵；(2) 天气状态和气温状态已知时忙闲的条件熵；(3) 从天气状态和气温状态获得的关于忙闲的信息。

第二章信息的度量2.1信源在何种分布时，熵值最大？又在何种分布时，熵值最小？答：信源在等概率分布时熵值最大；信源有一个为1，其余为0时熵值最小。

2.2平均互信息量I(X;Y)与信源概率分布q(x)有何关系？与p(y|x)又是什么关系？答：若信道给定，I(X;Y)是q(x)的上凸形函数；若信源给定，I(X;Y)是q(y|x)的下凸形函数。

2.3熵是对信源什么物理量的度量？答：平均信息量2.4设信道输入符号集为{x1,x2,……xk}，则平均每个信道输入符号所能携带的最大信息量是多少？答：kk k xi q xi q X H i log 1log 1)(log )()(2.5根据平均互信息量的链规则，写出I(X;YZ)的表达式。

答：)|;();();(Y Z X I Y X I YZ X I 2.6互信息量I(x;y)有时候取负值，是由于信道存在干扰或噪声的原因，这种说法对吗？答：互信息量)()|(log );(xi q yj xi Q y x I ，若互信息量取负值，即Q(xi|yj)<q(xi)，说明事件yi 的出现告知的是xi 出现的可能性更小了。

从通信角度看，视xi 为发送符号，yi 为接收符号，Q(xi|yj)<q(xi)，说明收到yi 后使发送是否为xi 的不确定性更大，这是由于信道干扰所引起的。

2.7一个马尔可夫信源如图所示，求稳态下各状态的概率分布和信源熵。

答：由图示可知：43)|(41)|(32)|(31)|(41)|(43)|(222111110201s x p s x p s x p s x p s x p s x p 即：43)|(0)|(41)|(31)|(32)|(0)|(0)|(41)|(43)|(222120121110020100s s p s s p s s p s s p s s p s s p s s p s s p s s p 可得：1)()()()(43)(31)()(31)(41)()(41)(43)(210212101200s p s p s p s p s p s p s p s p s p s p s p s p得：114)(113)(114)(210s p s p s p )]|(log )|()|(log )|()[()]|(log )|()|(log )|()[()]|(log )|()|(log )|()[(222220202121211111010100000s s p s s p s s p s s p s p s s p s s p s s p s s p s p s s p s s p s s p s s p s p H 0.25（bit/符号）2.8一个马尔可夫信源，已知：0)2|2(,1)2|1(,31)1|2(,32)1|1(x x p x x p x x p x x p 试画出它的香农线图，并求出信源熵。

第2章 离散信源和信息度量一、例题：【例2.1】 一个1, 0等概的二进制随机序列，求任一码元的自信息量。

解：二进制序列的任一码元不是为0就是为1，根据题意(0)(1)1/2P P ==，所以(0)(1)log(1/2)1I I bit ==-=【例2.2】 对于2n进制的数字序列，假设每一符号的出现完全随机且概率相等，求任一符号的自信息量。

解：设2n进制数字序列任一码元i a 的出现概率为()i P a ，根据题意，()12n i P a =()log ()log 1/2)()n i i I a P a n bit =-=-=（【例2.3】 某地某月份的气象资料如表2.1所示，求相应事件的自信息量。

表2.1 某地某月的气象资料解：()log ()1I P bit =-=晴晴，()log ()2I P bit =-=阴阴()log ()3I P bit =-=雨雨，()log ()3I P bit =-=多云多云【例2.4】 设有两个离散信源集合1201()0.60.4X a a P X ==⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦[][]1201Y b b === 其中[]11211222(|)(|)5/61/6(|)(|)(|)3/41/4p b a p b a P y x p b a p b a ⎡⎤⎡⎤==⎢⎥⎢⎥⎣⎦⎣⎦ 求：（1）自信息量()i I a ；（2）条件自信息量(|)i j I a b ；（3）互信息量(;)i j I a b解：（1）根据自信息量的定义可得11()log ()log0.60.737I a P a bit =-=-≈ 22()log ()log0.4 1.322I a P a bit =-=-≈（2）由全概率公式，可得2211111222221153()()()(|)0.60.40.86411()()()(|)0.60.40.264i i i i i i i i i i P b P a b P a P b a P b P a b P a P b a =======⨯+⨯====⨯+⨯=∑∑∑∑因为()(|)()i j i j j P a b P a b P b =，所以得11111()5(|)()8P a b P a b P b ==，21211()3(|)()8P a b P a b P b == 12122()1(|)()2P a b P a b P b ==，22222()1(|)()2P a b P a b P b == 根据条件自信息量的定义可得：11115(|)log (|)log 0.6788I a b P a b bit =-=-≈21213(|)log (|)log 1.4158I a b P a b bit =-=-≈12121(|)log (|)log 12I a b P a b bit =-=-=22221(|)log (|)log 12I a b P a b bit =-=-=（3）根据互信息量的定义可得：11111(;)()(|)0.059I a b I a I a b bit =-≈ 21221(;)()(|)0.093I a b I a I a b bit =-≈- 12112(;)()(|)0.263I a b I a I a b bit =-≈ 22222(;)()(|)0.322I a b I a I a b bit =-≈【例2.5】 二进制通信系统的信源空间为1()1X P x p p ⎡⎤⎡⎤=⎢⎥⎢⎥-⎣⎦⎣⎦求该信源的熵。

第二章 信源与信息度量 习题解答1.某大学设置五个学院，每个学院的学生数分别为学院： 数学 物理 外语 外贸 医学人数： 300 400 500 600 200问“某学生王某是外语学院学生”这一消息提供的信息量是多少？解：总人数为：300+400+500+600+200=2000人 是外语学院学生的概率为：5000.252000= 同理计算其它学院学生概率后，得信源的概率空间为：12345()0.150.20.250.30.1X x x x x x p X ⎡⎤⎧⎫=⎨⎬⎢⎥⎣⎦⎩⎭“学生王某是外语学院学生”这一消息提供的信息量：33()lb ()lb 0.252I x p x =-=-=比特2. 同时扔出两个正常的骰子，也就是各面呈现的概率都是1/6，求：（1） 事件“2和5同时呈现”的自信息量； （2） 事件“两个4同时呈现”的自信息量； （3） 事件“至少呈现一个1”的自信息量。

解：（1）事件“2和5同时呈现”的概率：1()18p A =，该事件的自信息量： 1()lb ()lb4.170 bit 18I A p A =-=-= （2）事件“两个4同时呈现”的概率：1()36p B =，该事件的自信息量：1()lb ()lb 5.170 bit 36I B p B =-=-=（3）事件“至少呈现一个1”的概率：11()36p C =，该事件的自信息量： 11()lb ()lb1.711 bit 36I C p C =-=-=3. 字母“e ” 在英文中出现的概率是0.103，字母“c ”出现的概率为0.022，字母“x ”出现的概率是0.001，求这些字母各自的自信息量。

解：（1）字母“e ”的自信息量：()lb ()lb0.103 3.279 bit I e p e =-=-=（2）字母“c ”的自信息量：()lb ()lb0.022 5.506 bit I c p c =-=-=（3）字母“x ”的自信息量：()lb ()lb0.0019.966 bit I x p x =-=-=4. 某电子厂共能生产A 、B 、C 、D 四种仪器，其中A 因技术落后停产了，B 占全部产量的20%，C 占30%，D 占50%。

《通信原理》第二章习题一、单项选择题1. 已知信源的熵为3bit/s 符号,信源每分钟传送３６００个符号,则信源的信息速率为( Ｃ )。

A ． 3bit/s B. 60b ｉt/s C ． 1８0bi ｔ／s D ． 10８0bit/s2. 设信源由A 、B 、C 3个符号组成,出现概率分别为1/2、1／4、1/4,假设各符号的出现相互独立,则信源的平均信息量为( D ）。

A. ３b ／符号 Ｂ． １b ／符号 C ． 2b ／符号 D. 1．5b ／符号 ３. 八进制数字信号,１分钟传送1８00b ｉt 的信息量，其码元速率是（ B )。

Ａ. 300Bd B. 100B ｄ Ｃ. ９00Ｂｄ Ｄ. 600Ｂd二、填空题1. 随参信道中发生瑞利衰落的原因是多径传播 。

2． 高斯信道带宽为４ｋＨz,信噪比为63，利用这种信道的理想通信系统的传信率为240００bit ／s ,差错率为零 。

３． 设某随参信道的最大多径时延等于4ms,则该信道的相关带宽B C 为２５0Hz ,为了避免受到选择性衰落，要求传输信号的带宽C B B ⎪⎭⎫⎝⎛51~31＝带宽,则在该信道上传输的数字信号的脉冲宽度为(12~２0)ｍs 。

4. 八进制的信息源的最大熵值为3bit/ｓ ,最小熵值为３/８ bit/s 。

5． 设信源由Ａ、B 、C 、D 四个信息符号组成，其中发送A 的概率为１/2,B 的概率为1／4，C 的概率为1/８，Ｄ的概率为1/8，则每一个符号的平均信息量为1.７５bit/s 。

6. 信号在恒参信道中传输时主要失真有幅频失真 和相频失真 。

7. 某随参信道的两径时延差为1ms,则对信号传输衰耗最大的频率为1000Hz ,传输极点为 。

8． 如果信息源每分钟传输6000个4进制码元，则码元速率R B 为2４00Ba ｕn ｄ,信息速率为4800bit ／ｓ ，１ｍin 传输的信息量为28800bit 。

9. 一个带宽为10００H ｚ的信道用来传输４进制码元,每秒钟最多能传送的信息量为4b ｉt 。

1第2章 信息的度量习 题2.1 同时扔一对质地均匀的骰子，当得知“两骰子面朝上点数之和为5”或“面朝上点数之和为8”或“两骰子面朝上点数是3和6”时，试问这三种情况分别获得多少信息量？解：某一骰子扔得某一点数面朝上的概率是相等的，均为1/6，两骰子面朝上点数的状态共有36种,其中任一状态出现都是等概率的,出现概率为1/36。

设两骰子面朝上点数之和为事件a ，有：⑴ a=5时，有1+4，4+1，2+3，3+2，共4种，则该事件发生概率为4/36=1/9，则信息量为I(a)=-logp(a=5)=-log1/9≈3.17(bit)⑵ a=8时，有2+6，6+2，4+4，3+5，5+3，共5种，则p(a)=5/36,则I(a)= -log5/36≈2.85(bit) ⑶ p(a)=2/36=1/18,则I(a)=-log1/18≈4.17(bit)2.2 如果你在不知道今天是星期几的情况下问你的朋友“明天是星期几”，则答案中含有多少信息量？如果你在已知今天是星期三的情况下提出同样的问题，则答案中你能获得多少信息量（假设已知星期一至星期日的排序）？解：设“明天是星期几”为事件a ：⑴ 不知道今天是星期几：I(a)=-log1/7≈2.81(bit) ⑵ 知道今天是星期几：I(a)=-log1=0 (bit)2.3 居住某地区的女孩中有20%是大学生，在女大学生中有80%是身高1米6以上的，而女孩中身高1米6以上的占总数的一半。

假如我们得知“身高1米6以上的某女孩是大学生”的消息，求获得多少信息量？解：设“居住某地区的女孩是大学生”为事件a ，“身高1米6以上的女孩”为事件b ，则有： p(a)= 0.2，p(b|a)=0.8，p(b)=0.5，则“身高1米6以上的某女孩是大学生”的概率为：32.05.08.02.0)()|()()|(=⨯==b p a b p a p b a p信息量为：I=-logp(a|b)=-log0.32≈1.64(bit)2.4 从大量统计资料知道，男性中红绿色盲的发病率为7%，女性发病率为0.5%，如果你问一位男同志：“你是否是红绿色盲？”，他回答“是”或“否”，问这两个回答中各含有多少信息量？平均每个回答中含有多少信息量？如果你问一位女同志，则答案中含有的平均自信息量是多少？解：⑴ 男同志回答“是”的概率为7%=0.07，则信息量I=-log0.07≈3.84(bit) 男同志回答“否”的概率为1-7%=0.93，则信息量I=-log0.93≈0.10(bit)2平均信息量为：H 1=-(0.07×log0.07+0.93×log0.93) ≈0.37(bit/符号) ⑵ 问女同志的平均自信息量：H 2=-[0.05×log0.05+(1-0.05) ×log(1-0.05)] ≈0.045(bit/符号)2.5 如有7行9列的棋型方格，若有两个质点A 和B ，分别以等概率落入任一方格内，且它们的坐标分别为（X A ，Y A ）、（X B ，Y B ），但A 、B 不能落入同一方格内。

第二章习题解答2.01 试给出数据通信系统的基本模型并说明其主要组成构件的作用。

答：1）信源和信宿信源就是信息的发送端，是发出待传送信息的设备；信宿就是信息的接收端，是接收所传送信息的设备，在实际应用中，大部分信源和信宿设备都是计算机或其他数据终端设备(data terminal equipment，DTE)。

2）信道信道是通信双方以传输媒体为基础的传输信息的通道，它是建立在通信线路及其附属设备(如收发设备)上的。

该定义似乎与传输媒体一样，但实际上两者并不完全相同。

一条通信介质构成的线路上往往可包含多个信道。

信道本身也可以是模拟的或数字方式的，用以传输模拟信号的信道叫做模拟信道，用以传输数字信号的信道叫做数字信道。

3）信号转换设备其作用是将信源发出的信息转换成适合于在信道上传输的信号，对应不同的信源和信道，信号转换设备有不同的组成和变换功能。

发送端的信号转换设备可以是编码器或调制器，接收端的信号转换设备相对应的就是译码器或解调器。

2.02 试解释以下名词：数据，信号，模拟数据，模拟信号，数字数据，数字信号。

答：数据：通常是指预先约定的具有某种含义的数字、符号和字母的组合。

信号：信号是数据在传输过程中的电磁波的表示形式。

模拟数据：取值是连续的数据。

模拟信号：是指幅度随时间连续变化的信号。

数字数据：取值是离散的数据。

数字信号：时间上是不连续的、离散性的信号2.03 什么是传信速率？什么是传码速率？说明两者的不同与关系。

答：传信速率又称为比特率，记作R b，是指在数据通信系统中，每秒钟传输二进制码元的个数，单位是比特/秒（bit/s,或kbit/s或Mbit/s）。

传码速率又称为调制速率、波特率，记作N Bd，是指在数据通信系统中，每秒钟传输信号码元的个数，单位是波特（Baud）。

若是二电平传输，则在一个信号码元中包含一个二进制码元，即二者在数值上是相等的；若是多电平（M电平）传输，则二者在数值上有R b=N Bd×log2 M的关系。

2.1基本信息论例题及其分析第2章基本信息论信源是消息的来源，信道是消息传送媒介，信宿是消息的目的地。

Shannon信息论的中心问题“信息论”，又称为“通信的数学理论”，是研究信息的传输、存储、处理的科学。

信息论的中心问题：为设计有效而可靠的通信系统提供理论依据。

（具体地说，就是信源编码和信道编码。

以下来看所要解决的具体问题。

）问题一：信源消息常常不能够完全发送。

（否则发送量巨大，比如：无尽的天空。

因此优先捡有用的发送）问题二：信道因干扰而出现差错，如何进行检错和纠错。

第一个重要概念：信道上传送的是随机变量的值。

注意：（1）这就是说，我们在收到消息之前，并不知道消息的内容。

否则消息是没有必要发送的。

（2）消息随机变量有一个概率分布。

（3）消息随机变量的一个可能取值就称为一个事件。

第二个重要概念：事件发生的概率越小，此事件含有的信息量就越大。

（不太可能发生的事件竟然发生了，令人震惊）例事件“中国足球队3：0力克韩国足球队”含有的信息量大。

（小概率事件发生了，事件信息量大）例事件“中国足球队0：1负于韩国足球队”含有的信息量小。

（大概率事件发生了，事件信息量小）第三个重要概念：消息随机变量的随机性越大，此消息随机变量含有的信息量就越大。

例消息随机变量X=“中国足球队与韩国足球队比赛的结果”，则消息随机变量X含有的信息量小。

（随机性小，可预见性大，因此该消息随机变量含有的信息量小。

）例消息随机变量X=“意大利足球队与德国足球队比赛的结果”，则消息随机变量X含有的信息量大。

（随机性大，可预见性小，因此该消息随机变量含有的信息量大。

）第四个重要概念：两个消息随机变量的相互依赖性越大，它们的互信息量就越大（这里指的是绝对值大）。

例X=西安明日平均气温, Y=咸阳明日平均气温，Z=北京明日平均气温，W=纽约明日平均气温。

则X与Y互信息量大，X与Z互信息量小得多，X与W互信息量几乎为0。

信息的可度量性-建立信息论的基础；信息度量的方法:结构度量﹑统计度量﹑语义度量﹑模糊度量等；统计度量：用事件统计发生概率的对数来描述事物的不确定性，得到消息的信息量，建立熵的概念；熵概念是香农信息论最基本最重要的概念。