通信的基本问题，是在通信系统的一端精确地或者近似地复现另一端选择的消息概念消息：由信源发出，具有随机性信息量：消息所包含的不确定性的度量信息的量化1. 在南极大陆，今天的气温为-25°C2. 在南极大陆，今天的气温为38°C在一般情况下，这两条消息哪一条包含的信息量更大呢？一条消息所携带的信息量的大小，和它带给接收者的“surprise”有关。
在数学上，我们可以用事件的发生概率来表示一个事件发生所引起的surprise。
{}r x x x X ,,,21 =Xs s s s x t t ∈=)(10 )()Pr(i i i x P x p =={}r X p p p P ,,,21 =∑==ri ip 11信源符号集合：信源从时刻0开始发出的符号序列为：信源中每个信源符号的发生概率：信源的概率分布为：∑==⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡n i i n n p where p p p a a a X P X 121211,,,,,,)( 离散信源的概率模型自信息 ：当信源发出这个符号时所发出的信息量。
)(log )(1log )(i i i x P x P x I -==单位： 取决于所用的对数的底。
当使用以2为底的对数时，信息量的单位是比特（bit ）；当使用以10为底的对数时，信息量的单位是哈特莱（Hartley ）；当使用以e 为底的对数(自然对数)时，信息量的单位是奈特（nat ）。
1 nat = 1.44 bit例题某门课程的学生成绩分布如下，求每个成绩等级代表符号A, B, C, D, F所包含的信息量。
A B C D F25%50%12.5%10% 2.5%解：符号概率p自信息 log(1/p)A0.25 2 比特B0.5 1 比特C0.125 3 比特D0.1 3.32 比特F0.025 5.32 比特合计：1例题某门课程的学生成绩分布如下，求每个成绩等级代表符号A, B, C, D, F所包含的信息量。
