预备知识 一、矩阵处理 1）在MATLAB中矩阵的创建应遵循以下基本常规：矩阵元素应用方括号（[]）括住；每行内的元素间用逗号（,）或空格隔开；行与行之间用分号（;）或回车键隔开；元素可以是数值或表达式。 2）矩阵赋值 若A=[1 2 3; 4 5 6; 7 8 9;10 11 12] 若A=[1 2 3; 4 5 6; 7 8 9;10 11 12]，选出前3行构成矩阵B，B=A(1：3，:)选出前2列构成矩阵C，C=A(:，1:2) 3）矩阵删除 在MATLAB中可以对数组中的单个元素、子矩阵和所有元素进行删除操作，删除就是将其赋值为空矩阵（用[]表示）。 若将A的2,3行去除，则A([2,3],:)=[] 4）矩阵变换 A' %矩阵A的转置 A(:) %矩阵A按列展开形成一维数组 5）矩阵运算 点运算 两个矩阵之间的点运算是按照数组运算规则计算，矩阵的对应元素直接运算。要求参加运算的矩阵大小必须相同。有“.*”、“./”和“.\”三种运算符。 乘法运算 两个矩阵的维数相容时（A的列数等于B的行数），可以进行A乘B的乘法运算。二、M文件 if语句 最简单的选择结构语句，其基本格式为： if 表达式 语句组 end 说明：表达式多为关系或逻辑表达式。如果表达式为真（非零），就执行if和end之间的语句组，然后再执行end之后的语句；如果表达式为假（零），就直接执行end之后的语句。 for语句 for语句为计数循环语句，在许多情况下，循环条件是有规律变化的，通常把循环条件初值、终值和变化步长放在循环语句的开头，这种形式就是for语句的循环结构。for循环的一般形式是： for 循环变量名=表达式1：表达式2：表达式3 语句体 end
该信源发出的信息序列为(202 120 130 213 001 203 210 110 321 010 021 032 011 223 210)。求： (1)此消息的自信息量是多少？ (2)此消息中平均每符号携带的信息量是多少？ 解： (1) 此消息总共有14个0、13个1、12个2、6个3,因此消息发出的概率是： 此消息的信息量是：I二-log p =87.811 bit 3.2某一无记忆信源的符号集为｛0, 1｝，已知信源的概率空间为 ;x 口0 1: ]P(X)」J/4 3/4： (1)求信息符号的平均熵； ⑵ 由100个符号构成的序列，求某一特定序列(例如有m个“0”和(100 - m个“1”) 的自信息量的表达式； ⑶计算⑵中序列的熵。 解： (1) 丁"133、 H(X)二一p(X|) log p(X|) log log 0.811 bit i\_4 4 4 4 J 100 -m 3 —,100 4 3〔00 -m l(xj - -log p(xj - -log 10厂=41.5 1.585m bit 4 H(X100) =100H(X) =100 0.811 =81.1 bit 其概率空间为 ；X L X1 = 0 X2 =1 X3 = 2 X4 = 3 J P(X)J '、3/8 1/4 1/4 1/8 离散无记忆信源 ⑵ 此消息中平均每符号携带的信息量是: I /n =87.811/45=1.951 bit z-m 100 -m g盯(4〕
3.5某信源的消息符号集的概率分布和二进制代码如题表 3.2所列
(1)求信息的符号熵； (2)求每个消息符号所需要的平均二进制码的个数或平均代码长度。进而用这一结果求码序列中的一个二进制码的熵； (3)当消息是由符号序列组成时，各符号之间若相互独立，求其对应的二进制码序列中出现 0和1的无条件概率P o和P i，求相邻码间的条件概率P o/1、P l/0、P i/1、P o/o。 解： (1) 「1 1 1 1 1 1 1 1 \ H(X) - p(xjlogp(x) log log log log 1.75 bit i(2 2448888 丿 ⑵ - 丁1111 L =E(h)=為p(x)h 1 ——2 — 3 — 3=1.75 i 2 4 8 8 1 1 H N(X) H (X) H(X) =1 bit N L 设消息序列长为N，则u0、u1、u2、u3的个数分别为N/2, N/4, N /8, N/8个。 N N N N 7N 则0的个数为一1 — 1 — 1 — 0 =—— 2 4 8 8 8 N N N N 7N 而1的个数为0 1 2 3 = 2 4 8 8 8 因而p0 = p1 = 0.5 P0/1 二P10 / P1 =屮P 0/0 = P00 / P0 P1/0 二p 01 / p 1 二2__2 1 P1/1 二 p 11 / p 1
第二章： 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍 解： 四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3} 八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则： 四进制脉冲的平均信息量H(X 1) = log 2n = log 24 = 2 bit/symbol 八进制脉冲的平均信息量H(X 2) = log 2n = log 28 = 3 bit/symbol 二进制脉冲的平均信息量H(X 0) = log 2n = log 22 = 1 bit/symbol 《 所以： 四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量 解： 设随机变量X 代表女孩子学历 X x 1（是大学生） x 2（不是大学生） P(X) ( 设随机变量Y 代表女孩子身高 Y y 1（身高>160cm ） y 2（身高<160cm ） P(Y) " 已知：在女大学生中有75%是身高160厘米以上的 即：p(y 1/ x 1) = 求：身高160厘米以上的某女孩是大学生的信息量 即：bit y p x y p x p y x p y x I 415.15.075.025.0log )()/()(log )/(log )/(2111121111=??? ???-=? ? ????-=-= 一副充分洗乱了的牌（含52张牌），试问 (1) 任一特定排列所给出的信息量是多少 (2) 若从中抽取13张牌，所给出的点数都不相同能得到多少信息量 》 解： (1) 52张牌共有52！种排列方式，假设每种排列方式出现是等概率的则所给出的信息量是： bit x p x I i i 581.225!52log )(log )(2==-= (2) 52张牌共有4种花色、13种点数，抽取13张点数不同的牌的概率如下：
3.1 设有一离散无记忆信源，其概率空间为 ??? ? ??=====??????8/14/1324/18/310)(4321x x x x X P X 该信源发出的信息序列为(202 120 130 213 001 203 210 110 321 010 021 032 011 223 210)。 求： (1) 此消息的自信息量是多少？ (2) 此消息中平均每符号携带的信息量是多少？ 解： (1) 此消息总共有14个0、13个1、12个2、6个3，因此消息发出的概率是： 6 2514814183?? ? ?????? ?????? ??=p 此消息的信息量是：bit p I 811.87log =-= (2) 此消息中平均每符号携带的信息量是：bit n I 951.145/811.87/== 3.2 某一无记忆信源的符号集为{0, 1}，已知信源的概率空间为 ???? ??=??????4/34/110 )(X P X (1) 求信息符号的平均熵； (2) 由100个符号构成的序列，求某一特定序列（例如有m 个“0”和（100 - m ）个“1”）的自信息量的表达式； (3) 计算(2)中序列的熵。 解： (1) bit x p x p X H i i i 811.043log 4341log 41 )(log )()(=??? ??+-=-=∑ (2) bit m x p x I x p m i i m m m i 585.15.4143 log )(log )(4 34341)(100 100100 100100+=-=-==? ? ? ?????? ??=--- (3) bit X H X H 1.81811.0100)(100)(100=?== 3.5 某信源的消息符号集的概率分布和二进制代码如题表3.2所列。 题表 3.2
实验一：计算离散信源的熵 一、实验设备: 1、计算机 2、软件：Matlab 二、实验目的: 1、熟悉离散信源的特点； 2、学习仿真离散信源的方法 3、学习离散信源平均信息量的计算方法 4、熟悉 Matlab 编程； 三、实验内容: 1、写出计算自信息量的Matlab 程序 2、写出计算离散信源平均信息量的Matlab 程序。 3、掌握二元离散信源的最大信息量与概率的关系。 4、将程序在计算机上仿真实现，验证程序的正确性并完成习题。 四、实验报告要求 简要总结离散信源的特点及离散信源平均信息量的计算,写出习题的MATLAB 实现语句。 信息论基础： 自信息的计算公式 21()log a I a p = Matlab 实现：I=log2(1/p) 或I=-log2(p) 熵（平均自信息）的计算公式 22111()log log q q i i i i i i H x p p p p ====-∑∑ Matlab 实现：HX=sum(-x.*log2(x))；或者h=h-x(i)*log2(x(i)); 习题： 1. 甲地天气预报构成的信源空间为： 1111(),,,8482 X p x ??????=???????? 小雨 云 大雨晴 乙地信源空间为： 17(),88 Y p y ??????=???????? 小雨晴 求此两个信源的熵。求各种天气的自信息量。 案：() 1.75;()0.5436H X H Y ==
运行程序： p1=[1/2,1/4,1/8,1/8];%p1代表甲信源对应的概率p2=[7/8,1/8];%p2代表乙信源对应的概率 H1=0.0; H2=0.0; I=[]; J=[]; for i=1:4 H1=H1+p1(i)*log2(1/p1(i)); I(i)=log2(1/p1(i)); end disp('自信息量分别为：'); I disp('H1信源熵为：'); H1 for j=1:2 H2=H2+p2(j)*log2(1/p2(j)); J(j)=log2(1/p2(j)); end disp('自信息量分别为：'); J disp('H2信源熵为：'); H2
实验一 离散信源及其信息测度 一、[实验目的] 离散无记忆信源是一种最简单且最重要的信源，可以用完备的离散型概率空间来描述。本实验通过计算给定的信源的熵，加深对信源及其扩展信源的熵的概念的理解。 二、[实验环境] windows XP,MATLAB 三、[实验原理] 信源输出的各消息的自信息量的数学期望为信源的信息熵，表达式如下 1()[()]()log ()q i i i H X E I xi p x p x ===-∑ 信源熵是信源的统计平均不确定性的描述，是概率函数()p x 的函数。 四、[实验内容] 1、有条100字符英文信息，假定其中每字符从26个英文字母和1个空格中等概选取，那么每条信息提供的信息量为多少？若将27个字符分为三类，9个出现概率占2/7,13个出现概率占4/7，5个出现占1/7，而每类中符号出现等概，求该字符信源的信息熵。 2、二进制通信系统使用0、1,由于存在失真，传输会产生误码，用符号表示下列事件：u0:一个0发出；u1:一个1发出；v0:一个0收到；v1:一个1收到；给定下列概率：p(u0)=1/2,p(v0|u0)=3/4,p(v0|u1)=1/2。求：(a)已知发出一个0，求收到符号后得到的信息量；(b)已知发出的符号，求收到符号后得到的信息量； 3、给定离散无记忆信源X ，其概率空间为 010.70.3X P ????=???????? 求该信源的熵和其二次、三次扩展信源的熵。(编写一M 函数文件： function [H_X1,H_X2,H_X3]=t03(X1,P1) %t03 求信源和其二次、三次扩展信源的熵 %输入为X1,P1,分别为信源符号和概率阵 %输出为原离散信源的熵H_X1和二次、三次扩展信源的熵H_X2、H_X3
2.1 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？ 解： 四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3} 八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则： 四进制脉冲的平均信息量symbol bit n X H / 24log log )(1=== 八进制脉冲的平均信息量symbol bit n X H / 38log log )(2=== 二进制脉冲的平均信息量symbol bit n X H / 12log log )(0=== 所以： 四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。 2.2 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？ 解： 设随机变量X 代表女孩子学历 X x 1（是大学生） x 2（不是大学生） P(X) 0.25 0.75 设随机变量Y 代表女孩子身高 Y y 1（身高>160cm ） y 2（身高<160cm ） P(Y) 0.5 0.5 已知：在女大学生中有75%是身高160厘米以上的 即：bit x y p 75.0)/(11= 求：身高160厘米以上的某女孩是大学生的信息量 即：bit y p x y p x p y x p y x I 415.15 .075.025.0log )()/()(log )/(log )/(11111111=?-=-=-= 2.3 一副充分洗乱了的牌（含52张牌），试问 (1) 任一特定排列所给出的信息量是多少？ (2) 若从中抽取13张牌，所给出的点数都不相同能得到多少信息量？ 解： (1) 52张牌共有52！种排列方式，假设每种排列方式出现是等概率的则所给出的信息量是： ! 521)(=i x p bit x p x I i i 581.225!52log )(log )(==-= (2) 52张牌共有4种花色、13种点数，抽取13张点数不同的牌的概率如下：
离散信源题与答案 Last revision date: 13 December 2020.
3.1 设有一离散无记忆信源，其概率空间为 该信源发出的信息序列为(202 120 130 213 001 203 210 110 321 010 021 032 011 223 210)。求： (1) 此消息的自信息量是多少？ (2) 此消息中平均每符号携带的信息量是多少？ 解： (1) 此消息总共有14个0、13个1、12个2、6个3，因此消息发出的概率是： 此消息的信息量是：bit p I 811.87log =-= (2) 此消息中平均每符号携带的信息量是：bit n I 951.145/811.87/== 3.2 某一无记忆信源的符号集为{0, 1}，已知信源的概率空间为 (1) 求信息符号的平均熵； (2) 由100个符号构成的序列，求某一特定序列（例如有m 个“0”和（100 - m ）个“1”）的自信息量的表达式； (3) 计算(2)中序列的熵。 解： (1) (2) (3) 3.5 某信源的消息符号集的概率分布和二进制代码如题表3.2所列。 (1) (2) 求每个消息符号所需要的平均二进制码的个数或平均代码长度。进而用这一结果求码序列中的一个二进制码的熵； (3) 当消息是由符号序列组成时，各符号之间若相互独立，求其对应的二进制码序列中出现0和1的无条件概率0p 和1p ，求相邻码间的条件概率1/0p 、0/1p 、1/1p 、0/0p 。 解： (1) (2) (3) 设消息序列长为N ，则0u 、1u 、2u 、3u 的个数分别为8/ ,8/ ,4/ ,2/N N N N 个。 则0的个数为 8 708181412N N N N N =?+?+?+? 而1的个数为8738281402N N N N N =?+?+?+?
? ?? ???=====??????8/14/1324/18/310)(4321x x x x X P X 该信源发出的信息序列为(202 120 130 213 001 203 210 110 321 010 021 032 011 223 210)。 求： (1) 此消息的自信息量是多少 (2) 此消息中平均每符号携带的信息量是多少 解： (1) 此消息总共有14个0、13个1、12个2、6个3，因此消息发出的概率是： 6 2514814183?? ? ?????? ?????? ??=p 此消息的信息量是：bit p I 811.87log =-= (2) 此消息中平均每符号携带的信息量是：bit n I 951.145/811.87/== 某一无记忆信源的符号集为{0, 1}，已知信源的概率空间为 ???? ??=??????4/34/110 )(X P X (1) 求信息符号的平均熵； (2) 由100个符号构成的序列，求某一特定序列（例如有m 个“0”和（100 - m ）个“1”）的自信息量的表达式； (3) 计算(2)中序列的熵。 解： (1) bit x p x p X H i i i 811.043log 4341log 41 )(log )()(=??? ??+-=-=∑ (2) bit m x p x I x p m i i m m m i 585.15.414 3 log )(log )(4 34341)(100 100100 100100+=-=-==? ? ? ?????? ??=--- (3) bit X H X H 1.81811.0100)(100)(100=?== 某信源的消息符号集的概率分布和二进制代码如题表所列。 题表
第2章离散信源与信息熵 信号 信号+干扰 消息 干扰 消息 信源 编码器 信道 译码器 信宿 噪声源 通信系统模型 信息
2.1 信源的分类和描述 信源是信息的发源地，可以是人、生物、机器或其他事物。信源的输出是包含信息的消息。消息的形式可以是离散的或连续的。 信源输出为连续信号形式（如语音），可用连续随机变量描述。 连续信源←→模拟通信系统 信源输出是离散的消息符号（如书信），可用离散随机变量描述。 离散信源←→数字通信系统
离散信源…X i…X j… 离散无记忆信源：输出符号X i X j 之间相互无影响； 离散有记忆信源：输出符号X i X j 之间彼此依存。 3 离散信源 无记忆 有记忆发出单个符号发出符号序列马尔可夫信源 非马尔可夫信源
y j 将一粒棋子随意地放 在棋盘中的某列； 棋子放置的位置是一 个随机事件； 可看做一个发出单个 符号的离散信源。 x i
1212,,...,(),(),...,()m m x x x X P p x p x p x ????=???????? 就数学意义来讲，信源就是一个概率场，可用概率空间来描述信源。由离散随机变量X 表示棋子位置： 10()1,()1m i i i p x p x =≤≤=∑i x 其中，代表随机事件的某一结果。
2.2离散信源的信息熵信息的可度量性是信息论建立的基础； 香农的信息论用事件发生概率的对数来描述事件的不确定性，得到消息的信息量，建立熵的概念。 2.2.1自信息量 –定义2.1 任意随机事件x i 的自信息量定义为： i i i 1(x )log log (x )(x ) I P P ==-
设有一离散无记忆信源，其概率空间为 ??? ? ??=====??????8/14/1324/18/310)(4321x x x x X P X 该信源发出的信息序列为(202 120 130 213 001 203 210 110 321 010 021 032 011 223 210)。 求： (1) 此消息的自信息量是多少？ (2) 此消息中平均每符号携带的信息量是多少？ 解： (1) 此消息总共有14个0、13个1、12个2、6个3，因此消息发出的概率是： 6 2514814183?? ? ?????? ?????? ??=p 此消息的信息量是：bit p I 811.87log =-= (2) 此消息中平均每符号携带的信息量是：bit n I 951.145/811.87/== 某一无记忆信源的符号集为{0, 1}，已知信源的概率空间为 ???? ??=??????4/34/110 )(X P X (1) 求信息符号的平均熵； (2) 由100个符号构成的序列，求某一特定序列（例如有m 个“0”和（100 - m ）个“1”）的自信息量的表达式； (3) 计算(2)中序列的熵。 解： (1) bit x p x p X H i i i 811.043log 4341log 41 )(log )()(=??? ??+-=-=∑ (2) bit m x p x I x p m i i m m m i 585.15.4143 log )(log )(4 34341)(100 100100 100100+=-=-==? ? ? ?????? ??=--- (3) bit X H X H 1.81811.0100)(100)(100=?== 某信源的消息符号集的概率分布和二进制代码如题表所列。 题表
第三章 离散信源及其信息测度 3.1 信源的数学模型及分类 信源是信息的来源，是产生消息或消息序列的源泉。信息是抽象的，而消息是具体的。消息不是信息本身，但它包含着和携带着信息。我们不研究信源的内部结构，不研究信源为什么产生和怎样产生各种不同的、可能的消息，而只研究信源的各种可能的输出，以及各种可能消息的不确定性。 在通信系统中收信者在未收到消息以前，对信源发出什么消息是不确定的，是随机的，所以可用随机变量、随机矢量或随机过程来描述信源输出的消息。不同的信源输出的消息不同，可以根据消息的不同的随机性质来对信源进行分类。 1）信源输出的单符号消息可用随机变量描述 在实际情况中，有些信源可能输出的消息数是有限的或可数的，而且每次只输出其中一个消息，如书信文字、计算机的代码、电报符号、阿拉伯数字码等。这些信源输出的都是单个符号的消息，它们符号集的取值是有限的或可数的。我们可用一维离散型随机变量X 来描述这些信源的输出。这样的信源称为离散信源。它的数学模型就是离散型的概率空间 121 2(), ,(),(),()q q X P x a a a P a P a P a =???????????? （3-1） 显然，()(1,2,,)i P a i q =应满足 1()1q i i P a ==∑ （3-2） 式中，{}i a 是离散信源可能的输出符号；()1(1,2,,)0i P a i q ≤=≤是信源输出符号 (1,2,,)i a i q =的先验概率。 有的信源虽然输出的是单个符号（代码）的消息，但其可能出现的消息数是不可数的无限值，即输出消息的取值是连续的，或取值是实数集(,)-∞∞。例如，语音信号、热噪声信号某时间的连续取值数据，遥控系统中有关电压、温度、压力等测得的连续数据。这些数据取值是连续的，但又是随机的。我们可用一维的连续型随机变量X 来描述这些消息，则这种信源称为连续信源，其数学模型是连续型概率空间 ()(x)X P x p =?????????? ??R （3-3） 并满足 ()d 1b a p x x =? 或()d 1p x x =?R 式中，R 表示实数集(,)-∞∞；()p x 是随机变量X 的概率密度函数。 上述离散信源和连续信源是最简单、最基本的情况，信源只输出一个消息（符号），所
信息论与编码实验报告 信息学院10电子A班级第组姓名同组成员实验名称实验一、离散信源的熵与离散信道的容量 实验设备（1）计算机（2）所用软件：Matlab或C 实验目的掌握信源的熵、信道容量的物理意义，概念；熟练掌握离散信源熵、离散信道容量的计算方法步骤；利用Matlab编写离散信源熵、离散信道容量的计算程序；验证程序的正确性。 实验内容（1）根据熵，信道容量计算的方法步骤，用Matlab编写离散信源熵、离散信道容量的计算程序； （2）用习题2.16和例3.6验证程序的正确性。 实验报告要求 1、简要总结信源的熵、信道容量的物理意义，概念； 2、写出离散信源熵、离散信道容量计算的基本步骤，画出实现离散信源熵、离散信道容量 计算的程序流程图； 3、实现离散信源熵、离散信道容量计算的Matlab源程序； 4、讨论信源的熵的大小与前后符号之间相关性的关系，讨论信道容量与信源先验概率及信 道转移概率的关系。 5、实验报告在实验后一周内交给老师，报告单一律用16开大小的纸写，以此单为封面，装 订成册。 完成时间：2012年12月22日
1、简要总结信源的熵、信道容量的物理意义，概念。 信源熵的物理意义是指信源中的各个符号的平均不确定性；熵是信源符号的平均信息量，是信源符号的平均不确定度。 信道容量概念：在信道可以传输的基本前提下，对信源的一切可能的概率分布而言，信道能够传输的最大（接收）熵速率称为信道容量。 意义：求出了某个信道的信道容量，也就找到了信源的最佳概率分布。从而指导人们改造信源，使之最大可能地利用信道的传输能力。 2、写出离散信源熵、离散信道容量计算的基本步骤，画出实现离散信源熵、离散信道容量计算的程序流程图； 离散信源熵的计算步骤： ()()() 11log log ()q r r r i i i i H X E p a a p a =??==- ???∑信道容量的计算步骤：()(){}()符号/;max bit Y X I C X P =3、实现离散信源熵、离散信道容量计算的Matlab 源程序； 实验程序： 1）计算信源熵： 新建M 文件： function[h]=H(x) h=-log2(x)*x'; 保存为H.m
第二章信源与信息熵 主要内容：（1）信源的描述与分类；（2）离散信源熵和互信息；（3）离散序列信源的熵；（4）连续信源的熵和互信息；（5）冗余度。 重点：离散/连续信源熵和互信息。 难点：离散序列有记忆信源熵。 说明：本章内容主要针对信源，但是很多基本概念却是整个信息论的基础，所以安排了较多课时。由于求熵涉及一些概率论的基础知识，考虑到大四的同学可能对这部分知识已经遗忘，故适当复习部分概率论知识。较难的 2.1.2节马尔可夫信源部分放置在本章最后讲，便于同学理解。本章概念和定理较多，比较抽象，课堂教学时考虑多讲述一些例题，通过例题来巩固概念和消化定理。 作业： 2．1—2．7，2．10，2．12。 课时分配：10课时。 板书及讲解要点： 在信息论中，信源是发出消息的源，信源输出以符号形式出现的具体消息。如果符号是确定的而且预先是知道的，那么该消息就无信息而言。只有当符号的出现是随机的，预先无法确定，一旦出现某个符合就给观察者提供了信息。因此应该用随机变量或随机矢量来表示信源，运用概率论和随机过程的理论来研究信息，这就是香农信息论的基本点。 2．1 信源的描述与分类 在通信系统中收信者在未收到消息以前对信源发出什么消息是不确定的，是随机的，所以可用随机变量、随机序列或随机过程来描述信源输出的消息，或者说用一个样本空间及其概率测度——概率空间来描述信源。 信源：产生随机变量、随机序列和随机过程的源。 信源的基本特性：具有随机不确定性。 信源的分类 离散信源：文字、数据、电报——随机序列 连续信源：话音、图像——随机过程 离散信源：输出在时间和幅度上都是离散分布的消息。
消息数是有限的或可数的，且每次只输出其中一个消息，即两两不相容。 发出单个符号的无记忆信源 离散无记忆信源： 发出符号序列的无记忆信源 离散信源 离散有记忆信源： 发出符号序列的有记忆信源 发出符号序列的马尔可夫信源 概率论基础： 无条件概率，条件概率和联合概率的性质和关系： （1） 非负性 0()()(/)(/)()1i j j i i j i j p x p y p y x p x y p x y ≤≤，，，， （2） 完备性 111 1 11 ()1,()1,(/)1, (/)1,()1 n m n i j i j i j i m m n j i i j j j i p x p y p x y p y x p x y ===========∑∑∑∑∑∑ 1 1 ()(),()()n m i j j i j i i j p x y p y p x y p x ====∑∑ （3） 联合概率 ()()(/)()(/)()()()(/)()(/)() i j i j i j i j i j i j j i j i j i p x y p x p y x p y p x y X Y p x y p x p y p y x p y p x y p x =====当与相互独立时，， （4） 贝叶斯公式 1 1 () () (/)(/)() () i j i j i j j i n m i j i j i j p x y p x y p x y p y x p x y p x y === = ∑∑， 2.1.1 无记忆信源： 例如扔骰子，每次试验结果必然是1～6点中的某一个面朝上。可以用一个离散型随机变量X 来描述这个信源输出的消息。
· 1 · 第二章： 2.1 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？ 解： 四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3} 八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则： 四进制脉冲的平均信息量H(X 1) = log 2n = log 24 = 2 bit/symbol 八进制脉冲的平均信息量H(X 2) = log 2n = log 28 = 3 bit/symbol 二进制脉冲的平均信息量H(X 0) = log 2n = log 22 = 1 bit/symbol 所以： 四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。 2.2 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？ 解： 设随机变量X 代表女孩子学历 X x 1（是大学生） x 2（不是大学生） P(X) 0.25 0.75 设随机变量Y 代表女孩子身高 Y y 1（身高>160cm ） y 2（身高<160cm ） P(Y) 0.5 0.5 已知：在女大学生中有75%是身高160厘米以上的 即：p(y 1/ x 1) = 0.75 求：身高160厘米以上的某女孩是大学生的信息量 即：bit y p x y p x p y x p y x I 415.15.075.025.0log )()/()(log )/(log )/(2111121111=??? ???-=? ? ????-=-= 2.3 一副充分洗乱了的牌（含52张牌），试问 (1) 任一特定排列所给出的信息量是多少？ (2) 若从中抽取13张牌，所给出的点数都不相同能得到多少信息量？ 解： (1) 52张牌共有52！种排列方式，假设每种排列方式出现是等概率的则所给出的信息量是： bit x p x I i i 581.225!52log )(log )(2==-= (2) 52张牌共有4种花色、13种点数，抽取13张点数不同的牌的概率如下： bit C x p x I C x p i i i 208.134 log )(log )(4)(1352 13 2 213 52 13=-=-==
设有一离散无记忆信源，其概率空间为 该信源发出的信息序列为(202032)。求： (1)此消息的自信息量是多少？ (2)此消息中平均每符号携带的信息量是多少？ 解： (1) 此消息总共有14个0、13个1、12个2、6个3，因此消息发出的概率是： 此消息的信息量是：bit p I 811.87log =-= (2) 此消息中平均每符号携带的信息量是：bit n I 951.145/811.87/== 某一无记忆信源的符号集为{0,1}，已知信源的概率空间为 (1)求信息符号的平均熵； (2)由100个符号构成的序列，求某一特定序列（例如有m 个“0”和（100-m ）个“1”）的自信息量的表达式； (3)计算(2)中序列的熵。 解： (1) (2) (3) 某信源的消息符号集的概率分布和二进制代码如题表所列。 (1)(2)求每个消息符号所需要的平均二进制码的个数或平均代码长度。进而用这一结果求码序列中的一个二进制码的熵； (3)当消息是由符号序列组成时，各符号之间若相互独立，求其对应的二进制码序列中出现0和1的无条件概率0p 和1p ，求相邻码间的条件概率1/0p 、0/1p 、1/1p 、0/0p 。 解： (1) (2) (3) 设消息序列长为N ，则0u 、1u 、2u 、3u 的个数分别为8/ ,8/ ,4/ ,2/N N N N 个。 则0的个数为 8 708181412N N N N N =?+?+?+? 而1的个数为8738281402N N N N N =?+?+?+?
因而5.010==p p 设有一个信源，它产生0，1序列的信息。该信源在任意时间而且不论以前发生过什么消息符号，均按P(0)=，P(1)=的概率发出符号。 (1)试问这个信源是否是平稳的； (2)试计算H(X 2),H(X 3/X 1X 2)及H ∞； (3)试计算H(X 4)并写出X 4信源中可能有的所有符号。 解： (1) 这个信源是平稳无记忆信源。因为有这些词语：“它在任意时间．．．．而且不论以前发生过什么符．．．．．．．．．．号． ……” (2) (3) 有一马尔可夫信源，已知转移概率为3/2)/(11=S S p ，3/1)/(12=S S p ，1)/(21=S S p ，0)/(22=S S p 。试画出状态转移图，并求出信源熵。 解： 黑白传真机的信息元只有黑色和白色两种X ={黑，白}，一般气象图上黑色出现的概率为P(黑)=，白色出现的概率为P(白)=，黑白消息前后没有关联，其转移概率为P(白/白)=，P(黑/白)=，P(白/黑)=，P(黑/黑)=。求该一阶马尔可夫信源的不确定性H(X/X)，并画出该信源的状态转移图。 解： 设信源产生A,B,C 三种符号2/1)/(=B B p ，4/1)/()/(==B C p B A p ，8/5)/(=A A p ，4/1)/(=A B p ，8/1)/(=A C p ，8/5)/(=C C p ，4/1)/(=C B p ，8/1)/(=C A p 。试计算冗余度。 解： 一阶马尔可夫信源的状态图如下图所示。信源X 的符号集为{0,1,2}。 (1)求平稳后信源的概率分布； (2)求信源的熵H ∞。 解： (1) (2)
离散信源题与答案集团标准化办公室：[VV986T-J682P28-JP266L8-68PNN]
3.1 设有一离散无记忆信源，其概率空间为 该信源发出的信息序列为(202 120 130 213 001 203 210 110 321 010 021 032 011 223 210)。求： (1) 此消息的自信息量是多少？ (2) 此消息中平均每符号携带的信息量是多少？ 解： (1) 此消息总共有14个0、13个1、12个2、6个3，因此消息发出的概率是： 此消息的信息量是：bit p I 811.87log =-= (2) 此消息中平均每符号携带的信息量是：bit n I 951.145/811.87/== 3.2 某一无记忆信源的符号集为{0, 1}，已知信源的概率空间为 (1) 求信息符号的平均熵； (2) 由100个符号构成的序列，求某一特定序列（例如有m 个“0”和（100 - m ）个“1”）的自信息量的表达式； (3) 计算(2)中序列的熵。 解： (1) (2) (3) 3.5 某信源的消息符号集的概率分布和二进制代码如题表3.2所列。 (1) (2) 求每个消息符号所需要的平均二进制码的个数或平均代码长度。进而用这一结果求码序列中的一个二进制码的熵； (3) 当消息是由符号序列组成时，各符号之间若相互独立，求其对应的二进制码序列中出现0和1的无条件概率0p 和1p ，求相邻码间的条件概率1/0p 、0/1p 、1/1p 、0/0p 。 解： (1) (2) (3) 设消息序列长为N ，则0u 、1u 、2u 、3u 的个数分别为8/ ,8/ ,4/ ,2/N N N N 个。 则0的个数为 8 708181412N N N N N =?+?+?+? 而1的个数为8738281402N N N N N =?+?+?+?
信息论与编码 实验报告 实验一离散信源及其信息测度 专业 班级 学号 姓名 成绩
实验一 离散信源及其信息测度 一、[实验目的] 离散无记忆信源是一种最简单且最重要的信源，可以用完备的离散型概率空间来描述。本实验通过计算给定的信源的熵，加深对信源及其扩展信源的熵的概念的理解。 二、[实验环境] windows XP,MATLAB 三、[实验原理] 信源输出的各消息的自信息量的数学期望为信源的信息熵，表达式如下 1()[()]()log ()q i i i H X E I xi p x p x ===-∑ 信源熵是信源的统计平均不确定性的描述，是概率函数()p x 的函数。 四、[实验内容] 1、有条100字符英文信息，假定其中每字符从26个英文字母和1个空格中等概选取，那么每条信息提供的信息量为多少？若将27个字符分为三类，9个出现概率占2/7,13个出现概率占4/7，5个出现占1/7，而每类中符号出现等概，求该字符信源的信息熵。 2、二进制通信系统使用0、1,由于存在失真，传输会产生误码，用符号表示下列事件：u0:一个0发出；u1:一个1发出；v0:一个0收到；v1:一个1收到；给定下列概率：p(u0)=1/2,p(v0|u0)=3/4,p(v0|u1)=1/2。求： (a)已知发出一个0，求收到符号后得到的信息量； (b)已知发出的符号，求收到符号后得到的信息量； 五、[实验过程] 每个实验项目包括：1)设计思路2)实验中出现的问题及解决方法； 1)设计思路
1、每字符从26 个英文字母和1 个空格中等概选取，一共100 个字符，那么可以组成27^100 条消息，每条消息出现的概率是1/（27^100），由自信息量公式可得每条消息的自信息量。 程序代码： clear all,clc; H1=log2(27^100) 程序结果： H1 =475.4888 2、求出各种条件概率，将其代入信息量公式计算信息量。 程序代码： p_u0=1/2; p_v0_u0=3/4; p_v0_u1=1/2; p_v1_u0=1-p_v0_u0; H_V_u0=p_v0_u0*log2(p_v0_u0)-p_v1_u0*log2(p_v1_u0) p_u1=1-p_u0; p_v1_u1=1-p_v0_u1; p_u0v0=p_v0_u0*p_u0; p_u0v1=p_v1_u0*p_u0; p_u1v0=p_v0_u1*p_u1; p_u1v1=p_v1_u1*p_u1; H_V_U=-p_u0v0*log2(p_v0_u0)-p_u0v1*log2(p_v1_u0)-p_u1v0*log2(p_v0_u1) -p_u1v1*log2(p_v1_u1) 程序结果： H_V_u0 =0.1887 H_V_U =0.9056 2)实验中出现的问题及解决方法； 实验中遇到的问题有很多，如各种概率空间的计算，弄混，概念不清楚，公式不熟悉，对信息论的定理概念及意义不理解，不能灵活运用。对于各种概率的计算，需要准确分析，然后逐一进行计算。信息论的定理概念及意义，翻书查阅，尽可能的熟悉，理解，并加以运用。 六、[实验总结] 通过实验，回顾了各种概率的求解方法，该实验主要是计算消息的信息量，信息熵。在实验过程中，不断地学习查阅课本，巩固了上课的知识，对所学的定理和公式有了更加深刻的认识和理解。
计算离散信源熵、离散信道容量
1 实验任务和目的 实验任务： （1）简要总结信源的熵、信道容量的物理意义，概念； （2）写出离散信源熵、离散信道容量计算的基本步骤，画出实现离散信源熵、离散信道容量计算的程序流程图； （3）讨论信源的熵的大小与前后符号之间相关性的关系，讨论信道容量与信源先验概率及信道转移概率的关系。 实验目的： 掌握信源的熵、信道容量的物理意义，概念；熟练掌握离散信源熵、离散信道容量的计算方法步骤；利用Matlab 编写离散信源熵、离散信道容量的计算程序；验证程序的正确性。 2 实验过程和结果 2.1 实验过程 1、简要总结信源的熵、信道容量的物理意义，概念。 信源熵的物理意义是指信源中的各个符号的平均不确定性；熵是信源符号的平均信息量，是信源符号的平均不确定度。 信道容量 概念：在信道可以传输的基本前提下，对信源的一切可能的概率分布而言，信道能够传输的最大（接收）熵速率称为信道容量。 意义：求出了某个信道的信道容量，也就找到了信源的最佳概率分布。从而指导人们改造信源，使之最大可能地利用信道的传输能力。 2、写出离散信源熵、离散信道容量计算的基本步骤，画出实现离散信源熵、离散信道容量计算的程序流程图； 离散信源熵的计算步骤： ()()()11log log ()q r r r i i i i H X E p a a p a =?? ==- ??? ∑ 信道容量的计算步骤：() (){}()符号/;m ax bit Y X I C X P =
3、（1）讨论信源的熵的大小与前后符号之间相关性的关系，讨论信道容量与信源先验概率及信道转移概率的关系。 信源的相关性是信源符号间的依赖程度的度量。由于信源输出符号间的依赖关系也就是信源的相关性使信源的实际熵减小。信源输出符号间统计约束关系越长，信源的实际熵越小。当信源输出符号间彼此不存在依赖关系且为等概率分布时，信源的实际熵等于最大熵。 （2）信道容量与信源先验概率及信道转移概率的关系。 信道容量是信道的一个参数，反映了信道所能传输的最大信息量，其大小与信源无关。对不同的输入概率分布，互信息一定存在最大值。我们将这个最大值定义为信道的容量。一但转移概率矩阵确定以后，信道容量也完全确定了。尽管信道容量的定义涉及到输入概率分布，但信道容量的数值与输入概率分布无关。我们将不同的输入概率分布称为试验信源，对不同的试验信源，互信息也不同。其中必有一个试验信源使互信息达到最大。这个最大值就是信道容量。 实验结果 计算离散信源熵：