当前位置：文档之家 › 信息论与编码A

信息论与编码A

  • 格式：doc
  • 大小：87.10 KB
  • 文档页数：3

《信息论与编码》课程试卷（A 卷）
本试卷用于信息系2011级通信工程本科学生
（时量：120分钟 总分100分）
命题人：李星亮
注意：1、答案必须填写在答题纸上，填写在试卷上的无效。

2、答卷必须写明题目序号，并按题号顺序答题。

3、请保持行距，保持卷面整洁。

一、填空题（每题3分，共30分）
1、从认识论的层次，信息分为3个层次分别为_____，_____，_____
2、某离散时间无记忆、平稳连续信源X ，其分布为
22
()2()x m p x δ--
=
，
2()H X = ________。

3、某离散信源 1234{,,,}X X X X X =，要使X 的输出熵最大，则X 的分布为_____，最大熵为_____。

4、I （X ；Y ）是关于p （x ）_____凹函数，是关于p （x|y ）_____凹函数。

5、某离散通信系统由信源、信道信宿组成，已知信源熵为2bit/符号，信道疑义度为0.8比特/符号则系统输入、输出的互熵为___。

6、一个离散时间平稳无记忆加性Gauss 噪声信道，噪声的方差为δ2，输入的峰值功率为E ，则信道容量为_______。

7、率失真函数R （D ）是_______凸数，是_______（递减、增）数。

8、（7，4）Hamming 码的各列向量为_____。

9、某信道模型如下
X 1
X 2
Y 1
Y 2
1
100X
Y
01
1
其信道容量为_______。

10、某2元离散无记忆信源，其熵为H （X ），其N 次扩展信源中，一个典型序列的概率约为_______，典型序列总数约为_______。

二、简答题、辨析题（每小题5分，共20分）
1、某2元（7，k ）线性分组码，要求纠正一位错误，则k 最多为多少？为什么？
2、某2元离散无记忆信源，其熵为1/bit s 对其3次扩展信源进行编码，其平均码长为4，问：1）能进行无失真译码？，为什么；2）能否进一步压缩码？为什么？
3、简述Shannon 信息论的三个定理。

4、试分析最小距离和在大似然译码准则的异同。

三、综合题（共50分）
1、一阶马尔可夫信源的状态图如题2.10图所示。

信源X 的符号集为}2,1,0{。

(1) 求平稳后信源的概率分布； (2) 求信源的熵∞H 。

（10）
2、设某高斯加性信道，输入、输出和噪声随机变量N Y X ,,之间的关系为
N X Y +=，且22][σ=N E 。

试证明：当信源[],0=X E X 是均值方差为2
X σ的高斯随机变
量时，信道达其容量C ，且⎪⎪⎭
⎫ ⎝⎛+=22
21log 21σσ
X
C 。

（10）
3、设信源
1
2
34567811111111()2
4
8
16
32
64128128a a a a a a a a X P X ⎧⎫
⎛⎫⎪⎪
=⎨⎬ ⎪⎝⎭⎪⎪⎩⎭
（1）计算信源熵；
（2）编二进制香农码和二进制费诺码；
（3）计算二进制香农码和费诺码的平均码长和编码效率； （4）编三进制费诺码；
（5）计算三进制费诺码的平均码长和编码效率。

（6）编二进制Huffman 码，求平均码长和编码效率。

（10）
4、已知（8，5）线性分组码的生成矩阵为
⎥⎥⎥⎥⎥⎥⎦
⎤⎢⎢⎢⎢⎢⎢⎣⎡=11110000
1000100001000100
001000101110000
1G ，
（1）证明该码为循环码。

（2）求该码的生成多项式)(x g ，一致校验多项式)(x h 和最小码距d 。

（10）
5、某二元信源()⎥⎦⎤⎢⎣⎡X P X ⎭⎬⎫⎩⎨⎧=2/12/110 其失真矩阵为⎥
⎦
⎤
⎢⎣⎡=00a a D 求这信源的()函数和D R D D min max ,。

（10）。

合集下载

信息论与编码技术

信息论与编码技术

信息论与编码技术信息论是研究信息传输、存储和处理的一门学科，而编码技术则是信息论的一项重要应用。

信息论与编码技术的发展，对现代通信、数据存储和计算机科学等领域产生了深远的影响。

本文将从信息熵、信道容量和编码理论等方面来探讨信息论与编码技术的基本概念和应用。

一、信息熵信息熵是信息论中的一个重要概念，它用来衡量一个离散随机变量的不确定性。

在信息论中，信息熵越大，代表着信息的不确定性越高，信息量也就越大；相反，信息熵越小，表示信息的不确定性越低，信息量也就越小。

信息熵的计算公式为：H(X) = -∑(p(i) * log2(p(i)))其中，H(X)表示离散随机变量X的信息熵，p(i)表示X取各个值的概率。

通过计算信息熵，我们可以评估信息的平均编码长度。

在通信系统中，对于概率分布已知的消息源，我们可以使用无损编码技术将信息源的输出编码成二进制串，从而实现高效的信息传输和存储。

二、信道容量信道容量是衡量信道传输速率的理论上限。

在信息论中，我们可以通过计算信道容量来确定一种特定的编码和调制方案是否可以实现理论最大传输速率。

对于离散无记忆信道，其信道容量C计算公式为：C = ∑(p(x) * log2(p(x)/p(y)))其中，p(x)表示发送端发出的信号为x的概率，p(y)表示接收端接收到的信号为y的概率。

在计算信道容量时，我们需要寻找一种合适的编码方案，使得发送端发出的信号与接收端接收到的信号之间的互信息最大化。

这样可以有效提高信道的利用率，提高信号传输的可靠性。

三、编码理论编码理论是信息论的重要组成部分，它研究如何将信息源的输出进行编码，以减少数据传输或存储过程中的冗余，从而提高信息传输的效率。

常见的编码技术有可变长编码、定长编码、哈夫曼编码等。

其中，哈夫曼编码是一种基于概率的编码方法，它可以根据不同符号的出现概率，为每个符号分配不同长度的编码，从而实现信息的高效压缩。

除了无损编码技术，还有一种重要的编码技术是差分编码。

计算机科学中的信息论与编码

计算机科学中的信息论与编码

计算机科学中的信息论与编码信息论与编码是计算机科学中的重要理论，它们对于信息的传输、存储和处理起着至关重要的作用。

信息论主要研究信息的度量和传输的可靠性，而编码则是将信息以有效的方式表示和传递的技术手段。

本文将介绍信息论和编码在计算机科学中的应用，并探讨其对现代计算机技术的影响。

一、信息论的基本概念信息论是由香农在1948年提出的一门学科。

它通过熵和信息量的概念，量化了信息的度量和传输的质量。

熵是信息理论中的关键概念，用来表示一个随机变量的不确定性和信息量的平均值。

计算机系统中的信息可用二进制表示，因此信息的度量单位是比特（bit）。

二、信息论的应用1. 数据压缩信息论的一个重要应用是数据压缩。

利用信息论的原理，可以设计出高效的压缩算法，将大量的数据压缩成较小的文件。

常见的数据压缩算法有哈夫曼编码、LZ编码等。

这些算法通过统计字符或者字符组合出现的频率，将频率高的字符用较短的编码表示，从而实现数据的有损或无损压缩。

2. 信道编码信道编码是信息论的另一个重要应用领域。

在数据传输过程中，由于信道噪声等原因，数据容易出现误码。

为了提高传输的可靠性，可以使用信道编码技术。

常见的信道编码方案有纠错码和调制码，它们可以通过增加冗余信息或者改变信号的特性，提高传输系统的容错能力。

三、编码的基本原理编码是将信息转换成特定的符号或者编码字，以便能够有效地表示和传输。

在计算机科学中，常见的编码方式有ASCII码、Unicode和UTF-8等。

ASCII码是一种最早的字符编码方式，它将每个字符映射为一个7位的二进制数。

Unicode是一种全球通用的字符编码标准，它使用16位或32位的二进制数表示字符。

UTF-8则是Unicode的一种变体，它采用可变长度的编码方式，可以表示任意字符。

四、编码的应用1. 信息存储编码在信息存储中起着关键作用。

计算机系统中的文件和数据都需要以某种方式进行编码才能存储和读取。

不同的数据类型使用不同的编码方式，例如图片可以使用JPEG、PNG等图像编码格式，音频可以使用MP3、AAC等音频编码格式。

信息理论与编码-期末试卷A及答案

信息理论与编码-期末试卷A及答案

一、填空题（每空1分，共35分） 1、1948年，美国数学家 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。

信息论的基础理论是 ，它属于狭义信息论。

2、信号是 的载体，消息是 的载体。

3、某信源有五种符号}{,,,,a b c d e ，先验概率分别为5.0=a P ，25.0=b P ，125.0=c P ，0625.0==e d P P ，则符号“a ”的自信息量为 bit ，此信源的熵为 bit/符号。

4、某离散无记忆信源X ，其概率空间和重量空间分别为1234 0.50.250.1250.125X x x x x P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦和12340.5122X x x x x w ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦，则其信源熵和加权熵分别为 和 。

5、信源的剩余度主要来自两个方面，一是，二是 。

6、平均互信息量与信息熵、联合熵的关系是 。

7、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为 信道。

8、马尔可夫信源需要满足两个条件：一、 ； 二、。

9、若某信道矩阵为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡010001000001100，则该信道的信道容量C=__________。

10、根据是否允许失真，信源编码可分为 和 。

12、在现代通信系统中，信源编码主要用于解决信息传输中的 性，信道编码主要用于解决信息传输中的 性，保密密编码主要用于解决信息传输中的安全性。

13、差错控制的基本方式大致可以分为 、 和混合纠错。

14、某线性分组码的最小汉明距dmin=4，则该码最多能检测出 个随机错，最多能纠正 个随机错。

15、码字101111101、011111101、100111001之间的最小汉明距离为 。

16、对于密码系统安全性的评价，通常分为 和 两种标准。

17、单密钥体制是指 。

18、现代数据加密体制主要分为 和 两种体制。

19、评价密码体制安全性有不同的途径，包括无条件安全性、 和 。

信息论与编码理论1(A卷答案)

信息论与编码理论1(A卷答案)

2012-2013 (2) 信息论与编码理论1 A 卷答案一、 单项选择题（每题3分，总计15分） 1．当底为e 时，平均互信息的单位为（ C ）。

A 奈特B 哈特C 奈特/符号D 哈特/符号 2．下列量当Y X ,交换位置时（ C ）没有对称性。

A );(Y X IB ),(Y X HC )|(Y X HD )|,(Z Y X I3．下列（ A ）陈述是错误的。

A 算术编码不需要知道信源的分布B LZ 编码不需要知道信源的分布C 游程编码不需要知道信源的分布D KY 编码不需要知道信源的分布 4．下列数组中（ A ）不满足两个字母上的Kraft 不等式。

A (1，2，1)B (2,2)C (1,2,3)D （3，3，3） 5．下列译码法则中（ A ）一定是错误概率最小的。

A 最大后验概率译码准则B 最大似然译码准则C 最小距离译码准则D 最大先验概率译码准则 二、填空题（每空2分，总计12分）1．若某离散信道转移概率矩阵为⎥⎦⎤⎢⎣⎡125.0125.05.025.0125.0125.025.05.0，则其信道容量为43log 352-比特/符号。

2．若一个信道的输入熵为8.1)(=X H 比特/符号，输出熵为2.2)(=Y H 比特/符号，6.0);(=Y X I 比特/符号，则=),(Y X H __3.4比特/符号__，疑义度为1.2比特/符号_。

3．平均互信息对信源概率分布是上凸函数，对信道的状态转移概率分布是下凸函数。

4．对信源U 任一个D 元唯一可译码的平均码长必大于等于DU H log )(。

三、计算题（73分）1）（15分）设随机变量Y X ,的联合概率分布如下：Y X Z ⊕=，⊕为模2加。

分别求);(),|(),(),(Z X I Y X H Y H X H 。

解: X 的分布率为则1)(=X H 比特/符号..3分Y 的分布率为则3log 432)(2-=Y H =0.811比特/符号. …………………………………………………..……..6分)0()0,0()0|0(======Y P Y X p Y X p =1,)1()1,0()1|0(======Y P Y X p Y X p =31)0()0,1()0|1(======Y P Y X p Y X p =0,)1()1,1()1|1(======Y P Y X p Y X p = 32)1|0(log )1,0()0|0(log )0,0()|(22p p p p Y X H --=)1|1(log )1,1()0|1(log )0,1(22p p p p --=32log 210log 031log 411log 412222----=213log 432-=0.688比特/符号. ……………..10分)0()0,0()0|0(======Z P Z X p Z X p =31,)1()1,0()1|0(======Z P Z X p Z X p =1 )0()0,1()0|1(======Z P Z X p Z X p =32,)1()1,1()1|1(======Z P Z X p Z X p =0则)1()1|1(log )1,1()1()0|1(log )0,1()0()1|0(log )1,0()0()0|0(log )0,0();(2222=+=+=+==X p p p X p p p X p p p X p p p Z X I =210log 02132log 41211log 412131log 412222+++=9log 4112-=0.2075比特/符号. …………………..15分2）（22分）若离散无记忆信源的概率分布为⎪⎪⎭⎫ ⎝⎛=3.01.04.005.005.01.0654321a a a a a a U① 分别构造二元，三元Huffman 编码（要求码长方差最小，但不需求出），Shannon 编码，Fano编码，Shannon-Fano-Elias 编码。