中北大学信息论与编码第7章加密编码

《信息论与编码》课程教学大纲Information Theory & Codec.一、课程教学目标1、性质和地位：信息论与编码是通信工程（与计算机通信）专业的一门重要的专业课。

该课程是继通信原理与程控交换之后，为从事通信信息的编码研究学习而开设的专业必修或选修课。

2、知识要求：本课程的教学目的是通过教学和必要的练习、实践环节，使学生了解信息论的信源、信源炳概念，熟悉信源、信道编码定理，掌握一些重要的编码方法，为将来从事通信信息资源研发应用打好必要的基础。

3、能力要求：除课堂学习理论知识之外，通过练习与实践掌握一些常用的编码定理与编码方法，加深对信息论编码与通信可靠性、安全性的关系的认识。

二、教学原则和基本要求本课程教学采用课堂讲授与课外作业为主，以必要实习、实践（4~8学时）为辅的方法教学，通过本课程学习应达到如下基本要求：1.了解信息论信源炳重要基本概念；2.了解信息论的信源、信道编码定理；3.掌握信源炳的计算；4.掌握无失真信源最佳编码法（香农码、费诺码、哈夫曼码）；5.掌握限失真信源常用编码法；6.了解几种信道差错编码及密码编码原理与方法。

三、教学内容和学时分配1.总体安排：本课程授课时间为48学时，3学分。

具体授课内容与学时列表分配如下: 教学内容章目本课程学分：3学时分配讲课学时课堂讨论编程实习合计第一章绪论1第二章信源及信源嫡8第三章无失真信源编码72第四章限失真信源编码9第五章信道编码132第六章密码学6合计444482.具体要求：第一章绪论［目的要求］了解信息论的发展及通信系统的模型。

［教学内容］信息论的发展，通信系统的模型。

［重点难点］无。

［教学方法］课堂教学。

［作业］无。

［课时］1学时第二章信源及信源炳［目的要求］了解信源的信息量与嫡的概念，掌握信源炳的计算。

［教学内容］信源的描述分类，离散信源的炳和互信息，连续信源的炳和互信息, 离散序列信源的炳，冗余度。

［重点难点］自信息量、互信息，炳的计算。

信息论与编码习题参考答案 第一章 单符号离散信源1.1同时掷一对均匀的子，试求：(1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵；(5)“两个点数中至少有一个是1”的自信息量。

解：bitP a I N n P bit P a I N n P c c N 17.536log log )(361)2(17.418log log )(362)1(36662221111616==-=∴====-=∴===⨯==样本空间：(3)信源空间：bit x H 32.436log 3662log 3615)(=⨯⨯+⨯⨯=∴ bitx H 71.3636log 366536log 3610 436log 368336log 366236log 36436log 362)(=⨯⨯+⨯+⨯+⨯⨯=∴＋＋ (5) bit P a I N n P 17.11136log log )(3611333==-=∴==1.2如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格内，且它们的坐标分别为（Xa ，Ya ）, （Xb ，Yb ）,但A ，B 不能同时落入同一方格内。

（1） 若仅有质点A ，求A 落入任一方格的平均信息量； （2） 若已知A 已落入，求B 落入的平均信息量； （3） 若A ，B 是可辨认的，求A ，B 落入的平均信息量。

解：bita P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481)(:)1(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率Θbitb P b P b b P b I b P A i 55.547log )(log )()(H 47log )(log )(471)(:B ,)2(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知ΘbitAB P AB P AB H AB P AB I AB P AB i i i i i i i 14.11)4748log()(log )()()(log )(471481)()3(47481=⨯=-=-=∴⨯=∑⨯=是同时落入某两格的概率1.3从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为0.5%.如果你问一位男士：“你是否是红绿色盲？”他的回答可能是：“是”，也可能“不是”。

《信息论与编码技术》实验教案第一章：信息论基础1.1 信息的概念与度量介绍信息的基本概念，理解信息的含义学习信息熵的计算方法，掌握信息熵在通信系统中的应用1.2 信源与信道模型学习信源的数学模型，理解信源的随机性和统计特性学习信道的数学模型，了解信道的传输特性第二章：信源编码2.1 信源编码的基本概念理解信源编码的目的和意义学习信源编码的基本原理和方法2.2 常用信源编码技术学习霍夫曼编码、算术编码等常用信源编码技术掌握编码算法的实现和应用第三章：信道编码3.1 信道编码的基本概念理解信道编码的目的和意义学习信道编码的基本原理和方法3.2 常用信道编码技术学习卷积编码、汉明编码等常用信道编码技术掌握编码算法的实现和应用第四章：误码控制与编码技术4.1 误码产生的原因与类型了解通信系统中误码的产生原因和类型学习误码的检测与纠正方法4.2 错误控制编码技术学习自动重传请求（ARQ）、前向纠错（FEC）等错误控制编码技术掌握编码算法的实现和应用第五章：信息加密与安全5.1 信息加密的基本概念理解信息加密的目的和意义学习信息加密的基本原理和方法5.2 常用加密技术学习对称加密、非对称加密等常用加密技术掌握加密算法的实现和应用第六章：数据压缩技术6.1 数据压缩的基本概念理解数据压缩的目的和意义学习数据压缩的基本原理和方法6.2 常用数据压缩技术学习霍夫曼编码、LZ77、LZ78等常用数据压缩技术掌握压缩算法的实现和应用第七章：数字信号传输7.1 数字信号传输的基本概念理解数字信号传输的目的和意义学习数字信号传输的基本原理和方法7.2 数字信号传输技术学习基带传输、频带传输等数字信号传输技术掌握传输算法的实现和应用第八章：调制与解调技术8.1 调制与解调的基本概念理解调制与解调的目的和意义学习调制与解调的基本原理和方法8.2 常用调制与解调技术学习幅度调制、频率调制、相位调制等常用调制技术掌握调制与解调算法的实现和应用第九章：无线通信与编码技术9.1 无线通信的基本概念理解无线通信的目的和意义学习无线通信的基本原理和方法9.2 无线通信编码技术学习扩频技术、多址技术等无线通信编码技术掌握编码算法的实现和应用强调实验的重要性和在实际应用中的作用10.2 拓展学习推荐相关的学习材料和参考书籍鼓励学生探索新技术和发展趋势，提高学生的学习兴趣和动力重点和难点解析重点环节一：信息的概念与度量信息熵的计算方法是理解信息论的核心，需要重点掌握。

信息论与编码原理信息论与编码原理是现代通信领域中的重要理论基础，它涉及到信息的传输、存储和处理等方面，对于信息技术的发展和应用具有重要的指导意义。

信息论是由美国数学家克劳德·香农于1948年提出的，它主要研究信息的量化、传输和保密等问题。

而编码原理则是指对信息进行编码和解码的方法和原理，它是信息论的重要应用领域之一。

信息论的基本概念包括信息的度量、信息的传输和存储、信道容量等。

首先，信息的度量是指用来衡量信息量的大小，通常使用的是香农提出的信息熵来度量信息的不确定性。

信息熵越大，表示信息的不确定性越高，反之则表示信息的不确定性越低。

其次，信息的传输和存储是指如何在通信系统中传输和存储信息，这涉及到信道编码、调制解调、多路复用等技术。

最后，信道容量是指在给定的信道条件下，最大的传输速率，它是通信系统设计的重要参考指标。

在信息论的基础上，编码原理主要研究如何将信息进行编码和解码，以便在传输和存储过程中提高信息的可靠性和效率。

编码原理主要包括信源编码、信道编码和误差控制编码等内容。

首先，信源编码是指对来自信源的信息进行编码，以便在传输和存储过程中减少信息的冗余度，提高信息的压缩率。

其次，信道编码是指在信道传输过程中对信息进行编码，以提高信息的可靠性和抗干扰能力。

最后，误差控制编码是指在传输过程中对信息进行编码，以便在接收端对传输过程中产生的误差进行检测和纠正。

信息论与编码原理在现代通信系统中有着广泛的应用，它为通信系统的设计和优化提供了重要的理论基础。

在数字通信系统中，信息论和编码原理被广泛应用于调制解调、信道编码、多路复用、分组交换等方面，以提高通信系统的性能和可靠性。

在无线通信系统中，信息论和编码原理被应用于多天线技术、自适应调制调试、功率控制等方面，以提高无线通信系统的容量和覆盖范围。

在互联网和移动通信领域，信息论和编码原理也被广泛应用于数据压缩、数据加密、错误检测和纠正等方面，以提高数据传输的效率和安全性。

《信息论与编码》教学大纲一课程简介课程编号：04254002课程名称：信息论与编码 Informatics & Coding课程类型：基础课必修课学时：32 学分：2开课学期：第六学期开课对象：通信、电子专业先修课程：概率论与数理统计、信号与系统、随机信号原理。

参考教材：信息论与编码，陈运，周亮，陈新，电子工业出版社，2002年8月二课程性质、目的与任务信息论在理论上指出了建立最佳编码、最佳调制和最佳接收方法的最佳系统的理论原则，它对通信体制和通信系统的研究具有指导意义。

提高信息传输的可靠性和有效性始终是通信工作所追求的目标。

因此，信息论与编码是从事通信、电子系统工程的有关工程技术人员都必须掌握的基本理论知识。

内容提要：本课程包括狭义相对论和提高通信可靠性的差错控制编码理论。

信息论所研究的主要问题是在通信系统设计中如何实现有效性和可靠性。

三教学基本内容与基本要求本课程总学时为32。

其中理论教学为28，实验学时为4。

主要的理论教学内容包括：离散信源和连续信源的熵、条件熵、联合熵和平均互信息量的概念及性质；峰值功率受限和平均功率受限下的最大熵定理和连续信源熵的变换；变长码的霍夫曼编码方法，熟悉编码效率和平均码长的计算；最大后验概率准则和最大似然译码准则等。

实验内容主要包括：离散无记忆信道容量的迭代算法，循环码的编译码。

四教学内容与学时分配第3章离散信源无失真编码第6章网络信息论（教学要求：A—熟练掌握； B—掌握； C—了解）五实习、实验项目及学时分配1．离散无记忆信道容量的迭代算法 2学时要求用Matlab编写计算离散信道容量的实用程序并调试成功，加深对信道容量的理解。

2．循环码的编译码 2学时要求用Matlab编写程序，用软件完成循环码的编译码算法。

六教学方法与手段常规教学与多媒体教学相结合。

七参考书目1、信息论:基础理论与应用，傅祖芸，电子工业出版社，2001年2、信息理论基础，周荫清，北京航空航天大学出版社，2002年3、信息论与编码，陈运，周亮，陈新，电子工业出版社，2002年8月4、信息论与编码，曹雪虹，张余橙，北京邮电大学出版社，2001年8月八大纲编写的依据与说明本课程大纲是根据通信工程专业本科生培养目标和要求，参考网络查询的多个兄弟院校本课程教学大纲，结合本课程的性质、要求和实际学时制定，并经学院教学委员会审定。

《信息论、编码与密码学》课后习题答案第1章信源编码1.1 考虑一个信源概率为｛0.30 , 0.25 , 0.20 , 0.15 , 0.10｝的DMS求信源嫡H (X)。

5解：信源嫡H(X) = -£P k log 2( P k)H(X)=-[0.30*(-1.737)+0.25*(-2)+0.2*(-2.322)+0.15*(-2.737)+0.1*(-3.322)]=[0.521+0.5+0.464+0.411+0.332]=2.228(bit)故得其信源嫡H(X)为2.228bit1.2 证明一个离散信源在它的输出符号等概率的情况下其嫡达到最大值。

解：若二元离散信源的统计特性为P+Q=1 H(X)=-[P*log(P)+(1-P)*log(1-P)]对H(X)求导求极值，由dH(X)/d(P)=0可得log可知当概率P=Q=1/2时,有信源嫡H (X)max = 1(bit)对丁三元离散信源，当概率R = P2 = P3 = 1/3时，信源嫡H (X )m a=x1 .5 8 (5bit ),此结论可以推广到N元的离散信源。

1.3证明不等式lnx^x—1。

画出曲线y〔=lnx和y2 = x — 1的平■面图以表明上述不等式的正确性。

证明：f (x) = ln x 「x 1(x - 0) f(x)=【x令f(x)，=0, x =1 又有x 0. 0 ：. x < 1 时f(x) 0 此时 f(x) fx =0 也即 In x _x -1当x _1时同理可得此时Inx _x -1综上可得lnx 笑x -1证毕 绘制图形说明如下 可以很明确说明上述 不等式的正确性。

1.4证明I(X;Y)芝0。

在什么条件下等号成立?n mI(X ； V =' ' P(x,y j )i(x, y j )i 目j 目n m =' P(x,y j )logi 注j T 当和相互独立时等号成立。

《信息论与编码技术》实验教案第一章：绪论1.1 课程背景介绍信息论与编码技术的起源、发展及应用领域，强调其在现代通信技术中的重要性。

1.2 实验目的使学生了解信息论与编码技术的基本概念，掌握信息论的基本计算方法，培养学生对信息编码的实际操作能力。

1.3 实验要求学生需预习相关理论课程，了解信息论的基本原理，掌握编码技术的基本概念。

第二章：信息论基本概念与计算2.1 信息量计算利用公式计算信息的熵、条件熵、联合熵等，通过实例使学生了解信息量的计算方法。

2.2 信道编码介绍常用的信道编码技术，如Hamming 码、奇偶校验码等，通过实际例子使学生了解编码的原理及应用。

2.3 误码率计算介绍误码率的定义及计算方法，使学生能够评估编码技术的性能。

第三章：数字基带传输3.1 数字基带信号介绍数字基带信号的分类、特点，使学生了解不同基带信号的传输特性。

3.2 基带传输系统分析基带传输系统的组成，了解系统中的主要噪声及影响因素。

3.3 基带传输仿真利用软件对数字基带传输系统进行仿真，使学生了解实际传输过程中的信号波形及误码情况。

第四章：信号检测与解码4.1 信号检测原理介绍信号检测的基本原理，如最大后验概率检测、最小距离检测等。

4.2 解码方法介绍解码的基本方法，如硬判决解码、软判决解码等，使学生了解不同解码方法的优缺点。

4.3 解码仿真利用软件对信号进行解码，分析不同解码方法对系统性能的影响。

第五章：实验总结与分析5.1 实验报告5.2 课程讨论组织学生进行课程讨论，分享实验心得，提高学生对信息论与编码技术的理解和应用能力。

5.3 课后作业布置课后作业，巩固实验内容，提高学生的实际操作能力。

第六章：实验一：信息熵的计算6.1 实验目的理解信息熵的概念，学习如何计算信息熵。

6.2 实验原理介绍信息熵的数学表达式和计算方法。

6.3 实验步骤1. 设置一组数据。

2. 计算信息熵。

3. 分析结果。

6.4 实验注意事项确保数据的准确性和计算的正确性。

信息论第七章编辑整理：尊敬的读者朋友们：这里是精品文档编辑中心，本文档内容是由我和我的同事精心编辑整理后发布的，发布之前我们对文中内容进行仔细校对，但是难免会有疏漏的地方，但是任然希望（信息论第七章）的内容能够给您的工作和学习带来便利。

同时也真诚的希望收到您的建议和反馈，这将是我们进步的源泉，前进的动力。

本文可编辑可修改，如果觉得对您有帮助请收藏以便随时查阅，最后祝您生活愉快业绩进步，以下为信息论第七章的全部内容。

第七章习题 (P170）7。

13 某分组码的校验矩阵为011100101010110001⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦H ，（1) n=？， k=？ 该码的码字有多少？(2） 该码的生成矩阵；(3)矢量010111和100011是否为码字？ 解：(1) 校验矩阵为()n k n -⨯矩阵,故n=6,k=3； 该码的码字有23=8个；（2） 100011010101001110⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦G ; (3） (010111)(010)(000)T T T ⋅=≠H ，故(010111)不是码字；(100011)(000)T T ⋅=H ，故(100011)是码字。

7.14某二元（n ， k )系统线性分组码的全部码字如下：00000，01011，10110，11101。

(1） n=？， k=? （2） 该码的生成矩阵G 和校验矩阵H 。

解：（1) （n, k)线性分组码的码字有2k 个。

24k =，故k =2；码长为5，因此n =5； (2） 因为该码为系统码,故码的前2位对应信息位，后3位对应校验位，由系统码的特点，生成矩阵的两行分别为消息序列（10)和(01）所对应的码字，故生成矩阵和校验矩阵分别为1011001011⎡⎤=⎢⎥⎣⎦G ，101001101001001⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦H 7。

15已知一个线性分组码的校验矩阵为011110010110101101001H ⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦，试求其生成矩阵。