《信 息 论》
讲 义
204教研室
2005年11月
1 主要内容：
第一章 绪论
第二章 离散信源及其信息测度
第三章 离散信道及其信道容量
第四章 无失真信源编码
第五章 有噪信道编码
2 第一章 绪论
信息论——人们在长期通信工程的实践中，由通信技术与概率论、随机过程和数理统计相结合而逐步发展起来的一门学科。
奠基人——香农
1948年发表了著名的论文——《通信的数学理论》，为信息论奠定了理论基础。
1.1 信息的概念
人类离不开信息，信息的接收、传递、处理和利用时时刻刻都在发生。
如：“结绳记事”、“烽火告警”，信息的重要性是不言而喻的。
什么是信息？——信息论中最基本、最重要的概念。
信息与“消息”、“情报”、“知识”、“情况”等的区别：
“情报”——人们对于某个特定对象所见、所闻、所理解而产生的知识。是一类特定的信息。
“知识”——人们根据某种目的，从自然界收集得来的数据中，整理、概括、提取得到的有价值的、人们所需的信息。是一种具有普遍和概括性质的高层次的信息。
“消息”——以文字、符号、数据、语言、音符、图片、图像等能够被人们感觉器官所感知的形式，表达客观物质运动和主观思维活动的状态。
消息包含信息，是信息的载体。二者既有区别又有联系。
“信号”——消息的运载工具。
香农从研究通信系统传输的实质出发，对信息作了科学的定义，并进行了定性和定量的描述。
收信者：
收到消息前，发送者发送的消息——1、描述的是何种事物运动状态的具体消息；2、描述的是这种消息还是那种消息；3、若存在干扰，所得消息是否正确与可靠。
存在“不知”、“不确定”或“疑问”
收到消息后，知道消息的具体内容，原先的“不知”、“不确定”或“疑问”消除或部分消除了。
消息传递过程——从不知到知的过程；从知之甚少到知之甚多的过程；从不确定到部分确定或全部确定的过程。
通信过程——消除不确定性的过程。
不确定性的消除，就获得了信息。
信息论与编码原理期末大总结
信息论与编码原理是一门研究信息传输和存储的学科，它的研究对象是信息的度量、编码和解码，是现代通信和计算机科学的重要基础理论之一、本学期学习信息论与编码原理课程，我对信息的压缩、编码和传输有了更深入的了解。
首先，信息的度量是信息论与编码原理的核心概念之一、通过信息的度量，我们可以衡量信息的多少和质量。常用的度量方法是信息熵，它描述的是一个随机变量的不确定度。熵越大，表示不确定度越高，信息量越大。通过计算信息熵，我们可以对信息进行评估和优化，为信息的编码和传输提供指导。
其次，信息的压缩是信息论与编码原理的重要研究方向之一、在信息论中，有两种常用的压缩方法：有损压缩和无损压缩。有损压缩是通过舍弃一些信息的方式来减少数据的大小，例如在图像和音频压缩中，我们可以通过减少图像的像素点或者音频的采样率来实现压缩。无损压缩则是通过编码的方式来减少数据的大小，例如哈夫曼编码和阿贝尔编码等。了解了不同的压缩方法，可以帮助我们在实际应用中选择合适的压缩算法。
再次，编码是信息论与编码原理的重要概念之一、编码是将信息转换为特定的符号序列的过程，它是实现信息传输和存储的关键技术。在编码中，最常用的编码方法是短编码和长编码。短编码通过将常用的符号映射到短的编码序列，来实现信息的高效传输。例如ASCII编码就是一种常用的短编码方法。相反，长编码通过将每个符号映射到相对较长的编码序列，来实现无歧义的解码。例如哈夫曼编码就是一种常用的无损长编码方法。 最后，信道编码是信息论与编码原理中重要的研究方向之一、在通信中，信号会受到不同的干扰，如噪声和失真等。为了减少信号传输时的误码率，可以使用信道编码来提升信号的可靠性。常用的信道编码方法有奇偶校验码、海明码和卷积码等。信道编码通过在信号中引入冗余信息，以检测和纠正信道传输中的错误，提高了通信的可靠性和稳定性。
总结起来，信息论与编码原理是研究信息传输和存储的重要学科，通过学习这门课程，我们可以了解信息的度量、压缩、编码和传输等基本原理和方法。这些知识对于现代通信和计算机科学的发展有着重要的作用。在实际应用中，我们可以根据具体需求选择合适的压缩和编码方法，以提高信息的传输效率和可靠性。
1 信息论与编码
1. 通信系统模型
信源—信源编码—加密—信道编码—信道—信道解码—解密—信源解码—信宿
| | |
（加密密钥） 干扰源、窃听者 （解密秘钥）
信源：向通信系统提供消息的人或机器
信宿：接受消息的人或机器
信道：传递消息的通道，也是传送物理信号的设施
干扰源：整个系统中各个干扰的集中反映，表示消息在信道中传输受干扰情况
信源编码：
编码器：把信源发出的消息变换成代码组，同时压缩信源的冗余度，提高通信的有效性
（代码组 = 基带信号；无失真用于离散信源，限失真用于连续信源）
译码器：把信道译码器输出的代码组变换成信宿所需要的消息形式
基本途径：一是使各个符号尽可能互相独立，即解除相关性；二是使各个符号出现的概率尽可能相等，即概率均匀化
信道编码：
编码器：在信源编码器输出的代码组上增加监督码元，使之具有纠错或检错的能力，提高通信的可靠性
译码器：将落在纠检错范围内的错传码元检出或纠正
基本途径：增大码率或频带，即增大所需的信道容量
2. 自信息：()log()XiiIxPx，或()log()IxPx
表示随机事件的不确定度，或随机事件发生后给予观察者的信息量。
条件自信息：//(/)log(/)XYijXYijIxyPxy
联合自信息：(,)log()XYijXYijIxyPxy
3. 互信息：;(/)()(;)loglog()()()ijijXYijiijPxyPxyIxyPxPxPy
信源的先验概率与信宿收到符号消息后计算信源各消息的后验概率的比值，表示由事件y发生所得到的关于事件x的信息量。
4. 信息熵：()()log()iiiHXpxpx
信息论与编码技术在通信系统中的应用研究
近年来，随着信息技术的飞速发展，通信系统在我们的日常生活中起着重要的作用。信息论与编码技术作为通信系统中的核心理论和技术之一，为提高通信系统的性能和可靠性起到了关键作用。本文将对信息论与编码技术在通信系统中的应用进行研究和探讨。
首先，我们需要了解信息论的基本概念和原理。信息论是由克劳德·香农于20世纪40年代提出的，用于研究信息在传输过程中的编码、传输、解码等问题。香农提出了信息熵的概念，即衡量信息中包含的不确定性的度量。信息越不确定，则熵越大。通过熵的计算，我们可以评估通信系统的传输效率和容量。
在通信系统中的应用中，编码技术起到了至关重要的作用。编码技术通过将信息数据转化为具有特定结构的码字，实现了对信息的压缩和传输。编码技术分为源编码和信道编码两大类。在源编码中，通过选择合适的编码算法和数据压缩方法来减少信息的冗余度，从而有效降低传输数据量。常见的源编码技术包括哈夫曼编码、算术编码、字典编码等。信道编码则是为了增强通信系统对信道噪声和失真的容忍度，提高信号传输的可靠性和容量。常见的信道编码技术有奇偶校验码、海明码、卷积码等。
信息论和编码技术在无线通信系统中的应用尤为重要。无线通信系统受到多径衰减、多径干扰、信噪比下降等因素的影响，导致信号传输质量下降。通过信息论和编码技术的应用，可以有效地抵抗这些干扰，提高通信系统的性能和可靠性。例如，对于多径衰减问题，可以使用信道编码技术来解决。通过合适的编码算法和解码算法，可以对受损的信号进行纠错，恢复原始信息。另外，在无线通信系统中，频谱资源是宝贵的，如何更好地利用频谱资源也是一个重要的问题。通过源编码技术的应用，我们可以将信息数据进行压缩，减少传输数据的量，从而优化频谱资源的利用。
此外，信息论和编码技术还可以应用于安全通信领域。随着信息技术的不断发展，通信数据的安全性问题日益突出。为保护通信数据的机密性，我们可以采用加密技术。而编码技术在加密中也发挥着重要的作用，如通过信道编码技术来对传输的密文进行纠错，提高解密的可靠性。另外，在安全通信中，还可以利用信息论中的博弈论和信息隐藏等概念来分析和研究安全通信的策略和方法。
