下载文档原格式
香农三大定理及应用香农三大定理是信息论的基石，提出者是美国通讯工程师克劳德·香农（Claude Shannon）。
这三大定理分别是：信源编码定理、信道编码定理和密码技术定理。
下面我将分别介绍这三个定理，并简要阐述它们的应用。
首先是信源编码定理。
信源编码定理也被称为数据压缩定理，它指出：对于一个离散的源，如果它的熵（信息平均量）是H，我们可以找到一种无损编码方法，将其数据量表示为n bits，使得n趋近于H。
也就是说，通过合适的编码方法，我们可以用更少的位数来表示信息，从而达到数据压缩的目的。
信源编码定理的应用非常广泛，例如在文件压缩、图像压缩和视频压缩中都有使用。
在文件压缩中，可以通过对文件进行编码，利用统计特性来减小文件的体积，从而节省存储空间和提高传输效率。
在图像压缩中，可以采用有损压缩的方式，通过去除图像中的冗余信息来减小图像文件的大小，但尽可能保持图像质量不受损失。
在视频压缩中，可以通过对视频的空间和时间冗余进行编码，从而减小视频文件的大小，实现高效传输与存储。
接下来是信道编码定理。
信道编码定理指出：在一个离散无噪声信道中，如果信息传输速率R小于信道容量C，那么存在一种编码方法，使得信息传输能够以任意小的错误率进行。
也就是说，只要我们将传输速率控制在信道容量之内，通过合适的编码和解码方法，可以实现可靠的信息传输。
信道编码定理在通信系统中具有重要的应用。
例如在无线通信中，由于受到信道噪声和干扰的影响，信号会发生失真，导致信息传输错误。
通过利用信道编码的方法，可以在发送端对信息进行编码，然后在接收端进行解码，从而减小信道噪声和干扰对信息传输的影响，提高信号的可靠性。
最后是密码技术定理。
密码技术定理指出：在保密通信中，只要密钥的长度足够长，使用适当的加密算法，加密信息的安全性可以通过计算机的计算力达到的限度。
也就是说，通过合理的加密方法和足够复杂的密钥，可以实现信息的保密性，并且在计算力有限的情况下，破解加密信息是非常困难的。
奈奎斯特定理和香农公式奈奎斯特定理和香农公式是通信工程中两个重要的理论工具。
它们在设计和优化通信系统时具有指导意义，并在实际应用中发挥着重要的作用。
奈奎斯特定理，也称为奈奎斯特采样定理，是由法国电信工程师奈奎斯特提出的。
这个定理告诉我们：在采样过程中，为了能够准确重建原始信号，采样频率要大于等于被采样信号最高频率的两倍。
简单来说，就是要按照一定的频率对信号进行采样，才能够完整地还原出信号的信息。
如果采样频率小于两倍的信号最高频率，就会出现信号失真和信息丢失的问题。
香农公式是由美国电信工程师香农提出的一种计算信道容量的数学公式。
该公式告诉我们，对于给定的信道带宽和信噪比，我们可以计算出信道的最大传输率。
换句话说，香农公式可以帮助我们在给定条件下，确定信道的最高可靠传输速率。
这对于通信系统的设计者来说是非常有价值的，可以帮助他们确定合适的调制方式和编码方案，以提高信道的利用率和数据传输速率。
奈奎斯特定理和香农公式的应用非常广泛。
在数字通信系统中，我们经常需要对模拟信号进行采样和数字化处理。
奈奎斯特定理告诉我们如何选择适当的采样频率，以确保数据传输的准确性和可靠性。
而在无线通信系统中，香农公式可以用来评估信道的传输能力，从而选择合适的传输方式和调制方式，以提高信号的传输速率和信道利用率。
此外，奈奎斯特定理和香农公式还可以帮助我们优化通信系统的性能。
通过合理地选择采样频率和调整信道带宽、信噪比等参数，我们可以在传输质量和传输速率之间找到合适的平衡点。
这对于提高通信系统的效率和性能非常重要，并且在实际工程中具有实际应用意义。
综上所述，奈奎斯特定理和香农公式是通信工程中两个重要的理论工具，它们在通信系统的设计和优化中起着重要的指导作用。
了解并应用这两个理论，可以帮助我们提高通信系统的性能和效率，实现更可靠、更高效的数据传输。
现代通信与香农的三大定理LT至此，香农开创性地引入了“信息量”的概念，从而把传送信息所需要的比特数与信号源本身的统计特性联系起来。
这个工作的意义甚至超越了通信领域，而成为信息储存，数据压缩等技术的基础。
解决了信号源的数据量问题后，我们就可以来看信道了。
信道（channel）的作用是把信号从一地传到另一地。
在香农以前，那奎斯特已经证明了：信道每秒能传送的符号数是其频宽的一半。
但问题是，即使这些符号，也不是总能正确地到达目的地的。
在有噪声的情况下，信道传送的信号会发生畸变，而使得接收者不能正确地判断是哪个符号被发送了。
对付噪声的办法是减少每个符号所带的比特数：“而每个波特所含的比特数，则是受噪声环境的限制。
这是因为当每个波特所含的比特数增加时，它的可能值的数目也增加。
这样代表不同数据的信号就会比较接近。
例如，假定信号允许的电压值在正负1伏之间。
如果每个波特含一个比特，那么可能的值是0或1。
这样我们可以用-1伏代表0，用1伏代表1。
而假如每波特含两个比特，那么可能的值就是0，1，2，3。
我们需要用-1伏，-0.33伏，0.33伏，1伏来代表着四个可能值。
这样，如果噪声造成的误差是0.5伏的话，那么在前一种情况不会造成解读的错误（例如把-1V 错成了-0.5伏，它仍然代表0）。
而在后一种情况则会造成错误（例如把-1V错成了-0.5伏，它就不代表0，而代表1了）。
所以，每个波特所含的比特数也是不能随便增加的。
以上两个因素合起来，就构成了对于数据传输速率的限制。
”其实，除此之外，还有一个对付噪声的办法，就是在所有可能的符号序列中只选用一些来代表信息。
例如，如果符号值是0和1，那么三个符号组成的序列就有8个：000，001，010，011，100，101，110，111。
我们现在只用其中两个来代表信息：000和111。
这样，如果噪声造成了一个符号的错误，比如000变成了010，那我们还是知道发送的是000而不是111。
香农定理到底有什么含义？能通俗地解释一下么？香农定理是信息论的主要内容。
香农定理实际上是多个定理构成，国内似乎比较常用“香农三定理”的提法，而在国外资料很少这么提. 信息论和香农定理信息论研究信息的量化，存储和传播。
最初由克劳德·香农于1948年提出，他在具有里程碑意义的题为《通讯的数学原理》的论文中阐述了信号处理和通信操作（如数据压缩）的基本限制。
信息论的基本的应用主题包括无损数据压缩（例如ZIP文件），有损数据压缩（例如MP3和JPEG）和信道编码（例如用于DSL）。
信息论的一个关键量是“熵”。
熵是不确定性的定量描述。
例如，掷骰子的可能性。
信息论中还讨论的其他一些重要的量包括：互信息、信道容量、误差指数和相对熵等等。
上图：克劳德·艾尔伍德·香农-1916.4.30-2001.2.24,享年84岁。
美国。
专业领域：电子工程学和数学。
香农定理涉及这三个部分：•信道编码——主要涉及噪音下模拟信道的信道容量的定理，即香农-哈特利定理（香农-哈特利定理只描述涉及高斯噪音的模拟信道，但还有二进制信道模式的模式的对应定理这里略述）•信源编码——包含涉及无损编码和有损编码的两个定理；•信源采样——奈奎斯特-香农采样定理但国内资料常说的“香农三定理”是指前两个部分所涉及的的三个定理，下面主要详述这三个定理：有噪音的模拟信道编码定理（国外资料一般称“香农-哈特利定理”）注意：这个定理在国外资料中才通常被简称为“香农定理”这个定理通俗地说，就是首先表明了如果传输信息的信道存在噪音，但是也可以实现信息的传递，然后可以根据带宽等参数计算出信息传递的最大的有效速率。
这可以通俗地类比我们熟悉的语音通话，虽然在电话里面有很多电流噪音或者环境噪音，但是我们仍然可以听懂对方讲的话。
因为我们用语音和语言对信息进行了双重的编码，“语音”这种编码可以在大量噪音干扰的情况下仍然能够工作，那是因为我们的声音通常有一个带宽，但噪音往往只是某一个频率的声音，不一定能够覆盖我们嗓音的全频段。
通信业的定律
通信业的定律是指在通信领域中，存在着某些规律和定律，这些定律反映了通信技术和通信市场的运作方式和特点。
这些定律有助于我们更好地理解和应用通信技术，也有助于企业和行业规划和经营。
其中最著名的定律包括：
1、摩尔定律：计算机处理器的集成电路中的晶体管数量每18至24个月将翻倍，同时毫米波通信中的波长也呈类似规律进行着增长，从而大大提高了计算机处理能力和通信速度。
2、香农定理：信息传输的速率受到信道带宽和信噪比的限制，而通信领域内的数学家克劳德·香农提出的信息传输定理表明，理论上信息传输速率上限是由信道带宽和信噪比的函数决定的。
3、梅特卡夫定律：针对移动通信市场而言，梅特卡夫提出了“移动通信市场的增长速度将随着时间的推移而放缓，如果按照这个趋势来看待，一个完整的市场定位将需要长达三五年的时间”。
这些定律的存在，让我们更加深入地了解和应用通信技术，从而推动通信领域的进步和发展。
香农第一、二、三定理
第一定理：
将原始信源符号转化为新的码符号，使码符号尽量服从等概分布，从而每个码符号所携带的信息量达到最大，进而可以用尽量少的码符号传输信源信息
第二定理：
当信道的信息传输率不超过信道容量时，采用合适的信道编码方法可以实现任意高的传输可靠性，但若信息传输率超过了信道容量，就不可能实现可靠的传输。
第三定理：
只要码长足够长，总可以找到一种信源编码，使编码后的信息传输率略大于率失真函数，而码的平均失真度不大于给定的允许失真度，即D'<=D。
香农三大定理简答香农三大定理是指由数学家克劳德·香农提出的三个基本通信定理，分别是香农第一定理、香农第二定理和香农第三定理。
这三个定理是现代通信理论的基石，对于信息论和通信工程有重要的指导意义。
下面将对这三个定理进行详细的阐述。
1. 香农第一定理：香农第一定理是信息论的基石，提出了信息传输的最大速率。
根据香农第一定理，信息的传输速率受到带宽的限制。
具体而言，对于一个给定的通信信道，其最大的传输速率（即信息的最大传输率）是由信道的带宽和信噪比决定的。
信道的带宽是指能够有效传输信号的频率范围，而信噪比则是信号与噪声的比值。
这两个因素共同决定了信道的容量。
香农提出的公式表示了信道的容量：C = B * log2(1 + S/N)其中，C表示信道容量，B表示信道的带宽，S表示信号的平均功率，N表示噪声的平均功率。
2. 香农第二定理：香农第二定理是关于信源编码的定理。
根据香农第二定理，对于一个离散的信源，存在一种最优的编码方式，可以将信源的信息压缩到接近于香农熵的水平。
香农熵是对信源的输出进行概率分布描述的一个指标，表示了信源的不确定性。
具体而言，香农熵是信源输出所有可能码字的平均码长。
对于给定的离散信源，香农熵能够提供一个理论上的下限，表示信源的信息量。
通过对信源进行编码，可以有效地减少信源输出的冗余度，从而实现信息的高效传输。
香农第二定理指出，对于一个离散信源，其信源编码的最优平均码长与香农熵之间存在一个非常接近的关系。
3. 香农第三定理：香农第三定理是关于信道编码的定理。
根据香农第三定理，对于一个给定的信道，存在一种最优的编码方式，可以通过使用纠错码来抵消由信道噪声引起的错误。
信道编码的目标是在保持信息传输速率不变的情况下，通过增加冗余信息的方式，提高错误纠正能力。
纠错码可以在数据传输过程中检测和纠正一定数量的错误，从而保证数据的可靠性。
香农第三定理指出，对于一个给定的信道，其信道编码可以将信息传输的错误率减少到任意低的水平。
奈奎斯特采样定理和香农采样定理
一、奈奎斯特采样定理
1、奈奎斯特采样定理（Nyquist Sampling Theorem）指出，对
任何一个连续的时间函数，如果它在时间轴上有频率不超过一个上限，则只要把它采样频率设计在该上限的两倍以上即可完全重建出这个
函数。
奈奎斯特采样定理是数字信号处理的基本原理之一，该定理指出如果采样频率大于两倍最高信号频率，则可以完全重建出信号的完整信息。
该定理的意义在于，在信号数字化时，我们只需要采样频率大于信号最高频率两倍即可精确无损地重建信号，因此也可称其为“无损采样定理”。
2、基于奈奎斯特采样定理，在模拟信号转换为数字信号时，需
要将模拟信号先做低通滤波，使阻带范围不超过采样频率的一半，被称为“奈奎斯特限制频率”，与此同时，将采样频率设置在奈奎斯特
限制频率的两倍以上，这样可以保证数字信号重建时无损传输。
二、香农采样定理
1、香农采样定理（Shannon Sampling Theorem）又称“总变换
定理”，由Shannon于1949年提出，表明任何一个带宽有限的连续信号都可以通过取样的方式近似表示，而且取样频率满足一定条件时，信号可以完整的重建。
2、香农采样定理的条件是采样频率为该信号的频率范围的两倍
以上，并且频率范围的宽度要大于频谱中峰值频率的两倍，此时采样
时的取样频率叫做重建阈值，即信号可以完整重建所需要的最低采样频率。
香农采样定理是分析数字信号的基础原理，它解决了模拟信号数字化的问题，指出任何一个带宽有限的连续信号都可以通过取样的方式近似表达，并且只要实现正确的采样取样频率，就可以完整重建数字信号。
香农定理通俗解释
香农定理是由信息论的创始人克劳德·香农提出的，它包括三个部分：信息熵定理、信道容量定理和数据压缩定理。
通俗地讲，这三个定理主要研究信息的量化、存储和传播。
1. 信息熵定理：这是用来衡量信息量的一个概念。
香农提出了一个数学公式，可以计算出一个信息源的熵值。
2. 信道容量定理：这是关于信道容量的计算的一个经典定律，可以说是信息论的基础。
在高斯白噪声背景下的连续信道的容量= （b/s）。
其中B为信道带宽（Hz），S为信号功率（W），n0为噪声功率谱密度（W/Hz），N为噪声功率（W）。
这个定理告诉我们，信道容量受三要素B、S、no的限制，提高信噪比S/N可增大信道容量。
3. 数据压缩定理：这个定理与压缩理论有关，主要研究如何通过压缩数据来减少冗余信息，从而实现更高效的数据传输和存储。
香农定理为我们提供了一套完整的理论框架，用于研究和优化信息的传输、存储和处理过程。
光纤通信香农定理光纤通信是一种利用光纤作为传输媒介的高速通信技术。
随着科技的不断发展，光纤通信已经成为现代通信领域的主流技术。
而光纤通信的性能和可靠性，很大程度上依赖于香农定理。
本文将从理论和应用两个方面，探讨光纤通信中的香农定理的重要性和应用。
我们来了解一下香农定理。
香农定理是由通信工程师克劳德·香农于1948年提出的，它是通信领域中的一条基本定理。
香农定理指出，在给定信噪比条件下，通过一个具有有限带宽的信道，可以实现任意高的传输速率。
具体而言，香农定理给出了信道容量的计算公式，即C = B * log2(1 + S/N)，其中C为信道容量，B为信道带宽，S 为信号功率，N为噪声功率。
光纤通信作为一种高带宽、低损耗的通信方式，正是基于香农定理的优势而得以发展和应用。
光纤通信的主要传输媒介是光纤，通过将信息转化为光信号并在光纤中传输，可以实现高速、大容量的数据传输。
光纤通信的传输速率越来越高，已经从最初的几兆比特每秒发展到现在的数十、数百甚至数千兆比特每秒。
这一切都离不开香农定理的指导。
在光纤通信中，光信号的传输速率受到光纤的带宽和信噪比的影响。
光纤的带宽决定了信号能够传输的最高频率，而信噪比则决定了信号传输的可靠性。
根据香农定理，如果我们希望提高光纤通信的传输速率，可以通过扩展光纤的带宽或提高信噪比来实现。
除了提高带宽和信噪比，还可以通过其他技术手段来进一步提高光纤通信的性能。
例如，采用波分复用技术可以将不同波长的光信号在同一根光纤中传输，从而进一步提高传输容量。
此外，还可以采用调制技术和解调技术来提高信号的传输效率和可靠性。
光纤通信的应用范围非常广泛。
它被广泛应用于电话网络、宽带接入、数据中心等领域。
光纤通信不仅能够满足用户对高速、大容量数据传输的需求，还具有抗干扰能力强、传输距离远、安全性高等优势。
特别是在互联网时代，光纤通信成为了支撑互联网基础设施的重要技术。
然而，光纤通信仍然面临一些挑战和问题。
现代通信与香农三大定理姓名：杨伟章学号：201110404234摘要：当我们提起信息论，就不得不把香农和信息论联系在一起，因为正是香农为通信理论的发展所做出的划时代贡献，宣告了一门崭新的学科——信息论的诞生。
从此，在香农信息论的指导下，为了提高通信系统信息传输的有效性和可靠性，人们在信源编码和信道编码两个领域进行了卓有成效的研究，取得了丰硕的成果。
其实，信息论是人们在长期通信实践活动中，由通信技术与概率论、随机过程、数理统计等学科相互结合而逐步发展起来的一门新兴交叉学科。
关键词：信息论基础现代通信系统香农三大定理上个世纪四十年代，半导体三极管还未发明，电子计算机也尚在襁褓之中。
但是通信技术已经有了相当的发展。
从十九世纪中叶，电报就已经很普遍了。
电报所用的摩斯码（Morse Code），就是通信技术的一项杰作。
摩斯码用点和线（不同长度的电脉冲）来代表字母，而用空格来代表字母的边界。
但是每个字母的码不是一样长的。
常用的字母E只有一个点。
而不常用的Z有两划两点。
这样，在传送英语时，平均每个字母的码数就减少了。
事实上，摩斯码与现代理论指导下的编码相比，传送速度只差15%。
这在一百五十多年前，是相当了不起了。
在二次世界大战时，雷达和无线电在军事上广泛应用。
无线电受各种噪声的干扰很厉害，这也给通讯技术提出了新的课题。
各种不同的调制方式也纷纷问世。
于是就出现了这样一个问题：给定信道条件，有没有最好的调制方式，来达到最高的传送速率？“传输速率是波特率与每波特所含比特数的乘积。
波特率受频宽的限制，而每波特所含比特数受噪声的限制。
”前一个限制，由那奎斯特（Harry Nyquist）在1928年漂亮地解决了。
而后一个问题则更复杂。
1928年，哈特利（R. V. L. Hartley）首先提出了信息量的概念，并指出编码（如摩斯码）在提高传送速度中的重要作用。
但是他未能完整定量地解决这个问题。
二战期间，维纳（Norbert Wiener）发展了在接收器上对付噪声的最优方法。
但是传输速率的上限还是没有进展。
在这种情况下，香农（Claude E Shannon）在1948年发表了《通信的一个数学理论》(C. E. Shannon, A Mathematical Theory of Communication”, The Bell System Technical Journal, V ol. 27, pp. 379-423, 1948/cm/ms/what/shannonday/shannon1948.pdf)，完整地解决了通讯速度上限的问题。
“信息论”（Information Science）从此诞生。
要建立信息理论，首先要能够度量信息。
信息是由信号传播的。
但是信息与信号有本质的区别。
所以如何度量一个信号源的信息量，就不是简单的问题。
从直觉上说，如果一个信号源发出不变的符号值（比如总是1），它是没有信息量的，因为它没有告诉别人任何东西。
而且如果信号源发出的符号值是变化的但是可以预计的（比如圆周率的数字序列），那也是没有信息量的，因为我不需要接受任何东西，就可以把这些符号值重复出来。
而且，即使信号源发出的符号不是完全可确定的，它的信息量也和“确定”的程度有关。
例如，如果一个地方90%的时候是晴天，气象报告就没有多大用处。
而如果50%的时候是晴天其余时候下雨，人们就需要气象报告了。
从这点出发，香农就把信息量与信号源的不确定性，也就是各个可能的符号值的几率分布联系起来。
他从直观上给出了信息量需要满足的几个简单的数学性质（如连续性，单调性等），而给出了一个唯一可能的表达形式。
那么这样定义的信息量与我们通常所说的数据量，也就是需要多少比特来传送数据，有什么关系呢？（比特就是二进制数据的位数）。
为此，我们来看看一个含有固定符号数的序列（也就是信号或码字）。
由于每个符号值的出现是随机的，这样的序列就有很多可能性。
显然，每个可能的符号在序列中出现次数，对于所有可能序列的平均值正比于符号出现的几率。
我们把每个符号出现次数“正好”等于其次数平均值的序列叫做“典型序列”，而其他的就叫作“非典型序列”。
而数学上可以证明，当N趋于无穷大时，“非典型序列”出现的几率趋于零。
也就是说，我们只要注意“典型序列”就行了。
而典型序列的个数，就是它们出现概率的倒数（因为总概率为1）。
而码字所携带的数据量，就是它的个数以2为底的对数。
所以，这样的分析就得出了序列所含的数据量。
除以序列的长度，就得到每个符号所含的数据量。
而这个结果恰好就等于上面所说的信息量！至此，香农开创性地引入了“信息量”的概念，从而把传送信息所需要的比特数与信号源本身的统计特性联系起来。
这个工作的意义甚至超越了通信领域，而成为信息储存，数据压缩等技术的基础。
解决了信号源的数据量问题后，我们就可以来看信道了。
信道（channel）的作用是把信号从一地传到另一地。
在香农以前，那奎斯特已经证明了：信道每秒能传送的符号数是其频宽的一半。
但问题是，即使这些符号，也不是总能正确地到达目的地的。
在有噪声的情况下，信道传送的信号会发生畸变，而使得接收者不能正确地判断是哪个符号被发送了。
对付噪声的办法是减少每个符号所带的比特数：“而每个波特所含的比特数，则是受噪声环境的限制。
这是因为当每个波特所含的比特数增加时，它的可能值的数目也增加。
这样代表不同数据的信号就会比较接近。
例如，假定信号允许的电压值在正负1伏之间。
如果每个波特含一个比特，那么可能的值是0或1。
这样我们可以用-1伏代表0，用1伏代表1。
而假如每波特含两个比特，那么可能的值就是0，1，2，3。
我们需要用-1伏，-0.33伏，0.33伏，1伏来代表着四个可能值。
这样，如果噪声造成的误差是0.5伏的话，那么在前一种情况不会造成解读的错误（例如把-1V错成了-0.5伏，它仍然代表0）。
而在后一种情况则会造成错误（例如把-1V错成了-0.5伏，它就不代表0，而代表1了）。
所以，每个波特所含的比特数也是不能随便增加的。
以上两个因素合起来，就构成了对于数据传输速率的限制。
”其实，除此之外，还有一个对付噪声的办法，就是在所有可能的符号序列中只选用一些来代表信息。
例如，如果符号值是0和1，那么三个符号组成的序列就有8个：000，001，010，011，100，101，110，111。
我们现在只用其中两个来代表信息：000和111。
这样，如果噪声造成了一个符号的错误，比如000变成了010，那我们还是知道发送的是000而不是111。
这个方法的代价与前面的方法一样，就是降低了传送速率（原来可以送三个比特，现在只能送一个比特了）。
这种选取特定序列，而不是使用所有序列的方法称为编码。
以上的例子，是一个极为简单的码，远非最优。
可见，用降低速率来减少错误的方法有很多选项。
那么怎样才能达到速度和准确度之间最好的权衡呢？这看来是一个非常棘手的问题。
然而，香农却得出了一个非常简明的结论：对于一个信道，有这样一个速率（称为信道的容量）：一定有一个方法能在这个速率以下传送数据而误差的几率达到任意小；而超过这个速率的话，误差的几率就一定会大于某个下限。
也就是说，香农同时给出了无错误的条件下传送速度的上限（即不可能超过）和下限（即有办法达到），而这两者是同一个值！不仅结论出乎意料地简单，香农的证明也是如此。
他的基本思路是：噪声使得接收端收到信号后，对于所发送的信号仍然有个不确定性。
也就是说，一个收到的序列可能对应多个发送的序列。
这个对应的个数可以用上面讲到的“典型序列”的个数来估计。
因为如此，我们只能用这多个发送序列之中的一个来作为码字，代表要传送的信息，而其余都弃之不用。
这样才能避免混淆。
所以，我们的传送速率就要降低了。
这个直观解释听起来简化得离谱。
我们知道，随机过程是很复杂的，怎么可能用平均值就搞定呢？然而，香农在数学上严格地证明了这些结论。
关键在于：他考虑序列长度趋向于无穷的情况。
这样，在样本数量趋于无穷的情况下，实际情况偏于平均值的几率趋向于零。
所以说，香农的简化显示他真正抓住了问题的关键。
对于通常遇到的信道，香农定理说：信道容量（即最高传送速率）与频宽成正比，与信噪比的对数（底数为2）成正比。
信噪比是在接收端信号功率与噪声功率的比。
增加发射功率能增加信噪比从而增加容量，但因为是对数关系，不是那么有效。
而增加频宽则是线性地增加容量。
通常，频率较低的频道频宽也小。
如前一讲中提到的调幅（AM）广播，在几百千赫频段，频宽是20千赫。
而调频（FM）广播是在一百兆赫频段，频宽是200千赫。
这就是调幅广播音质较好的主要原因。
所以现代的数字通信服务不断往高频段扩展（目前已到2兆赫）。
当我们听到某个服务能提供更高速率的时候，并不等于它使用了性能更好的技术。
很可能它只是用了更宽的频道而已。
现有的通信系统的分层结构决定了各子层技术只能保证局部最优的系统性能，跨层优化设计打破了传统通信系统的层次结构，对各子层的关键技术进行联合优化，特别是通信系统的收发联合优化以求达到全局最优的系统性能。
本文分析了通信系统的收发联合优化，并且在此基础之上对运用于其中的香农定理进行了分析研究，然后阐述了香农定理三大定理之间的内在联系，分析了香农定理与通信系统理论构建之间的关系，释放数字时代背景下海量信息控制边界的观点。
香农定理和控制论模型，越过了信息有效传输和信息接收端点的物理通信范畴，散发出了悠长的跨学科话语魅力。
香农在二十世纪四十年代初奠定了通信的数字理论基础。
同时香农三大定律是信息论的基础，虽然没有提出具体的编码实现方法，但是为通信信息的研究指明了方向。
他的“信道容量定理”指出，可以找到这样一种技术，当数据传输速率不大于某个最大传输的速率时，通过它可以以任意小的错误概率传输信号。
同时香农也给出了有噪声信道的最大传输速率与宽带的关系。
1948年，香农发表了他的著名论文《通信的数学理论》，彻底奠定了信息论的理论基础。
正如我们所知道的那样，信息传输的有效性和可靠性一直都是人们讨论的热点。
在1948年以前，科学界一般都认为有效性和可靠性是矛盾的两个方面：提高信息传输率往往会使抗干扰能力减弱；反之，提高抗干扰能力又常常会使信息传输率降低，也就是说要使最小平均错误译码概率达到任意小，信息传输率R也会趋于0（要使Pemin→0，则R→0）。
这是一个很悲观的结论。
如果从博弈的观点来看，信息传输的有效性和可靠性就是博弈的双方，双方的决策都会使信息传输这个“市场”发生不同的情况。
但是，经过深入的研究，香农发现，作为矛盾的双方，是可以达到的辨证的统一的，当然这也是有条件的，在一定条件下，可以使信息的传输既有效又可靠。
香农的三大定理都是针对编码理论而阐述的，在通信系统中，编码理论显得尤其重要，编码很大程度上决定了能否有效、可靠的传递信息。
