信息及香农信息论概述剖析91页PPT
- 格式:ppt
- 大小:7.81 MB
- 文档页数:91
香农信息论
香农信息论主要讨论点对点通信中的一些基本问题,最著名的结论包括其中的四大定理,也即为无失真信源编码定理,限失真信源编码定理,信道编码定理,信源信道分离定理。
香农信息论为目前的通信系统设计和编码都有不可忽视的指导意义,但其也有不足的地方,主要包括三方面,一个局限是香农得出的大部分结果,都是在理论上得到的极限值,虽然为通信系统的设计给出了非常有指导意思的理论界限,但实际系统中应该如何去达到这些界限,香农并没有给出,最典型的例子就是信道编码定理,虽然1948年香农就发明了信息论,但到90年代才找到或者再发现能够逼近香农极限的turbo码和LDPC码;再一个局限是香农的大部分结果都是在一定的理想条件或极限条件下推导出来的,在实际系统中,这些条件可能不能满足,因而不可能达到香农所得出的一些结论或界限,举一个例子,信源信道分离定理是在数据分组长度无穷大和静态信道条件下得到的,但实际系统中的编码可能会有分组长度和限制,信道也可能是时变的,因而产生出最近较新的所谓联合信源信道编码理论;最后一个是局限是点对点通信的局限性,因为通信的构架存在网络结构和多用户的结构,所以对于网络和多用户的情形,香农并没有更深入的研究,虽然他在50年代研究了two way channel,但并未得出有意义的结果,目前网络信息论或多用户信息论是一个比较活跃的领域,主要的有意义的结论在广播和多址接入信道,但都是退化的情形才成立的结论,更一般的情形,还有一些其他如中继信道等,还有待进一步研究。
综上,香农信息论的发展主要为网络信息论(目前中继信道比较活跃)、联合信源信道编码、多描述问题、高斯分布的码书的设计等,这些都是尚未解决的问题。
香农和信息论克劳德·香农(Claude Elwood Shannon)1916年4月30日诞生于美国密执安州,他生长在一个有良好教育的环境,香农的祖父是一位农场主兼发明家,发明过洗衣机和许多农业机械,祖父的发明创造对香农影响很大。
此外,香农的家庭与大发明家爱迪生还有远亲关系。
在童年时代,香农还喜欢组装无线电收音机、练习莫尔斯电报码、研究密码学等等。
他有许多爱好,另人难以置信是香农可以熟练地玩一套杂技,他能骑着独轮车手里来回抛着三个球在贝尔实验室的大厅里骑来骑去。
他发明过有两个座位的独轮车,并使该独轮车好象偏离地心似的,骑在上面忽高忽低,像鸭子行走一样。
香农的一生都迷恋于平衡与控制稳定性。
他设计并建造了下棋机器、迷宫老鼠、杂耍器械以及智力阅读机等,下国际象棋的机器包括用3个指头能抓起棋子的手臂、蜂鸣器以及简单的记录装置。
这些活动表明香农有十分的好奇心和探索精神。
香农有一句名言是:“我感到奇妙的是事物何以集成一体。
”1936年香农在密执安大学获得数学与电气工程学士学位;1938年香农写出论文《继电器与开关电路的符号分析》,当时他就发现电话交换电路与布尔代数之间具有类似性,即把布尔代数的“真”与“假”和电路系统的“开”与“关”对应起来,并可用1和0表示。
随后又证明布尔代数的逻辑运算,可以通过继电器电路来实现,明确地给出了实现加、减、乘、除等运算的电子电路的设计方法,他在实践中进一步证明,可以采用能实现布尔代数运算的继电器或电子元件来制造计算机。
他奠定了数字电路的理论基础,并使计算机具有逻辑功能,从而使计算机既能用于数值计算,又具有各种非数值应用功能,使得以后的计算机在几乎任何领域中都得到了广泛的应用。
1941年他加入贝尔实验室数学部,工作到1972年。
1956年他成为MIT(麻省理工学院)客座教授,并于1958年成为终生教授,1978年成为名誉教授。
香农博士于2001年2月26日去世,享年84岁。