信息论基础与应用-李梅-第一章 绪论
- 格式:ppt
- 大小:1.40 MB
- 文档页数:51
任俊玲renjunling@基本情况课时:32学时考核:平时成绩:10%作业:30%=20%+10%考试:60%参考资料1、李梅、李亦农等,信息论基础教程(第2版),北京邮电大学出版社,2008.102、冯桂等,信息论与编码技术,清华大学出版社,2007.33、傅祖芸,信息论-基础理论与应用(第2版),电子工业出版社,2008.44、周荫清,信息理论基础,北京航空航天大学出版社,20025、(美)Thomas M.Cover著,阮吉寿、张华等译,信息论基础,机械工业出版社, 2008.1… … … …内容介绍第一部分绪论(第一章)第二部分信息测量问题信息的度量(第二章)信源及信源熵(第三章)信道及信道容量(第四章)第三部分编码问题(香农三定理)无失真信源编码(第五章)——香农第一定理有噪信道编码(第六章)——香农第二定理限失真信源编码(第七章)——香农第三定理保真度准则下的信源编码定理第一章绪论主要内容1.1信息的概念1.2 信息论研究的对象、目的和内容 1.3 信息论的发展过程1.4 信息论的研究现状关于信息论信息论是通信的数学基础,是随着通信技术的发展而形成和发展起来的一门横断学科。
通信:指人与人或人与自然之间通过某种行为或媒介进行的信息交流与传递。
1.1信息的概念信息是信息论中最基本、最重要的概念。
组成客观世界的三大基本要素:物质、能量和信息,材料科学、能源科学、和信息科学一起被称为当代文明的“三大支柱”。
Without materials , there is nothing.Without energy , nothing happens.Without information , nothing makes sense .没有物质的世界是虚无的世界;没有能源的世界是死寂的世界;没有信息的世界是混乱的世界。
香农信息定义1948年,香农在发表的论文《通信的数学理论》中,从研究通信系统传输的本质出发,对信息做了科学的定义,并进行了定性和定量的描述。
《信息论》教学大纲《信息论》课程是高等学校信息类专业教学计划中的一门必修的重要专业课。
信息理论在通信领域中发挥越来越重要的作用,显示出它是解决通信领域中有关问题的有力工具的本色。
同时,由于信息理论解决问题的思路和方法的独特、新颖和有效,在当今时代,信息论已经渗透到很多其他相关的自然科学甚至社会科学领域。
本课程的目的和任务是使学生通过本课程的学习获得经典信息论的基本理论、编码方法,为学习后续课程和实际应用以及研究工作打好基础。
先修课程要求:数学分析、概率统计、线性代数。
本课程计划72学时,4学分。
选用教材:傅祖芸,《信息论—基础理论与应用》,电子工业出版社,2003 教学手段:课堂讲授为主,多媒体为辅。
考核方法:考试。
教学进程安排表第一章绪论一、学习目的通过本章的学习,要求学生掌握信息的概念;掌握信息、消息、信号之间的异同;掌握概率信息的概念;掌握信息论的研究对象和目的;一般掌握信息论的研究内容;了解信息论的发展过程。
绪论计划2学时。
二、课程内容第一节信息的概念信息的概念,掌握信息、消息、信号之间的异同,掌握概率信息的概念。
第二节信息论研究的对象、目的和内容通信系统模型,信息论学科的研究对象、目的和内容第三节信息论发展简史与现状信息论学科发展的历史、现状和动向。
三、重点、难点提示和教学手段本章重点:信息的概念;信息论学科的研究对象、目的和内容;信息论学科发展的历史、现状和动向。
难点为信息的概念。
教学手段:理论教学。
第二章离散信源及其信息测度一、学习目的通过本章的学习,要求学生掌握用概率空间描述信源的方法;掌握离散无记忆信源的定义、自信息、信息熵及信息熵的基本性质;一般掌握熵的唯一性定理;掌握离散无记忆的扩展信源的概念及其信息熵;牢固掌握离散平稳信源的概念,二维平稳信源的联合熵、条件熵,离散平稳信源的极限熵;掌握马尔可夫信源的概念及其信息熵;掌握信源剩余度的概念;了解自然语言信源的信息熵;了解意义信息和加权熵。
信息论基础教程李亦农李梅编著北京邮电大学出版社・北京・内容简介信息论是研究信息传输和信息处理过程中的一般规律的一门学科,也是现代信息通信领域的一门基础理论。
本书以香农的3个编码定理为中心,重点讲述了相关的基本概念、基本原理和基本方法。
本书是作者根据多年教学经验编著而成的。
鉴于目前学生可选择的课程越来越多,每门课的学时数不会很大,因此本书只讲述经典香农信息论的内容,而没有涉及过多分支。
图书在版编目(CIP)数据信息论基础教程/李亦农,李梅编著.—北京:北京邮电大学出版社,2004ISBN7-5635-0910-0Ⅰ.信...Ⅱ.①李...②李...Ⅲ.信息论—高等学校—教材Ⅳ.G201中国版本图书馆CIP数据核字(2004)第060781号书名:信息论基础教程编著:李亦农李梅责任编辑:李欣一出版者:北京邮电大学出版社(北京市海淀区西土城路10号)邮编:100876电话:622821**********电子信箱:publish@经销:各地新华书店印刷:北京市忠信诚胶印厂印数:1—5000册开本:787mm×1092mm1/16印张:14.75字数:321千字版次:2005年1月第1版2005年1月第1次印刷2006年2月第2次印刷ISBN7-5635-0910-0/T N・331定价:22.00元・如有印装质量问题,请与北京邮电大学出版社发行部联系・前言信息论是研究信息传输和信息处理过程中一般规律的一门学科,也是现代信息科学和通信科学领域的一门基础理论,因此目前各高等院校相关专业的本科生、研究生都开有信息论这门专业基础课。
本书是作者参考借鉴了众多国内外优秀的信息论教材及参考书之后根据多年教学实践的经验编著而成的。
鉴于目前学生可选择的课程越来越多,而每门课的学时数较少,因此本书只讲述了经典香农信息论的内容,而没有涉及过多的分支。
本书可作为通信、电子、计算机专业本科生教材使用,也可作为相关专业科研人员的参考书。
第一章绪言一、信息及其特征1、信息:是反映一切事物属性及动态的消息、情报、指令、数据和信号中所包含的内容。
2、信息的作用:信息是用来消除不确定的东西(香农)。
为决策提供依据的作用,可被用于控制的作用,有告知作用。
3、信息的本质:信息是区别于物质与能量的第三类信息(维纳)。
4、信息的内涵:信息是事物运动的状态与方式(钟义信)。
5、信息、物质和能量是构成人类社会资源的三大支柱。
信息既是人类生存的基本条件,也是人类生存的基本要素。
6、信息的一般特征:普遍性、载体依附性、价值性、时效性、共享性、真伪性、或可转换性等。
二、信息技术及其发展简史1、信息技术:一切与信息的获取、加工、表达、交流、管理和评价等有关的技术都称之为信息技术,简称IT。
现代信息技术是以电子技术,尤其是微电子技术为基础,以计算机技术为核心,以通信技术为支柱,以信息技术应用为目的的科学群。
2、信息技术发展经历的五次革命第一次革命——语言的产生;第二次革命——文字的发明;第三次革命——造纸术和印刷术的发明;第四次革命——电报、电话、广播、电视的发明和普及应用;第五次革命——电子计算机的普及使用和计算机与通信技术的结合。
3、信息技术的发展趋势总体上是朝着大众化和人性化的方向发展。
①越来越友好的人机界面(GUI):友好的人机界面意味着技术工具的简单易学和易于操作;②越来越个性化的功能设计:信息技术产品正向个性化和集成化的方向发展;③越来越高的性能价格比:信息技术正向低消耗、高速度的方向发展。
4、神奇的计算机技术:虚拟现实、语音技术、智能代理技术等。
完善本章思维导图一、填空1.物质、能量和_________是构成人类社会资源的三大支柱。
2.请列举信息的基本特征,各举说明其特征的一个例子。
1)_______________________。
例:_______________________。
2)_______________________。
例:_______________________。