天津大学博士生入学考试业务课程大纲
课程编号：220 课程名称：信息论基础大纲
信息论基础主要介绍香农信息论，包括香农信息论三定理--信息的测度定理、信道容量定理、信息率失真函数定理，以及香农的三个基本编码定理--无失真信源编码定理、信道编码定理、限失真信源编码定理。以及信源和信道编码的基本方法。
学习本课程需要先学习概率论数理统计以及高等数学等相关数学知识。
第一部分概论
主要包括：信息的一般概念、信息的分类。重点掌握信息的本体论层次和认识论层次的定义以及香农信息论中信息的定义。理解信息的分类。
第二部分信源熵
主要内容是单符号离散信源、多符号平稳信源、连续信源、离散无失真信源编码定理。重点掌握自信息和熵的概念以及计算公式，掌握互信息和平均互信息的概念以及计算公式，掌握单符号离散信源、多符号离散平稳信源以及连续信源熵的计算公式，掌握无失真信源编码定理。