下载文档原格式
信息论与编码答案傅祖芸【篇一：信息论与编码课程设计报告】t>设计题目：统计信源熵与香农编码专业班级学号学生姓名指导教师教师评分2014年3月24日目录一、设计任务与要求................................................. 2 二、设计思路....................................................... 2 三、设计流程图..................................................... 3 四、程序运行及结果................................................. 5 五、心得体会....................................................... 6 参考文献 .......................................................... 6 附录：源程序.. (7)一、设计任务与要求1、统计信源熵要求：统计任意文本文件中各字符（不区分大小写）数量，计算字符概率，并计算信源熵。
2、香农编码要求：任意输入消息概率，利用香农编码方法进行编码，并计算信源熵和编码效率。
二、设计思路1、统计信源熵：统计信源熵就是对一篇英文文章（英文字母数为n），通过对其中的a,b,c,d/a,b,c,d.....(不区分大小写)统计每个字母的个数n，有这个公式p=n/n可得每个字母的概率，最后又信源熵计算公式h（x）=??p(xi)logp(xi)i?1n，可计算出信源熵h,所以整体步骤就是先统计出英文段落的总字符数，在统计每个字符的个数，即每遇到同一个字符就++1，直到算出每个字符的个数，进而算出每个字符的概率，再由信源熵计算公式计算出信源熵。
2、香农编码：香农编码主要通过一系列步骤支出平均码长与信源之间的关系，同时使平均码长达到极限值，即选择的每个码字的长度ki满足下式：i(xi)?ki?i(xi)?1,?i具体步骤如下：a、将信源消息符号按其出现的概率大小依次排列为：p1?p2?......?pn b、确定满足下列不等式的整数码长ki为：?lb(pi)?ki??lb(pi)?1 c、为了编成唯一可译码，计算第i个消息的累加概率：pi??p(ak)k?1i?1d、将累加概率pi变换成二进制数。
任俊玲renjunling@基本情况课时：32学时考核：平时成绩：10%作业：30%=20%+10%考试：60%参考资料1、李梅、李亦农等，信息论基础教程（第2版），北京邮电大学出版社，2008.102、冯桂等，信息论与编码技术，清华大学出版社，2007.33、傅祖芸，信息论-基础理论与应用（第2版），电子工业出版社，2008.44、周荫清，信息理论基础，北京航空航天大学出版社，20025、（美）Thomas M.Cover著，阮吉寿、张华等译，信息论基础，机械工业出版社， 2008.1… … … …内容介绍第一部分绪论（第一章）第二部分信息测量问题信息的度量（第二章）信源及信源熵（第三章）信道及信道容量（第四章）第三部分编码问题（香农三定理）无失真信源编码（第五章）——香农第一定理有噪信道编码（第六章）——香农第二定理限失真信源编码（第七章）——香农第三定理保真度准则下的信源编码定理第一章绪论主要内容1.1信息的概念1.2 信息论研究的对象、目的和内容 1.3 信息论的发展过程1.4 信息论的研究现状关于信息论信息论是通信的数学基础，是随着通信技术的发展而形成和发展起来的一门横断学科。
通信：指人与人或人与自然之间通过某种行为或媒介进行的信息交流与传递。
1.1信息的概念信息是信息论中最基本、最重要的概念。
组成客观世界的三大基本要素：物质、能量和信息，材料科学、能源科学、和信息科学一起被称为当代文明的“三大支柱”。
Without materials , there is nothing.Without energy , nothing happens.Without information , nothing makes sense .没有物质的世界是虚无的世界；没有能源的世界是死寂的世界；没有信息的世界是混乱的世界。
香农信息定义1948年，香农在发表的论文《通信的数学理论》中，从研究通信系统传输的本质出发，对信息做了科学的定义，并进行了定性和定量的描述。
信息论与编码答案傅祖芸【篇一：信息论与编码课程设计报告】t>设计题目：统计信源熵与香农编码专业班级学号学生姓名指导教师教师评分2014年3月24日目录一、设计任务与要求................................................. 2 二、设计思路....................................................... 2 三、设计流程图..................................................... 3 四、程序运行及结果................................................. 5 五、心得体会....................................................... 6 参考文献 .......................................................... 6 附录：源程序.. (7)一、设计任务与要求1、统计信源熵要求：统计任意文本文件中各字符（不区分大小写）数量，计算字符概率，并计算信源熵。
2、香农编码要求：任意输入消息概率，利用香农编码方法进行编码，并计算信源熵和编码效率。
二、设计思路1、统计信源熵：统计信源熵就是对一篇英文文章（英文字母数为n），通过对其中的a,b,c,d/a,b,c,d.....(不区分大小写)统计每个字母的个数n，有这个公式p=n/n可得每个字母的概率，最后又信源熵计算公式h（x）=??p(xi)logp(xi)i?1n，可计算出信源熵h,所以整体步骤就是先统计出英文段落的总字符数，在统计每个字符的个数，即每遇到同一个字符就++1，直到算出每个字符的个数，进而算出每个字符的概率，再由信源熵计算公式计算出信源熵。
2、香农编码：香农编码主要通过一系列步骤支出平均码长与信源之间的关系，同时使平均码长达到极限值，即选择的每个码字的长度ki满足下式：i(xi)?ki?i(xi)?1,?i具体步骤如下：a、将信源消息符号按其出现的概率大小依次排列为：p1?p2?......?pn b、确定满足下列不等式的整数码长ki为：?lb(pi)?ki??lb(pi)?1 c、为了编成唯一可译码，计算第i个消息的累加概率：pi??p(ak)k?1i?1d、将累加概率pi变换成二进制数。
