信息论实验报告
班级：通信11-4
姓名：李阳
学号：11101060427
指导教师：范锦宏
完成日期：2014.6.8
2.1
程序代码：
clear all;
close all;
clc;
p = 0:0.01:1;
I = -log2(p + eps);
plot(p,I);
xlabel('\it{p(x_i)}');
ylabel('\it{I(x_i)}','rotation',0,'position',[-0.05,3.5,0]); ylim([0,7]);
运行结果：
2.2
程序代码：
clear all; close all; clc;
p = 0:0.01:1; q = 1-p;
H = -p.*log2(p + eps) - q.*log2(q + eps); plot(p,H); xlabel('\it{p}');
ylabel('\it{H[p]}','rotation',0,'position',{-0.1,0.5,0]); xlim([0,1]);
00.10.20.30.4
0.50.60.70.80.91
1
2
3
4
5
6
7
p(x i )
I(x i )
ylim([0,1]); 运行结果：
3.1(1) 程序代码：
%画出作为r 函数的差错概率图 clear all;
gamma_db = [-20:0.1:20]; gamma = 10.^(gamma_db ./10); p_error = 0.5.*(sqrt(2 .*gamma)); semilogx(gamma,p_error) xlabel('SNR/bit')
title('Error probility versus SNR/bit')
00.10.20.30.4
0.50.60.70.80.91
-0.2
0.2
0.4
0.6
0.8
1
p
ylabel('Error Prob.') 运行结果：
3.1(2) 程序代码： clear all;
gamma_db=[-20:0.1:20]; gamma=10.^(gamma_db./10); p_error=0.5.*(sqrt(2.*gamma));
capacity=1.-sum(-p_error.*log2(p_error)); semilogx(gamma,capacity) xlabel('SNR/bit')
title('channel capacity versus SNR/bit')
10
-210
-1
100
10
1
10
2
SNR/bit
Error probility versus SNR/bit
E r r o r P r o b .
ylabel('channel capacity') 运行结果：
3-2（1）
%W=3000Hz 的加性高斯白噪声的信道容量作为P/ N0的函数图 clear all echo on
pn0_db = [-20:0.1:30]; pn0 = 10 .^(pn0_db./10);
capacity = 3000 .* log2(1+pn0/3000); pause clf
semilogx( pn0,capacity)
10
-210
-1
100
10
1
10
2
SNR/bit
channel capacity versus SNR/bit
c h a n n e l c a p a c i t y
title('Capacity vs.P/N0 in an AWGN channel')
xlabel('P/N0')
ylabel('Capacity (bits/second)')
clear
w = {1:10,12:2:100,105:5:500;510:10:5000;5025:25:20000,20050:50:100000}; pn0_db = 25;
pn0 = 10^(pn0_db/10);
capacity = w.*log2(1 + pn0./w);
pause
clf
%在AWGN信道中作为带宽的函数的容量
semilogx(w,capacity)
title('Capacity vs. bandwidth in an AWGN channel')
xlabel('Bandwidth (Hz)')
ylabel('Capacity (bits/second)')
运行结果：
3-2（2） echo on; pn0_db = 25
pn0 = 10 .^(pn0_db ./10); w = 0:100000;
capacity = w .*log2(1 + pn0 ./w); pause; clf
semilogx(w,capacity);
title('capacity vs. P/N0 in an AWGN Channel'); xlabel('P/N0');
ylabel('Capacity (bits/second)');
10
-210
-1
10
10
1
10
2
10
3
0200
400
600
800
1000
1200
1400
Capacity vs.P/N0 in an AWGN channel
P/N0
C a p a c i t y (b i t s /s e c o n d )
运行结果：
3.3
%3.3离散无记忆信道的迭代计算% function[cc,paa]=channelcap(p,k)
%p:输入的正向转移矩阵，k ：迭代计算的精度 %cc:最佳信道容量，paa:最佳输入概率矩阵 %pa:初始输入概率矩阵，pba:正向转移概率矩阵 %pb:输出矩阵概率，pab:反向转移概率矩阵 %c:初始信道容量，r:输入符号数，s ：输出符号数 %提示错误信息
if(length(fing(p<0))~=0
error('not a prob.vector,negetive component')
10
0101
102
10
3
104
10
5
050100150200250300350400
450
500capacity vs. P/N0 in an AWGN Channel
P/N0
C a p a c i t y (b i t s /s e c o n d )
end
if(abs(sum(p')-1)>10e-10)
error('not a prov.vector, component do not add up to 1') end
[r,s]=size(p);
pa=(1/(r+eps))*ones(1,r);
sumrow=zeros(1,r);
pba=p;
n=0;c=0;cc=1;
while abs(cc-c)>=k
n=n+1;
pb=zeros(1,s);
for j=1:s
for i=1:r
pb(j)=pb(j)+pa(i)*pba(i,j);
end
end
suma=zeros(1,s);
for j=1:s
for i=1:r
pab(j,i)*pba(i,j)/(pb(j)+eps);
《商务数据分析》实验指导书（适用于国际经济与贸易专业） 江西财经大学国际经贸学院 编写人：戴爱明
目录 前言 (1) 实验一、SPSS Clementine 软件功能演练 (5) 实验二、SPSS Clementine 数据可视化 (9) 实验三、决策树C5.0 建模 (17) 实验四、关联规则挖掘 (30) 实验五、聚类分析（异常值检测） (38)
前言 一、课程简介 商务数据分析充分利用数据挖掘技术从大量商务数据中获取有效的、新颖的、潜在有用的、最终可理解的模式的非平凡过程。数据挖掘的广义观点：数据挖掘就是从存放在数据库，数据仓库或其他信息库中的大量的数据中“挖掘”有趣知识的过程。数据挖掘，又称为数据库中知识发现(Knowledge Discovery in Database, KDD)，因此，数据挖掘和数据仓库的协同工作，一方面，可以迎合和简化数据挖掘过程中的重要步骤，提高数据挖掘的效率和能力，确保数据挖掘中数据来源的广泛性和完整性。另一方面，数据挖掘技术已经成为数据仓库应用中极为重要和相对独立的方面和工具。 数据挖掘有机结合了来自多学科技术，其中包括：数据库、数理统计、机器学习、高性能计算、模式识别、神经网络、数据可视化、信息检索、图像与信号处理、空间数据分析等，这里我们强调商务数据分析所处理的是大规模数据，且其算法应是高效的和可扩展的。通过数据分析，可从数据库中挖掘出有意义的知识、规律，或更高层次的信息，并可以从多个角度对其进行浏览察看。所挖掘出的知识可以帮助进行商务决策支持。当前商务数据分析应用主要集中在电信、零售、农业、网络日志、银行等方面。
实验课程：信息论与编码理论专业：信息与计算科学班级：09070241 学号：0907024101 姓名：孙秋月 中北大学理学院
实验二 哈夫曼编码 一、实验目的 1. 掌握哈夫曼编码的原理及编码步骤 2. 练习matlab 中哈夫曼编码函数的调用及通信工具箱的使用 二、实验原理 哈夫曼编码的具体步骤归纳如下： 1. 统计n 个信源消息符号，得到n 个不同概率的信息符号。 2. 将这n 个信源信息符号按其概率大小依次排序： p (x 1) ≥ p (x 2)≥ …≥ p (x n ) 3. 取两个概率最小的信息符号分别配以0和1两个码元，并将这两个概率相加作为一个新的信息符号的概率，和未分配的信息符号构成新的信息符号序列。 4. 将剩余的信息符号，按概率大小重新进行排序。 5. 重复步骤3，将排序后的最后两个小概论相加，相加和与其他概率再排序。 6. 如此反复重复n-2次，最后只剩下两个概率。 7. 从最后一级开始，向前返回得到各个信源符号所对应的码元序列，即相应的码字，构成霍夫曼编码字。编码结束。 三、实验内容 为某一信源进行哈夫曼编码。该信源的字符集为X={x 1, x 2, … x 6 }，相应的概率矢量为：P =(0.30,0.25,0.21,0.10,0.09,0.05)，即X ，P 的概率空间为： 123456 0.300.250.210.100.090.05X x x x x x x P ????=???????? 根据哈夫曼编码算法对该信源进行哈夫曼编码。并计算其平均码长和编码效率。 调用matlab 哈夫曼编码函数进行哈夫曼编码，与人工编码结果做比较。 1. huffmandict 函数： 为已知概率分布的信源模型生成哈夫曼编解码索引表。
西安交通大学一、试验目的
概率论部分 1.了解 matlab 软件的基本命令与操作； 2.熟悉 matlab 用于描述性统计的基本菜单操作及命令； 3.会用 matlab 求密度函数值、分布函数值、随机变量分布的上 下侧分位数。 数理统计部分 1.熟悉 matlab 进行参数估计、假设检验的基本命令与操作. 2.掌握用 matlab 生成点估计量值的模拟方法 3.会用 matlab 进行总体数学期望和方差的区间估计。 4.会用 matlab 进行单个、两个正态总体均值的假设检验。 5.会用 matlab 进行单个、两个正态总体方差的假设检验。 二、试验问题 实验五、随机变量综合试验 实验内容 1.产生 ?(6),?(10), F(6,10) 和 t (6)四种随机数，并画出相应的频 率直方图； 2.在同一张图中画出了 N(0,1)和 t (6)随机数频率直方图，比较它 们的异同； 3.写出计算上述四种分布的分布函数值和相应上侧分位点命 令.
实验七、对统计中参数估计进行计算机模拟验 证实验内容： 1.产生服从给定分布的随机数，模拟密度函数或概率分布； 2.对分布包含的参数进行点估计，比较估计值与真值的误差； 3.对分布包含的参数进行区间估计，行区间估计，可信度。 三、实验源程序及结果 实验 5 源程序： %清空内存，清空输出屏幕 clc;clear; %首先是指数分布 n = normpdf(-2::14,6); %绘制频率直方图 plot(-2::14,n,'color','r','linewidth',2); ylabel(' 概率密度 '); title('正态分布概率密度'); %t 分布 h1 = figure; t = tpdf(-3::3,6); plot(-3::3,t,'color','g','linewidth',2); ylabel(' 对应频率 '); title('t分布频率密度'); %F 分布 h2 = figure; f = fpdf(0::10,6,10); plot(0::10,f,'color','k','linewidth',2); ylabel(' 对应频率 '); title('F分布频率直方图'); %卡方分布 h3 = figure; ka = chi2pdf(0::15,6); plot(0::15,ka,'color','y','linewidth',2); ylabel(' 对应频率 '); title('卡方分布频率直方图'); %再来绘图 h4 = subplot(2,1,1); y1=normpdf(-10::10,0,1);
本科生实验报告 实验课程信息论与编码 学院名称信息科学与技术学院 专业名称通信工程 学生姓名 学生学号 指导教师谢振东 实验地点6C601 实验成绩 二〇一五年十一月二〇一五年十一月
实验一：香农（Shannon ）编码 一、实验目的 掌握通过计算机实现香农编码的方法。 二、实验要求 对于给定的信源的概率分布，按照香农编码的方法进行计算机实现。 三、实验基本原理 给定某个信源符号的概率分布，通过以下的步骤进行香农编码 1、将信源消息符号按其出现的概率大小排列 )()()(21n x p x p x p ≥≥≥ 2、确定满足下列不等式的整数码长K i ； 1)(l o g )(l o g 22+-<≤-i i i x p K x p 3、为了编成唯一可译码，计算第i 个消息的累加概率 ∑ -== 1 1 )(i k k i x p p 4、将累加概率P i 变换成二进制数。 5、取P i 二进制数的小数点后K i 位即为该消息符号的二进制码。 四、源程序： #include int i,j; for(i=0;i 概率论上机实验报告 实验目的 1. 学习使用MATLAB 中常见分布相关的命令； 2. 学习绘制概率分布律与分布函数图形； 3. 利用随机数对随机事件进行模拟； 4. 体会随机事件发生频率与概率的关系，加深对概率论的理解。 实验内容 1. 列出常见分布的概率密度及分布函数的命令，并操作。 2. 掷硬币150次，其中正面出现的概率为0.5，这150次中正面出现的次数记为X ， （1） 试计算45=X 的概率和45≤X 的概率； （2）绘制分布函数图形和概率分布律图形。 3. 用Matlab 软件生成服从二项分布的随机数，并验证泊松定理。 4. 设22221),(y x e y x f +-=π是一个二维随机变量的联合概率密度函数，画出这一函数的联合概率密度图像。 5. 来自某个总体的样本观察值如下，计算样本的样本均值、样本方差、画出频率直方图。 A=[16 25 19 20 25 33 24 23 20 24 25 17 15 21 22 26 15 23 22 20 14 16 11 14 28 18 13 27 31 25 24 16 19 23 26 17 14 30 21 18 16 18 19 20 22 19 22 18 26 26 13 21 13 11 19 23 18 24 28 13 11 25 15 17 18 22 16 13 12 13 11 09 15 18 21 15 12 17 13 14 12 16 10 08 23 18 11 16 28 13 21 22 12 08 15 21 18 16 16 19 28 19 12 14 19 28 28 28 13 21 28 19 11 15 18 24 18 16 28 19 15 13 22 14 16 24 20 28 18 18 28 14 13 28 29 24 28 14 18 18 18 08 21 16 24 32 16 28 19 15 18 18 10 12 16 26 18 19 33 信息论实验报告 学生： 班级： 学号： 实验一香农编码一、程序设计的流程图 二、程序清单 #include #include aa=tem-1; } else { MM[i]+='0'; aa=tem; } } } string BB[N]; for(int i=0;i 实验报告 课程名称：信息论与编码姓名： 系：专 业：年 级：学 号：指导教 师：职 称： 年月日 目录 实验一信源熵值的计算 (1) 实验二Huffman 信源编码. (5) 实验三Shannon 编码 (9) 实验四信道容量的迭代算法 (12) 实验五率失真函数 (15) 实验六差错控制方法 (20) 实验七汉明编码 (22) 实验一信源熵值的计算 、实验目的 1 进一步熟悉信源熵值的计算 2 熟悉Matlab 编程 、实验原理 熵(平均自信息)的计算公式 q q 1 H(x) p i log2 p i log2 p i i 1 p i i 1 MATLAB实现：HX sum( x.* log2( x))；或者h h x(i)* log 2 (x(i )) 流程：第一步：打开一个名为“ nan311”的TXT文档，读入一篇英文文章存入一个数组temp，为了程序准确性将所读内容转存到另一个数组S，计算该数组中每个字母与空格的出现次数( 遇到小写字母都将其转化为大写字母进行计数) ，每出现一次该字符的计数器+1；第二步：计算信源总大小计算出每个字母和空格出现的概率；最后，通过统计数据和信息熵公式计算出所求信源熵值(本程序中单位为奈特nat )。 程序流程图： 三、实验内容 1、写出计算自信息量的Matlab 程序 2、已知：信源符号为英文字母(不区分大小写)和空格输入：一篇英文的信源文档。输出：给出该信源文档的中各个字母与空格的概率分布，以及该信源的熵。 四、实验环境 Microsoft Windows 7 五、编码程序 #include"stdio.h" #include 概率论与数理统计上机实验报告 一、实验内容 使用MATLAB 软件进行验证性实验，掌握用MATLAB 实现概率统计中的常见计算。本次实验包括了对二维随机变量，各种分布函数及其图像以及频率直方图的考察。 1、列出常见分布的概率密度及分布函数的命令，并操作。 2、掷硬币150次，其中正面出现的概率为0.5，这150次中正面出现的次数记为X ， (1) 试计算45=X 的概率和45≤X 的概率； (2) 绘制分布函数图形和概率分布律图形。 3、用Matlab 软件生成服从二项分布的随机数，并验证泊松定理。 4、设2 2221),(y x e y x f +-=π是一个二维随机变量的联合概率密度函数，画出这 一函数的联合概率密度图像。 5、来自某个总体的样本观察值如下，计算样本的样本均值、样本方差、画出频率直方图。 A=[16 25 19 20 25 33 24 23 20 24 25 17 15 21 22 26 15 23 22 20 14 16 11 14 28 18 13 27 31 25 24 16 19 23 26 17 14 30 21 18 16 18 19 20 22 19 22 18 26 26 13 21 13 11 19 23 18 24 28 13 11 25 15 17 18 22 16 13 12 13 11 09 15 18 21 15 12 17 13 14 12 16 10 08 23 18 11 16 28 13 21 22 12 08 15 21 18 16 16 19 28 19 12 14 19 28 28 28 13 21 28 19 11 15 18 24 18 16 28 19 15 13 22 14 16 24 20 28 18 18 28 14 13 28 29 24 28 14 18 18 18 08 21 16 24 32 16 28 19 15 18 18 10 12 16 26 18 19 33 08 11 18 27 23 11 22 22 13 28 14 22 18 26 18 16 32 27 25 24 17 17 28 33 16 20 28 32 19 23 18 28 15 24 28 29 16 17 19 18] 6. 利用Matlab 软件模拟高尔顿板钉试验。 7. 自己选择一个与以上问题不同类型的概率有关的建模题目，并解决。 二、实验目的 1.要求能够利用MATLAB 进行统计量的运算。 2.要求能够使用常见分布函数及其概率密度的命令语句。 3.要求能够利用MATLAB 计算某随机变量的概率。 4.要求能够利用MATLAB 绘制频率直方分布图。 《信息论与信源编码》实验报告 1、实验目的 (1) 理解信源编码的基本原理； (2) 熟练掌握Huffman编码的方法； (3) 理解无失真信源编码和限失真编码方法在实际图像信源编码应用中的差异。 2、实验设备与软件 (1) PC计算机系统 (2) VC++6.0语言编程环境 (3) 基于VC++6.0的图像处理实验基本程序框架imageprocessing_S (4) 常用图像浏览编辑软件Acdsee和数据压缩软件winrar。 (5) 实验所需要的bmp格式图像（灰度图象若干幅） 3、实验内容与步骤 (1) 针对“图像1.bmp”、“图像2.bmp”和“图像3.bmp”进行灰度频率统计（即计算图像灰度直方图），在此基础上添加函数代码构造Huffman码表，针对图像数据进行Huffman编码，观察和分析不同图像信源的编码效率和压缩比。 (2) 利用图像处理软件Acdsee将“图像1.bmp”、“图像2.bmp”和“图像 3.bmp”转换为质量因子为10、50、90的JPG格式图像（共生成9幅JPG图像），比较图像格式转换前后数据量的差异，比较不同品质因素对图像质量的影响； (3) 数据压缩软件winrar将“图像1.bmp”、“图像2.bmp”和“图像3.bmp”分别生成压缩包文件，观察和分析压缩前后数据量的差异； (4) 针对任意一幅图像，比较原始BMP图像数据量、Huffman编码后的数据量（不含码表）、品质因素分别为10、50、90时的JPG文件数据量和rar压缩包的数据量，分析不同编码方案下图像数据量变化的原因。 4、实验结果及分析 (1)在VC环境下，添加代码构造Huffman编码表，对比试验结果如下： a.图像1.bmp： 西安交通大学 概率论实验报告 计算机36班 南夷非 2130505135 2014年12月13日 一、实验目的 1.熟练掌握MATLAB 软件关于概率分布作图的基本操作，会进行常用的概率密度函数和分布函数的作图，绘出分布律图形。 2.利用MATLAB 软件解决一些概率论问题在实际生活中的应用。 二、实验内容 1.二项分布的泊松分布与正态分布的逼近 设 X ~ B(n ，p) ，其中np=2 1) 对n=101,…,105,讨论用泊松分布逼近二项分布的误差。 画处逼近的图形 2) 对n=101,…,105, 计算 )505(≤ 纸的需求量X的分布律为 试确定报纸的最佳购进量n。（要求使用计算机模拟） 4．蒲丰投针实验 取一张白纸，在上面画出多条间距为d的平行直线，取一长度为r（r 实验一 绘制二进熵函数曲线（2个学时） 一、实验目的： 1. 掌握Excel 的数据填充、公式运算和图表制作 2. 掌握Matlab 绘图函数 3. 掌握、理解熵函数表达式及其性质 二、实验要求： 1. 提前预习实验，认真阅读实验原理以及相应的参考书。 2. 在实验报告中给出二进制熵函数曲线图 三、实验原理： 1. Excel 的图表功能 2. 信源熵的概念及性质 ()()[] ()[]())(1)(1 .log )( .) ( 1log 1log ) (log )()(10 , 110)(21Q H P H Q P H b n X H a p H p p p p x p x p X H p p p x x X P X i i i λλλλ-+≥-+≤=--+-=-=≤≤? ?????-===??????∑ 单位为 比特/符号 或 比特/符号序列。 当某一符号xi 的概率p(xi)为零时，p(xi)log p(xi) 在熵公式中无意义，为此规定这时的 p(xi)log p(xi) 也为零。当信源X 中只含有一个符号x 时，必有p(x)=1，此时信源熵H （X ）为零。 四、实验内容： 用Excel 和Matlab 软件制作二进熵函数曲线。根据曲线说明信源熵的物理意义。 （一） Excel 具体步骤如下： 1、启动Excel 应用程序。 2、准备一组数据p 。在Excel 的一个工作表的A 列（或其它列）输入一组p ，取步长为0.01，从0至100产生101个p （利用Excel 填充功能）。 3、取定对数底c，在B列计算H(x) ,注意对p=0与p=1两处，在B列对应位置直接输入0。Excel中提供了三种对数函数LN(x),LOG10(x)和LOG(x,c)，其中LN(x)是求自然对数，LOG10(x)是求以10为底的对数，LOG(x,c)表示求对数。选用c=2,则应用函数LOG(x,2)。 在单元格B2中输入公式：=-A2*LOG(A2,2)-(1-A2)*LOG(1-A2,2) 双击B2的填充柄，即可完成H(p)的计算。 4、使用Excel的图表向导，图表类型选“XY散点图”，子图表类型选“无数据点平滑散点图”，数据区域用计算出的H(p)数据所在列范围，即$B$1:$B$101。在“系列”中输入X值(即p值)范围，即$A$1:$A$101。在X轴输入标题概率，在Y轴输入标题信源熵。 （二）用matlab软件绘制二源信源熵函数曲线 p = 0.0001:0.0001:0.9999; h = -p.*log2(p)-(1-p).*log2(1-p); plot(p,h) 五、实验结果 信息论概念复习题 一、填空 1948年，美国数学家 香农 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。 人们研究信息论的目的是为了 高效、可靠、安全 地交换和利用各种各样的信息。 信息的 可度量性 是建立信息论的基础。 统计度量 是信息度量最常用的方法。 熵 是香农信息论最基本最重要的概念。 事物的不确定度是用时间统计发生 概率的对数 来描述的。 7、单符号离散信源一般用随机变量描述，而多符号离散信源一般用 随机矢量 描述。 8、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概率对数的负值 。 9、自信息量的单位一般有 比特、奈特和哈特 。 10、必然事件的自信息是 0 。 11、不可能事件的自信息量是 ∞ 。 12、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。 13、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。 14、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍 。 15、离散平稳有记忆信源的极限熵， =∞H ) /(lim 1 21-∞→N N N X X X X H 。 16、对于n 元m 阶马尔可夫信源，其状态空间共有 nm 个不同的状态。 17、一维连续随即变量X 在[a ，b]区间内均匀分布时，其信源熵为 log2（b-a ） 。 18、根据输入输出信号的特点，可将信道分成离散信道、连续信道、半离散或半连续 信道。 19、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为 无记忆 信道。 20、具有一一对应关系的无噪信道的信道容量C= log2n 。 21、对称信道的信道容量C= log2m-Hmi 。 22、对于离散无记忆信道和信源的N 次扩展，其信道容量CN= NC 。 24、信道编码定理是一个理想编码的存在性定理，即：信道无失真传递信息的条件是 信息率小于信道容量 。 25、信息率失真理论是量化、数模转换、频带压缩和 数据压缩 的理论基础。 26、求解率失真函数的问题，即：在给定失真度的情况下，求信息率的 极小值 。 27、单符号的失真度或失真函数d （xi ，yj ）表示信源发出一个符号xi ，信宿再现yj 所引起的 误差或失真 。 28、汉明失真函数 d （xi ，yj ）=? ??≠=j i j i 1 0 。 29、如果规定平均失真度D 不能超过某一限定的值D ，即：D D ≤。我们把D D ≤称为 保真度准则 。 30 、 试验信道的集合用PD 来表示，则PD= {}m j n i D D x y p i j ,,2,1,,,2,1;:)/( ==≤ 。 信息论与编码实验一实验报告 学生姓名周群创 指导教师张祖平 学号0909110814 专业班级电子信息1101 实验一关于信源熵的实验 一、实验目的 1. 掌握离散信源熵的原理和计算方法。 2. 熟悉matlab 软件的基本操作，练习使用matlab 求解信源的信息熵。 3. 自学图像熵的相关概念，并应用所学知识，使用matlab 或其他开发工具求解图像熵。 4. 掌握Excel 的绘图功能，使用Excel 绘制散点图、直方图。 二、实验原理 1. 离散信源相关的基本概念、原理和计算公式 产生离散信息的信源称为离散信源。离散信源只能产生有限种符号。 随机事件的自信息量I（x i）为其对应的随机变量x i 出现概率对数的负值。即： I（x i）= -log2 p(x i) 随机事件X 的平均不确定度（信源熵）H（X）为离散随机变量x i 出现概 率的数学期望，即： H(X )=-∑p(x )I (x ) =-∑p(x ) log p(x ) 2. 二元信源的信息熵 设信源符号集X={0，1}，每个符号发生的概率分别为p(0)=p，p(1)=q， p+ q=1，即信源的概率空间为 则该二元信源的信源熵为： H(X) = - p log p –q log q = - p log p – (1- p) log (1- p) 即：H (p) = - p log p – (1- p) log (1- p) 其中0 ≤p ≤1 3. MATLAB 二维绘图 用matlab 中的命令plot(x, y)就可以自动绘制出二维图来。 例1-2，在matlab 上绘制余弦曲线图，y = cos x，其中0 ≤x ≤2。>>x=0:0.1:2*pi；%生成横坐标向量，使其为0，0.1，0.2，…，6.2 >>y=cos(x)；%计算余弦向量 >>plot(x,y) %绘制图形 4. MATLAB 求解离散信源熵 求解信息熵过程： 1) 输入一个离散信源，并检查该信源是否是完备集。 2) 去除信源中符号分布概率为零的元素。 3) 根据平均信息量公式，求出离散信源的熵。 5. 图像熵的相关知识 图像熵是一种特征的统计形式，它反映了图像中平均信息量的多少。图像的 实验报告 学院：专业：班级： 姓名：学号：实验日期： 实验名称： 实验一：唯一可译码判别准则的代码实现 实验二：霍夫曼编码的代码实现 实验目的： 实验一： 1.进一步熟悉唯一可译码判别准则； 2.掌握C 语言字符串处理程序的设计和调试技术。 实验二： 1.进一步熟悉Huffman 编码过程； 2.掌握C 语言递归程序的设计和调试技术。 实验仪器： 装有visual studio 2010 的电脑一台 实验原理： 实验一： 根据唯一可译码的判别方法，利用数据结构所学的知识，定义字符串数据类型并利用指针进行编程来实现算法。 算法：1、考察 C 中所有的码字，若Wi 是Wj 的前缀，则将对应的后缀作为一个尾随后缀码放入集合Fi+1 中； 2、考察C 和Fi 俩个集合，若Wi ∈C 是Wj∈F 的前缀或Wi ∈F 是Wj∈C 的前缀，则将相应的后缀作为尾随后缀码放入集合Fi+1 中； 3、F=∪Fi 即为码C 的尾随后缀集合； 4、若F 中出现了C 中的元素，算法终止，返回假（C 不是唯一可译码）；否 则若F 中没有出现新的元素，则返回真。 实验二： 1.将q 个信源符合按概率大小递减排列; 2.用“0,1”码符号分别代表概率最小的两个信源符号，并将这两个概率最小的信源符号合并成一个，从而得到只包含q-1 个符号的新信源，称为缩减信源s 1； 3.把缩减信源s1的符号仍按概率大小递减次序排列，再将其最后两个概率最小的信源符号分别用“0”和“1”码符号表示，并且合并成一个符号，这样又形成了q-2 个信源符号的缩减信源s 2； 4.依次继续下去，直至信源符号最后只剩下两个信源符号为止，将这最后两个信源符号分别用二元码符号“0”和“1”表示； 5.然后从最后一级缩减信源开始，进行回溯，就得到各信源符号所对应的码符号序列，即对应的码字。 实验内容与步骤： 实验一： 1.已知：信源符号数和码字集合C； 2.输入：任意的一个码，码字的个数和每个具体的码字在运行时从键盘输入； 3.输出：判决（是唯一可译码/不是唯一可译码）；循环（若继续判决则输入1 循环判决，否则输入0 结束运行）。 实验二： 1. 输入：信源符号个数r、信源的概率分布P； 2. 输出：每个信源符号对应的Huffman 编码的码字。 实验数据： 实验一源代码： #include 信息论与编码实验报告-标准化文件发布号：（9456-EUATWK-MWUB-WUNN-INNUL-DDQTY-KII 实验一关于硬币称重问题的探讨 一、问题描述： 假设有N 个硬币，这N 个硬币中或许存在一个特殊的硬币，这个硬币或轻 或重，而且在外观上和其他的硬币没什么区别。现在有一个标准天平，但是无刻度。现在要找出这个硬币，并且知道它到底是比真的硬币重还是轻，或者所有硬币都是真的。请问： 1）至少要称多少次才能达到目的； 2）如果N=12，是否能在3 次之内将特殊的硬币找到；如果可以，要怎么称？ 二、问题分析： 对于这个命题，有几处需要注意的地方： 1）特殊的硬币可能存在，但也可能不存在，即使存在，其或轻或重未知； 2）在目的上，不光要找到这只硬币，还要确定它是重还是轻； 3）天平没有刻度，不能记录每次的读数，只能判断是左边重还是右边重，亦或者是两边平衡； 4）最多只能称3 次。 三、解决方案： 1.关于可行性的分析 在这里，我们把称量的过程看成一种信息的获取过程。对于N 个硬币，他们 可能的情况为2N+1 种，即重（N 种），轻（N 种）或者无假币（1 种）。由于 这2N+1 种情况是等概率的，这个事件的不确定度为： Y=Log(2N+1) 对于称量的过程，其实也是信息的获取过程，一是不确定度逐步消除的过程。 每一次称量只有3 种情况：左边重，右边重，平衡。这3 种情况也是等概率 的，所以他所提供的信息量为： y=Log3 在K 次测量中，要将事件的不确定度完全消除，所以 K= Log(2N+1)/ Log3 根据上式，当N=12 时，K= 2.92< 3 所以13 只硬币是可以在3 次称量中达到 信息论基础1答案 《信息论基础》答案 一、填空题（本大题共10小空，每小空1分，共20分） 1.按信源发出符号所对应的随机变量之间的无统计依赖关系，可将离散信源分为有记忆信源和无记忆信源两大类。 2.一个八进制信源的最大熵为3bit/符号 3.有一信源X ，其概率分布为 123x x x X 111P 2 44?? ?? ?=?? ??? ?? ， 其信源剩余度为94.64%；若对该信源进行十次扩展，则每十个符号的平均信息量是 15bit 。 4.若一连续消息通过放大器，该放大器输出的最大瞬间电压为b ，最小瞬时电压为a 。若消息从放大器中输出，则该信源的绝对熵是 ∞ ；其能在每个自由度熵的最大熵是log （b-a ） bit/自由度；若放大器的最高频率为F ，则单位时间内输出的最大信息量是 2Flog （b-a ）bit/s. 5. 若某一 信源X ，其平均功率受限为 16w，其概率密度函数是高斯分布时，差熵的 最大值为1log32e π；与其熵相等的非高斯分布信2 源的功率为16w ≥ 6、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。 7、无失真信源编码的平均码长最小理论极限 (S)）。 制为信源熵（或H(S)/logr= H r 8、当R=C或（信道剩余度为0）时，信源与信道达到匹配。 9、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。 10、在下面空格中选择填入数学符号“,,, =≥≤?”或“?” （1）当X和Y相互独立时，H（XY）=H(X)+H(X/Y)。 （2）假设信道输入用X表示，信道输出用Y 表示。在无噪有损信道中，H(X/Y)> 0, H(Y/X)=0,I(X;Y) 《非参数统计》课程实验教学大纲 大纲制定（修订）时间： 2017 年 6 月 课程名称：《非参数统计》课程编码：090531007 课程类别：专业基础课课程性质：必修 适用专业：应用统计学 课程总学时：40 实验（上机）计划学时：8 开课单位：理学院 一、大纲编写依据 1.应用统计学专业2017版教学计划； 2.应用统计学专业《非参数统计》理论教学大纲对实验环节的要求； 3.近年来《非参数统计》实验教学经验。 二、实验课程地位及相关课程的联系 1. 非参数统计是应用统计学专业学生的一门专业基础必修课。 2.本实验以《概率论与数理统计》为先修课； 3.与《数理统计》课程相辅相成。 三、实验目的、任务和要求 1.开设本课程的目的是为了满足日后学生参加统计调查实践工作的需要。 2.掌握单样本模型、两样本位置模型、多样本分类数据模型中的各种非参数统计检验方法，以及检验尺度参数是否相等的各种非参数方法，掌握各种回归的方法，掌握分布检验的各种方法，通过利用各种统计软件（包括SPSS、R软件）实现对样本调查数据的处理与分析，能在真实案例中应用相应的方法。 四、教学方法、教学形式、教学手段的特色 1.每个实验由教师指定实验内容及要求，由学生独立完成上机操作，得出正确的结果。 2.学生要书写实验报告，记录式样结果。 五、实验内容和学时分配 实验一位置参数的检验在统计软件中的实现 1、实验目的：掌握单样本、两样本和多样本位置参数的检验在统计软件中的实现过程。 2、实验要求：将操作过程及结果书写出来，并且将结果截图后贴在实验报告上。 3、实验内容：根据实际问题，个人设计检验总体，获取数据，进行检验。 4、主要仪器设备及试剂：（据实选填）计算机·50台·SPSS/EXCEL软件 实验二尺度参数的检验在统计软件中的实现 1、实验目的：掌握两样本和多样本尺度参数的检验在统计软件中的实现过程。 2、实验要求：把操作过程及结果书写出来，并且上交实验报告。 3、实验内容：根据实际问题，个人设计检验总体，获取数据，进行检验。 4、主要仪器设备及试剂：（据实选填）计算机·50台·SPSS/EXCEL软件 实验三相关与回归分析在统计软件中的实现 1、实验目的：掌握Spearman秩相关检验、Kendall协同检验与Theil回归在统计软件中的实现过程，并与Pearson相关系数与一元线性回归分析比较。 2、实验要求：将各种结果相对照，最后把操作过程及结果书写出来，并且上交实验报告。 3、实验内容：根据实际问题，个人设计检验总体，获取数据，进行检验。 4、主要仪器设备及试剂：（据实选填）计算机·50台·SPSS/EXCEL软件 实验四Kolmogorov-Smirnov检验在统计软件中的实现 1、实验目的：掌握Kolmogorov-Smirnov检验在统计软件中的实现过程，并与卡方检验结果对照。 2、实验要求：将结果相对照，最后把操作过程及结果书写出来，上交实验报告。 3、实验内容：根据实际问题，个人设计检验总体，获取数据，进行检验。 4、主要仪器设备及试剂：（据实选填）计算机·50台·SPSS/EXCEL软件 六、教材（讲义、指导书） 《非参数统计》，吴喜之，赵博娟，中国统计出版社，2013. 七、考核方法和评分标准 1.按照大纲要求，根据每个学生实验前的预习准备，实验过程的考查，实验操作情况及实验报告的质量，综合给出实验成绩。 2.评分等级 评分成绩分优、良、中、及格和不及格五个等级。 优：90分以上 良：80-89分 中：70-79分 及格：60-69分 不及格：59分及以下 具体评定标准如下： 优：实验纪律、预习、操作技能很好，实验报告书写工整无原则错误； 良：实验纪律、预习、操作技能较好，实验报告中原则错误不超过一个； 中：实验纪律、预习、操作技能一般，实验报告中原则错误不超过两个； 及格：实验纪律、预习、操作技能较差，实验报告中原则错误不超过三个； 不及格：实验中严重违章违纪，预习、实验技能均较差，实验报告中数据严重错误。 八、使用说明 1.本实验教学大纲一般随课程进度进行安排，也可集中安排； 信息论与编码实验指导书 1 课程实验目的 本课程是一门实践性很强的专业课和核心课程，根据课程理论教学的需要安排了6学时的配套实验教学，主要内容涉及信息度量的计算方法、典型信源编码方法、典型信道容量计算方法和数据压缩方法四个实验，这四个实验的开设一方面有助于学生消化、巩固课程理论教学的知识，另一方面又可培养学生实践动手能力，同时为后续课程做好准备。 2 课程实验要求 课程实验准备要求 （1）课程实验主要为设计性实验，要求学生熟悉掌握在VC环境下编写和调试C++程序的方法。 （2）要求学生在实验前复习实验所用到的预备知识。可以查阅教材或者相关的参考资料，这需要学生有自主的学习意识和整理知识的能力。 （3）根据实验项目，设计相关的数据结构和算法，再转换为对应的书面程序，并进行静态检查，尽量减少语法错误和逻辑错误。上机前的充分准备能高效利用机时，在有限的时间内完成更多的实验内容。 课程实验过程要求 （1）生成源代码。将课前编写好的书面代码，利用VC自带的编辑器尽快输入为转换为源代码； （2）程序调试和软件测试。要求学生熟练掌握调试工具，调试正确后，认真整理源程序和注释，给出带有完整注释且格式良好的源程序清单和结果。 （3）完成实验报告。根据实验内容和完成情况，按照附件1给定的格式完成课程实验报告的编写。 课程实验报告要求 在每次课程实验后要及时进行总结和整理，并编写课程实验报告。报告格式按江西蓝天学院实验报告纸格式填写。 实验一二维随机变量信息熵的计算 [实验目的] 掌握二变量多种信息量的计算方法。 [实验学时] 2学时 [实验准备] 1．熟悉二变量多种信息量的计算方法，设计实验的数据结构和算法； 2．编写计算二维随机变量信息量的书面程序代码。 [实验内容及步骤] 离散二维随机变换熵的计算 说明： （1）利用random函数和归一化方法构造一个二维离散随机变量（X，Y）； （2）分别计算X与Y的熵、联合熵、条件熵：H（X）、H（Y）、H（X,Y）H（X|Y）、I（X|Y）； （3）对测试通过的程序进行规范和优化； （4）编写本次实验的实验报告。西安交大概率论上机实验报告材料
信息论实验报告-
信息论与编码实验报告材料
西安交大概率论上机实验报告 西安交通大学概率论实验报告
《信息论与信源编码》实验报告
概率论上机实验报告资料
信息论与编码实验报告
信息论概念复习1
实验1_信息论相关实验实验报告
信息论实验报告
信息论与编码实验报告
信息论基础1答案
《非参数统计》实验教学大纲
信息论与编码实验指导书
相关主题
文本预览