(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 201910237892.X
(22)申请日 2019.03.27
(71)申请人 南京大学
地址 210046 江苏省南京市栖霞区仙林大
道163号
(72)发明人 胡雪梅 王鹏 岳涛
(74)专利代理机构 江苏法德东恒律师事务所
32305
代理人 李媛媛
(51)Int.Cl.
G06K 9/62(2006.01)
G06N 3/04(2006.01)
(54)发明名称基于神经网络求解0-1测量矩阵的压缩感知问题的方法(57)摘要本发明公开了一种基于神经网络求解0-1测量矩阵的压缩感知问题的方法。具体步骤如下：(1)通过0-1测量矩阵对图像降采样，制作训练数据集；(2)对训练数据预处理；(3)通过神经网络的全连接层将低维数据恢复到高维；(4)对高维数据进一步处理；(5)将处理后的高维数据传递到由卷积层组成的残差模块，对图像重建恢复；(6)由损失函数计算重建图像与真实图像的误差，通过误差反向传递更新网络的参数；(7)重复步骤(2)～(6)，直至重建图像与真实图像误差较小时，完成神经网络的训练。利用本发明的方法，在重建图像的准确度和对图像噪声的抑制上均
能取得比较好的效果。权利要求书1页 说明书3页 附图2页CN 110033030 A 2019.07.19
C N 110033030
A
1.基于神经网络求解0-1测量矩阵的压缩感知问题的方法，其特征在于，包括如下步骤：
步骤1，使用0-1高斯分布的测量矩阵对数据集图像进行降采样处理，得到降采样后的数据，作为训练数据，制作训练数据与真实图像一一对应的训练集；
步骤2，通过下式，
对步骤1的训练集数据进行预处理：其中y表示训练数据，表示训练数据y的各个元素的平均值，y 2表示训练数据y减去平均值后的数据，
y imax 表示数据y 2的最大元素的值；步骤3，经预处理后的训练集数据输入到神经网络的第一层：线性全连接层，将降采样后的低维训练数据y恢复到采样前的高维数据x 1；
步骤4，将所述高维数据x 1的每个元素加上步骤2中的平均值得到新的数据；
步骤5，将所述新的数据重排列后，输入到由三层卷积层组成的残差神经网络，对图像进行进一步的重建恢复，所述残差神经网络采用三组；
步骤6，通过损失函数计算步骤5得到的重建图像与真实图像之间的误差，进行误差的反向传递，更新神经网络的权重w与偏置的参数b；
步骤7，神经网络参数更新完毕后，重复步骤2-6，直至损失函数计算得到的误差达到期望值，神经网络训练结束。
2.根据权利要求1所述的基于神经网络求解0-1测量矩阵的压缩感知问题的方法，其特征在于，所述步骤1中，降采样处理的方式为：
y＝Φx
其中，测量矩阵Φ∈(m ×n，m＜＜n)，其元素为高斯分布的0和1，x∈(n ×1)为原始信号数据，n为原始信号数据维度，m为降采样后信号数据维度。
3.根据权利要求2所述的基于神经网络求解0-1测量矩阵的压缩感知问题的方法，其特征在于，所述步骤3中，线性全连接层的基本网络形式为：输入层的结点数为降采样后信号数据维度m的值，输出层的结点数为原始信号数据维度n的值，无激活函数。
4.根据权利要求3所述的基于神经网络求解0-1测量矩阵的压缩感知问题的方法，其特征在于，所述步骤5中，将所述新的数据重排列的方式为：将高维数据x 1的n ×1维矩阵变换为维矩阵。
5.根据权利要求4所述的基于神经网络求解0-1测量矩阵的压缩感知问题的方法，其特征在于，所述步骤6中，损失函数为MSE损失函数，其计算方式为：
MSE＝(x output -x truth )2
其中，x output 为重建图像，x truth 为真实图像。
权 利 要 求 书1/1页2CN 110033030 A
收稿日期：2009-12-20 作者简介：罗忠亮（1973-），男，湖南桂阳人，韶关学院计算机科学学院讲师，博士研究生，主要从事图像处理及生物特征识别的研究． 韶关学院学报·自然科学Journal of Shaoguan University ·Natural Science 2010年3月 第31卷第3期基于小波和神经网络的图像压缩方法 罗忠亮 （韶关学院计算机科学学院，广东韶关512005） 摘要：针对图像压缩中压缩率与图像质量的折衷问题，综合利用小波变换和神经网络各自的优点，采用小波和神经网络的方法进行图像压缩.该算法先对图像进行小波分解，保留低频系数，然后将高频系数输入训练的网络进行矢量量化编码达到压缩的目的，最后根据保留的低频系数和还原的高频系数重构图像. 关键词：图像压缩；小波变换；神经网络；峰值信噪比 中图分类号：TP301文献标识码：A 文章编号：1007-5348（2010）03-0025-04 随着多媒体业务和通信技术的不断发展，数字图像中所包含的数据量日益庞大，如何让这些庞大的数据在网络中方便、快捷地传输，这对图像信息的存储和传输技术提出了挑战，而图像数据压缩技术是解决这个问题的关键［1-4］.通过图像冗余数据的减少可达到图像压缩的目的，在保证图像质量的条件下实现图像压缩.由于小波具有良好的时频局部特性和变焦特性并且能很好地体现人眼的视觉特性，而神经网络具有自学习、自适应性、强鲁棒性、高度并行处理能力和推广能力［5,6］.把小波和神经网络结合起来进行图像压缩一直是人们关注的问题.图像经过小波变换后分解为高频子带和低频子带，其中低频分量集中了信号的主要信息,高频部分表现为信号的细节信息.由于人的生理特性决定对细节信息的不敏感，故利用小波可以实现信号压缩的同时尽大可能地保留信号的主要成分［6］.采用小波变换和神经网络的方法进行图像压缩，实验证明比单纯BP 神经网络或小波变换有较高的信噪比和压缩率. 1神经网络模型 1985年，Ackley 和Hinton 等人首次把多层前馈神经网络模型用于数据压缩变换.上世纪80年代中后期，神经网络的研究取得很大进展，涉及的应用领域非常广泛. BP 网络可直接提供数据压缩能力.利用多层前馈网络的模式变换能力实现数据变换的基本思想［2］：把一组输入模式通过少量的隐含层单元映射到一组输出模式，并使输出模式尽可能等于输入模式.当隐含层的单元数比输入模式数少时，就意味着隐含层能更有效地表现输入模式，并把这种表现传送到输出层. 用于图像压缩的神经网络包括输入层、隐含层和输出层，隐含层的节点上小于输入节点数，输入节点数与输出节点数相同.学习时，图像数据既送到输入层，又送到输出层作为教师信号，所使用的学习算法为算法网络训练好后，输入层到隐含层为网络的编码过程，对图像数据进行线性或非线性变换，从隐含层到输出层为网络的解码过程，对经过压缩后的变换系数进行线性或非线性变换，恢复图像的原始数据. 用于学习的图像有N ×N 个像素点，各像素灰度值被量化为m 比特（共2m 个可能的取值）.2m 个灰度值按线性关系转化成0～1之间的数值作为网络的输入和期望输出（教师模式）.网络随机地抽取各n ×n 图像块作为学习模式，用BP 算法学习.通过调整网络中神经元间的连接权值，使训练集图像的重建误差E=f-g 的均值达到最小.训练好的网络隐含层神经元矢量（经量化）便是数据压缩的结果，而输出神经元矢量便是Mar.2010Vol.31No.3
压缩感知理论综述 摘要：信号采样是模拟的物理世界通向数字的信息世界之必备手段。多年来，指导信号采样的理论基础一直是著名的Nyquist采样定理，但其产生的大量数据造成了存储空间的浪费。压缩感知（Compressed Sensing）提出一种新的采样理论，它能够以远低于Nyquist采样速率采样信号。本文详述了压缩感知的基本理论，着重介绍了信号稀疏变换、观测矩阵设计和重构算法三个方面的最新进展，并介绍了压缩感知的应用及仿真，举例说明基于压缩感知理论的编解码理论在一维信号、二维图像处理上的应用。 关键词：压缩感知；稀疏表示；观测矩阵；编码；解码 一、引言 Nyquist采样定理指出，采样速率达到信号带宽的两倍以上时，才能由采样信号精确重建原始信号。可见，带宽是Nyquist采样定理对采样的本质要求。然而随着人们对信息需求量的增加，携带信息的信号带宽越来越宽，以此为基础的信号处理框架要求的采样速率和处理速度也越来越高。解决这些压力常见的方案是信号压缩。但是，信号压缩实际上是一种资源浪费，因为大量的不重要的或者只是冗余信息在压缩过程中被丢弃。从这个意义而言，我们得到以下结论：带宽不能本质地表达信号的信息，基于信号带宽的Nyquist采样机制是冗余的或者说是非信息的。 于是很自然地引出一个问题：能否利用其它变换空间描述信号，建立新的信号描述和处理的理论框架，使得在保证信息不损失的情况下，用远低于Nyquist 采样定理要求的速率采样信号，同时又可以完全恢复信号。与信号带宽相比，稀疏性能够直观地而且相对本质地表达信号的信息。事实上，稀疏性在现代信号处理领域起着至关重要的作用。近年来基于信号稀疏性提出一种称为压缩感知或压缩采样的新兴采样理论，成功实现了信号的同时采样与压缩。 简单地说，压缩感知理论指出：只要信号是可压缩的或在某个变换域是稀疏的，那么就可以用一个与变换基不相关的观测矩阵将变换所得高维信号投影到一个低维空间上，然后通过求解一个优化问题就可以从这些少量的投影中以高概率重构出原信号，可以证明这样的投影包含了重构信号的足够信息。在该理论框架
压缩感知的重构算法 算法的重构是压缩感知中重要的一步，是压缩感知的关键之处。因为重构算法关系着信号能否精确重建，国内外的研究学者致力于压缩感知的信号重建，并且取得了很大的进展，提出了很多的重构算法，每种算法都各有自己的优缺点，使用者可以根据自己的情况，选择适合自己的重构算法，大大增加了使用的灵活性，也为我们以后的研究提供了很大的方便。 压缩感知的重构算法主要分为三大类： 1.组合算法 2.贪婪算法 3.凸松弛算法 每种算法之中又包含几种算法，下面就把三类重构算法列举出来。 组合算法：先是对信号进行结构采样，然后再通过对采样的数据进行分组测试，最后完成信号的重构。 (1) 傅里叶采样（Fourier Representaion） (2) 链式追踪算法（Chaining Pursuit） (3) HHS追踪算法（Heavy Hitters On Steroids） 贪婪算法：通过贪婪迭代的方式逐步逼近信号。 (1) 匹配追踪算法（Matching Pursuit MP） (2) 正交匹配追踪算法（Orthogonal Matching Pursuit OMP） (3) 分段正交匹配追踪算法（Stagewise Orthogonal Matching Pursuit StOMP）
(4) 正则化正交匹配追踪算法（Regularized Orthogonal Matching Pursuit ROMP） (5) 稀疏自适应匹配追踪算法（Sparisty Adaptive Matching Pursuit SAMP） 凸松弛算法： (1) 基追踪算法（Basis Pursuit BP） (2) 最小全变差算法（Total Variation TV） (3) 内点法（Interior-point Method） (4) 梯度投影算法（Gradient Projection） (5) 凸集交替投影算法（Projections Onto Convex Sets POCS）算法较多，但是并不是每一种算法都能够得到很好的应用，三类算法各有优缺点，组合算法需要观测的样本数目比较多但运算的效率最高，凸松弛算法计算量大但是需要观测的数量少重构的时候精度高，贪婪迭代算法对计算量和精度的要求居中，也是三种重构算法中应用最大的一种。下面分别就贪婪算法中的MP，OMP算法以及凸松弛算法中的BP算法进行详细的介绍。 三种重建算法 本节主要是介绍一些基本的重建算法，比如贪婪迭代算法中的匹配追踪算法，正交匹配追踪算法，以及凸松弛算法中的基追踪算法，对其原理进行了介绍，并用matlab代码重构出来一维和二维的图形，进而比较这几种算法的性能。
(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201910237892.X (22)申请日 2019.03.27 (71)申请人 南京大学 地址 210046 江苏省南京市栖霞区仙林大 道163号 (72)发明人 胡雪梅 王鹏 岳涛 (74)专利代理机构 江苏法德东恒律师事务所 32305 代理人 李媛媛 (51)Int.Cl. G06K 9/62(2006.01) G06N 3/04(2006.01) (54)发明名称基于神经网络求解0-1测量矩阵的压缩感知问题的方法(57)摘要本发明公开了一种基于神经网络求解0-1测量矩阵的压缩感知问题的方法。具体步骤如下：(1)通过0-1测量矩阵对图像降采样，制作训练数据集；(2)对训练数据预处理；(3)通过神经网络的全连接层将低维数据恢复到高维；(4)对高维数据进一步处理；(5)将处理后的高维数据传递到由卷积层组成的残差模块，对图像重建恢复；(6)由损失函数计算重建图像与真实图像的误差，通过误差反向传递更新网络的参数；(7)重复步骤(2)～(6)，直至重建图像与真实图像误差较小时，完成神经网络的训练。利用本发明的方法，在重建图像的准确度和对图像噪声的抑制上均 能取得比较好的效果。权利要求书1页 说明书3页 附图2页CN 110033030 A 2019.07.19 C N 110033030 A
1.基于神经网络求解0-1测量矩阵的压缩感知问题的方法，其特征在于，包括如下步骤： 步骤1，使用0-1高斯分布的测量矩阵对数据集图像进行降采样处理，得到降采样后的数据，作为训练数据，制作训练数据与真实图像一一对应的训练集； 步骤2，通过下式， 对步骤1的训练集数据进行预处理：其中y表示训练数据，表示训练数据y的各个元素的平均值，y 2表示训练数据y减去平均值后的数据， y imax 表示数据y 2的最大元素的值；步骤3，经预处理后的训练集数据输入到神经网络的第一层：线性全连接层，将降采样后的低维训练数据y恢复到采样前的高维数据x 1； 步骤4，将所述高维数据x 1的每个元素加上步骤2中的平均值得到新的数据； 步骤5，将所述新的数据重排列后，输入到由三层卷积层组成的残差神经网络，对图像进行进一步的重建恢复，所述残差神经网络采用三组； 步骤6，通过损失函数计算步骤5得到的重建图像与真实图像之间的误差，进行误差的反向传递，更新神经网络的权重w与偏置的参数b； 步骤7，神经网络参数更新完毕后，重复步骤2-6，直至损失函数计算得到的误差达到期望值，神经网络训练结束。 2.根据权利要求1所述的基于神经网络求解0-1测量矩阵的压缩感知问题的方法，其特征在于，所述步骤1中，降采样处理的方式为： y＝Φx 其中，测量矩阵Φ∈(m ×n，m＜＜n)，其元素为高斯分布的0和1，x∈(n ×1)为原始信号数据，n为原始信号数据维度，m为降采样后信号数据维度。 3.根据权利要求2所述的基于神经网络求解0-1测量矩阵的压缩感知问题的方法，其特征在于，所述步骤3中，线性全连接层的基本网络形式为：输入层的结点数为降采样后信号数据维度m的值，输出层的结点数为原始信号数据维度n的值，无激活函数。 4.根据权利要求3所述的基于神经网络求解0-1测量矩阵的压缩感知问题的方法，其特征在于，所述步骤5中，将所述新的数据重排列的方式为：将高维数据x 1的n ×1维矩阵变换为维矩阵。 5.根据权利要求4所述的基于神经网络求解0-1测量矩阵的压缩感知问题的方法，其特征在于，所述步骤6中，损失函数为MSE损失函数，其计算方式为： MSE＝(x output -x truth )2 其中，x output 为重建图像，x truth 为真实图像。 权 利 要 求 书1/1页2CN 110033030 A
clc;clear %% 1. 时域测试信号生成 %产生长度为N=256的稀疏信号，其稀疏度K=23且这23个非零值随机分布于信号256个位置 %观测向量y的长度M=80，即采样率M/N=0.3 N=256; K=23; M=80; x = zeros(N,1); q = randperm(N); x(q(1:K)) =randn(K,1); %原始信号 %% 2. 测量矩阵及观测值获得 Phi=randn(M,N); %测量矩阵% 感知矩阵（高斯分布白噪声）M*N matrixNorm = Phi.'*Phi; matrixNorm = sqrt(diag(matrixNorm)).'; Phi = Phi./repmat(matrixNorm, [M,1]); %注意，观测矩阵是要归一化的，因为原子范数要是1！ y=Phi*x ; %获得线性测量 %% 3.用MP算法重构信号 iterations=K; % 算法迭代次数(m>=K) %signal_reconstruct=zeros(1,1); % 近似解矩阵(初始值为空矩阵) r_n=y; % 残差值M*1 x_rec=zeros(N,1); for times=1:iterations for col=1:N %感知矩阵的所有列向量 innerpro(col)=Phi(:,col)'*r_n; %计算余量和感知矩阵每一列的内积end [val,pos]=max(abs(innerpro) ); %找出内积中绝对值最大的元素和它的对应的感知矩阵的列pos x_rec(pos)=x_rec(pos)+innerpro(pos); %计算新的近似x_rec r_n=r_n-innerpro(pos)*Phi(:,pos); %更新残差 end norm(x_rec-x)/norm(x) % 重构误差 subplot(3,1,1);plot(x);title('origin'); subplot(3,1,2);plot(x_rec);title('reconstruct'); subplot(3,1,3);plot(r_n);title('残差');
基于压缩感知的图像重构模型的设计 压缩感知打破了传统的奈奎斯特采样定律，可以用远小于奈奎斯特采样定律所要求的采样率从较少的测量值中高精度的重构出原始信号。文章利用MATLAB GUI对基于压缩感知理论的图像压缩重构模型进行设计，该模型界面友好，操作简单方便。 标签：压缩感知；小波变换；图像重构；模型设计 引言 压缩感知理论为信号采集带来了革命性的突破，在信号具有可压缩性或稀疏性的前提下，压缩感知理论能以远低于奈奎斯特频率的采样率对信号进行采样，通过数值最优化准确重构原始信号[1-4]。压缩感知理论是编解码思想的一个突破，减轻了信号采样、传输和存储遇到的巨大压力，是一种信息获取及处理的全新的理论框架。 本文将利用MATLAB GUI进行基于压缩感知理论的图像重构模型的设计，使模型使用者方便操作界面。MATLAB是Math Works公司用C语言开发的集编程、数据结构和图形用户界面于一身的广泛被大家使用并具备矩阵及科学计算功能的一款较完备的软件，在该软件平台下进行的仿真以及系统模型的设计，在界面和性能上面远远超过很多软件，其专业性更是使其在很多领域有广泛的应用，其中能快速的利用图形用户界面（GUI）方式进行程序设计，这给设计者带来了极大的便利[5]。 1 基于小波变换的压缩感知 本节通过对原始图像采用小波变换，从而获得稀疏的小波系数矩阵，并利用高斯随机测量矩阵对稀疏变换后的小波系数进行测量，得到M个测量值，再通过OMP算法重构小波变换域下的稀疏矩阵，最后通过稀疏逆变换就可以得到重构后的图像。 本节选取大小为256×256的图像X，采样率为0.5对图像进行变化重构。本文实验仿真所得的PSNR值均经过10次仿真测量求平均值所得。 2 模型设计的主要步骤 根据上述基于小波变换的压缩感知进行模型设计[6]，主要步骤包括： （1）根据需求制定模型的重点功能，继而根据功能设计各个功能子模块。 （2）根据初始需求以及大致目标设计出最原始的软件界
.1压缩感知部分 压缩感知算法主要可分为三类：贪婪迭代算法、凸凸优化（或最优化逼近方法）和基于贝叶斯框架提出的重构算法。由于第三类方法注重信号的时间相关性，不适合图像处理问题，故目前的研究成果主要集中在前两类中。目前已实现6中算法，分别为正交匹配追踪法（）、迭代硬阈值法（）、分段正交匹配追踪法（）、分段弱正交匹配追踪法（）、广义正交匹配追踪（）、基追踪法（）。 1.1 正交匹配追踪法（） 在正交匹配追踪中，残差是总与已经选择过的原子正交的。这意味着一个原子不会被选择两次，结果会在有限的几步收敛。的算法如下 (1)用x表示你的信号，初始化残差e0； (2)选择与e0内积绝对值最大的原子，表示为φ1； (3)将选择的原子作为列组成矩阵Φt，定义Φt列空间的正交投影算子为 通过从e0减去其在Φt所张成空间上的正交投影得到残差e1； (4)对残差迭代执行(2)、(3)步； 其中I为单位阵。需要注意的是在迭代过程中Φt为所有被选择过的原子组成的矩阵，因此每次都是不同的，所以由它生成的正交投影算子矩阵P每次都是不同的。 (5)直到达到某个指定的停止准则后停止算法。 减去的是在所有被选择过的原子组成的矩阵Φt所张成空间上的正交投影，而减去的是在本次被选择的原子φm所张成空间上的正交投影。 经算法重构后的结果如下所示： 算法的使用时间如下：
1.2 迭代硬阈值法（） 目标函数为 这里中的M应该指的是，S应该指的是。这里要求： 之后我们利用式 对目标函数进行变形。接着便是获得极值点： 利用该式进行迭代可以得到极值点，我们需要的是最小值。此时目标函数的最小值就得到了。此时便得到我们需要的公式： 我们要保证向量y的稀疏度不大于M，即，为了达到这一目标，要保留最大的M项（因为是平方，所以要取绝对值），剩余的置零（注意这里有个负号，所以要保留最大的M项）。 算法结果：
使用部分随机循环测量矩阵的1-bit压缩感知的频谱侦测网络系统 摘要：最近研究的压缩感知理论可以在一定基础上从高概率的不完整信息的稀疏信号中完成信号的采集与重建。本文将压缩感知应用于网络系统中的频谱感知。为了解决计算与通信开销的问题，本文采用结构压缩感知和1-bit压缩感知技术。基于使用部分随机循环矩阵测量可以在稍微增加测量数量的基础上减少计算复杂度的现实上，将一个循环矩阵分解为结构性矩阵的乘法。本文权衡了计算复杂度和压缩性能之间的关系。1-bit压缩感知仅从测得的数据中提取标志数据（1-bit 量化），并且从提取的标志数据中重构原始信号。因此，在网络系统中采用1-bit 压缩感知技术检测频谱可以节省通信开销。本文评估了1-bit压缩感知的效率。此外，本文还提出了一种采用信号块稀疏性的1-bit压缩感知的块重构算法。实验研究表明，用于频谱感知的部分随机循环矩阵与完全随机测量矩阵一样高效，并且1-bit压缩传感技术可以大大降低通信开销。 I.简介 压缩感知是一个新的框架，它使用信号稀疏性来减少需要测量的数据量[1，2]。测量一个N维向量中的M维向量（N<< M）将失去一些基本信息，逆问题(N M变量的方程)有无穷多个解。然而，当信号在某些方面只具有K个非零系数（K 一、实验名称 基于BP神经网络的图像压缩 二、实验目的 1.熟悉掌握神经网络知识； 2.学习多层感知器神经网络的设计方法和Matlab实现； 3.进一步了解掌握图像压缩的方式方法，分析仿真图像压缩效果。 三、实验要求 1.学习神经网络的典型结构； 2.了解BP算法基本思想，设计BP神经网络架构； 3.利用BP算法解决图像压缩的质量问题； 4.谈谈实验体会与收获。 四、实验步骤 （一）分析原理，编写程序 本实验主要利用BP神经网络多层前馈的模式变换能力，实现数据编码和压缩。采用输入层、隐含层、输出层三层网络结构。输入层到隐含层为编码过程，对图像进行线性变换，隐含层到输出层为网络解码过程，对经过压缩后的变换系统进行线性反变换，完成图像重构。其主要步骤有以下五步： 1.训练样本构造 基于数值最优化理论的训练算法，采用Levenberg-Marquardt方法，将训练图像的所有像素点作为压缩网络的输入，对图像进行划分。将原始图像分成4×4的互不重叠的像素块，并将每个像素快变形为16×1的列向量，将原始数据转化为16×1024的矩阵。对输入数据进行预处理，像素块矩阵进行尺度变换，即归一化处理。 为了将网络的输入、输出数据限定在[0，1]的区间内，本实验采用均值分布预处理方法。将待处理图像的灰度范围[x min,x max],变换域为[y min,y max],设待处理的像素灰度值为x i，则对于所有过程的映射y i满足公式： y i = xmin max min) min)( max ( -- -x x xi y y +xmin 其主要程序为： P = []; %将原始数据转化为16*1024的矩阵for i = 1:32 for j = 1:32 I2 = I((i-1)*4 + 1:i*4,(j-1)*4 + 1:j*4); i3 = reshape(I2,16,1); 压缩感知原理(附程序) 1压缩感知引论 传统方式下的信号处理，是按照奈奎斯特采样定理对信号进行采样，得到大量的采样数据，需要先获取整个信号再进行压缩，其压缩过程如图2.1。 图2.1 传统的信号压缩过程 在此过程中，大部分采样数据将会被抛弃，即高速采样后再压缩的过程浪费了大量的采样资源，这就极大地增加了存储和传输的代价。 由于带宽的限制，许多信号只包含少量的重要频率的信息。所以大部分信号是稀疏的或是可压缩的，对于这种类型的信号，既然传统方法采样的多数数据会被抛弃，那么，为什么还要获取全部数据而不直接获取需要保留的数据呢？Candes和Donoho等人于2004年提出了压缩感知理论。该理论可以理解为将模拟数据节约地转换成压缩数字形式，避免了资源的浪费。即，在采样信号的同时就对数据进行适当的压缩，相当于在采样过程中寻找最少的系数来表示信号，并能用适当的重构算法从压缩数据中恢复出原始信号。压缩感知的主要目标是从少量的非适应线性测量中精确有效地重构信号。核心概念在于试图从原理上降低对一个信号进行测量的成本。压缩感知包含了许多重要的数学理论，具有广泛的应用前景，最近几年引起广泛的关注，得到了蓬勃的发展。 2压缩感知原理 压缩感知，也被称为压缩传感或压缩采样，是一种利用稀疏的或可压缩的信号进行信号重构的技术。或者可以说是信号在采样的同时被压缩，从而在很大程度上降低了采样率。压缩感知跳过了采集N个样本这一步骤，直接获得压缩的信号的表示。CS理论利用到了许多自然信号在特定的基 上具有紧凑的表示。即这些信号是“稀疏”的或“可压缩”的。由于这一特性，压缩感知理论的信号编解码框架和传统的压缩过程大不一样，主要包括信号的稀疏表示、编码测量和重构算法等三个方面。 压缩感知理论 一、压缩感知理论简介 压缩感知，又称压缩采样，压缩传感。它作为一个新的采样理论，它通过开发信号的稀疏特性，在远小于Nyquist 采样率的条件下，用随机采样获取信号的离散样本，然后通过非线性重建算法完美的重建信号。压缩感知理论一经提出，就引起学术界和工业界的广泛关注。它在信息论、图像处理、地球科学、光学、微波成像、模式识别、无线通信、大气、地质等领域受到高度关注，并被美国科技评论评为2007年度十大科技进展。 二、压缩感知产生背景 信号采样是模拟的物理世界通向数字的信息世界之必备手段。多年来，指导信号采样的理论基础一直是著名的Nyquist 采样定理。定理指出，只有当采样速率达到信号带宽的两倍以上时，才能由采样信号精确重建原始信号。可见，带宽是Nyquist 采样定理对采样的本质要求。但是，对于超宽带通信和信号处理、核磁共振成像、雷达遥感成像、传感器网络等实际应用，信号的带宽变得越来越大，人们对信号的采样速率、传输速度和存储空间的要求也变得越来越高。为了缓解对信号传输速度和存储空间的压力，当前常见的解决方案是信号压缩但是，信号压缩实际上是一种严重的资源浪费，因为大量采样数据在压缩过程中被丢弃了，它们对于信号来说是不重要的或者只是冗余信息。故而就有人研究如何很好地利用采集到的信号，压缩感知是由 E. J. Candes 、J. Romberg 、T. T ao 和D. L. Donoho 等科学家于2004 年提出，压缩感知方法抛弃了当前信号采样中的冗余信息。它直接从连续时间信号变换得到压缩样本，然后在数字信号处理中采用优化方法处理压缩样本。这里恢复信号所需的优化算法常常是一个已知信号稀疏的欠定线性逆问题。 三、压缩感知理论 压缩感知理论主要涉及到三个方面，即信号的稀疏表示、测量矩阵的设计和重构算法的构造。稀疏信号广义上可理解为信号中只有少数元素是非零的，或者信号在某一变换域内少数元素是非零的。那么在我们如果只保留这些非零数据，丢弃其他的系数，则可以减小储存该信号需要的空间，达到了压缩(有损压缩）的目的，同时，这些系数可以重构原始信号，不过一般而言得到的是X 的一个逼近。在实际生活中有很多数字信号都是稀疏信号或者在某一变换域内是稀疏的，这样压缩感知理论的第一个方面就可以得到满足。如果信号N x R ∈在某变换域内是稀疏的，可以用一组正交基12[,,,]N ψψψψ= 线性组合表示：1 N i i i x s s ψ===ψ∑，其中式中，是对应于正交基的投影系数。由稀疏性可知其内只含有少数不为零的数，感知信号y 可表示为：y x s s =Φ=Φψ=Θ，Φ就为测量矩阵，Ψ为稀疏表示矩阵，当测量矩阵与稀疏表示矩阵不相关时就可以从s 中不失真的恢复出原始信号x ，常用的测量矩阵有高斯随机阵等。接下来是算法的重构，由于用少数信号恢复原来的大信号，这是一个欠定问题，一般用最优化方法来求解。这就是压缩感知理论体系的基本理论。 四、对这一创新案例的分析 压缩感知重构算法之基追踪（Basis Pursuit ，BP ） 除匹配追踪类贪婪迭代算法之外，压缩感知重构算法另一大类就是凸优化算法或最优化逼近方法，这类方法通过将非凸问题转化为凸问题求解找到信号的逼近，其中最常用的方法就是基追踪(Basis Pursuit, BP)，该方法提出使用1l 范数替代0l 范数来解决最优化问题，以便使用线性规划方法来求解[1]。本篇我们就来讲解基追踪方法。理解基追踪方法需要一定的最优化知识基础，可参见最优化方法分类中的内容。 1、l1范数和l0范数最小化的等价问题 在文献【2】的第4部分，较为详细的证明了1l 范数与0l 范数最小化在某条件下等价。证明过程是一个比较复杂的数学推导，这里尽量引用文献中的原文来说明。 首先，在文献【2】的4.1节，给出了(P1)问题，并给出了(P1)的线性规划等价形式(LP)，这个等价关系后面再详叙。 4.1 The Case 1p = In the case 1p =, (1P ) is a convex optimization problem. Write it out in an equivalent form, with θ being the optimization variable: 11() min ||||.n P subject to y θ θθΦ= This can be formulated as a linear programming problem: let A be the n by 2m matrix []Φ-Φ. The linear program ()min1,0T n z LP z subject to Az y x =≥. has a solution *z , say, a vector in 2m which can be partitioned as ***[]z u v =; then ***u v θ=- solves 1()P . The reconstruction *1,?n x θ=ψ. This linear program is typically considered computationally tractable. In fact, this problem has been studied in the signal analysis literature under the name Basis Pursuit [7]; in that work, very large-scale underdetermined problems. 2、基追踪实现工具箱l1-MAGIC 若要谈基追踪方法的实现，就必须提到l1-MAGIC 工具箱（工具箱主页：https://www.doczj.com/doc/2816184327.html,/~justin/l1magic/），在工具箱主页有介绍：L1-MAGIC is a collection of MA TLAB routines for solving the convex optimization programs central to compressive sampling. The algorithms are based on standard interior-point methods, and are suitable for large-scale problems. 另外，该工具箱专门有一个说明文档《l1-magic: Recovery of Sparse Signals via Convex Programming 》，可以在工具箱主页下载。 该工具箱一共解决了七个问题，其中第一个问题即是Basis Pursuit ： Min-1l with equality constraints. The problem 11()min ||||,P x subject to Ax b = also known as basis pursuit, finds the vector with smallest 1l norm 1||||:||i i x x = ∑ that explains the observations b . As the results in [4, 6] show, if a sufficiently sparse 0x exists such that 0Ax b = then 1()P will find it. When ,,x A b have real-valued entries, 1()P can be recast as an LP (this is discussed in detail in [10]). 毕业设计（论文） 课题名称基于MATLAB的图像压缩感知 算法的实现 目录 目录......................................................... I 第1章绪论.. (1) 1.1 研究背景和意义 (1) 1.2 数据压缩技术 (2) 1.2.1 传统数据压缩技术 (2) 1.2.2 压缩感知理论（Compressed/Compressive Sensing/Sampling, CS） (3) 1.3 无线传感器网络 (6) 1.3.1 无线传感器网络概述 (6) 1.3.2 无线传感器网络数据压缩的必要性 (7) 1.4 本文主要工作和内容安排 (8) 第2章压缩感知理论 (9) 2.1压缩感知的前提条件—稀疏性和不相干性 (10) 2.2 三个关键技术 (13) 2.3信号的稀疏表示 (13) 2.4 观测矩阵设计 (15) 2.5 稀疏信号的重构 (17) 2.6 重构算法 (18) 2.7 压缩感知优势及不足 (20) 2.8 压缩感知在传感网中的观测方式 (21) 第3章压缩感知理论应用概述 (22) 3.1 压缩成像 (22) 3.2 模拟信息转换 (23) 3.3 生物传感 (23) 3.4 本章小结 (24) 第4章 CS在无线传感网中的应用 (24) 4.1 研究背景 (25) 4.1.1 基于感知数据相关性的压缩 (25) 4.1.2传统压缩重构方法 (25) 4.1.3 图像压缩重构质量的评价 (26) 4.2 压缩感知理论算法对一维信号的实现 (28) 4.2.1 CS用于WSN的优势 (28) 4.2.2 观测重构模型 (28) 4.2.2 正交匹配追踪算法（OMP） (29) 4.2.3 算法的实现及结果分析 (30) 4.3 压缩感知理论算法对二维图像重构的实现 (34) 4.3.1 基于小波变换的分块压缩感知理论 (34) 4.3.2 实现步骤 (35) 4.3.3 重构结果及分析 (38) 4.4 本章小结 (42) 第5章总结与展望 (42) 5.1 工作总结 (42) 5.2 后续展望 (43) 参考文献 (43) 致谢 (45) 附录 (46) 基于压缩感知的图像重构技术研究 压缩感知理论表明，若信号在某变换域具有稀疏表示，且采样矩阵与稀疏矩阵不相关，则可从远低于信号维度的少量非自适应测量值中精确恢复原信号。目前，压缩感知理论已被广泛用于各类磁共振成像中，以便在不降低成像质量的情况下减少采样点数，提高系统扫描速度。 本文即研究从亚采样的磁共振数据中，怎样快速而有效地恢复目标图像。主要研究内容包括：（1）为消除亚采样的磁共振成像重构时可能出现的过光滑（over-smoothed）和混叠伪影现象，将重构问题转化成含复合正则项的约束最小化问题，并提出一种高效的算法来求解。 该算法首先利用Bregman迭代技术，将约束问题转化成一系列无约束问题。然后利用算子分裂技术，将各无约束问题分解成一个梯度问题和一个能使用修改的SBD（Splitting Bregman Denoising）算法来求解的复合正则项的去噪问题。 最后再用加速方案对无约束问题的求解予以加速。本文将该算法称作BFSA （Bregman based Fast SBD Algorithm）。 对非笛卡尔轨迹采样的重构，本文还提出了一种动态更新L的方法。实验结果表明，新算法能够获得比其他算法更好的重构质量。 （2）为了克服现有动态磁共振成像重构速度较慢的问题，本文基于BFSA 算法框架，提出一种高效的动态磁共振成像重构算法ktBFSA。该算法利用SBD3D （Splitting Bregman Denoising for3D images）来求解含复合正则项的3D去噪问题。 实验结果表明，ktBFSA在重构速度和重构质量上都有优势。（3）SENSE （Sensitivity encoding）是常用的并行磁共振成像技术，引入压缩感知后重构 神经网络作业-4 姓名：李润顺学号：21424011 院系：创新1401 基于vs2008与opencv的链接库 1.SOM神经网络训练代码 #include "stdafx.h" #include "cxcore.h" #include "cv.h" #include "highgui.h" #include "stdlib.h" #include "time.h" #include "math.h" #include "stdio.h" const float e = (float)2.7182; const int L= 16; //采用4*4块，单个样本矢量维数 const int total = 4096; //样本数 const int N = 512; //码本规模 int main() { IplImage *img1; unsigned char *data1; unsigned char x[total][L];//样本集 float w[N][L];//码本集 float distance[N];//存距离 float min_distance,error,vv,thresh; int height, width,i, j, k, l,count; float alpha; FILE *fp1; alpha = (float)0.0023; img1 = cvLoadImage("LENA.bmp",-1);//载入图像 height= img1 -> height; width = img1 -> width; data1 = (unsigned char *)img1 -> imageData;//图像数据域 /*构造样本集*/ for(i=0;i<64;i++) { for(j=0;j<64;j++) { for(k=0;k<4;k++) { for(l=0;l<4;l++) { x[i*64+j][k*4+l]= data1[i*64*4*4+j*4+k*256+l]; } } } } /*权值初始化*/ srand((unsigned)time(NULL)); for(i=0;i 压缩感知原理 1压缩感知引论 传统方式下的信号处理，是按照奈奎斯特采样定理对信号进行采样，得到大量 的采样数据，需要先获取整个信号再进行压缩，其压缩过程如图 2.1。 在此过程中，大部分采样数据将会被抛弃，即高速采样后再压缩的过程浪费了大量的采样资源，这就极大地增加了存储和传输的代价。 由于带宽的限制，许多信号只包含少量的重要频率的信息。所以大部分信号是稀疏的或是可压缩的，对于这种类型的信号，既然传统方法采样的多数数据会被抛弃，那么，为什么还要获取全部数据而不直接获取需要保留的数据呢？Candes和Donoho等人于2004年提出了压缩感知理论。该理论可以理解为将模拟数据节约地转换成压缩数字形式，避免了资源的浪费。即，在采样信号的同时就对数据进行适当的压缩，相当于在采样过程中寻找最少的系数来表示信号，并能用适当的重构算法从压缩数据中恢复出原始信号。压缩感知的主要目标是从少量的非适应线性测量中精确有效地重构信号。核心概念在于试图从原理上降低对一个信号进行测量的成本。压缩感知包含了许多重要的数学理论，具有广泛的应用前景，最近几年引起广泛的关注，得到了蓬勃的发展。 2压缩感知原理 压缩感知，也被称为压缩传感或压缩采样，是一种利用稀疏的或可压缩的信号进行信号重构的技术。或者可以说是信号在采样的同时被压缩，从而在很大程度上降低了采样率。压缩感知跳过了采集N个样本这一步骤，直接获得压缩的信号的表示。CS理论利用到了许多自然信号在特定的基上具有紧凑的表示。即这些信号 是“稀疏”的或“可压缩”的。由于这一特性，压缩感知理论的信号编解码框架和传统的压缩过程大不一样，主要包括信号的稀疏表示、编码测量和重构算法等三个方面。 对于一个实值的有限长一维离散时间信号 X ,可以看作为一个R N空间N X 1的 维的列向量，元素为n, n,=1 , 2,…N。R N空间的任何信号都可以用N X1维 压缩感知技术综述 摘要：信号采样是模拟的物理世界通向数字的信息世界之必备手段。多年来，指导信号采样的理论基础一直是著名的Nyquist采样定理，但其产生的大量数据造成了存储空间的浪费。压缩感知（Compressed Sensing）提出一种新的采样理论，它能够以远低于Nyquist采样速率采样信号。本文详述了压缩感知的基本理论，着重介绍了信号稀疏变换、观测矩阵设计和重构算法三个方面的最新进展，并介绍了压缩感知的应用及基于压缩感知SAR成像的仿真。 关键词：压缩感知；稀疏表示；观测矩阵；SAR成像； Abstract: Signal sampling is a necessary means of information world physical world to the digital simulation. Over the years, the base theory of signal sampling is the famous Nyquist sampling theorem, but a large amount of data generated by the waste of storage space. Compressed sensing and put forward a new kind of sampling theory, it can be much less than the Nyquist sampling signal sampling rate. This paper introduces the basic theory of compressed sensing, emphatically introduces the new progress in three aspects of signal sparse representation, design of measurement matrix and reconstruction algorithm, and introduces the application of compressed sensing and Simulation of SAR imaging based on Compressive Sensing Keywords: Compressed sensing; Sparse representation; The observation matrix; SAR imaging; 0 引言 Nyquist采样定理指出，采样速率达到信号带宽的两倍以上时，才能由采样信号精确重建原始信号。可见，带宽是Nyquist采样定理对采样的本质要求。然而随着人们对信息需求量的增加，携带信息的信号带宽越来越宽，以此为基础的信号处理框架要求的采样速率和处理速度也越来越高。解决这些压力常见的方案是信号压缩。但是，信号压缩实际上是一种资源浪费，因为大量的不重要的或者只是冗余信息在压缩过程中被丢弃。从这个意义而言，我们得到以下结论：带宽不能本质地表达信号的信息，基于信号带宽的Nyquist采样机制是冗余的或者说是非信息的。 于是很自然地引出一个问题：能否利用其它变换空间描述信号，建立新的信号描述和处理的理论框架，使得在保证信息不损失的情况下，用远低于Nyquist 采样定理要求的速率采样信号，同时又可以完全恢复信号。与信号带宽相比，稀疏性能够直观地而且相对本质地表达信号的信息。事实上，稀疏性在现代信号处理领域起着至关重要的作用。近年来基于信号稀疏性提出一种称为压缩感知或压缩采样的新兴采样理论，成功实现了信号的同时采样与压缩。基于BP神经网络的图像压缩--神经网络实验报告
压缩感知原理
压缩感知理论
压缩感知重构算法之基追踪
基于MATLAB的图像压缩感知算法的实现毕业设计说明书
基于压缩感知的图像重构技术研究
som神经网络图像压缩
压缩感知原理
压缩感知技术综述
相关主题
文本预览