高光谱分辨率遥感
用很窄（10-2l）而连续的光谱通道对地物持续遥感成像的技术。在可见光到短波红外波段其光谱分辨率高达纳米(nm)数量级，通常具有波段多的特点，光谱通道数多达数十甚至数百个以上，而且各光谱通道间往往是连续的，每个像元均可提取一条连续的光谱曲线，因此高光谱遥感又通常被称为成像光谱（ImagingSpectrometry）遥感。
高光谱遥感具有不同于传统遥感的新特点：
（1）波段多——可以为每个像元提供几十、数百甚至上千个波段；
（2）光谱范围窄——波段范围一般小于10nm；
（3）波段连续——有些传感器可以在350~2500nm的太阳光谱范围内提供几乎连续的地物光谱；
（4）数据量大——随着波段数的增加，数据量成指数增加；
（5）信息冗余增加——由于相邻波段高度相关，冗余信息也相对增加。
优点：
（1）有利于利用光谱特征分析来研究地物；
（2）有利于采用各种光谱匹配模型；
（3）有利于地物的精细分类与识别。
ENVI高光谱数据处理流程：
一、图像预处理
高光谱图像的预处理主要是辐射校正，辐射校正包括传感器定标和大气纠正。辐射校正一般由数据提供商完成。
二、显示图像波谱
打开高光谱数据，显示真彩色图像，绘制波谱曲线，选择需要的光谱波段进行输出。
三、波谱库
1、标准波谱库
软件自带多种标准波谱库，单击波谱名称可以显示波谱信息。
2、自定义波谱库
ENVI提供自定义波谱库功能，允许基于不同的波谱来源创建波谱库，波谱
来源包括收集任意点波谱、ASCII文件、由ASD波谱仪获取的波谱文件、感兴趣区均值、波谱破面和曲线等等。
3、波谱库交互浏览
波谱库浏览器提供很多的交互功能，包括设置波谱曲线的显示样式、添加注记、优化显示曲线等
四、端元波谱提取
端元的物理意义是指图像中具有相对固定光谱的特征地物类型，它实际上代表图像中没有发生混合的“纯点”。
端元波谱的确定有两种方式：
（1）使用光谱仪在地面或实验室测量到的“参考端元”，一般从标准波谱库选择；
（2）在遥感图像上得到的“图像端元”。
端元波谱获取的基本流程：
（1）MNF变换
重要作用为：用于判定图像内在的维数；分离数据中的噪声；减少计算量；弥补了主成分分析在高光谱数据处理中的不足。
（2）计算纯净像元指数PPI
PPI生成的结果是一副灰度的影像，DN值越大表明像元越纯。
作用及原理：
纯净像元指数法对图像中的像素点进行反复迭代，可以在多光谱或者高光谱影像中寻找最“纯”的像元。（通常基于MNF变换结果来进行）
纯净像元指数可以将N维散点图映射为一个随机单位向量来计算，每次映射的极值像元被记录下来，并且被标为极值的总数也被记录下来。
按照多次映射每个像元被记录为极值像元的次数来决定该像元是否为纯净像元。
（3）端元波谱收集
n维可视化工具-选取样本像元-生成地物平均波谱
五、波谱识别和图像分类
ENVI提供许多波谱分析方法，包括：二进制编码、波谱角分类、线性波段预测、线性波谱分离、光谱信息散度、匹配滤波、混合调谐匹配滤波（MTMF）、包络线去除、光谱特征拟合、多范围光谱特征拟合等。
六、分类结果浏览及后处理
（1）以RGB方式在ENVI中显示高光谱数据，进行查看分类结果。
（2）利用波谱沙漏工具进行分类后处理
基本流程：影像亮度值定标为反射率-最小噪声分离（MNF）-纯净像元指数（PPI）-n维散度分析-选择终端单元-地物制图（地物识别）
高光谱遥感与多光谱遥感的异同点：
1、光谱分辨率在λ/10数量级范围的称为多光谱，这样的遥感器在可见光和近红外光谱区只有几个波段；
2、光谱分辨率在λ/100的遥感信息称之为高光谱遥感；
3、随着遥感光谱分辨率的进一步提高，在达到λ/1000时，遥感即进入超高光谱；
4、高光谱和多光谱实质上的差别就是，高光谱的波段较多，谱带较窄（比如hyperion有242个波段，带宽10nm）；
5、多光谱相对波段较少；
6、高光谱遥感就是比多光谱遥感的光谱分辨率更高，但是光谱分辨率高的同时空间分辨率会降低。
渤海SVC 光谱数据处理 2009.9.9 一．基本原理 水体遥感反射率的计算公式为： /(0)rs w d R L E += 其中，水面入射辐照度比(0)d E +又为： (0)*/d p p E L πρ+= p L 为标准板的反射信号； p ρ为标准板的反射率。 而水面以上水体信号组成可表示为公式： *u w f sky wc g L L L L L ρ=+++ 其中：u L 代表传感器接收到的总信号； w L 是进入水体的光被水体散射回来后进入传感器的离水辐射率，是我们需要得到的量。 f ρ为菲涅尔反射系数， 平静水面可取r=0.022,在5m/s 左右风速的情况下, r 可取0.025, 10m/s 左右风速的情况下, 取0.026—0.028（唐军武，2004）。 s k y L 是天空光信号，通过实地测量得到； wc L 是来自水面白帽的信号、g L 是来自太阳耀斑的信号。这两部分信号不携带任何水体信息，在测量过程中通过采用特定的观测几何来避免和去除。 具体可参考《环境遥感模型与应用》 二．处理流程： 1.生成moc 文件：将测量得到的原始光谱XXX.sig 文件通过overlap 处理后得到去除传感器间重复波段影响后的平滑光谱曲线： ①安装运行SVC-HR1024软件，选择tools —SIG file overlap ，在browser 中选择要处理的.sig 文件； ②点击process all files 进行处理，生成的moc 文件自动保存在与.sig 同一个文件夹下面。 数据储存：为每一天新建一个以日期命名的文件夹，根据这一天所测的站点数，建立以相应点号命名的子文件夹以储存各点位测得的光谱数据(包括原始.sig 和生成的_moc.sig 文件) 2.制作.meta 文件：根据原始观测记录在.meta 文件中写入对应的水体测量（No_water_files ）、天空光测量（No_sky_files ）、灰板测量光谱曲线（No_plaq_files ）及灰板反射率的文件储存路径信息，以辅助反射率的计算。
激光显微共焦拉曼光谱系统附件一 一．货物需求： 显微共焦拉曼光谱仪系统一套。 二．详细技术参数： 系统的主要技术指标： 1) 250mm焦长，系统总通光效率大于30%。 2）波长范围：200nm—1050nm。 3）光谱扫描范围： 325nm 激发Raman(200-4000cm-1)，532nm 激发15–8000 cm-1，632.8nm 激发100-6000 cm-1，785nm 激发15-3200cm-1,1064nm激发100-3200 cm-1。 4）光谱分辨率：可见全谱段等于或小于1cm-1, 紫外(325nm)段<3cm-1，红外（1064nm）段<3cm-1。 5）光谱重复性（测量多少次50次）：≤±0.15cm-1。 6）空间分辨率：横向< 0.5微米，光轴方向< 2微米。 7）灵敏度：硅三阶峰信噪比好于 15: 1,并可见四阶峰；(指光谱仪无低波数附件时的灵敏度)。 8）低波数：小于或等于15cm-1(785nm激发)，15cm-1(532nm激发)； 9) CCD探测器：应使用紫外和近红外同时增强深耗散层型CCD探测器，优质芯片，半导体制冷到-70oC,为确保图像质量，避免边缘畸变，芯片尺寸应 < 13×8.5mm，像元尺寸22 m。 10）第二探测器组件（InGaAs探测器）：0.9 um～1.65 um，包含软件包，液氮或半导体制冷。 11）光源及控制系统：632.8nm，≥17毫瓦；785nm, ≥275毫瓦；514.5nm，≥40毫瓦,325nm激光器30毫瓦。 12）可导入脉冲激光光源（405nm）进行瞬态测量，信号光可引入TCSPC，提供TCSPC探测器接口，（需考虑放滤光片位置）。 包含附件： 1.直接二维拉曼成像功能（532/785 nm激发）。 2.大面积快速扫描拉曼成像功能。 3.三维拉曼成像功能。 3.冷热台及控制器（-195 o C to +600 o C） 4.冷热台及控制器（室温 to +1500 o C） 5.催化反应拉曼原位池（室温 to +1000 o C） 6.TCSPC系统 7.自动xyz三维平台。 8.拉曼偏振测量附件。 系统的详细技术规格： 一、显微镜：研究级正置徕卡显微镜。 1、原配物镜：5×、20×、50×和100×物镜，15×和40×紫外物镜. 2、配置50x长焦物镜（WD8.1 mm）和100x长焦物镜（WD3.4mm） 3、彩色摄像头， 4、XY 手动样品台
大数据处理流程的主要环节 大数据处理流程主要包括数据收集、数据预处理、数据存储、数据处理与分析、数据展示/数据可视化、数据应用等环节，其中数据质量贯穿于整个大数据流程，每一个数据处理环节都会对大数据质量产生影响作用。通常，一个好的大数据产品要有大量的数据规模、快速的数据处理、精确的数据分析与预测、优秀的可视化图表以及简练易懂的结果解释，本节将基于以上环节分别分析不同阶段对大数据质量的影响及其关键影响因素。 一、数据收集 在数据收集过程中，数据源会影响大数据质量的真实性、完整性数据收集、一致性、准确性和安全性。对于Web数据，多采用网络爬虫方式进行收集，这需要对爬虫软件进行时间设置以保障收集到的数据时效性质量。比如可以利用八爪鱼爬虫软件的增值API设置，灵活控制采集任务的启动和停止。 二、数据预处理 大数据采集过程中通常有一个或多个数据源，这些数据源包括同构或异构的数据库、文件系统、服务接口等，易受到噪声数据、数据值缺失、数据冲突等影响，因此需首先对收集到的
大数据集合进行预处理，以保证大数据分析与预测结果的准确性与价值性。 大数据的预处理环节主要包括数据清理、数据集成、数据归约与数据转换等内容，可以大大提高大数据的总体质量，是大数据过程质量的体现。数据清理技术包括对数据的不一致检测、噪声数据的识别、数据过滤与修正等方面，有利于提高大数据的一致性、准确性、真实性和可用性等方面的质量; 数据集成则是将多个数据源的数据进行集成，从而形成集中、统一的数据库、数据立方体等，这一过程有利于提高大数据的完整性、一致性、安全性和可用性等方面质量; 数据归约是在不损害分析结果准确性的前提下降低数据集规模，使之简化，包括维归约、数据归约、数据抽样等技术，这一过程有利于提高大数据的价值密度，即提高大数据存储的价值性。 数据转换处理包括基于规则或元数据的转换、基于模型与学习的转换等技术，可通过转换实现数据统一，这一过程有利于提高大数据的一致性和可用性。 总之，数据预处理环节有利于提高大数据的一致性、准确性、真实性、可用性、完整性、安全性和价值性等方面质量，而大数据预处理中的相关技术是影响大数据过程质量的关键因素
高光谱数据处理工具软件使用手册 一数据读取操作 1 读取南京中地仪器公司的光谱数据（单个文件） [sampleName,lambda,spectrum ]=hyperReadZD(fname) 2 读取北师大波谱库的数据（单条记录） [metaInfo,lambda,spectrum]=hyperReadSPL(fname,iStart,iEnd,i Step,desPathStr) 参数：如果输入参数iStart,iEnd,iStep则将读取的波谱数据按照以上三个参数进行重采样。三参数的含义分别是：起始波段（nm），终止波段(nm)，采样间隔（nm）；如果输入desPathStr，则将采样后的结果作为zip文件保存在目录desPathStr内。 3 读取Envi波谱库数据（单个文件，多条记录） [samplename,lambda,spectral]=hyperReadEnvi(fname) 4 读取ASD波谱仪数据 [measured, lambda, reference] = hyperReadAsd(filename) 5 读取高光谱影像数据（AVIRIS格式） [M, wavelengths_nm] = hyperReadAvirisRfl(filename, height, width, bands) 二数据转换 1 高光谱立方体数据转换为二维数组 [M] = hyperConvert2d(M) 输入： M - 高光谱立方体数据(m x n x p) 输出： M –二维矩阵形式(p x N) 2 将二维数组转换为数据立方体 [img] = hyperConvert3d(img, h, w, numBands) 输入： M –二维数据矩阵 (p x N) 输出： M –三维数据立方体 (m x n x p) 3 光谱重采样 [ output ] = hyperResample( M, currentWaveLengths, desiredWaveLengths ) 输入： M –二维高光谱数据矩阵 (p x N)
【实验数据处理部分】 一．由实验测得的数据可以得到以下几个谱图： 1.苯蒸气的紫外吸收光谱： 左图中，苯的K吸 收带大约在214nm处， B吸收带在256nm左右。 并且，苯蒸气的精细结 构（主要指苯分子的振 动能级）清晰可见。 另外，由于滴加到 比色皿中的苯过多导致 浓度偏大，A值偏大。 （超过了1.0）。 2.不同取代基对苯的紫外吸收带的影响： （1）、苯甲酸与苯乙烯： 左图中，①②标示的 是苯蒸气的K带和B带； ③表示的是苯甲酸的K 吸收带；而④⑤表示的是 苯乙烯的E2带和K带。 （其中为了使谱图便于 比对，将苯蒸气的吸光度 值成比例地缩小了一定 的数值。） 读图可知： 与苯比较，羧基(吸 电子基)取代的苯环，其K 吸收带发生了红移，B吸 收带也有一定程度的红 移，但强度变弱了； 而对于苯乙烯，由于乙烯基双键的存在，增大了苯环的共轭体系，使得价电子跃迁所需要的能量变低，因而发生了很大程度的红移，E2带和K带分别红移至210nm和245nm处。 (2)、苯酚和苯胺：
图中，①②标示的是 苯蒸气的K带和B带； ③④表示的是苯酚的K 吸收带和B吸收带；而 ⑤⑥⑦则表示苯胺的E2 带、K带和B带。 读图可知： 苯酚的E2吸收带与 K吸收带合并了，原因是 酚羟基的助色作用使得 吸收带发生红移，同样 地，与苯相比，苯酚的B 吸收带也发生了红移； 苯胺的氮原子上含 有孤对电子，也和酚羟基一样具有助色效应，因此苯胺的各个吸收带也发生了一定程度的红移（相比较于苯而言）。 二、溶液性质对取代苯紫外吸收的影响： 1.苯酚与其碱性溶液： 图中：①②③分别标 示的是苯酚在碱性溶液 中的E2吸收带、K吸收 带和B吸收带的大致位 置；而④⑤则分别标示苯 酚在中性溶液中的K吸 收带和B吸收带的位置。 读图可知： 由于碱性溶液中的 酚羟基以氧负离子形式 存在，使得酚羟基的助色 作用大大增强，因而苯环 的吸收带均发生较大的 红移。 例如：原本在苯酚的 紫外吸收图谱中未能读出的E1、E2吸收带，此时可以大致从图中读出；另外，碱性溶液中，苯酚的K带红移至245nm左右，B带红移至290nm左右。 苯酚在碱性溶液中的变化见下图：
一、数据预处理 （1）中心化变换 （2）归一化处理 （3）正规化处理 （4）标准正态变量校正（标准化处理）（Standard Normal Variate,SNV）（5）数字平滑与滤波（Smooth） （6）导数处理（Derivative） （7）多元散射校正（Multiplicative Scatter Correction,MSC） （8）正交信号校正（OSC） 二、特征的提取与压缩 （1）主成分分析（PCA） （2）马氏距离 三、模式识别（定性分类） （1）基于fisher意义下的线性判别分析（LDA） （2）K-最邻近法（KNN） （3）模型分类方法（SIMCA） （4）支持向量机（SVM） （5）自适应boosting方法（Adaboost） 四、回归分析（定量分析） （1）主成分回归（PCR） （2）偏最小二乘法回归（PLS） （3）支持向量机回归（SVR）
一、数据预处理 （1） 中心化变换 中心化变换的目的是在于改变数据相对于坐标轴的位置。一般都是希望数据集的均值与坐标轴的原点重合。若x ik 表示第i 个样本的第k 个测量数据，很明显这个数据处在数据矩阵中的第i 行第k 列。中心化变换就是从数据矩阵中的每一个元素中减去该元素所在元素所在列的均值的运算： u ik k x x x =- ，其中k x 是n 个样本的均值。 (2) 归一化处理 归一化处理的目的是是数据集中各数据向量具有相同的长度，一般为单位长度。其公式为： 'ik x = 归一化处理能有效去除由于测量值大小不同所导致的数据集的方差，但是也可能会丢失重要的方差。 （3）正规化处理 正规化处理是数据点布满数据空间，常用的正规化处理为区间正规化处理。其处理方法是以原始数据集中的各元素减去所在列的最小值，再除以该列的极差。 min() 'max()min() ik ik k k x xk x x x -= - 该方法可以将量纲不同，范围不同的各种变量表达为值均在0~1范围内的数据。但这种方法对界外值很敏感，若存在界外值，则处理后的所有数据近乎相等。 （4） 标准化处理（SNV ）也称标准正态变量校正 该处理能去除由单位不同所引起的不引人注意的权重，但这种方法对界外点不像区间正规化那样的敏感。标准化处理也称方差归一化。它是将原始数据集各个元素减去该元素所在列的元素的均值再除以该列元素的标准差。 ';ik k ik k k x x x S S -==
昆明理工大学 空间数据库期末考察报告《简析大数据及其处理分析流程》 学院：国土资源工程学院 班级：测绘121 姓名：王易豪 学号：201210102179 任课教师：李刚
简析大数据及其处理分析流程 【摘要】大数据的规模和复杂度的增长超出了计算机软硬件能力增长的摩尔定律，对现有的IT架构以及计算能力带来了极大挑战，也为人们深度挖掘和充分利用大数据的大价值带来了巨大机遇。本文从大数据的概念特征、处理分析流程、大数据时代面临的挑战三个方面进行详细阐述，分析了大数据的产生背景，简述了大数据的基本概念。 【关键词】大数据；数据处理技术；数据分析 引言 大数据时代已经到来，而且数据量的增长趋势明显。据统计仅在2011 年，全球数据增量就达到了1.8ZB （即1.8 万亿GB）[1]，相当于全世界每个人产生200GB 以上的数据，这些数据每天还在不断地产生。 而在中国，2013年中国产生的数据总量超过0.8ZB（相当于8亿TB），是2012年所产生的数据总量的2倍，相当于2009年全球的数据总量[2]。2014年中国所产生的数据则相当于2012 年产生数据总量的10倍，即超过8ZB，而全球产生的数据总量将超40ZB。数据量的爆发式增长督促我们快速迈入大数据时代。 全球知名的咨询公司麦肯锡(McKinsey)2011年6月份发布了一份关于大数据的详尽报告“Bigdata：The next frontier for innovation，competition，and productivity”[3]，对大数据的影响、关键技术和应用领域等都进行了详尽的分析。进入2012年以来，大数据的关注度与日俱增。
人工智能头皮AI系统 使用说明 注：在操作之前请仔细阅读本手册
一.简介 三光谱头皮AI 系统由多光谱冷光照明系统、光学放大系统、影像传感器、DSP 处理器、控制系统、电源系统、信号处理传输系统等组成，再搭配计算机和头皮AI 软件处理系统，实现图像采集、图像处理、自动分析检测、产品推荐、客户管理等各项功能。 根据检测需求，控制系统通过控制照明系统选择发出不同光谱，经光学系统放大滤波处理后，由影像采集芯片接收光信号，经影像采集芯片转换成数字光电信号，该光电信号传递给 DSP 处理器进一步进行处理和编码，形成上位机需求的标准USB 信号。该USB 信号通过USB 接口传输到计算机，由软件系统接收，通过运算、解码、数据处理形成实时的视频图像，最后由软件处理系统进行数据检测和数据分析,进而根据检测结果进行产品推荐。同时该软件处理系统还具有客户管理，云端数据处理等其他功能。 二 .仪器介绍 一体机正面 一体机背面 18.5寸宽屏显示器 头皮AI 系统 折叠底座 三光谱手柄 手柄托架 USB 数据连接线
三光谱头皮检测手柄 70X 光学镜头 手柄logo 三光谱手柄 光源指示灯 自动/拍照键 光源切换键
四.三光谱检测仪原理说明 三光谱检测仪它是通过标准白光、交叉偏振光、UV光这三个光谱对皮肤或头皮的表层、真皮层、毛囊、毛孔进行扫描检测。特别是UV光用于毛囊检测时可准确判断毛囊底层程度。 ●标准白光：通过放大局部头皮，观察头皮的纹理，皮沟和皮脊的分布特点，角质的代谢， 头皮的油性，以及对照鉴别各种头皮病态的特征。还可通过放大局部毛发，观察毛发的生长和分布特征，毛发的密集度和直径等情况。 标准白光检测原理：控制系统通过控制光学系统选择发出标准白光光谱，经光学系统放大滤波处理后，由影像采集芯片接收光信号过DSP 处理输出标准USB 信号，形成实时的表皮层视频图像。最后由软件处理系统进行数据检测和数据分析。 ●交叉偏振光：用于观察头皮真皮层的局部炎症表现，毛细血管扩张情况，血液渗出情况， 以及分布形态和消长情况，使用护肤品后皮肤是否呈现正常、敏感或发红的状态。 偏振光检测原理：控制系统通过控制照明系统选择发出交叉偏振光谱，经偏振光学系统进行放大滤波处理后，滤除掉了表皮层其它方向的杂波，只允许真皮层的影像经过镜头传输给影像采集芯片，由影像采集芯片接收光信号，再经过DSP 处理输出标准USB 信号，形成实时的真皮层视频图像。最后，由软件处理系统进行数据检测和数据分析。 ●UV光：也称为紫外光，用于观察毛孔堵塞情况和头皮的毛囊堵塞情况，痤疮的分布、数 量和密集度。其原理是痤疮丙酸杆菌生活在我们毛孔里的脂肪酸上，当毛孔被堵塞时，它们就会迅速生长，分解饱和脂肪酸，产生大量的游离脂肪酸，这些脂肪酸通过毛孔渗入皮肤，引起皮肤应激反应，产生粉刺、红肿等。痤疮丙酸杆菌能产生原卟啉，其在特定波长的紫外线照射下产生砖红色荧光反应。 UV光检测原理：控制系统通过控制照明系统选择发出模拟伍氏灯的紫外光谱，经光学系统进行滤波处理滤除掉杂波，抑制白光图像，突出特定波长影像后，由光学镜头放大传输给影像采集芯片，影像采集芯片接收光信号，再经过DSP 处理输出标准USB 信号，形成实时的视频图像。最后，由软件处理系统进行数据检测和数据分析。
高光谱数据处理基本流 程 The document was finally revised on 2021
高光谱分辨率遥感 用很窄（10-2l）而连续的光谱通道对地物持续遥感成像的技术。在可见光到短波红外波段其光谱分辨率高达纳米(nm)数量级，通常具有波段多的特点，光谱通道数多达数十甚至数百个以上，而且各光谱通道间往往是连续的，每个像元均可提取一条连续的光谱曲线，因此高光谱遥感又通常被称为成像光谱（Imaging Spectrometry）遥感。 高光谱遥感具有不同于传统遥感的新特点： （1）波段多——可以为每个像元提供几十、数百甚至上千个波段； （2）光谱范围窄——波段范围一般小于10nm； （3）波段连续——有些传感器可以在350~2500nm的太阳光谱范围内提供几乎连续的地物光谱； （4）数据量大——随着波段数的增加，数据量成指数增加； （5）信息冗余增加——由于相邻波段高度相关，冗余信息也相对增加。 优点： （1）有利于利用光谱特征分析来研究地物； （2）有利于采用各种光谱匹配模型； （3）有利于地物的精细分类与识别。 ENVI高光谱数据处理流程： 一、图像预处理 高光谱图像的预处理主要是辐射校正，辐射校正包括传感器定标和大气纠正。辐射校正一般由数据提供商完成。 二、显示图像波谱 打开高光谱数据，显示真彩色图像，绘制波谱曲线，选择需要的光谱波段进行输出。 三、波谱库 1、标准波谱库 软件自带多种标准波谱库，单击波谱名称可以显示波谱信息。 2、自定义波谱库
ENVI提供自定义波谱库功能，允许基于不同的波谱来源创建波谱库，波谱来源包括收集任意点波谱、ASCII文件、由ASD波谱仪获取的波谱文件、感兴趣区均值、波谱破面和曲线等等。 3、波谱库交互浏览 波谱库浏览器提供很多的交互功能，包括设置波谱曲线的显示样式、添加注记、优化显示曲线等 四、端元波谱提取 端元的物理意义是指图像中具有相对固定光谱的特征地物类型，它实际上代表图像中没有发生混合的“纯点”。 端元波谱的确定有两种方式： （1）使用光谱仪在地面或实验室测量到的“参考端元”，一般从标准波谱库选择； （2）在遥感图像上得到的“图像端元”。 端元波谱获取的基本流程： （1）MNF变换 重要作用为：用于判定图像内在的维数；分离数据中的噪声；减少计算量；弥补了主成分分析在高光谱数据处理中的不足。 （2）计算纯净像元指数PPI PPI生成的结果是一副灰度的影像，DN值越大表明像元越纯。 作用及原理：
激光拉曼光谱实验报告 摘要：本实验研究了用半导体激光器泵浦的3Nd + ：4YVO 晶体并倍频后得到的532nm 激 光作为激发光源照射液体样品的4CCL 分子而得到的拉曼光谱，谱线很好地吻合了理论分析的4CCL 分子4种振动模式，且频率的实验值与标准值比误差低于2%。又利用偏振片及半波片获得与入射光偏振方向垂直及平行的出射光，确定了各振动的退偏度，分别为0.013、0.853、0.869、0.940，和标准值0和0.75比较偏大。 关键词:拉曼散射、分子振动、退偏 一， 引言 1928年，印度物理学家拉曼（C.V.Raman ）和克利希南（K.S.Krisman ）实验发现，当光穿过液体苯时被分子散射的光发生频率变化，这种现象称为拉曼散射。几乎与此同时，苏联物理学家兰斯别而格（https://www.doczj.com/doc/3814233756.html,ndsberg ）和曼杰尔斯达姆（L.Mandelstamm ）也在晶体石英样品中发现了类似现象。在散射光谱中，频率与入射光频率0υ相同的成分称为瑞利散射，频率对称分布在0υ两侧的谱线或谱带01υυ±即为拉曼光谱，其中频率较小的成分01υυ-又称为斯托克斯线，频率较大的成分01υυ+又称为反斯托克斯线。这种新的散射谱线与散射体中分子的震动和转动，或晶格的振动等有关。 拉曼效应是单色光与分子或晶体物质作用时产生的一种非弹性散射现象。拉曼谱线的数目，位移的大小，谱线的长度直接与试样分子振动或转动能级有关。因此，与红外吸收光谱类似，对拉曼光谱的研究，也可以得到有关分子振动或转动的信息。目前拉曼光谱分析技术已广泛应用于物质的鉴定，分子结构的研究谱线特征。 20世纪60年代激光的问世促进了拉曼光谱学的发展。由于激光极高的单色亮度，它很快被用到拉曼光谱中作为激发光源。而且基于新激光技术在拉曼光谱学中的使用，发展了共振拉曼、受激拉曼散射和番斯托克斯拉曼散射等新的实验技术和手段。 拉曼光谱分析技术是以拉曼效应为基础建立起来的分子结构表征技术,其信号来源于分子的振动和转动。它提供快速、简单、可重复、且更重要的是无损伤的定性定量分析，无需样品准备，样品可直接通过光纤探头或者通过玻璃、石英、和光纤测量。拉曼光谱的分析方向有定性分析、结构分析和定量分析。
摘要 欧阳学文 本文主要目的是熟悉拉曼光谱仪原理，并掌握拉曼光谱仪的实验测量技术以及拉曼光谱的数据初步处理。 文章首先论述了拉曼光谱仪开发设计、安装调试中所应用的基本理论、设计原理与关键技术，介绍了激光拉曼光谱仪的发展动态、研究方向和国内外总体概况。其次阐述了拉曼散射的经典理论及其量子解释。并说明了分析拉曼光谱数据的各种可行的方法，包括平滑，滤波等。再次根据光谱仪器设计原理详细论述了分光光学系统的结构设计和激光拉曼光谱仪的总体设计，并且对各个部件的选择作用及原理做了详细的描述。最后，测量了几种样品的拉曼光谱，并利用文中阐述的光谱处理方法进行初步处理，并且进行了合理的分析对比。 总之，本文主要从两个方面来分析拉曼光谱仪的实验测量和光谱数据处理研究：一、拉曼光谱仪的结构，详细了解拉曼光谱仪的工作原理。二、拉曼光谱数据处理分析，用合理的方法处理拉曼光谱可以有效便捷的得到较为理想的实验结果。通过对四氯化碳、乙醇、正丁醇的光谱测量以及光谱数据分析，得到了较为理想实验效果，证明本文所论述方法的可行性和正确性。 关键词: 拉曼光谱仪光栅光谱分析 Abstract
Purpose of this paperisfamiliar withRamanSpectrometer, and mastery of experimental measurements ofRaman spectroscopyandRaman spectroscopytechniquespreliminarydataprocessing. The article firstdiscusses theRaman spectrometerdevelopment, design,installation and commissioningin theapplication of the basictheory, designprinciples andkey technologies,laserRaman spectrometerdevelopments,research direction andoverall profileat home and abroad. The second section describesthe classical theoryof Ramanscatteringandquantumexplanation.And showsthe Ramanspectraofthe variouspossible ways, includingsmoothingand filtering.Againaccording tospectrometerdesign principlesdiscussed in detail thespectroscopicoptical systemdesignand laserRaman spectrometeroveralldesign, andthe choiceforthe role ofthe various componentsand the principle ofa detaileddescription. Finally, themeasuredRaman spectraof severalsamples, and use paper describesmethodsforspectralprocessinginitial treatment, and for a reasonableanalysis and comparison. In summary, this paper mainly fromtwoaspects to analyzeexperimental measurementsof Ramanspectroscopyand spectral dataprocessing research: First, the structure ofRaman spectroscopy, Raman spectroscopydetailed understanding ofthe working principle. Second,Raman spectroscopydata processing and analysis, a reasonableapproach toeffectiveand convenientRaman spectroscopycanbemore idealresults. Throughcarbon tetrachloride, ethanol, nbutanolandspectraldata analysisspectral
高光谱分辨率遥感 用很窄（10-2l）而连续的光谱通道对地物持续遥感成像的技术。在可见光到短波红外波段其光谱分辨率高达纳米(nm)数量级，通常具有波段多的特点，光谱通道数多达数十甚至数百个以上，而且各光谱通道间往往是连续的，每个像元均可提取一条连续的光谱曲线，因此高光谱遥感又通常被称为成像光谱（ImagingSpectrometry）遥感。 高光谱遥感具有不同于传统遥感的新特点： （1）波段多——可以为每个像元提供几十、数百甚至上千个波段； （2）光谱范围窄——波段范围一般小于10nm； （3）波段连续——有些传感器可以在350~2500nm的太阳光谱范围内提供几乎连续的地物光谱； （4）数据量大——随着波段数的增加，数据量成指数增加； （5）信息冗余增加——由于相邻波段高度相关，冗余信息也相对增加。 优点： （1）有利于利用光谱特征分析来研究地物； （2）有利于采用各种光谱匹配模型； （3）有利于地物的精细分类与识别。 ENVI高光谱数据处理流程： 一、图像预处理 高光谱图像的预处理主要是辐射校正，辐射校正包括传感器定标和大气纠正。辐射校正一般由数据提供商完成。 二、显示图像波谱 打开高光谱数据，显示真彩色图像，绘制波谱曲线，选择需要的光谱波段进行输出。 三、波谱库 1、标准波谱库 软件自带多种标准波谱库，单击波谱名称可以显示波谱信息。 2、自定义波谱库 ENVI提供自定义波谱库功能，允许基于不同的波谱来源创建波谱库，波谱
来源包括收集任意点波谱、ASCII文件、由ASD波谱仪获取的波谱文件、感兴趣区均值、波谱破面和曲线等等。 3、波谱库交互浏览 波谱库浏览器提供很多的交互功能，包括设置波谱曲线的显示样式、添加注记、优化显示曲线等 四、端元波谱提取 端元的物理意义是指图像中具有相对固定光谱的特征地物类型，它实际上代表图像中没有发生混合的“纯点”。 端元波谱的确定有两种方式： （1）使用光谱仪在地面或实验室测量到的“参考端元”，一般从标准波谱库选择； （2）在遥感图像上得到的“图像端元”。 端元波谱获取的基本流程： （1）MNF变换 重要作用为：用于判定图像内在的维数；分离数据中的噪声；减少计算量；弥补了主成分分析在高光谱数据处理中的不足。 （2）计算纯净像元指数PPI PPI生成的结果是一副灰度的影像，DN值越大表明像元越纯。 作用及原理： 纯净像元指数法对图像中的像素点进行反复迭代，可以在多光谱或者高光谱影像中寻找最“纯”的像元。（通常基于MNF变换结果来进行）
高光谱数据分析ENVI操作手册
1.常见参数选择 主菜单→File→Preferences ●用户自定义文件（User Defined Files） 图形颜色文件，颜色表文件，ENVI的菜单文件，地图投影文件等。需重启ENVI ●默认文件目录(Default Directories) 默认数据目录，临时文件目录，默认输出文件目录，ENVI补丁文件、光谱库文件、备用头文件目录等，需重启ENVI。 ●显示设置(Display Default) 可以设置三窗口中各个分窗口的显示大小，窗口显示式样等。其中可以设置数据显示拉伸方式（Display Default Stretch），默认为2%线性拉伸。 ●其他设置(Miscollaneous) 制图单位（Page Unit），默认为英寸（Inches），可设置为厘米（Centimeters） 还有缓冲大小（cache size），可以设置为物理内存的50-75%左右。 Image Tile Size不能超过4M。
2.显示图像及其波谱 2.1.打开文件 ●主菜单，Open Image File→文件名.raw。 ●或Window→Available Bands List→File →Open Image File→文件名.raw。 2.2.显示图像 ●显示单波段灰度级图像：Gray color,选择的波段一般是图像显示最清晰的波 段。 ●显示伪彩色图像：RGB color，选择具有明显吸收谷、强烈反射作用和所含信息量较大的波段作为彩色合成RGB波段。 ●显示真彩色图像：波段列表（Available Bands List）中，右键→Load TrueColor 。 ●图像保存：Display窗口，File→Save Image As→Image File，选择输出格式、路径和名称，OK。 ●动画显示：Display窗口，Tools→Animation，动态显示各波段图像，能很快的分辨出包含信息量较多的波段。
数据分析方法、数据处理流程实战案例 大数据时代，我们人人都逐渐开始用数据的眼光来看待每一个事情、事物。确实，数据的直观明了传达出来的信息让人一下子就能领略且毫无疑点，不过前提是数据本身的真实性和准确度要有保证。今天就来和大家分享一下关于数据分析方法、数据处理流程的实战案例，让大家对于数据分析师这个岗位的工作内容有更多的理解和认识，让可以趁机了解了解咱们平时看似轻松便捷的数据可视化的背后都是 有多专业的流程在支撑着。 一、大数据思维
在2011年、2012年大数据概念火了之后，可以说这几年许多传统企业也好，互联网企业也好，都把自己的业务给大数据靠一靠，并且提的比较多的大数据思维。 那么大数据思维是怎么回事？我们来看两个例子： 案例1：输入法 首先，我们来看一下输入法的例子。 我2001年上大学，那时用的输入法比较多的是智能ABC，还有微软拼音，还有五笔。那时候的输入法比现在来说要慢的很多，许多时候输一个词都要选好几次，去选词还是调整才能把这个字打出来，效率是非常低的。
到了2002年，2003年出了一种新的输出法——紫光拼音，感觉真的很快，键盘没有按下去字就已经跳出来了。但是，后来很快发现紫光拼音输入法也有它的问题，比如当时互联网发展已经比较快了，
会经常出现一些新的词汇，这些词汇在它的词库里没有的话，就很难敲出来这个词。 在2006年左右，搜狗输入法出现了。搜狗输入法基于搜狗本身是一个搜索，它积累了一些用户输入的检索词这些数据，用户用输入法时候产生的这些词的信息，将它们进行统计分析，把一些新的词汇逐步添加到词库里去，通过云的方式进行管理。 比如，去年流行一个词叫“然并卵”，这样的一个词如果用传统的方式，因为它是一个重新构造的词，在输入法是没办法通过拼音“ran bing luan”直接把它找出来的。然而，在大数据思维下那就不一样了，换句话说，我们先不知道有这么一个词汇，但是我们发现有许多人在输入了这个词汇，于是，我们可以通过统计发现最近新出现的一个高频词汇，把它加到司库里面并更新给所有人，大家在使用的时候可以直接找到这个词了。 案例2：地图
摘要 本文主要目的是熟悉拉曼光谱仪原理，并掌握拉曼光谱仪的实验测量技术以及拉曼光谱的数据初步处理。 文章首先论述了拉曼光谱仪开发设计、安装调试中所应用的基本理论、设计原理与关键技术，介绍了激光拉曼光谱仪的发展动态、研究方向和国内外总体概况。其次阐述了拉曼散射的经典理论及其量子解释。并说明了分析拉曼光谱数据的各种可行的方法，包括平滑，滤波等。再次根据光谱仪器设计原理详细论述了分光光学系统的结构设计和激光拉曼光谱仪的总体设计，并且对各个部件的选择作用及原理做了详细的描述。最后，测量了几种样品的拉曼光谱，并利用文中阐述的光谱处理方法进行初步处理，并且进行了合理的分析对比。 总之，本文主要从两个方面来分析拉曼光谱仪的实验测量和光谱数据处理研究：一、拉曼光谱仪的结构，详细了解拉曼光谱仪的工作原理。二、拉曼光谱数据处理分析，用合理的方法处理拉曼光谱可以有效便捷的得到较为理想的实验结果。通过对四氯化碳、乙醇、正丁醇的光谱测量以及光谱数据分析，得到了较为理想实验效果，证明本文所论述方法的可行性和正确性。 关键词: 拉曼光谱仪光栅光谱分析
Abstract Purpose of this paperisfamiliar with Raman Spectrometer, and mastery of experimental measurements of Raman spectroscopy and Raman spectroscopy technique spreliminary data processing. The article firstdiscusses theRaman spectrometerdevelopment, design,installation and commissioningin theapplication of the basictheory, designprinciples and key technologies,laserRaman spectrometer developments,research direction and overall profileat home and abroad. The second section describesthe classical theory of Raman scattering and quantumexplanation.And shows the Raman spectra of the variouspossible ways, including smoothing and filtering.Again according tospectrometer design principles discussed in detail the spectroscopic optical system design and laser Raman spectrometer overall design, andthe choice for the role of the various component sand the principle of a detailed description. Finally, the measured Raman spectra of severalsamples, and use paper describesmethods forspectral processinginitial treatment, and for a reasonable analysis and comparison. In summary, this paper mainly from two aspects to analyze experimental measurements of Raman spectroscopy and spectral dataprocessing research: First, the structure of Raman spectroscopy, Raman spectroscopy detailed understanding of the working principle. Second,Raman spectroscopydata processing and analysis, a reasonable approach toeffectiveand convenient Raman spectroscopy can be more ideal results. Through carbon tetrachloride, ethanol, n-butanol and spectraldata analysis spectral measurements obtained more satisfactory experimental resultsdiscussed in this articledemonstratethe feasibility and correctness. Keywords: Raman spectrometer grating spectral analys
高光谱数据的制图方法简介 ENVI软件在Spectral菜单中提供许多波谱制图方法，包括：二进制编码、波谱角制图、线性波段预测(LS-Fit)、线性波谱分匹配滤波、混合调制匹配滤波、包络线去除，以及波谱特征拟合等。 本文主要介绍几种高光谱数据处理的过程操作。 1.二进制编码 二进制编码分类技术根据波段值落在波谱均值的下方或上方，将数据和端元分别编码为0和1。在编码过程中，使用一个高级的（exclusive）OR函数，用于将需要编码的数据波谱与参照波谱相比较，从而生成一幅分类图像。 选择菜单栏Spectral—Mapping Methods—Binary Encoding。在打开的窗口设置参数如下： 图1-1 二进制编码分类参数设置 注意：“OutputRuleImages”切换按钮被设置为“No”，规则图像将不被保存。 分类结束后，规则图像将出现在可用波段列表中，可以在任何显示窗口中显示（或链接/覆盖），并可以使用ENVI的像元位置/值功能进行查询。结果显示如图1-2：
图1-2 原影像图（左）与二进制编码分类结果图（右） 2. 波谱角分类 波谱角分类(SAM)是一种基于自身的波谱分类方法，这种方法将图像波谱与参照波谱在N-维空间进行匹配。SAM用到的参照端元波谱可以来自于ASCII文件、波谱库、统计文件或直接从图像中抽取（如ROI均值波谱），本实验中用的是ROI均值波谱。SAM把端元波谱（被认为是一个N维向量，N维波段数）和像元向量放在n维空间中进行角度比较。较小的角度代表象元与参照波谱匹配紧密。这一技术用于数据定标时，对照度和反照率的影响并不敏感。 选择菜单栏Spectral—Mapping Methods—Spectral Angle Mapper。设置参数如图2-1，波谱角分类结果，如图2-2： 图2-1 波谱角分类参数设置图2-2 波谱角分类结果影像 3.LS-Fit(线性波段预测)
专题二十四 使用ENVI的高光谱工具处理多光谱数据(节选) 1.1.专题概述 本专题的目的是向用户展示如何使用ENVI先进的高光谱工具对多光谱数据进行分析。要更好地理解高光谱处理的概念及其工具，请参见ENVI高光谱辅导指南。要获取额外的详细信息，请参见《ENVI遥感影像处理实用手册》（ENVI User’s Guide）或者ENVI的在线帮助。 ?本专题中使用的文件 光盘：《ENVI遥感影像处理专题与实践》附带光盘 #1 ?背景知识 ENVI并非仅设计成高光谱影像处理系统。在1992年，ENVI的开发者就决定开发出一个通用的影像处理软件，它包含一整套的基本处理工具，弥补了商业软件缺乏强大灵活处理功能的不足，使得它能够处理各种科学格式的影像数据。它对全色、多光谱、高光谱以及基本和改进雷达影像数据都提供了支持。当前，ENVI包含了与其它主要影像处理系统（例如：ERDAS，ERMapper和PCI）相同的基本处理功能。其中，ENVI在前沿遥感研究中采用了许多不同的先进算法。虽然这些算法都是在处理成像光谱仪数据或者多达上百个波谱波段的高光谱数据基础之上发展而来，但是它们也可以应用到多光谱数据和其它标准数据类型的处理上。本专题将对某些分析Landsat Thematic Mapper（TM）数据的方法进行介绍。 本专题分为两个独立的部分：1）使用标准或者经典多光谱分析技术，对TM影像数据进行典型的多光谱分析，2）使用ENVI高光谱工具对相同的数据集进行分析。 1.2.使用ENVI的高光谱工具分析多光谱数据 ?读取TM影像数据 z要从磁带中读取数据，可以在ENVI主菜单中选择File → Tape Utilities → Read Known Tape Formats → Landsat TM（或者对于新的EDC-格式的磁带选择NLAPS）。 z要从光盘中读取数据，可以选择File →Open External File → Landsat → Fast，或者选择File → Open External File → Landsat → NLAPS（对于NLAPS数据）。 z考虑到本专题的目的，这些数据已经从磁带中读出并存入到数据子集中，以提供相应的文件进行分析。使用Basic Tools → Preprocessing →Data Specific Utilities → Landsat TM → Landsat TM Calibration，启动ENVI的TM校正工具，该TM影像已经被纠正为反射率影像。（若需更多的信息，请参见《ENVI遥感影像处理实用手册》）。 ?显示一幅彩色合成影像并提取波谱曲线