第3期,总第77期
国 土 资 源 遥 感No .3,2008 2008年9月15日R E M O TE SEN S I N G FO R LAND &R ESOU RC ES Sep.,2008
ALOS 卫星图像分析与预处理实证研究
张荣慧,刘顺喜,周连芳,吴海平,何宇华
(中国土地勘测规划院土地遥感所,100035 北京)
摘要:通过实证研究的方法对高分辨率ALOS 卫星数据进行质量分析,结合ALOS 数据特点,提出了ALOS 原始影像数据的预处理方法和处理流程。研究结果表明:ALOS 数据预处理工作量较大,且预处理方法要求较为严格,因此,在开展大规模、大范围、大区域、大精度、短周期的图件更新、动态监测等应用时,应考虑将ALOS 卫星图像与其它卫星图像结合使用。
关键词:ALOS 卫星;图像预处理;噪声检测;归一化
中图分类号:TP 75 文献标识码:A 文章编号:1001-070X (2008)03-0084-06
收稿日期:2007-09-18;修订日期:2008-06-05
0 引言
ALOS 卫星(Advanced Land Observing Satellite )是日本宇航研究开发机构于2006年1月发射的一颗陆地观测卫星,携带有3种遥感传感器:①全色
立体测图传感器(PR I S M ),具有2.54m 的空间分辨
率,能分别沿轨道方向前视、垂直下视和后视,快速
获取高精度的地面立体信息和数字高程模型;②新
型可见光和近红外辐射计(AVN I R -2),具有10m
的空间分辨率、0.42～0.69μm 可见光谱段波谱分
辨率以及0.76～0.89μm 近红外谱段波谱分辨率,
主要用于地表面覆盖观测;③相控阵型L 波段合成
孔径雷达(P ALS AR ),具有24～89m 微波谱段极化
分辨率,主要用于全天候陆地观测。ALOS 卫星在
亚太地区以上行太阳同步轨道方式提供观测数据。1 ALOS 数据质量分析本文所选择的ALOS 卫星影像数据轨道号为
03618-3130和03866-2970,产品级别为Level
1B1,已经进行了必要的大气辐射订正和必要的地理坐标定位,提供每一景数据的廓角经纬度和中心点经纬度。1.1 全色波段数据质量1.1.1 数据动态范围检测ALOS 卫星PR I S M 影像全色波段数据的图像灰度动态范围极小,在信息处理的过程中可量化的空间比较狭窄。根据源影像的灰度值范围,对源影像进行分步处理,包括原始数据分析和镶嵌数据分析,并与同景范围的SP OT 5全色波段原始影像进行灰度值范围的对比,如图1所示
。
图1 ALOS (左)与SP OT (右)卫星原始影像的灰度值范围对比
第3期张荣慧,等: ALOS 卫星图像分析与预处理实证研究 从图1中可以看出,进行镶嵌后的ALOS 原始
影像像面灰朦,将其按实际像素尺度放大后灰度层
次不明显,再放大到极限即扫描线可视的状态,其局
部灰度无显著视觉改善。分析其灰度直方图,有效灰
度值均集中在10～155之间,动态度仅有56.86%。对比同景范围SP OT 5全色波段数据的76.47%有效灰阶动态度来说,ALOS 卫星影像全色波段源数据所表现的信息承载能力比较差。分析原始分带扫描数据,从第1扫描带至第4扫描带,其灰度直方图分别如图2所示
。
图2 原始影像第1～4扫描带数据灰度直方图
观察从第1至第4扫描带影像并计算其各自的
灰度值范围,分别为62～110、55～135、60～148和
60～125,即相对的灰阶动态度分别为32.50%、
31.37%、34.51%和35.72%,其动态度的表现平均为33.53%,加权后为51.08%,与镶嵌后的全景有效灰阶动态度56.86%十分接近。其“权”值为各个扫描带影像灰阶动态范围的均值差÷扫描带数,为经验数据,与扫描带数的比值关系说明其为“同一景源”,这里为17.5625。1.1.2 表面噪声检测将源数据放大至像元级进行观察,在软件系统
默认的实际像素分辨尺度下,能够观察到ALOS 卫
星PR I S M 传感器在成像过程中的扫描痕迹,其扫描
间隔恰好是隔行痕迹,痕迹噪声十分明显。在常规
的“变化信息提取”所需要的屏幕显示尺度即极限
像素尺度下(一般为1∶2000～1∶4000),其扫描痕
迹就更加明显,这使得在今后遥感图像数字化处理
的实际应用过程中,无法对ALOS 数据进行计算机
自动分类和模式识别一类的运算。1.2 多光谱波段数据质量1.2.1 动态范围检测分析发现,ALOS 卫星多光谱波段数据与全色波段数据存在相同的问题,即灰阶实际上分布在狭
小的值域范围内,灰度值域从0～34基本无值,无信
噪声十分明显。这说明ALOS 卫星影像的源数据在
大气辐射订正方面有十分明显的缺陷,分析认为其
主要是由垂直大气通道内的米氏散射现象所造成
的,而灰度分布曲线的“驼峰”曲象则主要是与垂直
大气通道前后交叉的瑞利散射所造成的。
1.2.2 波段同步性检测在相同的原始影像数据坐标下,检查ALOS 卫星多波段影像中4个波段的原像素坐标的一致性,以确认各波段数据的同步性能。经检查发现,两景数据其红光波段(第3波段)与蓝光波段(第1波段)、绿光波段(第2波段)、红外波段(第4波段)的数据均不同步,可造成1.5～2.5个像元的距离差,见图3。
?58?
国 土 资 源 遥 感2008
年
图3 ALOS卫星原始多光谱影像各波段同步性检测2 ALOS原始影像预处理
以ALOS数据Level1B1产品为试验对象,运用
ERDAS I M AGI N E和Phot oShop图像处理系统,针对
ALOS数据Level1B1产品的数据特性,对ALOS卫
星原始影像数据进行预处理。
2.1 全色波段影像归一化灰度值量化
在将4个扫描带的影像镶嵌起来之前,必须检
查各扫描带的影像灰度值域范围,在灰度值动态度
上统一,否则后面拼接起来的整景全色波段影像第
1扫描带的灰度值域与第2、3扫描带的灰度值域量
化不一致,就形成了明显“亮”与旁边影像的“大条
花布”情形。
2.1.1 灰度值分析
在裁取了各扫描带的有效数据后,即可进行各
带扫描数据的灰度值分析。工程化分析可以仅注意
有效灰度的起始阈值G
m in 、终止阈值G
max
和灰阶动
态度G
d
3个基本参数。G d为无量纲系数,其值愈高,说明影像数据的灰度质量愈好,信息承载量也就愈大。
2.1.2 灰度值量化
裁取了各扫描带的有效数据后再进行各带影像数据的灰度值统一归一化量化处理。这个处理过程可以在类如Phot oShop图像处理软件系统中进行,处理过程中要注意使各扫描带的影像数据的有效灰
阶动态度G
d
一致,其表达式为
G d=[(G max-G m in)/g(S1～S2)]×100% (1)
式中,G
max
为截取的最大灰度阈值;G
m in
为截取
的最小灰度阈值;g(S
1
～S
2
)为根据需要攫取的0～255值域。
具体的量化处理方法是:设G
1
、G
2
为输入影像
的嵌位控制值,S
1
和S
2
分别为拉伸后影像的最低和
最高灰度值,输入影像的灰度值域G
1
～G
2
被拉伸至S1～S2区间范围,其中输入灰度0～G1及G2～255
分别被变换为S
1
、S
2
,如果S1=0、S2=255,则扩大了输入影像的灰度值的动态范围,从而使影像的信息得到增强(如图4所示)
。
图4 对原始影像灰度值域的线性拉伸
图5为ALOS原始图像进行量化处理后的对比,从中可以看出,ALOS影像的信息得以增强。
?
6
8
?
第3期张荣慧,等: ALOS
卫星图像分析与预处理实证研究图5 对原始影像灰度值域进行量化处理后的对比
2.2 全色波段影像数据拼接
2.2.1 源影像裁取在对4个全色波段影像数据进行归一化灰度值量化之前,由于各扫描带的影像扫描宽度是一致的,但有效影像的尺寸大小不同,必须将各扫描带中的有效影像裁剪出来,这可以在任何图像处理软件中进行。每个扫描带的第一行、最末行是无效数据,要裁剪掉;有效影像的第一列、最末列都紧挨着系统噪声或空信号(图6(a )～(d )所示)也要裁剪掉。
这样裁取出来的有效影像除了列数不同外,其起始位置和终结位置在成像扫描行上都是相同的行位。
实验中要注意的是:①不能在列上过多裁剪,因为
各扫描带之间仅有20列的重叠区,裁剪过多可能导
致镶嵌不上,也会给镶嵌操作带来不易进行位置判
断的问题;②必须裁剪掉紧挨非有效影像的那一列
(第一、最末列),否则会因为噪声、空信号的交互影
响(如图6(e )所示),在镶嵌接线的列位置辨率变
换等重采样处理,以保持源数据的像元尺度原始性
。图6 ALOS 卫星原始全色波段4带影像的裁取
?
78?
国 土 资 源 遥 感2008年
2.2.2 影像镶嵌4带影像数据的镶嵌(拼接)工作可以在Phot o 2
Shop 等图像处理软件系统中进行。在镶嵌过程中,
先至少要将成果“画布”的宽度定义为4倍扫描成
像带宽,即5090×4=20360个像元,高度则固定在
16000个像元,这样在逐带进行影像镶嵌的时候,才
可容易且准确地确定垂直位置,只需调整各带影像
的左右位置即可。每镶嵌上一带影像,即应予以画
板合并,直至全景影像镶嵌完毕。最后进行有效影
像数据的剪取,存储为最终成果。要注意不可在镶
嵌拼接过程中,随意修改某一扫描带影像数据的像
元参数,例如分辨率、灰度等。
2.3 第3波段影像几何位置重调整
据分析,造成多光谱第3波段影像与其它波段
影像不同步的原因,主要是多光谱成像扫描设备的
第3扫描光栅在回扫过程中与其它扫描光栅不同
步。由于第3波段的错位偏差为非线性的,其成像
偏差为一个二元角函数,所以不能简单地用坐标平移的算法进行复位操作。
以ALOS 卫星轨道方向为基准,其错位偏差函
数F 为
F (x,y )=180°-tg (1-3X d
Y d ) (2)
式中,X d 为传感器回扫方向的偏差量;Y d 为星
轨运动方向的偏差量。采用第3波段纠偏方法进行
几何位置调整步骤:首先,在专业遥感图像处理软
件中,将ALOS 卫星AVN I R -2多光谱影像数据中
的第3波段数据分离出来
;然后,以其它波段数据
为基准,使用二次多项式算法对其进行一次像元坐
标的几何重配准;最后再将其合成回原多波段数据
中。在进行几何配准的过程中,尤其要注意控制点
应按“三角网”模式均匀布设(如图7所示),以保障
第3波段的影像数据不产生几何位置失真。图7 影像数据几何位置配准控制点布设 在几何校正的过程中,必须均匀布设“零差控制点”,然后按误差中数控制法则,将各控制点向原控制点的tg α(α指控制点和原控制点连线与垂直方向的夹角)方向进行F (x )函数量的调整,进行校正计算后重新进行多波段合成操作。要注意的是,须保障校正后的各波段影像数据的像元几何尺度与原数据一致。2.4 多光谱波段影像灰度值量化处理前述文中分析过ALOS 卫星多光谱影像源数据质量问题的主要原因,可以采用如同对全色波段数据进行灰度值归一化处理一样的方法,对多光谱数据进行灰度值域线性量化,以改善多光谱影像数据质量,量化后的ALOS 多光谱波段影像的灰阶动态度为84.23%。本文所用ALOS 多光谱波段原始影像和灰度范围见插页彩片33(a )、(c )、(e ),量化后的ALOS 多光谱影像和灰度范围见插页彩片33(b )、(d )、(f )。3 结论(1)对于ALOS 卫星数据,前期必须经过工作量颇大、技术精度较高的“4带镶嵌”和烦琐的归一化灰度值量化处理,并重新配准第3波段的像素坐标之后,方可使用。(2)由于在数据预处理过程中扫描噪声暂时无法消除,若用现有的算法诸如傅立叶“低通滤波”变换、或采用最小模版原地重新采样的“壁垒变换”等,均势必造成有效信息的大量损失,因此,预处理时不应盲目采用以上方法。为有效克服扫描噪声的影响,建议ALOS 卫星数据的应用比例尺不要大于1∶10000。(3)由于ALOS 卫星数据的预处理工作量比较庞大,且其单景成像面积较小,因此,有效影像数据
若覆盖中国大陆全境,则至少需要5～7a 的时间,
无法充分显现其在短时间轴上的动态性。因此,在
开展大规模、大范围、大区域、大精度、短周期的图件
更新、动态监测等应用时,应考虑将ALOS 卫星数据
与其他卫星影像结合使用。
参考文献:
[1] 许殿元,丁树柏.遥感图像信息处理[M ].北京:宇航出版社,
1990.
[2] 朱述龙,张占睦.遥感图象获取分析[M ].北京:科学出版社,
2000.
[3] 张永生,巩丹超,等.高分辨率遥感卫星应用[M ].北京:科学
出版社,2004.
[4] 黄世存,章文毅,等.几种不同矩阵算法的遥感图像几何精纠
?
88?
第3期张荣慧,等: ALOS 卫星图像分析与预处理实证研究正效果比较[J ].国土资源遥感,2005,(3):18-22.
[5] 吴德文,袁继明,张远飞,等.遥感与化探数据融合处理技术方法及应用研究[J ].国土资源遥感,2005,(3):44-47.[6] 吴海平,刘顺喜,史良树.I RS -P6与SP OT -5卫星影像在土
地利用动态遥感监测中应用的比较[J ].国土资源遥感,2005,(4):42-45.
[7] 徐逸祥,朱子豪,刘英毓.卫星影像的云雾检测及干扰去除
[J ].国土资源遥感,2006,(3):23-28.AN E M P I R I CAL RESEARCH O N ANALY S I S AND PRE -PROCESS I NG O F
ALO S SATELL I TE I M AGES
ZHANG Rong -hui,L I U Shun -xi,Z HOU L ian -fang,WU Hai -p ing,HE Yu -hua
(China L and Surveying and Planning Institute,B eijing 100035,China )
Abstract:This paper has analyzed the quality of high res oluti on ALOS satellite i m ages by an e mp irical analysis method .Based on characteristics of ALOS i m ages,the authors p resent methods and the fl ow of ALOS ra w i m ages p rep r ocessing .The result shows that the i m ages of ALOS should be used in combinati on with the i m ages of other satellites when we conduct large -scale,large -area,high -p recisi on and short -cycle land use map updating and dyna m ic monit oring .This is because the i m ages of ALOS have such shortages as large a mounts of work and strict app licati on .
Key words:ALOS;I m age p rep r ocessing;Noise detecti on;Nor malizati on
第一作者简介:张荣慧(1978-),男,本科,主要从事土地资源遥感调查与监测应用研究。
(责任编辑:李瑜)
ES R I 中国致用户的一封信
尊敬的用户:您好!
ESR I 进入中国近30a 来,一直以开拓和发展中国的空间信息市场为己任,为中国用户所取得的成绩感到自豪。同时,也非常感谢广大用户长期以来对我们的支持与信任。
随着空间信息市场的快速发展,GI S 数据与遥感数据的结合日益紧密。GI S 与遥感不仅从数据上,还会从整个软件构架体系上真正实现融合,从而可以达到优势互补,进一步提升GI S 软件的可操作性,提升空间和影像分析的工作效率,扩展空间信息技术的应用广度和深度,并有效节约系统成本。
为了适应这种新的用户需求和未来的技术发展趋势,更好地为用户提供服务,ESR I 公司与美国I TT V is 2ual I nf or mati on Soluti ons (I TT V I S )公司建立了全球战略合作伙伴关系,共同开发和建设GI S 与遥感空间数据一体化平台。
作为ESR I 在中国大陆的分支机构,ESR I 中国(北京)有限公司自2008年7月15日起正式成为I TT V I S 公司在中国大陆地区的战略合作伙伴,并为中国用户提供ENV I/I D L 产品的销售、咨询以及相关的技术支持服务。我们非常感谢广大遥感用户多年以来的支持,在继续提供必要的技术支持服务的同时,我们还将推出更加优惠的政策,以保护用户原有投资的长期利益。
美国I TT V I S 公司是全球领先的遥感软件及增值服务提供商,长期从事影像数据技术的深层次开发,其ENV I 产品被美国国家影像制图局(N I M A )等权威机构评为“最佳的遥感目标识别软件”。E NV I/I D L 独到、强大的影像处理与开发定制功能,以及极高的性能价格比,奠定了I TT V I S 在行业内的领导者地位。正如ESR I 总裁Jack Danger mond 先生所说:“与I TT V I S 这样的行业领导者合作,会大大加强我们的用户在空间数据影像处理方面的能力”。我们相信,这一新的业务变化将给您带来更好的提升,我们将以更优秀的技术和更周到的服务为您提供完整的解决方案。
再次感谢您的理解与支持,让我们共同为中国GI S 与遥感事业的应用创新和不断发展做出努力!
(ESR I 中国(北京)有限公司)
?
98?
如何对市场调研问卷的数据进行预处理 市场调研问卷数据的预处理是整个市场调研工作的重要环节,如果预处理做得不好，就会使有问题的问卷进入后面的数据分析环节，对最终结果产生严重影响。 一、信度检验 1.信度分析简介 信度，即信任度，是指问卷数据的可信任程度。信度是保证问卷质量的重要手段，严谨的问卷分析通常会采用信度分析筛选部分数据。 α值是信度分析中的一个重要指标，它代指0～1的某个数值，如果α值小于０.7,该批次问卷就应当剔除或是进行处理;如果大于0．９,则说明信度很高,可以用于数据分析；如果位于０．７～0.9，则要根据具体情况进行判定。如表1所示。 α值意义 >0.9信度非常好 ＞0.８信度可以接受 >0.7需要重大修订但是可以接受 <0．7放弃 2．信度分析示例 操作过程 下面介绍的是一个信度分析的案例,其操作过程为：首先打开信度分析文件，可以看到该文件的结构很简单，一共包含1０个题目，问卷的份数是10２份。然后进入SPSS的“分析”模块，找到“度量”下面的“可靠性分析”,将这十个题目都选进去。 在接下来的统计量中,首先看平均值、方差和协方差等，为了消除这些变量的扰动,可以选择要或者不要这些相关的量,另外ANＯVA(单音数方差分析）是分析两个变量之间有无关系的重要指标，一般选择要，但在这里可以不要,其他一些生僻的量值一般不要。描述性在多数情况下需要保留,因为模型的输出结果会有一些描述,因此应当选中项、度量和描述性,然后“确定”,这时SPSS输出的结果就会比较清楚。 结果解读 案例处理汇总后，SPＳS输出的结果如图１所示。
图1 信度分析结果 由图１可知,案例中调查问卷的有效数据是102,已排除数是0，说明数据都是有效的，在这里如果某个问卷有缺失值，就会被模型自动删除，然后显示出已排除的问卷数。在信度分析中,可以看到Aｌpha值是0．881,根据前文的判定标准，这一数值接近0.9，可以通过。在图右下方部分有均值、方差、相关性等多个项目,这主要看最后的“项已删除的Alpｈａ值”,该项目表示的是删除相应项目后整个问卷数据信度的变动情况,可以看出题目1、题目2和题目6对应的数值高于０．８８1,表明删除这三个题目后整个问卷的Aｌphａ值会上升，为了确保整个调查的严谨性，应当将这三个题目删除。 二、剔除废卷 删除废卷大致有三种方法:根据缺失值剔除、根据重复选项剔除、根据逻辑关系剔除。 １.根据缺失值剔除 缺失值的成因 在市场调查中,即使有非常严格的质量控制,在问卷回收后仍然会出现缺项、漏项，这种情况在涉及敏感性问题的调查中尤其突出，缺失值的占比甚至会达到1０%以上。之所以会出现这种现象，主要有以下原因：一是受访者对于疾病、收入等隐私问题选择跳过不答，二是受访者由于粗心大意而漏掉某些题目等。 缺失值的处理 在处理缺失值时，有些人会选择在SＰSS或Excｅl中将其所在的行直接删除。事实上，不能简单地删除缺失值所在的行,否则会影响整个问卷的质量。这是因为在该行中除了缺失的数据以外,其他数据仍旧是有效的,包含许多有用信息，将其全部删除就等于损失了这部分信息。 在实际操作中，缺失值的处理主要有以下方式，如图2所示。
第五章多元分布基础 前面所介绍的统计分析分法（除方差分析、回归分析），大多是适用于一个变量的总 体，一般称为一元统计分析方法。但在许多实际问题如在工农业生产（提高产品质量、降低成本、提高农作物产量及改进品种等），国民经济和科学研究领域（经济管理、金融、气象、地质、生物、医学、航天技术等）中，常常要处理多个变量的观测数据，即要研究多维随机变量的分布、数字特征及变量间的关系。如果仍用一元统计方法分别对每一个变量进行分析，这样往往忽视了各方面之间存在的相关性，一般来说会丢失很多信息，分析的结果不能客观全面地反映情况.如果说一元统计分析是研究一个随机变量统计规律性的数学方法，那么多元统计分析则是研究多个随机变量之间相互依赖关系以及内在统计规律性的数学方法。 多元统计分析方法是以概率论、线性代数及一元统计方法为基础的数理统计学的一个分支。随着计算机的发展，特别是统计软件的应用，多元统计分析方法才被广泛的应用到解决实际问题中，本身也得到了迅猛的发展。 5.1多元分布 一、多元分布的概念 1. 分布函数 定义5.1.1设)',,,(21p X X X =X 是一随机向量，它的（多元）分布函数是 )(x F =),,,(21p x x x F =),,(11p p x x P ≤≤X X （5.1.1） 式中，),,,(' 21p x x x x =p R ∈，并记成X ～),,,(21p x x x F 多元分布函数的性质： Ⅰ),,,(21p x x x F 是每个变量x i （i =1,…, p ）的非降右连续函数； Ⅱ1),,,(021≤≤p x x x F ； Ⅲ=-∞),,,(2p x x F ==-∞ ),,,(1p x x F ),,,(21-∞ x x F =0； Ⅳ1),,,(=∞∞∞ F 。 本章主要对连续型的多元分布进行讨论，离散型的的多元分布常用的有如：多项式分布、多元超几何分布。 2.两个常用的离散性多元分布 （1）多项分布 （2）多元超几何分布 3．多元分布密度函数
数据分析一定少不了数据预处理，预处理的好坏决定了后续的模型效果，今天我们就来看看预处理有哪些方法呢？ 记录实战过程中在数据预处理环节用到的方法~ 主要从以下几个方面介绍： ?常用方法 ?N umpy部分 ?P andas部分 ?S klearn 部分 ?处理文本数据 一、常用方法 1、生成随机数序列 randIndex = random.sample(range(trainSize, len(trainData_copy)), 5*tra inSize) 2、计算某个值出现的次数 titleSet = set(titleData) for i in titleSet: count = titleData.count(i)
用文本出现的次数替换非空的地方。词袋模型 Word Count titleData = allData['title'] titleSet = set(list(titleData)) title_counts = titleData.value_counts() for i in titleSet: if isNaN(i): continue count = title_counts[i] titleData.replace(i, count, axis=0, inplace=True) title = pd.DataFrame(titleData) allData['title'] = title 3、判断值是否为NaN def isNaN(num): return num != num 4、 Matplotlib在jupyter中显示图像 %matplotlib inline 5、处理日期 birth = trainData['birth_date'] birthDate = pd.to_datetime(birth) end = pd.datetime(2020, 3, 5) # 计算天数birthDay = end - birthDate birthDay.astype('timedelta64[D]') # timedelta64 转到 int64 trainData['birth_date'] = birthDay.dt.days
012. 数据预处理（1）——剔除异常值及平滑处理测量数据在其采集与传输过程中，由于环境干扰或人为因素有可能造成个别数据不切合实际或丢失，这种数据称为异常值。为了恢复数据的客观真实性以便将来得到更好的分析结果，有必要先对原始数据（1）剔除异常值； 另外，无论是人工观测的数据还是由数据采集系统获取的数据，都不可避免叠加上“噪声”干扰（反映在曲线图形上就是一些“毛刺和尖峰”）。为了提高数据的质量，必须对数据进行（2）平滑处理（去噪声干扰）； （一）剔除异常值。 注：若是有空缺值，或导入Matlab数据显示为“NaN”（非数），需要①忽略整条空缺值数据，或者②填上空缺值。 填空缺值的方法，通常有两种：A. 使用样本平均值填充；B. 使用判定树或贝叶斯分类等方法推导最可能的值填充（略）。 一、基本思想： 规定一个置信水平，确定一个置信限度，凡是超过该限度的误差，就认为它是异常值，从而予以剔除。
二、常用方法：拉依达方法、肖维勒方法、一阶差分法。 注意：这些方法都是假设数据依正态分布为前提的。 1. 拉依达方法（非等置信概率） 如果某测量值与平均值之差大于标准偏差的三倍，则予以剔除。 3x i x x S -> 其中，11 n i i x x n ==∑为样本均值，1 2 211()1n x i i S x x n =?? ??? =--∑为样本的标准偏差。 注：适合大样本数据，建议测量次数≥50次。 代码实例（略）。 2. 肖维勒方法（等置信概率） 在 n 次测量结果中，如果某误差可能出现的次数小于半次时，就予以剔除。 这实质上是规定了置信概率为1-1/2n ，根据这一置信概率，可计算出肖维勒系数，也可从表中查出，当要求不很严格时，还可按下列近似公式计算：
北京揽宇方圆信息技术有限公司 学习遥感卫星影像基础知识 前言：教学目标 ?掌握遥感的概念、遥感的原理与方法、遥感的技术系统。 ?掌握常用遥感数据的特征和应用、信息提取的方法。 ?了解遥感信息的应用。 前言：教学主要内容 n遥感概念及遥感技术系统遥感基础原理遥感数据类型航空像片及信息提 取陆地卫星图像及信息的提取遥感图像的计算机处理 第一章遥感—碧空慧眼 n§1遥感绪论 n遥感(Remote Sensing)概念 v广义：泛指一切无接触的远距离探测，包括对电磁场、力场、机械波（声波、地震波）等的探测。 v遥感定义：是从远处探测感知物体，也就是不直接接触物体，从远处通过探测仪器接收来自目标地物的电磁波信息，经过对信息的处理，判别出目标地物的属性。 §2遥感概念和遥感数据 n遥感数据（遥感数据获取示图）
太阳辐射经过大气层到达地面，一部分与地面发生作用后反射，再次经过大 气层，到达传感器。传感器将这部分能量记录下来，传回地面，即为遥感数据（遥感数据示例）。 §3遥感的特性 空间特性 v视域范围大，具有宏观特性(…)。 v光谱特性：探测的波段从可见光向两侧延伸,扩大了地物特性的研究范围(…)。 v时相特性：周期成像，有利于进行动态研究和环境监测(…)。 遥感的特点 v大面积的同步观测(…)。时效性(…)。数据的综合性和可比性(…)。经济性(…)。局限性(…)。 §5遥感数据的类型 §按平台分 地面遥感、航空遥感、航天遥感数据。 §按电磁波段分可见光遥感、红外遥感、微波遥感、紫外遥感数据等。 §按传感器的工作方式分主动遥感、被动遥感数据。 §6遥感数据的应用领域(一) §林业：清查森林资源、监测森林火灾和病虫害。 §农业：作物估产、作物长势及病虫害预报。 §水文与海洋：水资源调查、水资源动态研究、冰雪监控、海洋渔业。 §国土资源：国土资源调查、规划和政府决策。 §气象：天气预报、气候预报、全球气候演变研究。- - §6遥感数据的应用领域(二) §7遥感的发展简况(一) n照相机、气球、飞机构成初期遥感技术系统。
徐州工程学院 论文报告 题目：样品预处理 学生：骆乃薇 指导教师：刘辉 专业：食品质量与安全 班级：12质量2 目录 1.样品预处理的目的 1 2.样品预处理的原则 1 3.样品预处理的方法 1 3.1有机物破坏法 2 3.2蒸馏法 3 3.3溶剂抽提法 5 3.4色层分离法 7 3.5化学分离法 7 3.6浓缩---------------------------------------------------------------------------9 一目的： 1、测定前排除干扰组分； 2 、对样品进行浓缩。 二原则： ①消除干扰因素； ②完整保留被测组分； ③使被测组分浓缩； 以便获得可靠的分析结果 三方法： 主要有6种。 （一）有机物破坏法 测定食品中无机成分的含量，需要在测定前破坏有机结合体，如蛋白质等。操作方法分为干法和湿法两大类。 1.干法灰化 原理：将样品至于电炉上加热，使其中的有机物脱水、炭化、分解、氧化，在置高温炉中灼烧灰化，直至残灰为白色或灰色为止，所得残渣即为无机成分。
2.湿法消化 原理：样品中加入强氧化剂，并加热消煮，使样品中的有机物质完全分解、氧化，呈气态逸出，待测组分转化为无机物状态存在于消化液中。 常用的强氧化剂有浓硝酸、浓硫酸、高氯酸、高锰酸钾、过氧化氢等。 湿法消化的优缺点 优点：（1）有机物分解速度快，所需时间短。 （2）由于加热温度低，可减少金属挥发逸散的损失。 缺点：（1）产生有害气体。 （2）初期易产生大量泡沫外溢。 （3）试剂用量大，空白值偏高。 3. 紫外光分解法 高压汞灯提供紫外光。85±5 ℃，加双氧水。 4. 微波高压消煮器。 食品样品最多只要10分钟（2.5 MPa); 其它方法： 1. 高压密封消化法——120～150℃，数小 时，要求密封条件高。 2.自动回流消化仪。 （二）蒸馏法 利用液体混合物中各种组分挥发度的不同而将其分离。 常压蒸馏 蒸减压蒸馏 馏水蒸气蒸馏 方 法 1.常压蒸馏 适用对象：常压下受热不分解或沸点不太高的物质。 蒸馏釜：平底、圆底 冷凝管：直管、球型、蛇型 注意：1. 爆沸现象。（沸石、玻璃珠、 毛细管、素瓷片） 2. 温度计插放位置。 3. 磨口装置涂油脂
离子色谱样品预处理 随着离子色谱日益广泛的应用，许多样品已经无法用传统的方法采用采样、稀释、过滤后直接进样的模式来进行离子色谱的分析。对于大量复杂基体的样品，离子色谱可以采用合适的方法，通过预处理后再用离子色谱法进行分析，这样一方面可以解决样品复杂基体对离子色谱柱的污染，另一方面也可以大大提高复杂基体样品测定结果和准确性，提高分析方法的灵敏度。 有关样品预处理方法，随着国内离子色谱的用户水平的提高，出现了大量相关离子色谱的预处理方法，这些方法有如下几方面的特点： （1）大部分样品前处理方面，采用国产材料进行，预处理的成本很低，更能适合于中国国情，可以在国内广泛推广使用； （2）大部分样品预处理方法采用离线方法，不需要昂贵的在线设备；但相对而言，样品处理的时间比较长，需要的样品量也比较多一些； （3）与国际上出现的一些样品预处理方法相比较，国内出现的样品前处理绝大多数均出自于基层单位，实用性强；但相关的理论方面的探讨比较少。因此，许多国内采用样品前处理方法，一方面可以再进一步从理论角度进行讨论，另一方面也可以通过适当改进配合包括国内和国外的仪器用于在线样品的预处理。 离子色谱样品前处理遵循的原则 (1)样品处理后待测组分的含量应不低于检测器的检出限 ; (2)样品中各组分的分离必须达到色谱定量要求; (3)样品中不能含有机械杂质和微小颗粒物,以免堵塞色谱柱; (4)尽可能避免待测组分离子发生化学变化,防止和减少待测组分损失; (5)待测组分进行化学反应时其化学计量关系必须明确并且反应彻底; (6)避免和减少无关离子和化合物的引入,防止待测组分被污染并增加分离难度。 1.膜处理法 1.1.滤膜或砂芯处理法 滤膜过滤样品是离子色谱分 析最通用的水溶液样品前处 理方法，一般如果样品含颗 粒态的样品时，可以通过 0.45或0.22μm微孔滤膜过滤后直接进样。由于一般的滤膜不能耐高压，因此滤膜过滤只能用于离线样品处理。有时需要在线样品处理，或者将该方法用于仪器管路中，必须采用砂芯滤片。但滤膜过滤方法只能去除颗粒态不溶性物质，对于极小颗粒或有机大分子可溶性化合物和金属水溶性离子，照样能够进入色谱柱干扰样品的测定并沾污色谱柱。 1.2.电渗析处理法 在国内比较的特色的工作是采用电渗析法，与其它的膜处理方法相比，电渗析处理法有一定的选择性，因此不仅可以有效去除颗粒物、有机污染物，而且也可以去除重金属离子的污染物。是处理复杂基体样品最有效的方法之一。 1.3.电解中和法 强酸、强碱中微量离子的测定是离子色谱较难解决的问题,电解中和法的应用使问题迎刃而解。该方法是利用水电解产生的氢离子或氢氧根离子对高浓度
数据分析中，需要先挖掘数据，然后对数据进行处理，而数据预处理的字面意思就是对于数据的预先处理，而数据预处理的作用是为了提高数据的质量以及使用数据分析软件，对于数据的预处理的具体步骤就是数据清洗、数据集成、数据变换、数据规范等工作，数据预处理是数据分析工作很重要的组成部分，所以大家一定要重视这个工作。 首先说一下数据清洗就是清理脏数据以及净化数据的环境，说到这里大家可能不知道什么是脏数据，一般来说，脏数据就是数据分析中数据存在乱码，无意义的字符，以及含有噪音的数据。脏数据具体表现在形式上和内容上的脏。就目前而言，脏数据在形式上就是缺失值和特殊符号，形式上的脏数据有缺失值、带有特殊符号的数据，内容上的脏数据上有异常值。 那么什么是缺失值呢？缺失值包括缺失值的识别和缺失值的处理。一般来说缺失值处理方法有删除、替换和插补。先来说说删除法吧。删除法根据删除的不同角度又可以分为删除观测样本和变量，删除观测样本，这就相当于减少样本量来换取信息的完整度，但当变量有较大缺失并且对研究目标影响不大时，可以直接删除。接着说一下替换法，所谓替换法就是将缺失值进行替换，根据变量的不同又有不同的替换规则，缺失值的所在变量是数值型用该变量下其他数的均值来替换缺失值；变量为非数值变量时则用该变量下其他观测值的中位数或众数替换。最后说说插补法，插补法分为回归插补和多重插补；回归插补指的是将插补的变量转变成替换法，然后根据替换法进行替换即可。
刚刚说到的缺失值，其实异常值也是需要处理的，那么什么是异常值呢？异常值跟缺失值一样，包括异常值的识别和异常值的处理。对于异常值的处理我们一般使用单变量散点图或箱形图来处理，在图形中，把远离正常范围的点当作异常值。异常值的的处理有删除含有异常值的观测、当作缺失值、平均值修正、不处理。在进行异常值处理时要先复习异常值出现的可能原因，再判断异常值是否应该舍弃。 大家在进行清洗数据的时候需要注意缺失数据的填补以及对异常数值的修正，这样才能够做好数据分析工作，由于篇幅的关系，如何做好数据预处理工作就给大家介绍到这里了，希望这篇文章能够给大家带来帮助。
关于TM、ETM+数据(2009-03-05 11:22:05) 标签：tm波段组合it分类：RS(遥感) 各个波段的特征 B1 为蓝色波段，该波段位于水体衰减系数最小的部位，对水体的穿透力最大，用于判别水深，研究浅海水下地形、水体浑浊度等，进行水系及浅海水域制图； B2 为绿色波段，该波段位于绿色植物的反射峰附近，对健康茂盛植物反射敏感，可以识别植物类别和评价植物生产力，对水体具有一定的穿透力，可反映水下地形、沙洲、沿岸沙坝等特征； B3 为红波段，该波段位于叶绿素的主要吸收带，可用于区分植物类型、覆盖度、判断植物生长状况等，此外该波段对裸露地表、植被、岩性、地层、构造、地貌、水文等特征均可提供丰富的植物信息； B4 为近红外波段，该波段位于植物的高反射区，反映了大量的植物信息，多用于植物的识别、分类，同时它也位于水体的强吸收区，用于勾绘水体边界，识别与水有关的地质构造、地貌等； B5 为短波红外波段，该波段位于两个水体吸收带之间，对植物和土壤水分含量敏感，从而提高了区分作物的能力，此外，在该波段上雪比云的反射率低，两者易于区分，B5 的信息量大，应用率较高； B6 为热红外波段，该波段对地物热量辐射敏感，根据辐射热差异可用于作物与森林区分、水体、岩石等地表特征识别； B7 为短波外波段，波长比 B5 大，是专为地质调查追加的波段，该波段对岩石、特定矿物反应敏感，用于区分主要岩石类型、岩石水热蚀变，探测与交代岩石有关的粘土矿物等； B8 为全色波段（Pan），该波段为 Landsat-7 新增波段，它覆盖的光谱范围较广，空间分辨率较其他波段高，因而多用于获取地面的几何特征。 ============================= 波段组合： TM321（RGB）：均是可见光波段，合成结果接近自然色彩。对浅水透视效果好，可用于监测水体的浊度、含沙量、水体沉淀物质形成的絮状物、水底地形。一般而言：深水深兰色；浅水浅兰色；水体悬浮物是絮状影象；健康植被绿色；土壤棕色或褐色。可用于水库、河口及海岸带研究，但对水陆分界的划分不合适。这种RGB组合模拟出一副自然色的图象。有时用于海岸线的研究和烟柱的探测。 TM453（RGB）：2个红外波段、1个红色波段。对内陆湖泊及河流分辨清楚。植被类型及长势可由棕、绿、 橙、黄等色调分别。能区分土壤含水量（水分越多则越暗）。用于土壤湿度和植被状况的分析。也很好的用于内陆水体和陆地/水体边界的确定。 TM742（RGB）：植被基本都是绿色，城市呈现品红色或紫色，草地淡绿色，森林深绿色（针叶林色调比阔 叶林暗）。能区分土壤和植被的含水量。适用于水/陆边界划分、土/植被边界划分，但不适于植被分类。土壤和植被湿度内容分析；内陆水体定位。植被显示为绿色的阴影。
脑电数据预处理步骤
1）脑电预览。首先要观察被试脑电基本特征，然后剔除原始信号中一些典型的干扰噪声、肌肉运动等所产生的十分明显的波形漂移数据。 2）眼电去除。使用伪迹校正(correction)的方法，即从采集的 EEG 信号中减去受眼电(EOG)伪迹影响的部分。首先寻找眼电的最大绝对值，用最大值的百分数来定义 EOG 伪迹。接着构建平均伪迹，将超过 EOG 最大值某个百分比（如10%）的眼电导联电位识别为 EOG 脉冲，对识别的 EOG 脉冲进行平均，由协方差估计公式(2-1)计算平均 EOG 脉冲和其它电极之间的 EEG 的传递系数 b: b=cov(EOG, EEG)/var(EOG) (2-1) 其中 cov 表示协方差(covariance)，var 表示方差(variance)。 最后根据公式（2-2）对受眼动影响的电极在产生眼动的时间段的波形进行校正，点对点地用 EEG 减去 EOG： corrected EEG=original EEG-b×EOG (2-2) 实验中设置最小眨眼次数为 20 次，眨眼持续时间 400ms。 3）事件提取与脑电分段。ERP 是基于事件（刺激）的诱发脑电，所以不同刺激诱发的 ERP 应该分别处理。在听觉认知实验中，多种类型的刺激会重复呈现，而把同种刺激诱发的脑电数据提取出来的过程叫做事件提取。这样，连续的脑电数据就会根据刺激事件为标准划分为若干段等长数据。以实验刺激出现的起始点为 0 时刻点，根据实验出现的事件对应的事件码，将脑电数据划分成许多个数据段，每段为刺激前 100ms 到刺激后 600ms。对每个试次（一个刺激以及相应的一段加工过程）提取一段同样长度的数据段。 4）基线校正。此步骤用于消除自发脑电活动导致的脑电噪声，以 0 时刻点前的数据作为基线，假设 0 时刻点前的脑电信号代表接收刺激时的自发脑电，用 0时刻点后的数据减去 0 时刻点前的各点数据的平均值，可以消除部分的自发脑
北京揽宇方圆信息技术有限公司 购买高景一号卫星影像数据需要了解的基础知识 高景一号01/02卫星于2016年12月28日上午11时23分在太原卫星发射中心以一箭双星的方式成功发射。高景一号01/02卫星全色分辨率0.5米，多光谱分辨率2米，轨道高度530公里，幅宽12公里，过境时间为上午10:30分。是国内首个具备高敏捷、多模式成像能力的商业卫星星座，不仅可以获取多点、多条带拼接等影像数据，还可以进行立体采集。单景最大可拍摄60km x70km影像。 2017年中期，将再发射两颗0.5m分辨率的卫星进入该轨道。这意味着在2017年底前，该轨道将有4颗0.5m高分辨率卫星以90°夹角运转，持续进行数据采集。四星组网后，全球任一点可实现1天重访，标志着我国完全高景一号卫星由2颗0.5米分辫率的光学卫星组成，具有专业级的图像质量、高敏捷的机动性能、丰富的成像模式和高集成的电子系统等技术特点。在轨应用后，将打破我国0.5米级商业遥感数据被国外垄断的现状，也标志着国产商业遥感数据水平正式迈入国际一流行列自主的遥感卫星商业化运营服务迈出了第一步。 超高分辨率 全色分辨率高达0.5米，多光谱分辨率为2米，能够彰显细腻的地物细节，适用于高精度地图制作、变化监测和影像深度分析。 优化的光谱波段设置 --具有全色波段和四个标准多光谱波段：蓝色、绿色、红色和近红外波段。 --大幅宽拍摄，单景最大可拍摄60km x70km影像。 --星下点幅宽高达12公里，大幅提升观测能力，形成大面积地表观测和环境监测具有独特优势。
突出的敏捷性 --迅速精准实现星下点成像，常规侧摆角最大为30°，执行重点任务时可达到45°。 --具有星下点成像、侧摆成像、连续条带、多条带拼接、立体成像、多目标成像等多种工作模式。 优异的采集能力 2T星上储存空间，形成强大的采集能力，单颗卫星每天可采集70万平方公里。在全球任何地方，可实现每天观测一次。 卫星参数
遥感扫描影像的判读 1．遥感扫描影像特征和解译标志 目前经常使用的遥感扫描影像都是卫星遥感影像，这些影像具有以下特征：多中心投影、像框扭动变形、信息量丰富、动态观测等特点。 遥感扫描影像解译标志 直接解译标志主要包括以下几种： （1）色调与颜色。这是扫描图像解译的基本标志。对于中低分辨率的扫描影像来说，图像中色调与颜色更是一个重要的判读标志。由于扫描图像多数为多光谱影像，同一地区多光谱扫描图像中的相同地物，在不同波段的图像上可能会呈现不同色调，组合可以有不同的颜色，这因为同一种地物在可见光和近红外波段上具有不同的反射率，它们在单波段扫描影像中表现为不同的色调。 (2) 阴影 (shadow)，在多光谱图像中，阴影是电磁波被地物遮挡后在该地物背光面形成的黑色调区域。在扫描影像中陡峭的山峰背面往往形成阴影，阴影的出现给山区的扫描影像增加了立体感，同时也造成阴影覆盖区地物信息的丢失。 (3)形状(shape)，目标地物的形状在不同空间分辨率的扫描图像上表现特点不同。在中低分辨率扫描影像上，地物的形状特征是经过自然综合概括的外部轮廓，它忽略了地物外形的细节，突出表现了目标物体宏观几何形状特征，如山脉的走向，水系的形态特征等。在中高分辨率扫描影像上，可以看到地物的较为详细的形状特征。但线状地物（如道路和河流）的宽度经常被夸大。在高分辨率扫描影像上，可以看到地物具有的形态特征的更多细节，如飞机场内的飞机与停机坪等。 （4）纹理(texture)，在不同空间分辨率的扫描图像上纹理揭示的对象不同。在中低分辨率扫描影像上，地物的纹理特征反映了自然景观中的内部结构，如沙漠中流动沙丘的分布特点和排列方式。在中高分辨率扫描影像上，纹理才揭示了目标地物的细部结构或物体内部成分。 (5)大小(size)，同一地物在不同空间分辨率的扫描图像上表现出尺寸大小不同。在低空间分辨率的扫描图像上该地物尺寸小，在高空间分辨率的扫描图像上该地物尺寸大。图像判读中，必须结合图像的空间分辨率（或比例尺）来认识地物大小。 (6) 位置(site)，根据目标地物在扫描图像上位置可以进行空间分析。制作规范的扫描图像（如MSS、TM）提供了两种形式的位置，一种是在图像周围边框上标注的地理位置，另一种是目标地物与周围地理环境的相对位置。 (7) 图型与相关布局。在高空间分辨率的扫描图像上经常使用，对识别人造地物很有帮助，例如对城市街区和火车站等识别。 扫描图像间接解译标志可参考上节有关内容。 2．常见的遥感扫描影像类型与主要特点 目前，常见的遥感扫描影像类型包括以下几种： MSS影像 MSS影像为多光谱扫描仪(MultiSpectral Scanner)获取的影像，它具有四个波段，两个波段为可见光波段，两个波段为近红外波段，第一颗至第三颗地球卫星(Landset)上，反束光导管(RBV)摄像机获取的三个波段摄影像片分别称为第1、2、3波段，多光谱扫描仪获取的扫描影像按顺序分别被命名为
目录 SPOT 卫星简介卫星参数 LANDSAT 卫星简介Landsat-5 Landsat-7 Landsat-8 ALOS 卫星简介卫星参数 Quickbird 卫星简介卫星参数 CBERS 卫星简介传感器参数 IKONOS 卫星简介卫星参数 高分一号 卫星简介卫星参数 海洋二号
卫星简介 卫星参数 风云三号 卫星简介 卫星参数 SPOT 卫星简介 SPOT是法国空间研究中心（CNES）研制的地球观测卫星系统。SPOT卫星系统包括一系列卫星及用于卫星控制、数据处理和分发的地面系统。自1986年2月起， SPOT系列卫星陆续发射，到目前为止，共发射了5颗SPOT卫星。SPOT系列卫星有着相同的卫星轨道和相似的传感器，均采用电荷耦合器件线阵（CCD）的推帚式光电扫描仪，并可以在左右27°范围内侧视观测。 由于SPOT-1 / 2 / 4 / 5 / 6卫星具有侧视观测能力，且卫星数据空间分辨率适中，因此在资源调查、农业、林业、土地管理、大比例尺地形图测绘等各方面都有十分广泛的应用。SPOT-1 / 2 / 4 / 5 / 6卫星及其传感器的基本信息如下表所示。
满足多尺度要求 SPOT卫星影像可以提供分辨率和覆盖面积的最佳组合。 单幅SPOTScene在20米至2.5米的分辨率下可覆盖3600平方公里，定位精度最优可达10 m。精确的大覆盖影像是满足1:10万到1:1万比例尺应用的理想工具，同时即可满足大区域又可用于局部范围的应用。 满足时间和位置要求的全球覆盖 自1986年以来，SPOT卫星已建立了一个全球的数以百万计的存档影像数据库，这个数据库为多时相分析的近期和历史提供了大量存档数据。 SPOT卫星也可以通过编程，满足特定的时间和地点要求。Astrium公司的编程服务确保高效地满足每一个阶段的需求，从需求分析和卫星编程请求，到影像验证和影像每一次获取尝试的定期评估。 快速交付 SPOT星座提供每天、全球任意地点的影像获取能力，影像获取并提交几小时内就可以完成处理并在线发布。 适合广泛应用的高性价比的方案 不论需要覆盖大面积区域或特定地点，SPOT卫星影像往往是最经济、最有效的解决途径。 主要特点 SPOT卫星影像是一个精准的底图源，是更新您的项目数据库的理想工具。为众多应用提供有价值的信息，这些应用包括： ?测绘制图 ?国防 ?城市规划 ?电信网络规划
北京揽宇方圆信息技术有限公司 ?波长 ?指波在一个振动周期内传播的距离，波长λ等于波速u和周期T的乘积，即λ=uT，λ=u/v. ?波长与频率成反比,电磁波的能量与频率成正比 ?波段 ?波段又称波谱段或波谱带,通常以具体波长范围的数值表示,也有用数字或字母作为代号，如微波区用L、S、K等分别代表17.63～26.76厘米、 7.39～11.52厘米、1.13～1.67厘米波长范围 ?通常把电磁波谱划分为大大小小的段落，大的称为波段区，(可见区、红外区),中等的如近红外、远红外等； ?小的称为波段 ?最狭窄的为谱线。波段，如陆地卫星多波段扫描仪第四波段为0.5～0.6微米。 ?当电磁波按频率范围划分时，则称为“频带”或“频段 ?波谱 ?以任何一种形式展示电磁辐射强度与波长之间的关系。叫做波谱 ?光谱 ?光谱：是复色光经过色散系统（如棱镜、光栅）分光后，被色散开的单色光按波长（或频率）大小而依次排列的图案，全称为光学频谱。 ?成像光谱技术 ?是传感器在获取目标地物图像的同时，也能获取反映地物特点的连续、光滑的光谱曲线。这种既能成像又能获取目标光谱曲线的“谱像合一”的技术，称为成像光谱技术 ?高光谱成像 ?高光谱成像技术是基于非常多窄波段的影像数据技术，它将成像技术与光谱技术相结合，探测目标的二维几何空间及一维光谱信息，获取高光谱分辨率的连续、窄波段的图像数据
?所谓高光谱图像就是在光谱维度上进行了细致的分割，不仅仅是传统所谓的黑、白或者R、G、B的区别，而是在光谱维度上也有N个通道，例如：我们可以把400nm-1000nm分为300个通道。 ?高光谱遥感是通过高光谱传感器探测物体反射的电磁波而获得地物目标的空间和频谱数据，成立于20世纪初期的测谱学就是它的基础。高光谱遥感的出现使得许多使用宽波段无法探查到的物体，更加容易被探测到，所以高光谱遥感的出现时成功的是革命性的。 ?光学遥感的发展过程可分为：全色（Panchromatic）→彩色（Color Photography）→多光谱（Multispectral）→高光谱（hyspectral）。 ?全色波段 ?一般指使用0.5微米到0.75微米左右的单波段，即从绿色往后的可见光波段。全色遥感影象也就是对地物辐射中全色波段的影象摄取，因为是单波段，在图上显示是灰度图片。全色遥感影象一般空间分辨率高，但无法显示地物色彩。 ?全色波段（Panchromatic band），因为是单波段，在图上显示是灰度图片。全色遥感影像一般空间分辨率高，但无法显示地物色彩。实际操作中，我们经常将之与波段影象融合处理，得到既有全色影象的高分辨率，又有多波段影象的彩色信息的影象。 ?多光谱遥感 ?多光谱遥感：将地物辐射电磁破分割成若干个较窄的光谱段，以摄影或扫描的方式，在同一时间获得同一目标不同波段信息的遥感技术。 ?原理：不同地物有不同的光谱特性，同一地物则具有相同的光谱特性。不同地物在不同波段的辐射能量有差别，取得的不同波段图像上有差别。 ?优点：多光谱遥感不仅可以根据影像的形态和结构的差异判别地物，还可以根据光谱特性的差异判别地物，扩大了遥感的信息量。 ?航空摄影用的多光谱摄影与陆地卫星所用的多光谱扫描均能得到不同普段的遥感资料，分普段的图像或数据可以通过摄影彩色合成或计算机图像处理，获得比常规方法更为丰富的图像，也为地物影像计算机识别与分类提供了可能。
大数据处理数据时代理念的三大转变：要全体不要抽样，要效率不要绝对精确，要相关不要因果。具体的大数据处理方法其实有很多，但是根据长时间的实践，天互数据总结了一个基本的大数据处理流程，并且这个流程应该能够对大家理顺大数据的处理有所帮助。整个处理流程可以概括为四步，分别是采集、导入和预处理、统计和分析，以及挖掘。 采集 大数据的采集是指利用多个数据库来接收发自客户端的数据，并且用户可以通过这些数据库来进行简单的查询和处理工作。比如，电商会使用传统的关系型数据库MySQL和Oracle等来存储每一笔事务数据，除此之外，Redis和MongoDB 这样的NoSQL数据库也常用于数据的采集。 在大数据的采集过程中，其主要特点和挑战是并发数高，因为同时有可能会有成千上万的用户来进行访问和操作，比如火车票售票网站和淘宝，它们并发的访问量在峰值时达到上百万，所以需要在采集端部署大量数据库才能支撑。并且如何在这些数据库之间进行负载均衡和分片的确是需要深入的思考和设计。 统计/分析 统计与分析主要利用分布式数据库，或者分布式计算集群来对存储于其内的海量数据进行普通的分析和分类汇总等，以满足大多数常见的分析需求，在这方面，一些实时性需求会用到EMC的GreenPlum、Oracle的Exadata，以及基于MySQL 的列式存储Infobright等，而一些批处理，或者基于半结构化数据的需求可以使用Hadoop。统计与分析这部分的主要特点和挑战是分析涉及的数据量大，其对系统资源，特别是I/O会有极大的占用。 导入/预处理 虽然采集端本身会有很多数据库，但是如果要对这些海量数据进行有效的分析，还是应该将这些来自前端的数据导入到一个集中的大型分布式数据库，或者分布式存储集群，并且可以在导入基础上做一些简单的清洗和预处理工作。也有一些用户会在导入时使用来自Twitter的Storm来对数据进行流式计算，来满足
2019年1月 较大的发展空间。但是由于计算较复杂,所以在未来神经网络要投入更大精力去发展。一旦神经网络拥有较成熟的技术。我相信,我们一定会大大减少股市风险,提高投资收益。 参考文献 [1]胡照跃.人工神经网络在股票预测中的应用[D].中北大学,2016. [2]王莎.BP神经网络在股票预测中的应用研究[D].中南大学,2008. [3]孟慧慧,叶德谦,刘娜.基于神经网络的股票预测系统研究[J].微计算机信息,2007(03):240~241+305. [4]姚培福,许大丹.BP神经网络在股票预测中的应用研究[J].广东自动 化与信息工程,2006(01):7~9. [5]张健,陈勇,夏罡,何永保.人工神经网络之股票预测[J].计算机工程,1997(02):52~55. 收稿日期：2018-12-16 常见数据预处理技术分析 周泉锡（中国农业大学，北京100083） 【摘要】大数据时代对于数据的精度和有效性要求更为苛刻，因此数据的预处理过程必不可少，只有科学规范的预处理过程，才能使数据分析深层挖掘的结论更为合理可靠。本文对几种常见数据的预处理方法进行着重分析，阐明对其预处理的基本方法与必要性，从而为数据的深层次挖掘提供更科学可行的数据信息。 【关键词】大数据；预处理技术；重复数据；噪声数据；不完整数据 【中图分类号】TP311.13【文献标识码】A【文章编号】1006-4222（2019）01-0017-02 1引言 随着信息科学的发展和网络技术的进步,伴随着“互联 网+”技术在各个领域的逐步渗透,当前已经迈入了大数据的 时代。大数据时代对数据的处理不单单是数量上要求提升,同 时也包括了对数据质量上要求的跨越式提升。大数据问题和 模型的处理本质上对数据质量要求的更为苛刻,这体现在其 要求数据的完整性、独立性、有效性。所谓数据完整性是指数 据包括所有需要采集的信息而不能含有缺省项;所谓数据独 立性是要求数据间彼此不互相重复和粘连,每个数据均有利 用价值;所谓数据有效性则是指数据真实,并且各个方向上不偏离总体水平,在拟合函数上不存在函数梯度的毛刺现象。针对上述情况的需求,数据的预处理工作尤为重要,一方面数据的预处理工作可以帮忙排查出现问题的数据,另一方面,在预处理过程中可以针对出现的“问题数据”进行数据优化,从而变成所需要的数据,从而提高对于大数据的数据质量。 2大数据技术 2.1大数据概念 大数据技术指的是以多元形式获得的数据,且这种多渠道搜集得到庞大的数据组,是无法通过简单的数据搜集和信息采集而得到,需要具有更强的决策力、洞察发现力、流程处理能力的新处理方式。大数据的信息资产往往是具有海量、多样化、高增长率的特点,意义在于提高系统庞大信息的加工能力,从而完成数据“增值”。涉及的主要技术载体为云计算为基础的数据挖掘技术,其中包括:分布式处理系统、分布式数据库、云存储和虚拟化技术。其数据的结构分为:结构化数据、半结构化数据和非结构化数据,目前非结构化数据在比例上攀升,并逐渐显示出主导作用。 2.2大数据处理过程 大数据处理技术的一般处理流程如图1所示。 大数据处理的过程有许多种定义模式,这里取通俗的一种即从数据本身出发,从数据来源获取数据→对数据进行大数据预处理→数据存储→数据处理→数据表达。大数据的处理技术离不开海量数据,从数据本身出发技术流程的关键在于首先从数据来源获得数据,其手段大致分为:专业数据机构获取、国家统计局获取、企业内部数据获取以及互联网获取。数据获取后便需要对获取的数据进行预处理工作,使剔除和用科学方法替代无用数据,从而使样本更具有合理性,从而得出的结论具有更高水平的置信度。在完成了数据的预处理过程后,便要对数据进行处理,这里的处理方式为云计算处理,采用分布式处理方式,在大型计算机组的配合下,完成高效率的存储。将存储数据进行处理,通过回归、拟合、插值等算法建立数学模型,从而对所求的方向进行科学合理的统计、分析、预测,进行深层次的数据挖掘,从而找到更深层意义的数据价值。将所得到的数据和对数据的挖掘进行数据表达,从而构建和完善整个大数据的体系。 从整个大数据的处理流程来看,数据预处理技术的水平决定了数据的真实性、完整性,对后续的数据分析起到十分关键的作用。 3大数据预处理技术 大数据的预处理过程比较复杂,主要过程包括:对数据的分类和预处理、数据清洗、数据的集成、数据归约、数据变换以及数据的离散化处理,如图2所示。数据的预处理过程主要是对不能采用或者采用后与实际可能产生较大偏差的数据进行替换和剔除。数据清洗则是对“脏数据”进行分类、回归等方法进行处理,使采用数据更为合理。数据的集成、归约和变换则是对数据进行更深层次的提取,从而使采用样本变为高特征性能的样本数据。而数据的离散化则是去除数据之间的函数 图1大数据处理 流程图 通信设计与应用17
第一讲：SPSS数据预处理操作 教学目的：能应用SPSS软件进行：数据文件的建立、数据录入与修改、变量计算及转换教学内容：1）SPSS概述 2）SPSS数据文件的建立 3）SPSS数据整理与转换 教学重点：SPSS数据文件的建立 教学难点：SPSS数据转换 教学时间：1学时 SPSS概述 1.1 SPSS简介 SPSS 是英文Statistical Package for the Social Science（社会科学统计软件包）的缩写。SPSS 名为社会科学统计软件包，这是为了强调其在社会科学应用的一面(因为社会科学研究中的许多现象都是随机的，要使用统计学来进行研究)，而实际上广泛应用于经济学、社会学、生物学、教育学、心理学、医学以及体育、工业、农业、林业、商业和金融等各个领域。 SPSS 的基本功能包括数据管理、统计分析、图表分析、输出管理等等。SPSS 统计分析过程包括描述性统计、均值比较、一般线性模型、相关分析、回归分析、对数线性模型、聚类分析、数据简化、生存分析、时间序列分析、多重响应等几大类，每类中又分好几个统计过程，比如回归分析中又分线性回归分析、曲线估计、Logistic 回归、Probit 回归、加权估计、两阶段最小二乘法、非线性回归等多个统计过程，而且每个过程中又允许用户选择不同的方法及参数。SPSS 也有专门的绘图系统，可以根据数据绘制各种图形。 1.2 SPSS的运行环境 硬件环境：能运行Windows 95/NT/2000 或以上版本的微机。 软件环境：SPSS 能在中英文Windows 9X、Windows NT 4.0、Windows2000 及更高版本的Windows 操作系统上运行。 1.3 SPSS的进入和退出 进入Windows后，逐一选取开始程序SPSS for Windows—SPSS 11.0 for Windows，单击SPSS 11.0 for
数据预处理综述 摘要：当今社会生物信息学已成为整个生命科学发展的重要组成部分，成为生命科学研究的前沿。随着测序技术的不断进步，获取基因序列的时间不断缩短，测序分析中的关键步骤之一的数据预处理也变得尤为重要。本文对基因测序的主要两种方法，数据预处理的概念及方法等方面进行了论述。随着技术的不断革新我们对生物信息学的掌握将更加深入更加灵活，数据预处理技术的要求也越来越高，它在功能基因的准确发现与识别、基因与蛋白质的表达与功能研究方面都将发挥关键的作用。 关键词：sanger测序法，Illumina，Sequencing by Synthesis ，FASTQC，Trimmomatic 1 主要的测序方法 重点描述sanger法和以Illumina/Solexa Genome Analyzer 的测序。 Sanger法是根据核苷酸在某一固定的点开始，随机在某一个特定的碱基处终止，并且在每个碱基后面进行荧光标记，产生以A、T、C、G结束的四组不同长度的一系列核苷酸，然后在尿素变性的PAGE胶上电泳进行检测，从而获得可见的DNA碱基序列。 原理:是利用一种DNA聚合酶来延伸结合在待定序列模板上的引物。直到掺入一种链终止核苷酸为止。每一次序列测定由一套四个单独的反应构成，每个反应含有所有四种脱氧核苷酸三磷酸(dNTP)，并混入限量的一种不同的双脱氧核苷三磷酸(ddNTP)。由于ddNTP缺乏延伸所需要的3-OH基团，使延长的寡聚核苷酸选择性地在G、A、T或C处终止。终止点由反应中相应的双脱氧而定。每一种dNTPs和ddNTPs的相对浓度可以调整，使反应得到一组长几百至几千碱基的链终止产物。它们具有共同的起始点，但终止在不同的的核苷酸上，可通过高分辨率变性凝胶电泳分离大小不同的片段，凝胶处理后可用X-光胶片放射自显影或非同位素标记进行检测。DNA的复制需要：DNA聚合酶，双链DNA模板，带有3'-OH末端的单链寡核苷酸引物，4种dNTP（dATP、dGTP、dTTP和dCTP）。聚合酶用模板作指导，不断地将dNTP加到引物的3'-OH末端，使引物延伸，合成出新的互补DNA链。如果加入一种特殊核苷酸，双脱氧核苷三磷酸（ddNTP），因它在脱氧核糖的3’位置缺少一个羟基，故不能同后续的dNTP形成磷酸二酯键。如，存在ddCTP、dCTP和三种其他的dNTP（其中一种为α-32P标记）的情况下，将引物、模板和DNA聚合酶一起保温，即可形成一种全部具有相同的5'-引物端和以ddC残基为3’端结尾的一系列长短不一片段的混合物。经变性聚丙烯酰胺凝胶电泳分离制得的放射性自显影区带图谱将为新合成的不同长度的DNA链中C的分布提供准确信息，从而将全部C的位置确定下来。类似的方法，在ddATP、ddGTP和ddTTP存在的条件下，可同时制得分别以ddA、ddG和ddT残基为3‘端结尾的三组长短不一的片段。将制得的四组混合物平行地点加在变性聚丙烯酰胺凝胶电泳板上进行电泳，每组制品中的各个组分将按其链长的不同得到分离，制得相应的放射性自显影图谱。从所得图谱即可直接读得DNA的碱基序列。与DNA复制不同的是sanger测序中的引物是单引物或者是单链。 第二代DNA序列测序技术（以Illumina/Solexa Genome Analyzer 测序为例） 核心思想：边合成边测序（Sequencing by Synthesis)，即通过捕捉新合成的末端的标记来确定DNA的序列 基本原理：Illumina/Solexa Genome Analyzer测序的基本原理是边合成边测序。在Sanger 等测序方法的基础上，通过技术创新，用不同颜色的荧光标记四种不同的dNTP，当DNA聚合酶合成互补链时，每添加一种dNTP就会释放出不同的荧光，根据捕捉的荧光信号并经过特定的计算机软件处理，从而获得待测DNA的序列信息。 操作流程： 1）测序文库的构建（Library Construction）:首先准备基因组DNA（虽然测序公司