收稿日期:2005-11-12;修订日期:2006-03-01
基金项目:国家重大基础研究项目(973)前期研究专项(2003CCA02100)和福建省科技三项基金(K04016)资助。作者简介:周小成(1977-),男,陕西渭南人,硕士,助理研究员,主要从事遥感与地理信息系统应用研究。
EOS —MODIS 数据林火识别算法的验证和改进
周小成,汪小钦
(福州大学福建省空间信息工程研究中心,数据挖掘与信息共享教育部重点实验室,福建福州 350002)摘要:EOS —M ODIS 数据在森林火情监测中的应用研究日益受到世界各国的重视。为了获得适用于中国不同地区森林火情监测的成熟技术,很有必要对现有MODIS 数据林火监测理论算法进行验证分析,探讨其在中国不同地域和季节中使用时的通用性。为此,利用中国境内9起森林火灾事件对M ODIS 数据火点识别的理论算法进行验证分析。结果显示9起森林火灾有8起被有效检测到,1起森林火情被遗漏。通过对9起森林火点及其邻近像元的统计分析,发现如下两个重要规则:利用火点亮温偏离统计均值3倍标准差的关系来确定阈值,可以避免火点的遗漏;林火点在CH 21和CH22上的亮温值一般有CH21-CH22<20K ,而噪声点在两个波段上的差异却比较大。用以上规则改进的M ODIS 林火热点识别算法可以检测出用来验证的全部9起林火事件,从而证明了改进算法的有效性和通用性。
关 键 词:EOS -M ODIS ;森林火灾;亮温;中国;遥感
中图分类号:TP 79 文献标识码:A 文章编号:1004-0323(2006)03-0206-06
1 引 言
自EOS T er ra/Aqua 卫星成功发射以来,M ODIS 数据在森林火情监测中的应用研究日益受到世界各国的重视。在国际上,以Kaufm an
〔1,2〕
为首
的研究小组对M ODIS 数据的火灾监测算法进行了
模拟研究,并分别对巴西、非洲的森林火灾的监测进行了野外实验验证;以郝魏民为首的研究小组则利
用M ODIS 数据研究火灾对大气及环境的影响〔3,4〕。
国内一些科研单位和院校也在进行M ODIS 数据应用的研究工作。如覃先林〔5〕
采用亮温—植被指数法,建立了基于M ODIS 数据的林火识别模型;梁芸
〔6〕
利用M ODIS 红外通道及三通道合成的方法,成功地探测到2002年发生在我国大兴安岭及境外的多
起火情;刘良明〔7〕利用M ODIS 数据针对大兴安岭
的一起火灾,研究了其监测效果,认为M ODIS 数据在森林火灾监测中具有很好的应用前景;张树誉
〔8〕
利用MODIS 数据对关中地区秸秆焚烧状况进行了监测研究。
但以上研究存在的问题是火灾案例单一,季节单一,地域分布单一,对中国境内南北差异或季节差
异造成的林火监测误差缺乏对比分析。因此,M ODIS 数据火点识别算法的通用性如何,还需要开展大量的实验和野外验证工作,以获得适用于我国不同地区森林火情监测的成熟技术。基于此,此次研究通过对现有M ODIS 数据林火监测算法的验证,探讨其在中国不同地域和季节中使用时的通用性。
2 数据源
研究使用的M ODIS 影像来自于地球观测系统(EOS )Terra /Aqua 的M ODIS 1B 数据,数据从中国国家MODIS 数据共享平台上下载获取,选择林火燃烧时过境的M ODIS 数据进行研究。
采用9个时相的M ODIS 数据对相应的9起森林火灾进行识别和分析(表1)。为了获取研究区的森林覆盖信息,还采用2004年10月4日、12月13日、2005年3月6日的无云覆盖的M ODIS 影像。另外还有全国1∶100万县界矢量图层。来自互联网的2004年10月份以来的主要森林火灾事件报道。采用的遥感图像处理软件为ENVI 4.1。
第21卷 第3期2006年6月
遥 感 技 术 与 应 用
REM OT E SENS ING T ECHNOLOGY AND APPLICATION
V ol .21 N o .3J un .2006
表1 MODIS数据源及当时森林火灾事件
Table1 MODIS data source with f orest f ires then
编号时相白天/夜间卫星当日森林火灾事件(来自互联网)
12004-10-13白天Terra黑龙江省黑河等地,12～20日,火烧面积大于10000km2 22004-10-20夜间Aqua浙江瑞安,19日下午4时～21日,面积约333h m2
32004-11-4白天Aqua安徽当涂县11月4日中午12时许～5日凌晨4时
42005-01-30白天Terra台湾阿里山,30日上午8时～31日上午8时,约20h m2 52005-03-21白天Terra黑龙江扎龙自然保护区,20日14时～24日,面积约6666.7hm2。62005-04-04白天Aqua山西晋城4日下午～5日10时
72005-04-05白天Terra山东蒙山4日下午3时～5日9时
82005-04-09白天Terra福州上午10点30～下午6时30分
92005-05-20白天Aqua四川凉山17日20时～21日16时,面积约333h m2
3 数据预处理
数据预处理主要涉及M ODIS数据的CH1、CH2、CH7、CH21、CH22、CH31通道。
3.1 反射率/辐射率
根据NASA的M ODIS L1B数据存储特点〔2〕,分别按公式(1)和公式(2)计算可见光通道(CH1、CH2)的反射率和热红外波段(CH21、CH22、CH31)的辐射率。
Reflectance=reflectance-scaleB*(SI-
reflectance-offsetB)(1)其中:Reflectance为反射率,reflectance-scaleB为定标增益,SI为图像的有效记数值,reflectance-offsetB为定标偏移量。
Radiance=Radiance-scaleB*(SI-
Radiance-offsetB)(2)其中:Radiance为辐射率,Radiance-scaleB为定标增益;Radiance-offsetB为定标偏移量。
3.2 亮温转换
利用普朗克公式〔9〕将热红外通道辐射率转换为亮度温度。普朗克公式如下:
T=h*c/(k*w ave*lo g(2*h*pow(c,2)/ (I*pow(w ave,5))+1))(3)其中:T为亮度温度(K);h为普朗克常数=6.6256e -34J?s;c为光速=3×108m/s;k为玻尔兹曼常数=1.38e-23J/K;w av e为中心波长( m);I为辐射率,pow(a,b)为a的b次幂。
3.3 几何校正
在几何校正之前,首先利用(Bow-tie co rrection)函数消除M ODIS数据的“双眼皮”现象。其次,利用导出GCP点的方法进行几何校正。投影类型选择经纬度投影(Lon/Lat),校正时选择三角网方法,重采样时选择双线性插值方法。为了CH7通道能够和CH1、CH2通道合成,将CH7通道重采样成250m空间分辨率。
4 M O DIS数据火点识别的基本方法
4.1 森林火点的MODIS影像特征
研究发现M ODIS CH21、CH22、CH31通道RGB合成,并经过线性拉伸的影像可以非常清晰的凸现热点信息。热异常点呈现亮白色,与灰色背景形成明显反差。另外利用CH7、CH2、CH1波段RGB 合成的影像,可以有效的增强林火热点的影像特征,林火热点在影像上呈现粉红色,过火区呈现红褐色。由于M ODIS的CH7、CH2、CH1通道合成可以反映林火热点及其周围的地面信息,因此该波段组合可以成为对CH21、CH22、CH31亮温波段合成中热点信息的一种验证组合(图1)。
4.2 MODIS火点识别算法及验证
利用CH21、CH22、CH31通道RGB合成的方法可以快速确定热异常点,但是否为林火还需设计检测算法进行识别。国家M ODIS数据共享中心提供了M ODIS火灾探测的基本算法〔10,11〕。该算法主要是用4 m和11 m通道的亮温完成的,以T4和T11表示。方法源自火点辐射的物理基础,以及现行用于AVHRR和GOES数据的算法。
4.2.1 云检测及卫星扫描角订正
在对所有陆地像素提取火点信息时,用M ODIS云检测算法确定云。如果厚云在0.66 m 通道的反照率大于0.2,那么就可以认为不会有火点信号穿过这些云。
4.2.2 大气订正
应用T4和T11的组合来订正气体的吸收。
207
第3期 周小成等:EOS—M ODIS数据林火识别算法的验证和改进
图1 浙江瑞安森林火灾MODIS影像特征及检测结果(2004年10月21日Aqua卫星白天MODIS数据) Fig.1 Image character on MODIS of f orest f ire occurred in Rui An area,ZheJiang province;Fig.a is color composition(RGB)of band CH7、CH2、CH1;Fig.b is color composition(RGB)of band CH21、CH22、CH31;Fig.
c is result of identif y(Aqua-MODIS-day,2004-10-21)
4.2.3 背景信息
需要建立被监测点与其周围像素点温度间的关系。周围像素点用于背景温度估计(或非火像元温度估计)。在此方法中,假定火点像素背景温度与周围像素温度间的相关性随像素间距离的增加而减小。确定背景温度时,要求所有分析点中要有不低于25%的点为非火像元,分析区的大小可调,直到25%的要求达到满足。提取背景信息时滤除火点的条件为: T41=T4-T11>20K(夜间为10K);T4 >320K(315K)。排除这些火点后。就可以得到11 m通道的背景温度(T11b)和它的标准偏差(T11b)。用同样的方式,可以计算得到T4b和T4b。进一步,可以计算4 m和11 m两个通道背景温度差的中值( T41b)和标准偏差( T41b)。
4.2.4 火点确认
火点排除:所有满足T4<315K(夜间305K)或 T41<5K(3K)的像素都不是火点。
火点确认:如果一个像素点同时满足如下的5项条件{(A or B)and(a or b)or(X)},就可以将该点确认为火点(如果标准差(T4b和 T41b)小于2K,那么就用2K来代替)。
A:T4>T4b+4T4b
式中:如果T4b小于2K,则设定T4b=2K
a: T41> T41b+4T41b;
B:T4>320K(夜间T4>315K);
b:T41>20K(夜间T41>10K);
X:T4>360K(夜间T4>330K)。
4.2.5 耀斑的滤除
白天如果0.64 m和0.86 m两个通道的反射率都大于0.3(相当4 m通道的亮温达312K),且耀斑角小于40,可以排除该点是火点的可能性。
由于陆地表面的季节性和区域性的变化,上面算法中的阈值不应是一个绝对确定的值〔2〕,因此这里的阈值应该依据地域、季节和卫星过境时间进行适当的调整,否则会出现热点的错判和漏判。因此该算法在应用过程中必然会产生一定误差。如刘良明〔7〕利用该条件对2002年8月12日大兴安岭地区火灾检测中,就未能发现火点;冯蜀青〔12〕利用M ODIS白天数据对青海草场的火情进行了监测研究,选取的阈值为T4>300K时才识别出火点;又如此次研究所涉及的2005年1月30日台湾阿里山森林火灾,在亮温统计时T4亮温最大值为309K,不满足T4>320K,T4-T11>20K的绝对条件,同时不满足T4>T4b+4T4b, T41> T41b+ 4T41b的相对条件。
利用9起森林火灾对M ODIS林火识别算法进行识别验证,发现T4的阈值最小应该选择T4> 306,同时T4-T11的阈值最小应该设置为T4-T11>15时才能保证识别出全部9起森林火灾。如果算法中的阈值不变,则会漏提2005年1月30日台湾阿里山的森林火点。因此有必要对相对阈值条件进行改进。
其次,M ODIS火点识别算法提出的是热异常点信息,不一定为林火热点。如2005年4月4日影像中的火点,除了晋城市的森林火点外,还有个别是因为扫墓引起的荒火。
此外,利用上面的算法,一些图像中的非林火噪声干扰点被误提为林火热点。如在检测2004年10
208
遥 感 技 术 与 应 用 第21卷
月20日浙江瑞安的林火时,同时也有3个噪声点被检测到。因此通过火灾实例验证,说明M ODIS火点识别算法对中国境内不同地域不同季节的林火识别基本通用,但也存在一定缺陷,需要进一步完善。
5 M ODIS林火点识别算法的改进
5.1 相对条件的调整
M ODIS林火识别基本算法在应用中出现漏判的一个原因在于滤除火点的阈值不变,难以根据地域和季节的变化来灵活的提取背景亮温,从而导致个别低温闷烧火点被视为背景。而利用火点大于统计均值一定标准差的关系来确定阈值〔1,7〕,可以避免某些火点被视为背景,从而有利于进行热点目标的检测。
根据这一思路,对林火识别的相对条件进行改进,具体如下:
T4>M ean(T4)+3StdDev(T4)
和
T4-T11>M ean(T4-T11)+3StdDev(T4-T11)均值、标准差(分别以M ean、StdDev表示)是以一个指定像元窗口进行统计和计算的,通常这个窗口以待判火点为中心向外扩展,需要至少包含25%的背景像元。
由于该相对条件的产生也是以已知火灾点及其邻近像元进行统计归纳而来的。因此,相对条件规则使用时需要注意的是,统计的均值和标准差不是针对整个图像范围而言的。亮温统计时,需要按照火灾发生的地理位置,以地域气候单元为界统计;通过对不同统计范围进行分析发现,如果统计范围过大,会增加相对条件的不可靠性,同时统计的区域最好是针对无云区,这样可以使得统计出的标准方差不致过大,如果有大片云被纳入统计,也会导致统计出的结果无法满足识别条件。例如2004年10月13日的森林火灾位于黑河地区,则亮温统计的范围以不超过黑龙江省为宜。这样可以保证在一个气候区域内进行统计;又如识别2005年1月30日台湾阿里山的森林火灾时,由于这一天只有阿里山附近地区无云,因此,以阿里山及邻近无云区进行统计获得的均值和标准差用于林火热点决策是可以识别出火点的。但当统计范围过大,包括云的范围大于无云区时,所统计出的均值和方差用于热点识别决策时就无法检测出林火热点,这是该相对条件使用中应该值得注意的地方。
5.2 噪声点滤除规则的改进
M ODIS是采用多元并扫技术进行空间对地观测获取数据的,其中1km分辨率波段为10元并扫。采用这一技术提高了扫描和数据采集效率,但同时也存在多个探测单元之间如何保持一致性响应的问题,特别是卫星发射升空后,在无法预知的空间电磁环境下,多个探测单元之间很难达到完全一致的响应水平。因此,MODIS传感器由于各探测单元在轨响应差异而引起一定的条带噪声,个别探测单元已经不能达到原来仪器定义的信噪比和噪声等效温差〔13〕,这种条带噪声对M ODIS林火识别造成较大影响。通过分析噪声点和林火点的亮温值发现,林火点在CH21和CH22上的亮温值比较接近,一般有CH21-CH22<20K,而噪声点在两个波段上的亮温差却比较大,因此利用这一规则可以进一步剔除噪声干扰点。
5.3 林地专题信息提取
为了排除非林火热点,利用早期影像所提取的林地分布信息进行判断,如果热点所处位置为林地,则判断为林火点,否则为非林火点,从而可以进一步提高林火热点的识别精度。覃先林〔5〕利用亮温—植被指数法提取林火热点,精度达到80%,但考虑到M ODIS250m分辨率的限制,林火发生初期的NDVI还不会有明显的下降,只能到火灾后期才有效。因此预先提取研究区的林地信息对于区分林火点和非林火点是很有意义的。这也是利用MODIS 多时相数据进行林火点识别的有效途径。利用监测区林火发生前无云MODIS影像提取林地专题信息,根据这一专题对所提取的火点信息进行判断,区分林火点和非林火点。
NDVI=
NIR-Red
NIR+Red
(4)式中:NIR和Red分别为近红外和红光波段,即M ODIS第1和第2波段。
具体方法是利用公式(1)计算归一化植被指数(NDVI)。林地专题主要依据NDVI>K这一规则提取〔14〕。其中K值因地理位置处于南方和北方而略有差异。研究中以2004年10月份的数据提取中国北方的森林覆盖信息,而华南由于为常绿林地,对提取林地覆盖的时相要求不是很严格。提取华南林地信息的数据除了2004年10月4日影像,还有2004年10月21日、2005年3月6日的影像。由于影像季节的原因。提取中国南北林地时的NDVI阈值略有差
209
第3期 周小成等:EOS—M ODIS数据林火识别算法的验证和改进
异,对于北方林地选择NDVI>0.5,对于南方林地选择N DVI>0.6。
5.4 改进的林火点识别算法
综合以上分析,对国家M ODIS数据林火点识别参考算法进行改进。即林火热点在MODIS数据中同时应满足3个条件:首先是噪声和云的滤除,其次是火点的判别,最后是林火与非林火的判别。具体如下:
条件一:CH21-CH22<20K//噪声或耀斑滤除
AND
Reflectance(CH1)<0.3A ND Reflectance(CH2)<0.3//云滤除
条件二:T4>M ean(T4)+3StDev(T4)或T4>320K(夜间315K)}AND
{T4-T11>M ean(T4-T11)+3StdDev(T4-T11)OR T4-T11>20K(夜间10K)} OR
T4>360K(夜间330K)
条件三:IF forest=True T hen林火//林火点判断
利用上面改进的MODIS林火检测算法对此次选取的9起森林火灾进行检测。尽管这9起森林火灾发生于中国南北不同地域,不同季节,但9起火灾事件全部被检测到(图1c)。这说明改进后的林火点识别算法是比较通用的。
6 结论与讨论
通过利用9起林火事件对M ODIS数据火点识别算法的验证,得到以下主要认识:
(1)研究发现M ODIS CH21、CH22、CH31通道RGB合成,并经过线性拉伸的影像可以非常清晰的凸现林火热点。影像上林火点呈现亮白色,与灰色背景形成明显反差。M ODIS数据CH21、CH22、CH31通道RGB合成是发现热异常点最快的方法,为进一步利用林火检测算法提供了依据。
(2)林火点在M ODIS数据CH21和CH22通道上的亮温值比较接近,一般有CH21-CH22< 20K的规则,而噪声点在两个波段亮温上的差异却比较大,因此利用这一规则可以进一步滤除噪声干扰点。
(3)M ODIS火点识别的理论算法在中国境内使用是基本可行的,但受到地域和季节变化的影响,应用时可能会遗漏个别低温闷烧的热点。通过对火灾实例的统计发现,林火点亮温一般处于偏离统计均值3倍标准差以外。利用这一特点改进火点识别算法的相对条件可以比较有效的避免林火热点的遗漏。
(4)应用火灾前无云M ODIS影像获取监测区的林地分布范围,可以有效区分林火热点和非林火热点。致谢:本文在写作过程中得到了励惠国研究员的指导,在此表示感谢。
参考文献:
〔1〕 Kaufm an Y J,Jus tice C,Flyn n L.M onitoring Global Fires from EOS-M ODIS〔J〕.Journal of Geophys ical Research,
1998,102(29):611～624.
〔2〕Kufuman Yora m J,Ju stice C.M ODIS Fir e Products〔D〕.
Algorithm Techn ical Back ground Documen t,1998.
〔3〕 Hook S J,M yers J J.T he M ODIS/AS TER Air borne Simu l- ator(M AST ER)-A N ew Ins trument Earth Science Studies 〔J〕.Remote Sen sing of Environ ment,2001,76(1):93～102.〔4〕 Huete A R,Jus tice C,Leeuw en V.M ODIS Vegetation Ind- ex(M OD13)〔D〕.Algorithm Th eoretical Bas is Docum ent, 1999.
〔5〕 覃先林,易浩若.基于M ODIS数据的林火识别方法研究〔J〕.
火灾科学,2004,13(2):83～89.
〔6〕 梁芸.利用EOS/M ODIS资料监测森林火情〔J〕.遥感技术与应用,2002,17(6):310～312.
〔7〕 刘良明,鄢俊洁.M ODIS数据在火灾监测中的应用〔J〕.武汉大学学报信息科学版,2004,29(1):55～58.
〔8〕 张树誉,景毅刚.EOS-M ODIS资料在森林火灾监测中的应用研究〔J〕.灾害学,2004,19(1):58～62.
〔9〕 W an Zhengming.M ODIS Land Sur faceTemperature Algori- thm T heor etical Bas is Documen t(LS TAT BD)1EB/OL2.
h ttp:/modis.gs fc.nas https://www.doczj.com/doc/298529178.html,/data/atbd2m odl1.pdf,2004.
519.
〔10〕 刘玉洁,杨忠东.M ODIS遥感信息处理原理与算法〔M〕.北京:科学出版社,2001.
〔11〕 h ttp://w w https://www.doczj.com/doc/298529178.html,/html/criterion/fire/02-1.htm# 4.〔12〕 冯蜀青,伏洋.青海省草场火情卫星遥感监测的应用〔J〕.青海草业,2004,13(3):33～35.
〔13〕 杨忠东,张文建,李俊.应用小波收缩方法剔除M ODIS热红外波段数据条带噪声〔J〕.遥感学报,2004,8(1):23～30.〔14〕 程乾,黄敬峰,王人潮.M ODIS和NOAA/AVHRR植被指数差异初步分析〔J〕.科技通报,2005,21(2):205～209.
210
遥 感 技 术 与 应 用 第21卷
Validate and Improvement on Arithmetic of Identifying
Forest Fire Based on EOS -MODIS Data
ZHOU Xiao -cheng,WA N G Xiao -qin
(K ey L aboratory of Data M ining &I nf or mation Sharing of Ministry o f Education ,Sp atial I nf or mation Resear ch Center of Fuj ian P rov ince ,Fuz hou University ,Fuj ian 350002,China )Abstract :It has been attached importance to m onito ring for est fire based on EOS -MODIS data in the w orld.How far is the universality o f the arithmetic to identify fo rest fire based on MODIS Data.T here still ex ists much demand for validate the arithm etic.Nine forest fires o ccurr ed in China is used to validate arithm etic of identify ing fire based on M ODIS data in this paper .The r esult sho ws that the ar ithmetic is universal mo stly .Eight out of nine fires can be detected throug h the arithmetic based on M ODIS data for identifying for est fir e .Just lo w temperature hot spo t could be missed so metimes w hen zone or season changes.T hreshold v alue should be defined thr ough relation among lig ht temperature of fire and mean and standard variance o f fire neighborhood ,w hich could avoid missing fire spot .There ar e tw o im po rtant rules w hen identify ing for est fire by MODIS data as follo w. Light tem peratur e o f forest fire is thr ee times standard dev iation abov e the m ean fro m fir e pix els and its neig hborhoo d; Lig ht tem peratur e of forest fire is near on the band 21and band 22,which is usually characteristic of CH 21-CH 22<20K instead of noise that .T herefo re ,the rule CH 21-CH 22<20K can be used for distinguish fir e from no ise .Additional ,it is effectiv e to disting uish for est fire fr om other fires spot by using fo rest bo und data w hich extracted fro m M ODIS data w ithout clo ud befo re fir e date.Finally sugg est for improving arithm etic of identify ing forest fire based on MODIS data is presented according kno w ledge acquir ed .
Key words :EOS-M ODIS,Forest fire,Lig ht temperature,China ,Rem ote sensing
211
第3期 周小成等:EOS —M ODIS 数据林火识别算法的验证和改进
图片简介: 本技术介绍了一种数据完整性的验证方法、设备及计算机可读存储介质，该方法包括步骤：数据终端发送验证待验证数据块完整性的完整性验证请求给云服务器，以供所述云服务器在接收到所述完整性验证请求后，发送所述待验证数据块对应的数据记录值给授权终端；接收所述授权终端发送的，根据所述数据记录值得到数据证明；根据所述数据证明验证所述云服务器中存储的所述待验证数据块的完整性。本技术通过数据证明来验证云服务器中存储数据的完整，且在验证数据完整性的过程中，不需要传输所需验证的数据的原始数据，避免了用户数据的泄露，提升了数据安全性，保护了用户的隐私。 技术要求 1.一种数据完整性的验证方法，其特征在于，所述数据完整性的验证方法包括以下步骤： 数据终端发送验证待验证数据块完整性的完整性验证请求给云服务器，以供所述云服务器在接收到所述完整性验证请 求后，发送所述待验证数据块对应的数据记录值给授权终端； 接收所述授权终端发送的，根据所述数据记录值得到数据证明； 根据所述数据证明验证所述云服务器中存储的所述待验证数据块的完整性。 2.如权利要求1所述的数据完整性的验证方法，其特征在于，所述接收所述授权终端发送的，根据所述数据记录值得到数据证明的步骤包括： 接收所述授权终端发送的，根据所述数据记录值得到的数据证明，其中，所述数据证明是由所述授权终端通过所述数 据记录值生成辅助多项式，并生成辅助参数，根据所述辅助多项式和所述辅助参数生成数据证明。 3.如权利要求1所述的数据完整性的验证方法，其特征在于，所述根据所述数据证明验证所述云服务器中存储的所述待验证数据块的完整性的步骤包括： 获取预存的验证公钥和多项式承诺； 基于双线性映射性质，根据所述验证公钥、所述多项式承诺和所述数据证明验证所述云服务器存储的所述待验证数据 块的完整性。 4.如权利要求1所述的数据完整性的验证方法，其特征在于，所述根据所述数据证明验证所述云服务器中存储的所述待验证数据块的完整性的步骤之后，还包括： 获取加密后的待更新数据块，将所述待更新数据块发送给云服务器，以供所述云服务器在接收到所述待更新数据块 后，更新所述待更新数据块对应的数据记录值。 5.如权利要求4所述的数据完整性的验证方法，其特征在于，所述获取加密后的待更新数据块的步骤之后，还包括：
IP数据包的校验和算法 IP数据包的头信息格式： +-------------------------------------------------+ | 版本 (4位) | +-------------------------------------------------+ | 首部长度(4位) | +-------------------------------------------------+ | 服务类型（TOS）8位 | +-------------------------------------------------+ | 数据包总长度(16位) | +-------------------------------------------------+ | 标识ID号(16位) | +-------------------------------------------------+ | 标志位(3位) | +-------------------------------------------------+ | 片偏移(13位) | +-------------------------------------------------+ | 生存时间（TTL）(8位) | +-------------------------------------------------+ | 协议类型 (8位) | +-------------------------------------------------+ | 首部校验和(16位) | +-------------------------------------------------+ | 源IP地址(32位) | +-------------------------------------------------+ | 目的IP地址 (32位) | +-------------------------------------------------+ * IP选项（若有） (32位) * +-------------------------------------------------+ * 数据 * +-------------------------------------------------+ 这里要说的是首部校验和字段。 在发送数据时，为了计算数IP据报的校验和。应该按如下步骤： （1）把IP数据报的校验和字段置为0。 （2）把首部看成以16位为单位的数字组成，依次进行二进制反码求和。 （3）把得到的结果存入校验和字段中。 在接收数据时，计算数据报的校验和相对简单，按如下步骤： （1）把首部看成以16位为单位的数字组成，依次进行二进制反码求和，包括校验和字段。（2）检查计算出的校验和的结果是否等于零。 （3）如果等于零，说明被整除，校验是和正确。否则，校验和就是错误的，协议栈要抛弃这个数据包。
本技术提出了一种数据验证方法，其包括服务器，服务器是用以接收第一纪录数据，服务器会根据接收时间以及第一纪录数据的种类对第一纪录数据进行编号并产生第一编号数据，服务器对第一编号数据进行加密并产生第一加密数据后服务器公告第一加密数据，当对第一纪录数据进行验证时，服务器对第一编号数据再次进行加密并产生第二加密数据，服务器判断第一加密数据以及第二加密数据是否相同，当判断结果为否，第一编号数据已被修改。 技术要求 1.一种数据验证方法，其包括服务器，所述服务器是用以接收并储存多个纪录数据，所述数据验证方法包括以下步骤： 所述服务器接收第一纪录数据； 所述服务器根据接收时间以及所述第一纪录数据的种类对所述第一纪录数据进行编号并 产生第一编号数据； 所述服务器对所述第一编号数据进行加密并产生第一加密数据； 所述服务器公告所述第一加密数据； 所述服务器对所述第一编号数据进行加密并产生第二加密数据；以及 所述服务器判断所述第一加密数据以及所述第二加密数据是否相同，当判断结果为否， 所述第一编号数据已被修改。
2.根据权利要求1所述的数据验证方法，其中所述服务器对所述第一编号数据进行加密并产生第一加密数据的步骤更包括： 所述服务器使所述第一加密数据与至少一加密数据同时加密并产生第一加密数据群组。 3.根据权利要求2所述的数据验证方法，其中所述服务器对所述第一编号数据进行加密并产生第二加密数据的步骤更包括： 所述服务器使所述第二加密数据与所述至少一加密数据同时加密并产生第二加密数据群组。 4.根据权利要求3所述的数据验证方法，其中所述服务器公告所述第一加密数据的步骤更包括： 所述服务器公告所述第一加密数据群组。 5.根据权利要求4所述的数据验证方法，其中所述服务器判断所述第一加密数据以及所述第二加密数据是否相同，当判断为否，所述第一编号数据已被修改的步骤更包括： 所述服务器判断所述第一加密数据群组以及所述第二加密数据群组是否相同，当所述判断结果为否，所述第一编号数据已被修改。 6.根据权利要求1所述的数据验证方法，其中，所述纪录数据为网页浏览纪录、档案编辑纪录、档案新增纪录或档案删除纪录。 7.根据权利要求1所述的数据验证方法，其中，所述服务器更包括储存单元，用以储存所述第一纪录数据、所述第一编号数据、所述第一加密数据、所述第二加密数据、所述第一加密数据群组以及所述第二加密数据群组。 8.根据权利要求2所述的数据验证方法，其中，所述服务器更包括网络单元，所述服务器透过所述网络单元以电子邮件、电子公布栏或网站等公开公告的方式公告所述第一加密数据或所述第一加密数据群组。 9.根据权利要求1所述的数据验证方法，其更包括：
各种校验码校验算法分析二进制数据经过传送、存取等环节会发生误码1变成0或0变成1这就有如何发现及纠正误码的问题。所有解决此类问题的方法就是在原始数据数码位基础上增加几位校验冗余位。 一、码距一个编码系统中任意两个合法编码码字之间不同的二进数位bit数叫这两个码字的码距而整个编码系统中任意两个码字的的最小距离就是该编码系统的码距。如图1 所示的一个编码系统用三个bit来表示八个不同信息中。在这个系统中两个码字之间不同的bit数从1到3不等但最小值为1故这个系统的码距为1。如果任何码字中一位或多位被颠倒了结果这个码字就不能与其它有效信息区分开。例如如果传送信息001而被误收为011因011仍是表中的合法码字接收机仍将认为011是正确的信息。然而如果用四个二进数字来编8个码字那么在码字间的最小距离可以增加到2如图2的表中所示。信息序号二进码字 a2 a1 a0 0 0 0 0 1 0 0 1 2 0 1 0 3 0 1 1 4 1 0 0 5 1 0 1 6 1 1 0 7 1 1 1 图 1 信息序号二进码字 a3 a2 a1 a0 0 0 0 0 0 1 1 0 0 1 2 1 0 1 0 3 0 0 1 1 4 1 1 0 0 5 0 1 0 1 6 0 1 1 0 7 1 1 1 1 图 2 注意图8-2的8个码字相互间最少有两bit 的差异。因此如果任何信息的一个数位被颠倒就成为一个不用的码字接收机能检查出来。例如信息是1001误收为1011接收机知道发生了一个差错因为1011不是一个码字表中没
有。然而差错不能被纠正。假定只有一个数位是错的正确码字可以是100111110011或1010。接收者不能确定原来到底是这4个码字中的那一个。也可看到在这个系统中偶数个2或4差错也无法发现。为了使一个系统能检查和纠正一个差错码间最小距离必须至少是“3”。最小距离为3时或能纠正一个错或能检二个错但不能同时纠一个错和检二个错。编码信息纠错和检错能力的进一步提高需要进一步增加码 字间的最小距离。图8-3的表概括了最小距离为1至7的码的纠错和检错能力。码距码能力检错纠错 1 2 3 4 5 6 7 0 0 1 0 2 或 1 2 加 1 2 加 2 3 加 2 3 加 3 图3 码距越大纠错能力越强但数据冗余也越大即编码效率低了。所以选择码距要取决于特定系统的参数。数字系统的设计者必须考虑信息发生差错的概率和该系统能容许的最小差错 率等因素。要有专门的研究来解决这些问题。 二、奇偶校验奇偶校验码是一种增加二进制传输系统最小距离的简单和广泛采用的方法。例如单个的奇偶校验将使码的最小距离由一增加到二。一个二进制码字如果它的码元有奇数个1就称为具有奇性。例如码字“10110101”有五个1因此这个码字具有奇性。同样偶性码字具有偶数个1。注意奇性检测等效于所有码元的模二加并能够由所有码元的 异或运算来确定。对于一个n位字奇性由下式给出奇性a0⊕a1⊕a2⊕…⊕an 奇偶校验可描述为给每一个码字加一个
数据完整性检查要点 数据完整性 数据完整性（data integrity）：是指数据的准确性和可靠性，用于描述存储的所有数据值均处于客观真实的状态。 –并不是计算机化系统实施后才出现的 –适用于电子数据和手工（纸质）数据 –企业应当处于一种基于数据完整性风险的可接受控制状态数据的属性 基本原则 A（attributable）—可溯源 L（legible）—清晰 C（contemporaneous）—同步 O（original or true copy）—原始或真实复制 A（accurate）—准确 数据 人工观察填写的纸质记录 仪器、设备通过复杂的计算机化系统产生的图谱或电子记录。
纸质记录 对文件和记录版本（变更）进行控制 对原始空白记录进行控制 对空白记录的发放进行控制 对已填写记录的修改进行控制 图谱或电子记录 电子方式产生的原始数据采用纸质或PDF格式保存应当显示数据的留存过程，以包括所有原始数据信息、相关审计跟踪和结果文件、每一分析运行过程中软件/系统设置标准 一个给定的原始数据系列重建所需的所有数据处理运行情况（包括方法和审计跟踪），经过确认的复本。 一旦打印或转换成静态PDF，图谱记录则失去了其被再处理的能力，不能对基线或隐藏区域进行更详细的审核或检查。 以数据库格式存在的动态电子记录则可以进行追踪、趋势分析和查询、查看隐藏区域，放大基线以将积分情况查看的更清楚。 数据审计跟踪 数据审计跟踪（audit trial）：是一系列有关计算机操作系统、应用程
序及用户操作等事件的记录，用以帮助从原始数据追踪到有关的记录、报告或事件，或从记录、报告、事件追溯到原始数据。 如果计算机系统用于电子捕获、处理、报告或存贮原始数据，系统设计应能保持提供全面审计追踪的保存，能够显示对数据进行的所有更改。 对数据的所有更改，应可以显示做这些更改的人，更改均应有时间记录，并给出理由。 用户不应具备修订或关闭审计追踪的能力。 不需要包括每个系统活动（例如，用户登录/退出，键盘敲击等）。 通过对经过设计和验证的系统报告进行审核来达到目的。 必须是商业电子管理系统吗？只要能够达到GMP的要求，纸质追踪和半纸质半电子系统也能被接受。 值得关注的问题 对于数据完整性提出详细要求： –计算机化系统应当记录输入或确认关键数据人员身份
输入数据校验与查错的两种方法 在数据库管理系统输入模块的开发中，如何提高输入数据的正确性是开发者应考虑的一个重要问题。为了提高输入数据的正确性，其基本的功能要求是：①输入操作简单、轻松；②输入效率高，即具有重复内容自动复制和简易代码输入替代功能；③输入格式美观大方；④具有醒目的提示等。然而，仅有这些功能要求是不够的，它们不能从根本上提高输入数据的正确性。因为，大量的原始数据的输入是件繁琐而又单调的工作，难免出错。所以，必须要有更严格、更有效的科学方法和手段来提高输入数据的正确性。在实际工作中，笔者探索了输入数据校验与查错的两种方法，供数据库管理系统的开发者参考。 1.边输入边校验法 在这种方法中，假若输入数据有错，则要求数据录入者立即更正错误。这种方法常常用于所输入的数据具有某种规律和特征，若数据录入者键入的数据违背了这个规律和特征，即立即给出输入出错警告，并强制性要求数据录入者对当前输入的数据给予修正。例如，在财务管理系统中，一张“记帐凭证”一般有借方金额和贷方金额两栏数字。会计制度要求同一张凭证中借方金额合计和贷方金额合计必须相等。根据这一特征，所以在开发“记帐凭证”数据输入程序时，程序应能自动判断，在一张“记帐凭证”的数据输入结束后，借方金额合计与贷方金额合计是否相等，若不相等，应强制要求数据输入者立即重新输入。又例如，在每年的高考中，考生的成绩数据有一部分要通过人工评分后，然后由专人输入计算机。对于考生成绩数据，它所具有的特征是：每题的最高分和最低分(零分)是确定的，并且均为数字字符。根据这个特征，在开发的考生成绩数据管理系统的输入模块中，应具有如下功能，即在每题数据输入结束后，自动判断输入的分数值是否符合上述规律，若不符合，则应立即发出警告，并强制要求录入者重新输入。 2.双工输入比较法 所谓双工输入比较法，就是将同一批数据由两个输入人员在不同的时间和不同的终端上分别录入，并且形成两个临时数据库文件，然后由第三个人在程序的作用下对两个库文件中的数据进行逐项比较并进行确认或修改。在这种方法中，尽管同一批数据被录入了两次从而造成了数据冗余和影响了录入进度，但对于被录入的数据不存在明显的规律和上述第一种方法不能查出输入出错的场合，以及对输入数据的正确性要求很高的场合，是一种不可缺少的和行之有效的方法，因为，两个数据录入者都同时在某处出错的机会极少，故这种方法可以极大地减少出错率。根据概率论原理，如果两数据录入者各自的出错率为百分之一，则双工输入法的出错率仅为万分之一。双工输入比较法在FoxPro环境下的基本算法是： ①将同一批数据由两个录入者在不同时间和不同的终端上录入，并存入两个不同名的库文件中。 ②输入“①”中产生的两个库文件名。
校验和算法 IP/ICMP/IGMP/TCP/UDP等协议的校验和算法都是相同的。今儿以IP 数据包为例来讲解一下校验和算法。 在IP数据包发送端,首先将校验和字段置为0,然后将IP数据包头按16比特分成多个单元，如果包头长度不是16比特的倍数，则用0比特填充到16 比特的倍数,其次对各个单元采用反码加法运算(即高位溢出位会加到低位,通常的补码运算是直接丢掉溢出的高位),将得到的和的反码填入校验和字段,最后发送数据。 在IP数据包接收端, 首先将IP包头按16比特分成多个单元，如果包头长度不是16比特的倍数，则用0比特填充到16比特的倍数,其次对各个单元采用反码加法运算，检查得到的和是否符合全是1(有的实现可能对得到的和取反码，然后判断最终的值是否为0),如果符合全是1(取反码后是0),则进行数据包的下一步处理,如果不符合,则丢弃该数据包。 在这里大家要注意,反码和是采用高位溢出加到低位上。 接下来以一张从网上找的一张IP数据包头图片来加以说明以上的算法。大家应该记得一个公式,即两数据的反码和等于两数据和的反码,把它推广到n个数据同样适用,公式:~[X]+~[Y]=~[X+Y] 从这张图片可以看出它的校验和是0x618D,现在我们来用它来模拟我
们的发送端和接收端。 发送端： 步骤如下： 首先,将checksum字段设为0,那么将得到IP数据包头的分段信息如下 1. 0x4500 2. 0x0029 3. 0x44F1 4. 0x4000 5. 0x8006 6. 0x0000 ------->这个为Header Checksum的值，我们前面将其 重置为0了 7. 0xC0A8 8. 0x01AE 9. 0x4A7D +10. 0x477D 结果为：0x29E70 注意要将溢出位加到低位,即0x29E70的溢出位为高位2,将它加到低位上,即0x9E70+0x2=0x9E72 0x9E72二进制为：1001 1110 0111 0010 反码为：0110 0001 1000 1101 0110 0001 1000 1101的16进制为：0x618D(这就是我们的校验和) 接收端： 当我们收到该数据包时,它的分段信息将是如下信息： 1. 0x4500 2. 0x0029 3. 0x44F1 4. 0x4000 5. 0x8006 6. 0x618D ------->这个为Header Checksum的值 7. 0xC0A8 8. 0x01AE 9. 0x4A7D +10. 0x477D 结果为：0x2FFFD 该数值的溢出位为高位2,把它加到底位D上,即0xFFFD+0x2=0xFFFF 0xFFFF二进制为：1111 1111 1111 1111 1111 1111 1111 1111反码为：0
数据完整性检测工具：Tripwire 作者：nixe0n 综述 作为一个系统管理员，你需要保护自己的系统不被攻击者的侵入，但是系统非常庞大，这对你来说恐怕有些勉为其难了。Tripwire能够为你提供帮助，它不是为了抵御攻击者设计的，然而它能够帮助你判断系统的一些重要文件是否被攻击者修改。1992年，还在Purdue大学COAST实验室的 Gene H.Kim和Eugene H. Spafford开发了tripwire。它们的目的是建立一个工具，通过这个工具监视一些重要的文件和目录发生的任何改变。1997年，Gene Kim和W.Wyatt Starnes发起成立了Tripwire公司。他们成立这个公司的目的之一是发布一个能够用于更多平台的商业升级版本。Tripwire3的商业版本非常昂贵(这客观上促使aide的诞生)。 但是，到了2001年3月，情况发生了变化。Tripwire公司发布了Linux下的开放源码版本Tripwire-2.3.1，这个版本使用GPL作为许可证，代码是基于商业版的Tripwire-2.x。这无疑是一个好消息，最新的Redhat 7.x就包含了Tripwire-2.3.1的RPM软件包。 在1992年，Tripwire开发之初，只有很少的UNIX安全工具。 COPS (Computer Oracle and Password System)是一个能够支持很多UNIX平台的安全工具集。自从1989年，就开始自由分发，它使用CRC(循环冗余校验)监视系统的文件。但是，COPS有很多不足，例如：它不能监视文件索引节点(inode)结构所有的域。 TAMU是一个脚本集，以和COPS相同的方式扫描UNIX系统的安全问题。TAMU通过一个操作系统的特征码数据库来判断文件是否被修改。不过，它不能扫描整个文件系统，而且每当操作系统升级和修补之后，需要升级自己的特征码数据库。 Hobgoblin使用一个模板来检验文件系统，Hobgoblin运行时，会把系统文件和自己的数据库进行对比，以此来判断系统文件是否被修改。然而，如果文件系统改变，却没有办法对它的数据库进行升级。 ATP能够做一个系统快照并建立一个文件属性的数据库。它使用32位CRC和MD校验文件，而且每当检测到文件被修改，它会自动把这个文件的所有权改为root。和COPS、TAMU以及Hobgoblin相比，这个特征是独一无二的。
常见校验算法 一、校验算法 奇偶校验 MD5校验 求校验和 BCC(Block Check Character/信息组校验码)，好像也是常说的异或校验方法 CRC(Cyclic Redundancy Check/循环冗余校验） LRC（Longitudinal Redundancy Check/纵向冗余校验） 二、奇偶校验 内存中最小的单位是比特，也称为“位”，位有只有两种状态分别以1和0来标示，每8个连续的比特叫做一个字节（byte）。不带奇偶校验的内存每个字节只有8位，如果其某一位存储了错误的值，就会导致其存储的相应数据发生变化，进而导致应用程序发生错误。而奇偶校验就是在每一字节（8位）之外又增加了一位作为错误检测位。在某字节中存储数据之后，在其8个位上存储的数据是固定的，因为位只能有两种状态1或0，假设存储的数据用位标示为1、1、1、0、0、1、0、1，那么把每个位相加（1＋1＋1＋0＋0＋1＋0＋1＝5），结果是奇数，那么在校验位定义为1，反之为0。当CPU读取存储的数据时，它会再次把前8位中存储的数据相加，计算结果是否与校验位相一致。从而一定程度上能检测出内存错误，奇偶校验只能检测出错误而无法对其进行修正，同时虽然双位同时发生错误的概率相当低，但奇偶校验却无法检测出双位错误 三、MD5校验 MD5的全称是Message-Digest Algorithm 5，在90年代初由MIT的计算机科学实验室和RSA Data Security Inc 发明，由MD2/MD3/MD4 发展而来的。MD5的实际应用是对一段Message(字节串)产生fingerprint(指纹)，可以防止被“篡改”。举个例子，天天安全网提供下载的MD5校验值软件WinMD5.zip，其MD5值是1e07ab3591d25583eff5129293dc98d2，但你下载该软件后计算MD5 发现其值却是81395f50b94bb4891a4ce4ffb6ccf64b，那说明该ZIP已经被他人修改过，那还用不用该软件那你可自己琢磨着看啦。 四、求校验和 求校验和其实是一种或运算。如下： //-------------------------------------------------------------------------------------------------- //如下是计算校验位函数 // checkdata，包括起始位在内的前九位数据的校验和 //-------------------------------------------------------------------------------------------------- unsigned char CLU_checkdata(void) { //求校验和 unsigned char checkdata=0; for(point=0;point<9,TI=1;point++) { checkdata=checkdata | buffer[point]; } return(checkdata); } 四、BCC(Block Check Character/信息组校验符号)
计算机验证与数据完整性十大误区 附录《计算机化系统》已于2015年12月1日生效，相关的“技术标准、管理文件、操作SOP”，大家突击一下也就补齐了，关键是“计算机验证和数据完整性”，把很多人都快逼疯了！ 各种培训课件满天飞、各家供应商八仙过海，技术文章掺杂了恐吓语言，那边厢闹哄哄风生水起，这边厢迷糊糊诚惶诚恐，我都快被吓傻了！ 对于计算机验证，对于数据完整性，我陆陆续续也参加了6、7次的培训，质量管理的听不懂计算机基础知识和数据完整性技术手段，技术人员听不懂GMP知识和验证程序，技术和GMP之间的距离，确实还很远！ 每次我都会提醒大家，计算机并不是什么特殊的东西，他只是一种自动化控制工具，是设备或者系统不可分割的一部分，是设备或者系统的一个关键部件，计算机已经渗透到我们生活和工作的方方面面，对他的管理和验证，没有必要搞得那么神神秘秘、高深莫测，蒲公英论坛早有文章揭开了“计算机验证的神秘面纱”，很多人还是执迷不悟！ 误区一 计算机化系统要有一套完整、独立的文件体系 很多人认为计算机化系统必须有单独的《计算机化系统管理规程》、《计算机化系统验证主计划》、《计算机化系统变更管理规程》、《计算机化系统偏差管理规程》、《计算机化系统操作管理规程》、《计算机化系统维护管理规程》……单独的预防性维护计划、单独的供应商评估文件、单独的人员岗位职责和资质确认规程……甚至认为，每一个计算机系统要有单独的风险评估文件、每一个计算机系统要有单独的与被控对象分开的操作SOP、与被控对象分开URS/FAT/DQ/IQ/OQ/PQ，反正，只要别的设备有的，计算机化系统也要有，恨不得为“计算机化系统”另外建立一套完整的独立的GMP体系文件！ 误区二 这不管新旧计算机系统都需要全流程的确认与验证 新的法规明确提出了计算机化系统验证的要求，很多人认为一定要有与被控对象分开的、独立的计算机系统的URS/FAT/DQ/IQ/OQ/PQ，殊不知，离开了自控系统，设备根本无法操作，更无法单独做OQ/PQ，而单独做计算机系统的确认与验证，离开了被控对象，除了IQ，其它做得都毫无意义。 《确认与验证》附录明确规定： 企业应当对新的或改造的厂房、设施、设备按照预定用途和本规范及相关法律法规要求制定用户需求，并经审核、批准。 新的或改造的厂房、设施、设备需进行安装确认。
常用各种数据校验方法源代码Borland C++ Builder5.0 //----------------------------------------------------------------------------- //定义数据类型缩写形式 typedef unsigned char uchar; //无符号字符 typedef unsigned short ushort; //无符号短整型 typedef unsigned long ulong; //无符号长整型 typedef unsigned int uint; //无符号整型 typedef DynamicArray
云存储环境下数据完整性验证技术研究 随着云计算技术的快速发展,云存储模式的出现为用户数据的存储和访问带来了便捷性,越来越多的用户将数据存储到云服务提供商(Cloud Service Provider,CSP)处,但是用户无法确保存储在云端的数据是完整和可用的,这些数据有可能遭受到CSP或恶意用户的查看或修改,数据存储的安全性受到了严峻的挑战。为了解决这个问题,本文主要从用户端和云服务器角度研究云存储环境下数据完整性验证技术。 一方面,针对云服务器端保障用户数据完整性、可用性和隐私性等方面的问题,本文提出了基于多副本的数据完整性验证方案和基于地理位置属性的数据完整性验证方案;另一方面,针对用户端的数据安全访问和安全存储等方面的问题,本文提出了基于用户共享数据的完整性验证方案和基于跨用户重复数据删除的完整性验证方案。论文的主要工作和创新点如下:(1)基于双线性映射的签名机制和多分支认证树特性,提出了一种基于多副本数据完整性验证方案。 该方案通过使用随机掩码技术对密文进行处理确保数据隐私性,采用多分支认证树来提高数据分块的签名效率,能够支持数据动态更新操作。此外,引入第三方审计者对多副本数据进行批量审计以减少计算开销。 分析表明,该方案具有较好的效率,能够支持数据隐私保护和抗伪造攻击,任意敌手无法通过伪造签名证据通过完整性验证。(2)基于BLS签名技术和距离边界协议,提出了一种基于地理位置属性的数据完整性验证方案。 该方案采用随机掩码技术对副本数据进行处理以增强了数据隐私性;利用距离边界协议来检测用户数据是否存储在CSP所宣称的地理位置;通过采用基于BLS签名技术,实现签名信息的聚合运算,并支持多副本数据批量审计。分析表明,
数据完整性检查要点 本文通过梳理数据核查全过程，列出GMP 核查中数据完整性检查要点内容，包括：基本原则、数据记录（纸质、图谱或电子记录）、审计跟踪、计算机系统检查 4 个要点。并附上具体问题和小结，以供读者阅读讨论。 数据完整性 数据完整性（data integrity）：是指数据的准确性和可靠性，用于描述存储的所有数据值均处于客观真实的状态。 –并不是计算机化系统实施后才出现的 –适用于电子数据和手工（纸质）数据 –企业应当处于一种基于数据完整性风险的可接受控制状态数据的属性 基本原则- ALCOA A（attributable）—可溯源 L（legible）—清晰 C（contemporaneous）—同步 O（original or true copy）—原始或真实复制 A（accurate）—准确 数据记录 数据定义 人工观察填写的纸质记录 仪器、设备通过复杂的计算机化系统产生的图谱或电子记录 纸质记录 对文件和记录版本（变更）进行控制 对原始空白记录进行控制 对空白记录的发放进行控制 对已填写记录的修改进行控制 图谱或电子记录 电子方式产生的原始数据采用纸质或PDF格式保存应当显示数据的留存过程，以包括所有原始数据信息、相关审计跟踪和结果文件、每一分析运行过程中软件/系统设置标准 一个给定的原始数据系列重建所需的所有数据处理运行情况（包括方法和审计跟踪），经过确认的复本。 一旦打印或转换成静态PDF，图谱记录则失去了其被再处理的能力，不
能对基线或隐藏区域进行更详细的审核或检查。 以数据库格式存在的动态电子记录则可以进行追踪、趋势分析和查询、查看隐藏区域，放大基线以将积分情况查看的更清楚。 数据审计跟踪 数据审计跟踪（audit trial）：是一系列有关计算机操作系统、应用程序及用户操作等事件的记录，用以帮助从原始数据追踪到有关的记录、报告或事件，或从记录、报告、事件追溯到原始数据。 如果计算机系统用于电子捕获、处理、报告或存贮原始数据，系统设计应能保持提供全面审计追踪的保存，能够显示对数据进行的所有更改。但不需要包括每个系统活动（例如，用户登录/退出，键盘敲击等）。通过对经过设计和验证的系统报告进行审核来达到目的。 对数据的所有更改，应可以显示做这些更改的人，更改均应有时间记录，并给出理由。用户不应具备修订或关闭审计追踪的能力。 Q：必须是商业电子管理系统吗？ A：只要能够达到GMP 的要求，纸质追踪和半纸质半电子系统也能被接受。 对于数据完整性提出详细要求 –计算机化系统应当记录输入或确认关键数据人员身份 –只有经授权人员，方可修改已输入的数据 –每次修改已输入的关键数据均应当经过批准，并应当记录更改数据的理由 –人工输入关键数据时，应当复核输入记录以确保其准确性 –对于电子数据和纸质打印文稿同时存在的情况，应当有文件明确规定以电子数据为主数据还是以纸质打印文稿为主数据 –以电子数据为主数据时，应当满足以下要求： （一）为满足质量审计的目的，存储的电子数据应当能够打印成清晰易懂的文件。 （二）必须采用物理或者电子方法保证数据的安全，以防止故意或意外的损害。日常运行维护和系统发生变更（如计算机设备或其程序）时，应当检查所存储数据的可访问性及数据完整性。 （三）应当建立数据备份与恢复的操作规程，定期对数据备份，以保护存储的数据供将来调用。备份数据应当储存在另一个单独的、安全的地点，保存时间应当至少满足本规范中关于文件、记录保存时限的要求。
目录 摘要..................................................................................................................................... I 关键词................................................................................................................................ I 1 引言 (1) 2 异常值的判别方法 (1) 2.1检验（3S）准则 (1) 2.2 狄克松（Dixon）准则 (2) 2.3 格拉布斯（Grubbs）准则 (3) 2.4 指数分布时异常值检验 (3) 2.5 莱茵达准则（PanTa） (4) 2.6 肖维勒准则（Chauvenet） (4) 3 实验异常数据的处理 (4) 4 结束语 (6) 参考文献 (7)
试验数据异常值的检验及剔除方法 摘要：在实验中不可避免会存在一些异常数据，而异常数据的存在会掩盖研究对象的变化规律和对分析结果产生重要的影响，异常值的检验与正确处理是保证原始数据可靠性、平均值与标准差计算准确性的前提.本文简述判别测量值异常的几种统计学方法，并利用DPS软件检验及剔除实验数据中异常值，此方法简单、直观、快捷，适合实验者用于实验的数据处理和分析. 关键词：异常值检验；异常值剔除；DPS；测量数据
1 引言 在实验中，由于测量产生误差，从而导致个别数据出现异常，往往导致结果产生较大的误差，即出现数据的异常.而异常数据的出现会掩盖实验数据的变化规律，以致使研究对象变化规律异常，得出错误结论.因此，正确分析并剔除异常值有助于提高实验精度. 判别实验数据中异常值的步骤是先要检验和分析原始数据的记录、操作方法、实验条件等过程，找出异常值出现的原因并予以剔除. 利用计算机剔除异常值的方法许多专家做了详细的文献[1]报告.如王鑫，吴先球，用Origin 剔除线形拟合中实验数据的异常值；严昌顺．用计算机快速剔除含粗大误差的“环值”；运用了统计学中各种判别异常值的准则，各种准则的优劣程度将体现在下文. 2 异常值的判别方法 判别异常值的准则很多，常用的有t 检验（3S ）准则、狄克松（Dixon ）准则、格拉布斯（Grubbs ）准则等准则.下面将一一简要介绍. 2.1 检验（3S ）准则 t 检验准则又称罗曼诺夫斯基准则，它是按t 分布的实际误差分布围来判别异常值，对重复测量次数较少的情况比较合理. 基本思想：首先剔除一个可疑值，然后安t 分布来检验被剔除的值是否为异常值. 设样本数据为123,,n x x x x L ，若认j x 为可疑值.计算余下1n 个数据平均值
第2章数据通信中常用的数据校验算法本章主要内容包括： 校验和算法的基本原理 奇偶校验算法的基本原理 CRC校验算法的基本原理 CRC算法的软件实现 本章介绍常用校验算法的基本原理，包括校验和、奇偶校验和CRC校验，并介绍了CRC 校验的软件实现方法。本章的数据校验算法是在数据通信中常用的检测数据错误的方法，在设计单片机的通信中可选用。 2.1 概述 数据在传输的过程中，会受到各种干扰的影响，如脉冲干扰，随机噪声干扰和人为干扰等，这会使数据产生差错，数据通信系统模型如图2.1。为了能够控制传输过程的差错，通信系统必须采用有效措施来控制差错的产生。 数据干扰数据+干扰 图2.1 数据通信系统模型 常用的差错控制方法让每个传输的数据单元带有足以使接收端发现差错的冗余信息，这种方法不能纠正错误，但可以发现数据错误，这种方法容易实现，检错速度快，可以通过重传使错误纠正，所以是非常常用的检错方案。 在种方案中常用的校验方法有奇偶校验、CRC（循环冗余校验）和校验和，下面分别介绍这三种校验算法。 2.2 奇偶校验算法 1、原理 奇偶校验算法可分为奇校验和偶校验两种，二者原理相同。在偶校验中，无论数据位有多少位，校验位只有1位，它使码组中“1”的个数为偶数，要满足如下关系式
2 0021=⊕⊕⊕⊕--a a a n n 式中，0a 为校验位，其它位为信息位，⊕表示模2加运算。在接收端，按照上式将码组中各位进行模2加，若结果为“1”，就让我传输中有错误；若为“0”，就认为无错。 奇校验算法与偶校验算法类似，只是奇校验要满足如下关系式 1021=⊕⊕⊕⊕--a a a n n 二者的校验能力相同，均能检测出奇数个错误，而对出现的偶数个错误不能检测出来。奇偶校验算法是数据通信中最常用的校验方法，在实际应用中，它分为垂直奇偶校验、水平奇偶校验和垂直水平奇偶校验。 2、垂直水平奇偶校验 垂直水平奇偶校验也称为二维奇偶校验或方阵校验，其检错能力要比普通的奇偶校验强。该校验方式把数据编码排列成矩阵，根据奇偶校验原理，在垂直和水平两个方向同时进行校验。图2.2是一个垂直水平校验的例子，最下面一行和最右一列为校验位。发送时按列序顺次传输：01110010011100100111010000110000 。 这种校验方式能检测码组中出现的全部奇数个差错和大部分偶数个差错。图2.2中△标出的差错能检测出来，但〇标出的差错同时出现时检测不出来，即所有矩形差错检测不出来。 显然，垂直水平奇偶校验编码具有良好的检错能力，同时，还能纠正一些错误，如△标出的错误可以得到纠正。这种校验方法实现容易，应用广泛。 2.3 校验和 校验和也是一种常用的校验方法，它基于冗余校验。下面介绍其原理。 发送端将数据单元分成长度为n （通常是16）的比特分段，这些分段相加，其结果仍然为n 比特长。先求和然后取反，作为校验字段附加到数据单元的末尾。带有校验和字段的数据通过网络传输，其过程如下。 发送端： ? 数据单元被分成k 段，每段n 比特； ? 将所有段相加求和； ? 对和取反得到校验和； 0 0 0 0 0 0 0 0 1 1 0 0 0 0 1 1 1 1 0 0 0 0 1 1 0 0 1 1 0 0 0 1 0 1 0 1 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 0 0 0 0 0 0 0 0 0 0 1 1 0 1 0 0 1 0 0 图2.2 垂直水平奇偶校验
数据采集测量结果改善的常用校正方法 改善测量结果需要进行配置、校准以及优秀的软件开发技术。本文旨在使您了解优化测量结果的软、硬件技巧，内容包括：选择并配置数据采集设备、补偿测量误差以及采用优秀的软件技术。 当您将电子信号连接到数据采集设备时，您总是希望读数能匹配输入信号的电气数值。但我们知道没有一种测量硬件是完美的，所以为了改善测量结果我们必须采用最佳的硬件配置。 根据应用需求，您必须首先要明确数据采集卡所需的模拟输入、输出通道以及数字I/O线的最少数目。其次还要考虑的重要因素有：采样率、输入范围、输入方式和精度。 第一个要考虑的问题是现场接线，根据您要采集的信号源类型，您可以使用差分、非参考单端、参考单端三种输入方式来配置数据采集卡。 总的说来，差分测量系统较为可取，因为它能消除接地环路感应误差并能在一定程度上削弱由环境引起的噪声。而另一方面，单端输入方式提供两倍数据采集通道数，可是仅适用于引入误差比数据所需精度小的情况。为选择合适的信号源模拟输入方式提供了指导选择合适的增益系数也是非常重要的。保证数据采集产品进行精确采集和转换所设定的电压范围叫做输入信号范围。为得到最佳的测量精度，使模拟信号的最大最小值尽可能占满整个ADC(+/-10V或0-10V)范围，这样就可使测量结果充分利用现有的数字位。 在数据采集系统中选择合适的增益 任何测量结果都只是您要测量的“真实值”的估计值，事实上您永远也无法完美地测量出真实值。这是因为您测量的准确性会受到物理因素的限制，而且测量的精度也取决于这种限制。 在特定的范围内，16位数据采集卡有216(65536)种数值，而12位数据采集卡有212 (4096)种数值。理想情况下，这些数值在整个测量范围内是均匀分布的，而且测量硬件会把实际测量值取整成最接近的数值并返回计算机内存。事实上有许多人认为，这种取整误差(通常称为量化误差)是决定精度的唯一因素。实际上，这种量
目录 摘要 1 课程设计目的 (1) 2 课程设计要求 (1)
1 课程设计目的 校验和是用于验证数据传输正确性的一种方法。在网络体系结构的各层协议中， 很多网络协议都利用校验和来实现差错控制功能。本课程设计主要目的是通过完 成一个简单例子，了解网络协议中的校验和计算过程。 2 课程设计要求 1 1 2 1）交换性和结合性 因为校验和主要考虑被校验数据中所包含字节的数量是奇数还是偶数，所以校验和的计算可 以以任意顺序进行，甚至可以把数据进行分组后再计算。 例如，用A,B,C,D，……，Y,Z分别表示一系列八位组，用[a,b]这样的字节来表示a*256+b的整数，那么16位校验和就可以通过以下形式给出： [A,B]+’[C,D]+’……+’[Y,Z] [1] [A,B]+’[C,D]+’……+’[Z,0] [2] 在这里+’代表1补数加法，即将前面的16位校验和和按位取反。 [1]可以以 [A,B]+’[C,D]+’……+’[J,0]+’([0,K]+’……+’[Y,Z]) [3] 的形式进行计算。
2）字节顺序的自主性 打破被校验数据中的字节顺序仍可以计算正确的16位校验和。 例如，我们交换字节组中两字节的顺序，得到 [B,A]+’[D,C]+’……+’[Z,Y] 所得到的结构与[1]式是相同的（当然结果也是要进行一次反转的）。为什么会是这样呢？我们发现两种顺序获得的进位是相同的，都是从第15位到第0位进位以及从第7位到第8位进位。这也就是说，交换字节位置只是改变高低位字节的排列顺序但并没有改变他们的内在联系。因此无论底层的硬件设置中对字节的接收顺序如何，校验和都可以被准确地校验出来。例如，假设校验和是以主机序（高位字节在前低位字节在后）计算的数据帧，但以网络序（低位字节在前高位字节在后）存放在内存中。每一个16位的字中的字节在传送过程中都交换了顺序，在计算校验和之后仍会先交换位置再存入 3 成 这些改 3 1 2 3 和，这样就可以省去一次数据移动的过程，从而提高校验和的计算速度。 4课程设计分析 校验和的计算过程主要分为三个步骤：数据文件的输入、校验和的计算和校验结果的输出。其中，