气象数据库表结构说明
- 格式:doc
- 大小:93.00 KB
- 文档页数:5
标准大气中500百帕对应高度-概述说明以及解释1.引言1.1 概述概述:500百帕是大气压强的一种单位,通常用来描述大气的高度分布。
在标准大气中,500百帕对应的高度通常被用来表示中层大气的状态,对于气象学和气象预报具有重要的意义。
本文将介绍500百帕的定义,探讨大气中500百帕的意义,以及介绍计算500百帕对应高度的方法。
最后,总结500百帕对应高度的重要性,讨论其对气象学和气象预报的影响,并展望未来500百帕高度的研究方向。
通过深入探讨500百帕对应高度的相关内容,可以更好地理解大气中的气象现象和变化规律。
文章结构部分应该包含对整篇文章内容的整体概览和安排,可以简要介绍各个章节的主题和内容,以引导读者理解文章的大致架构和逻辑。
具体编写如下:"1.2 文章结构: 本文首先将介绍500百帕的定义,探讨大气中500百帕的意义,然后详细介绍500百帕对应高度的计算方法。
接着,结合前文的内容,总结500百帕对应高度的重要性,并分析其对气象学和气象预报的影响。
最后,展望未来500百帕高度研究的发展方向,为读者透彻理解和掌握相关知识奠定基础。
"1.3 目的本文的主要目的是探讨标准大气中500百帕对应高度的重要性及其计算方法。
通过对500百帕高度的研究,我们可以更深入地了解大气层中气压的分布规律,进而对气象学和气象预报的准确性提出更好的要求。
同时,本文旨在展望未来对500百帕高度的研究方向,为气象领域的发展提供参考和借鉴。
通过本文的研究,可以为气象学研究和气象预报提供更加准确和可靠的数据支持,促进气象科学的进步和发展。
2.正文2.1 500百帕的定义500百帕,也称为500 hPa,是大气中一个特定气压水平的代表性数值。
百帕(hPa)是国际标准大气压力单位,等于100帕斯卡(Pa)。
500百帕大致相当于大气中高度约为5000米的水平位置,它是气象学中重要的气压层之一。
在大气科学中,500百帕通常被用来表示中层大气的状态和动力,具有一定的代表性和指导意义。
逐日气象干旱综合指数mci-概述说明以及解释1.引言1.1 概述逐日气象干旱综合指数(MCI)是一个重要的气象指标,用于评估和监测地区的干旱程度。
干旱是指长期缺乏降雨或其他水资源的情况,可能对农业、水资源管理、生态系统以及人类生活产生严重影响。
因此,正确评估和监测干旱是保障社会稳定和可持续发展的重要一环。
逐日气象干旱综合指数(MCI)是一种综合了气象要素来评估土地表面干旱状况的指标。
它考虑了降水量、蒸发散发量、土壤含水量等多个因素,并通过一定的计算方法,将这些气象要素结合起来,得出一个数值来反映干旱的程度。
这个数值越高,说明干旱的程度越严重。
逐日气象干旱综合指数的应用十分广泛。
首先,它可以帮助农业部门和农民们及时了解农作物生长所需的水资源情况,合理规划灌溉措施,从而减少干旱对农作物产量的不利影响。
此外,它还可以用于水资源管理,帮助水利部门监测水库水位、河流流量等,并采取有效措施保障人们的日常用水。
此外,逐日气象干旱综合指数还可以在防灾减灾工作中发挥重要作用,及时预警和应对干旱引发的生态系统灾害以及人员伤亡。
然而,逐日气象干旱综合指数也存在一些局限性。
首先,它只是一个指数,不能完全代表地区的干旱情况,对于干旱的空间分布以及时空变化的把握可能存在一定的偏差。
其次,逐日气象干旱综合指数主要考虑气象因素,对于人类活动导致的水资源不足等非气象因素的监测和评估较为有限。
最后,逐日气象干旱综合指数虽然在干旱预警和应对方面有一定效果,但仍需要与其他数据和信息相结合,形成综合决策。
未来,逐日气象干旱综合指数的发展方向应该注重准确性和全面性的提升。
通过引入更多的影响因素、改进计算方法以及提高数据质量,可以增强指数的科学性和实用性。
此外,结合遥感技术和地理信息系统,可以更好地实现干旱监测和评估的自动化和精确化。
最重要的是,政府、科研机构和社会各界需要加强合作,共同推动逐日气象干旱综合指数的应用和发展,为干旱监测和应对提供更好的技术支持。
美国太空总署NASA气象资料查询网站的使用方法核心提示:对于光伏系统设计而言,第一步,也是非常关键的一步,就是分析项目安装使用地点的太阳能资源以及相关气象资料。
诸如当地太阳能辐射量、降水量、风速等气象数据,是设计系统的关键数据。
本文向大家介绍目前可以免费查询到全球任何地点的气象数据的网站——NASA美国太空总署气象数据库。
希望对大家有所帮助。
第一步:输入网址/cgi-bin/sse/grid.cgi?email=********************这是已经注册过邮箱的网址,一般来说是可以直接打开的。
如果没法打开,只好请诸位麻烦用自己的邮箱先注册再登录啦~第二步:输入项目安装地的经纬度经纬度数值精确到小数点后两位。
有很多查询地区经纬度的网站和工具,这里不多说。
至于查到的经纬度八成都是“XX度XX分”的格式,怎么换算成“XX点XX度”也不用多说了吧~小学生都会哦~~下面以北京市为例,其经纬度为:北纬39.55?东经116.24?(南纬、西经地区,经纬度前加负)submit 后进入下一页。
第三步:选择需要的气象数据比较重要的有:1:insolation on horizontal surface(average,min,max),也就是地表太阳辐射量2:Air Temperature at 10m,地平面上10米高度空气温度3:Precipitation,降雨量4:Wind Speed at 50m(average,min,max),50米高度的风速。
ps:(1)如有必要,此页面还有诸如日照时间、相对湿度、大气压强等数据可供查询。
(2)想要在同一框体中复选,按住Ctrl键。
(3)选择错误想要重新点选,按页面上的reset键。
submit后进入下一页。
第四步:分析查询结果1、insolation on horizontal surface(average,min,max)NASA网站的数据,至少是10年平均数值,太阳辐射量是22年平均值。
目录1. 实施方案 (3)1.1. 背景介绍 (3)1.2. 工作目标 (3)1.3. 工作思路 (4)1.4. 系统架构 (5)1.5. 系统模块 (7)1.5.1. 数据存储子系统 (7)1.5.2. 服务支撑子系统 (27)1.5.3. 运维管理子系统 (33)1.6. 系统功能 (41)2. 项目重点难点分析、应对措施及相关的合理化建议.. 45 2.1. 项目重点难点分析 (45)2.2. 应对措施及相关的合理化建议 (45)2.2.1. 利用GreenPlum解决结构化数据存储 (47)2.2.2. 利用Hbase解决半结构化数据存储 (51)2.2.3. 利用FastDFS解决非结构化数据存储 (52)3. 质量(完成时间、安全、环保)保障措施及方案 (55)3.1. 质量管理内容 (55)3.1.1. 编制和评审质量计划 (55)3.1.2. 工作产品的质量检查 (55)3.1.3. 不符合项的跟踪处理 (56)3.2. 质量管理责任分配 (56)3.2.1. 质量保证小组职责 (56)3.2.2. 配置管理小组职责 (57)3.2.3. 测试小组职责 (58)3.3. 质量保障措施 (59)3.3.1. 项目进度 (59)3.3.2. 需求分析 (61)3.3.3. 系统设计 (62)3.3.4. 系统实现 (63)3.3.5. 系统测试 (63)3.3.6. 系统维护 (65)3.4. 项目安全保障措施及方案 (65)3.5. 项目环保保障措施及方案 (67)1.实施方案1.1.背景介绍随着气象事业的快速发展和气象探测设备的不断增加,观测台站上传的数据正在急剧增加,存储总量呈现几何式增长,目前气象数据每年增量达到PB+量级,已具备大数据的特征。
而且随着公众对气象服务需要的日益增长,要求天气预报向精细化、全时空和集合预报的方向发展,气象服务从传统向多元化拓展,随着气象服务方式的改变,对气象信息服务的时效性越来越高,气象发展面临着很大的挑战。
气象数据的“大数据应用”浅析2014-03-24 17:03:19 作者:国家气象总局沈文海来源:CIO时代网摘要:气象数据在“大数据应用”浪潮中亟待解决的信息技术问题,是海量气象结构化数据的高效应用。
这是气象数据能否参与“大数据应用”的技术基础和前提。
关键词:气象数据大数据1、引言据统计,2011年全球的数据规模为1.8ZB,这些信息将填满575亿个32GB的ipad,以这些ipad做砖石,足可以垒建起两座中国的万里长城。
而到2013 年,仅中国当年产生的数据总量就已超过0.8ZB,2倍于2012年,相当于2009年全球的数据总量。
预计到2020年,中国产生的数据总量将是2013年的10倍,超过8.5ZB.【1】而届时全球的数据总量预计将达到40ZB,如果将这些数据全部刻录成蓝光光盘,则这些光盘的总重量相当于424艘满载荷的尼米兹航空母舰。
数据量暴增的速度令人瞠目结舌,我们的确已进入“大数据时代”.很快地,“地理大数据”、“水利大数据”、“环境大数据”、“金融大数据”、“互联网大数据”乃至“气象大数据”等名词陆续出现在有关媒体上。
“大数据”逐渐成为近来人们谈论最多、思考最多的技术话题之一。
一些人憧憬于“大数据”可能带来的十分珍稀的高价值信息和珍贵商机,也有许多人困惑于目前所知“大数据”的应用范式,以此研判着可能给本行业带来的变化和新的业务契机--气象部门也是如此。
做为抛砖引玉,笔者拟就如下问题提出自己的看法:(1)气象数据是否具备“大数据”的核心特征?(2)业界公认的“大数据应用”的主要形态是什么?(3)“大数据时代”背景下气象数据应用中新的价值领域在何处?需要首先具备哪些必要条件?(4)气象信息技术领域当务之急需要解决的关键技术问题。
2、大数据的现实以及气象数据的体量构成2.1 大数据的行业分布就数据量而言,中国的大数据近期具有如下行业分布特征:(1)互联网公司目前国内的互联网公司,拥有总计约2EB的数据,而其中的互联网三巨头BAT(百度、阿里巴巴、腾讯)占有了其中的3/4(约1.5EB)。
数据仓库的源数据类型数据仓库是一个用于集成、存储和管理企业各种数据的系统。
它的设计和构建需要考虑到源数据的类型和特征。
下面将详细介绍数据仓库中常见的源数据类型。
1. 结构化数据:结构化数据是指以明确定义的格式存储的数据,通常以表格形式呈现,包括关系型数据库中的表格数据、电子表格数据等。
这类数据具有固定的字段和数据类型,易于处理和分析。
例如,一个销售数据表格包含了产品编号、销售数量、销售日期等字段,这些数据可以直接导入数据仓库进行分析和报表生成。
2. 半结构化数据:半结构化数据是指具有一定结构但不符合严格的表格形式的数据,通常以XML、JSON等格式存储。
这类数据具有一定的标签或标识,但字段和数据类型可能不固定,需要通过解析来提取有用的信息。
例如,一个电子商务网站的用户评论数据以XML格式存储,其中包含了用户ID、评论内容、评分等信息,数据仓库可以通过解析XML文件提取这些信息,用于用户行为分析和产品推荐。
3. 非结构化数据:非结构化数据是指没有明确结构和格式的数据,通常以文本、图像、音频、视频等形式存在。
这类数据不易于直接处理和分析,需要通过文本挖掘、图像识别等技术进行处理。
例如,社交媒体上的用户发帖、评论、图片、视频等数据都属于非结构化数据,数据仓库可以通过文本挖掘技术提取关键词、情感分析等信息,用于舆情分析和用户画像构建。
4. 时间序列数据:时间序列数据是指按照时间顺序记录的数据,通常用于分析和预测时间相关的趋势和模式。
这类数据包括传感器数据、股票价格、气象数据等。
例如,一个气象站每小时记录一次温度、湿度、风速等数据,数据仓库可以按照时间维度存储和分析这些数据,用于气象预测和趋势分析。
5. 元数据:元数据是描述数据的数据,用于描述源数据的属性、结构、关系等信息。
元数据对于数据仓库的设计和管理至关重要,它可以提供数据的来源、质量、更新频率等信息,帮助用户理解和使用数据。
例如,一个销售数据表格的元数据包括数据来源、字段定义、数据更新频率等信息,数据仓库可以通过元数据管理工具对元数据进行管理和查询。
资料4:⾃动⽓象站实⽤⼿册-第三编(地⾯⽓象测报业务系统软件使⽤)地⾯⽓象测报业务系统软件使⽤第⼗五章软件组成和功能第⼀节软件组成地⾯⽓象测报业务系统软件(2004版)包括⾃动⽓象站监控软件(SAWSS)、地⾯⽓象测报业务软件(OSSMO)、⾃动⽓象站接⼝和通讯组⽹接⼝软件(CNIS)。
另有⾃动⽓象站数据质量控制(AWSDataQC)和地⾯⽓象测报业务软件报警器(OSSMOClock)两个辅助软件。
总体结构如下:除主执⾏程序⽂件外,各功能模块软件采取程序控件和动态链接库编写,按照软件功能的不另有WeatherSymbol.TTF Ture Type字库⽂件,安装在操作系统下的Fonts⽂件夹下。
本书中的内容均以OSSMO 2004 V3.0.10版本的软件为基础,涉及到软件故障的处理内容该版本已经修改过的不再描述。
部分内容若与《地⾯⽓象测报业务系统软件操作⼿册》不⼀致时,以本书内容为准。
第⼆节软件功能1.⾃动⽓象站监控软件⾃动⽓象站监控软件(SAWSS)是⾃动⽓象站采集器与计算机的接⼝软件,它能实现对采集器的控制;将采集器中的数据实时的调取到计算机中,显⽰在实时数据监测窗⼝,写⼊规定的采集数据⽂件和实时传输数据⽂件;对各传感器和采集器的运⾏状态进⾏实时监控;与地⾯⽓象测报业务软件挂接,可以实现⽓象台站各项地⾯⽓象测报业务的处理;还能与中⼼站相联实现⾃动⽓象站的组⽹。
SAWSS与⾃动站采集接⼝采⽤ActiveX DLL的⽅式进⾏连接,不同型号的⾃动⽓象站只要遵循⾃动⽓象站数据接⼝标准,建⽴相应的动态链接库,即可实现与本软件的挂接。
⽬前可以挂接的⾃动⽓象站包括华创升达⾼科技发展中⼼和天津⽓象仪器⼚的CAWS系列、Vaisala公司的Milos系列、长春⽓象仪器⼚的DYYZⅡ系列、江苏⽆线电研究所的ZQZ_CⅡ系列和⼴东省⽓象技术装备中⼼的ZDZII型。
该软件功能模块主要包括数据采集、数据查询、⾃动站维护、系统参数、⼯具和帮助等。
海拉尔的气象参数-概述说明以及解释1.引言1.1 概述海拉尔是位于中国内蒙古自治区的一个城市,也是该地区的政治、经济和文化中心。
作为内蒙古自治区的重要城市之一,海拉尔的气象参数对该地区的社会经济发展和人民生活具有重要意义。
气象参数是指用于描述和研究气象及气候现象的各种参数,包括气温、降水量、风速、湿度等。
这些参数直接影响人们的生活、农业、交通、能源等各个方面,特别是对于农业生产而言,气象参数更是至关重要。
海拉尔地处内陆,属于大陆性气候,多年平均气温较低,夏季短而炎热,冬季漫长且寒冷。
由于地处高纬度地区,海拉尔的日照时间相对较短,日照充足度较低。
这些气象参数的特点使得海拉尔的气候条件在一定程度上限制了当地的农业生产和人民的生活方式。
海拉尔的降水量较少,多集中在夏季,全年平均降水量较低。
这种降水分布特点也对当地的农业生产产生了一定的影响。
农业是海拉尔的重要产业之一,而降水不足可能会影响农作物的生长和发展,给农业生产带来一定的挑战。
另外,海拉尔的风速较大,在冬季特别突出,这可能会导致寒冷的气温更加刺骨。
这也对当地居民的日常生活、农业经济和交通运输造成了一定的影响。
综上所述,海拉尔的气象参数以其独特的气候特点对当地的社会经济和人民的生活产生了重要的影响。
深入了解和掌握海拉尔的气象参数,对于合理安排农业生产、发展经济、改善居民生活条件具有重要的指导意义。
因此,本文将重点研究和介绍海拉尔的气象参数,旨在为海拉尔地区的社会发展提供参考和支持。
1.2 文章结构文章结构部分的内容为:文章结构部分旨在介绍整篇文章的组织架构和内容安排,以便读者了解文章的整体框架和主要内容。
本文将按照以下结构展开:第一部分是引言,包括概述、文章结构和目的。
在这一部分中,我们将对海拉尔的气象参数进行简要介绍,同时说明本文的组织结构和写作目的。
第二部分是正文,主要分为两个子部分,分别介绍海拉尔的气象参数1和气象参数2。
通过详细阐述这些气象参数的特点和变化情况,读者可以更加全面地了解海拉尔的气候和气候变化情况。
BUFR格式应用指南(试用版)2017年6月目次前言 ......................................................................... I BUFR格式应用指南. (1)1 范围 (1)2 术语和定义 (1)3 缩略语 (1)4 BUFR格式适用范围 (1)5 BUFR编码说明 (2)5.1 BUFR格式特点 (2)5.2 BUFR各段说明 (2)5.3 BUFR码表 (7)6 BUFR格式编制规则 (13)6.1 格式模板定义方法 (13)6.2 格式实例 (21)7 BUFR格式应用工具 (21)7.1 开源工具 (21)7.2 CMA开发工具 (21)8 BUFR模板和码表的格式及注册 (22)附录 A (资料性附录) BUFR格式资料清单 (23)附录 B (资料性附录)高空压、温、湿、风数据BUFR格式模板实例 (30)附录 C (规范性附录)代码表和标志表 (38)前言本应用指南起草单位:国家气象信息中心。
本应用指南主要起草人:薛蕾、张苈、王颖。
BUFR格式应用指南1 范围本指南介绍了BUFR格式的特点、编码规则和应用工具,规定了基于该格式进行气象数据格式模板编制的基本规则,适用于指导气象数据BUFR格式模板的制定以及BUFR格式数据的应用。
数据生产系统可参照本指南进行BUFR格式气象数据模板的编制,数据应用系统可参照本指南进行BUFR数据的解码应用。
2 术语和定义2.1报文 messageBUFR格式气象数据的基本组成单元,由起始行、报文内容(公报)和结束行组成。
2.2段 sectionBUFR公报中,编报数据中相同属性内容的一串代码组。
2.3八位组 octet由8个比特位组成的数位组。
3 缩略语下列缩略语适用于本文件。
BUFR:气象数据的二进制通用表示格式(Binary Universal Form for Representation of meteorological data)WMO:世界气象组织(The World Meteorological Orgnization)WMO-FM94:世界气象组织定义的第94号编码格式(The World Meteorological Orgnization code form FM 94 BUFR)CCITT IA5 :国际电报电话咨询委员会国际字母5号码(Consultative Committee on International Telephone and Telegraph International Alphabet No.5)UTC:世界协调时(Universal Time Coordinated)4 BUFR格式适用范围BUFR格式适用于表示各类观测资料以及卫星产品等。
资源与环境科学现代农业科技2017年第22期气象观测资料是认识和预测天气变化、探索气候演变规律、提供气象服务的基础。
随着现代科技的快速发展,气象探测手段日益丰富,探测精度不断提高,数据积累越来越多。
在大数据时代下,如何管理、使用气象探测数据是提高气象服务能力的关键。
因此,建立历史地面气象资料库具有重要的现实意义[1]。
近年来,在标准化、规范化的原则下,气象数据的管理以及气象数据系统建设均取得了不少成果。
牟艳彬等[2]建设新一代民航气象数据库,实现了资料的有效存储和快速检索。
华韵子等[3]研究并实现了长江三角洲气象数据实时共享。
高峰等[4]利用元数据灵活性、可维护性的特点,将元数据技术应用到MDSS 实时气象数据库系统建设中的。
华连生等[5]开发了基于Oracle 数据库的存储系统,并采用元数据技术对气象数据进行管理。
目前,大连地区有9个国家级业务气象站,最早建于1951年,地面气象观测数据多以文件形式进行保存且资料格式种类较多,给资料查询和统计带来诸多不便。
因此,通过把这些资料入库,可以方便地对地面气象观测资料进行查询和统计。
同时,本文基于地市级气象部门气象现代化建设与公共服务需求,针对气象资料在存储与应用中存在的资料格式多样、使用不便等问题,通过设计数据库、编写入库程序、采用B/S 体系结构,实现了历史地面气象资料的入库和数据库的共享,并建立完整的业务流程,以保障数据的有效性和真实性。
1数据库设计思路数据库的设计要遵循数据库表格要素的有效实用原则,选用先进、成熟的技术,并提高系统的扩充能力和可靠性。
根据地面资料信息化标准模式,2004年以前,大连地区气象站存储的文件有A0、A1、A6、A7;2004年以后,存储的文件为A 文件,A 文件实际上为A0、A1、A6、A7的结合体。
所有的A 类文件都包含了19类气象要素。
数据入库之前,要对原始文件进行数据拆分,按类别存储为txt 文件,然后利用C++编程语言,将原始数据按照类别录入Oracle 数据库表中,建成原始数据库。
数据库中时间序列数据的存储与处理时间序列数据是指按照时间顺序排列的数据集合,广泛应用于金融、气象、交通、电力等领域。
在实际应用中,为了对时间序列数据进行有效存储和高效处理,我们需要合理设计数据表结构和选择适当的存储方式。
1. 数据表结构设计首先,我们需要设计数据表结构,以存储时间序列数据。
常用的数据表结构有两种:a) 平面表结构:在平面表结构中,每一行代表一个数据点,每一列则代表一种属性。
这种结构适用于属性个数较少、结构较简单的时间序列数据。
b) 样本集表结构:在样本集表结构中,每一行代表一个时间点,每一列代表一个属性。
这种结构适用于属性个数较多、结构较复杂的时间序列数据。
在设计数据表时,需要考虑数据的精度、单位和数据类型等因素,并为每个属性指定适当的数据类型,如整数、浮点数等。
2. 存储方式选择选择合适的存储方式可以提高时间序列数据的存取效率。
a) 关系型数据库存储:关系型数据库如MySQL、Oracle等,是一种常见的存储时间序列数据的方式。
它具备事务一致性和数据完整性的特点,支持SQL查询和复杂的关联操作。
但由于关系型数据库的存储结构设计为表,这在处理大规模时间序列数据时可能会存在性能瓶颈。
b) NoSQL数据库存储:NoSQL数据库如MongoDB、HBase等,适合存储海量时间序列数据。
NoSQL数据库的表结构可以更灵活,适应不同数据结构的需求,且具备高可扩展性。
但相对于关系型数据库,NoSQL数据库的事务支持和查询灵活性可能较差。
c) 分布式文件系统存储:分布式文件系统如Hadoop、HDFS等,可以存储大规模的时间序列数据,并具备高容错性和高可靠性的特点。
分布式文件系统将数据切分成多个块,并在不同节点上做并行存储和处理,提高了数据处理的速度和可靠性。
在选择存储方式时,需要根据数据规模、性能要求、查询复杂性等因素进行综合考虑。
3. 时间序列数据的处理为了提取、分析和使用时间序列数据,我们需要进行相应的处理。
1数据的采集与处理1.1数据的采集施工监控中需对影响施工及控制精度的数据进行收集,主要包括环境参数和结构参数,前者又主要是指风速风向数据;后者主要指结构容重、弹模等数据。
施工监控需进行收集的数据如表1-1所示。
1.1.2数据采集方法基于港珠澳大桥特殊的地理位置,采用远程数据采集系统,与传统的数据采集系统相比,具有不受地理环境、气候、时间的影响等优势。
而借助无线传输手段的远程数据采集系统,更具有工程造价和人力资源成本低,传输数据不受地域的影响,可靠性高,免维护等优点。
远程无线数据采集系统的整体结构如图1-2所示。
1-2 远程无线数据采集系统组成结构图1.2数据的处理与评估在数据分析之前, 数据处理要能有效地从监测数据中寻找出异常值, 必须对监测数据进行可靠性检验, 剔除粗差的影响, 以保证监测数据的准确、可靠。
我们拟采用的是最常用的μ检验法来判别系统误差; 用“3σ准则”剔除粗差; 采用了“五点二次中心平滑”法对观测数据进行平滑修正。
同时, 在数据处理之后, 采用关联分析技术寻找某一测点的最佳关联点, (为保证系统评判的可靠性, 某一测点的关联点宜选用2 个以上)。
我们选用3 个关联测点, 如果异常测值的关联测点有2 个以上发生异常, 且异常方向一致, 则认为测值异常是由结构变化引起, 否则, 认为异常是由监测系统异常引起。
出现异常时, 经过判定, 自动提醒用户检查监测系统或者相应的结构(根据测点所在位置), 及时查明情况, 并采取一些必要的应急措施, 同时对测值做标注, 形成报表, 进行评估。
1.2.1系统误差的判别判别原则: 异常值检验方法是建立在随机样本观测值遵从正态分布和小概率原理的基础之上的。
根据观测值的正态分布特征性, 出现大偏差观测值的概率是很小的。
当测值较少时, 在正常情况下, 根据小概率原理, 它们是不会出现的, 一旦出现则表明有异常值。
依统计学原理: 偏差处于2 倍标准差或3 倍标准差范围内的数据为正常值, 之外的则判定为异常。
夏正龙,钟艳雯,郑秋生,等.省级气象大数据存储模型设计[J ].湖北农业科学,2021,60(10):129-132.收稿日期:2020-07-29基金项目:湖南省气象局2019年重点课题(XQKJ19A003)作者简介:夏正龙(1980-),男,江苏建湖人,高级工程师,硕士,主要从事气象信息技术应用与开发方面的研究,(电话)*************(电子信箱)****************。
随着Hadoop 、HBase 、ElasticSearch 等大数据存储、处理、运算技术的日益成熟,基于大数据技术的应用研究也成为各行各业重要的课题,中国各级气象部门也展开了如火如荼的研究,如王若曈等[1]采用Cassandra 进行实时气象数据存储,设计每类数据对应一个列族,每张表的行被称作列族的键值,类似于该类数据的某一种物理量的磁盘路径,解决了Micaps4业务系统的海量数据分布式存储;徐拥军等[2]利用地面自动站数据量,对分布式数据库的高性能、高可靠性与可用性、灵活性与可扩展性进行了存储测试,得出在入库性能与检索性能方面都高于传统数据库及具有高可靠性、灵活性和扩展性好的分布式集群系统,能提高服务能力、节约建设成本的结论;何林等[3]选用ElasticSearch 智能化全文搜索引擎,以中国地面逐小时观测数据为例,设计了气象大数据原型系统,并选取5个典型应用场景开展数据省级气象大数据存储模型设计夏正龙1,2,钟艳雯1,郑秋生1,朱亮1(1.湖南省气象信息中心,长沙410118;2.气象防灾减灾湖南省重点实验室,长沙410118)摘要:从结构化、非结构化气象数据的存储、索引两方面,基于大数据相关技术设计一套省级气象大数据存储模型。
结果表明,非结构化气象小文件利用Avro 进行数据模式设计、依据存储规则合并打包为Avro 格式文件存储在HDFS 上,减少文件数,节省内存资源的消耗;规则的结构化气象数据利用HBase 提出表、列字段、行键设计的宽表存储设计思路;利用ElasticSearch 设计统一的省级气象大数据存储索引库,统一检索入口,提高检索效率。
气象数据库表结构说明
说明:
以下关于气象数据库表结构的说明是参照水利部最新发布的《实时雨水情数据库表结构
与标识符SL323-2011—2011年3月》进行编制的,为了今后水文气象数据的统一整合,本
部分库表字段参照了水利行业标准执行。由于目前气象部门仅提供了雨量监测点的实时数
据,本表结构说明只包含气象测站基本信息和降水量两部分,如在实时过程中气象部门提供
的数据超过该范围,请按国家标准进行库表标准进行补充建设。
1.1数据库标识
数据库名称:FX_Weather
1.2 气象测站基本信息
1.2.1 一般规定
测站基本属性表用于存储测站的基本信息。
表标识:WT_STBPRP_B。
1.2.2 测站基本属性表表结构
见表1。
表1 测站基本属性表表结构
序号 字段名 字段标识 类型及长度 是否允许空值 计量单位 主键序号
1 测站编码 STCD C(8) N 1
2 测站名称 STNM C(30)
3 河流名称 RVNM C(30)
4 水系名称 HNNM C(30)
5 流域名称 BSNM C(30)
6 经度 LGTD N(10,6) °
7 纬度 LTTD N(10,6) °
8 站址 STLC C(50)
9 行政区划码 ADDVCD C(6)
10 基面名称 DTMNM C(16)
11 基面高程 DTMEL N(7,3) m
序号 字段名 字段标识 类型及长度 是否允许空值 计量单位 主键序号
12 基面修正值 DTPR N(7,3) m
13 站类 STTP C(2)
14 测站等级 FRGRD C(1)
15 建站年月 ESSTYM C(6)
16 始报年月 BGFRYM C(6)
17 隶属行业单位 ATCUNIT C(20)
18 信息管理单位 ADMAUTH C(20)
19 交换管理单位 LOCALITY C(10) N 2
20 测站岸别 STBK C(1)
21 测站方位 STAZT N(3) °
22 至河口距离 DSTRVM N(6,1) km
23 集水面积 DRNA N(7) km2
24 拼音码 PHCD C(6)
25 启用标志 USFL C(1)
26 备注 COMMENTS VC(200)
27 时间戳 MODITIME DATETIME
表结构各字段描述如下:
测站编码:按照气象局给定统一编码执行。
测站名称:测站编码所代表测站的中文名称。
河流名称:测站所属河流的中文名称,可暂为空。
水系名称:测站所属水系的中文名称,可暂为空。
流域名称:测站所属流域的中文名称,可暂为空。
经度:测站代表点所在地理位置的东经度,单位为度,保留6位小数。
纬度:测站代表点所在地理位置的北纬度,单位为度,保留6位小数。
站址:测站代表点所在地县级以下详细地址。
行政区划码:测站代表点所在地的行政区划(区县级)代码。行政区划代码编码按GB /T
2260执行。
基面名称:测站观测水位时所采用的基面高程系的名称。除特别注明以外,本数据表中
存储的关于某一测站的所有高程、水位数值均是相对于该测站基面的,可暂为空。
基面高程:测站观测水位时所采用基面高程系的基准面与该水文站所在流域的基准高程
系基准面的高差,可暂为空。
基面修正值:测站基于基面高程的水位值,遇水位断面沉降等因素影响需要设置基面修
正值来修正水位为基面高程,可暂为空。
站类:标识测站类型的两位字母代码。测站类型代码由两位大写英文字母组成,第一位
固定不变,表示大的测站类型,第二位根据情况可以扩展,表示大的测站类型的细分,如果
没有细分的情况下,重复第一位。大的测站类型目前分为8种。测站类型及其代码按表5
规定取值。
表2 测站类型代码表
类型 代码 类型 代码
气象站 MM 雨量站 PP
蒸发站 BB 河道水文站 ZQ
堰闸水文站 DD 河道水位站 ZZ
潮位站 TT 水库水文站 RR
泵站 DP 地下水站 ZG
墒情站 SS 分洪水位站 ZB
测站等级:描述测站的级别,取值及其含义见表3。
表3 报汛等级取值及其含义表
报汛等级 含义
1 国家站
2 地方站
3 其他
建站年月:测站完成建站的时间。编码格式为: YYYYMM。
——YYYY 为四位数字,表示年份;
——MM为二位数字,表示月份,若数值不足两位,前面加0补齐。
始报年月:测站建站后开始上报的时间。编码格式同建站年月。
隶属行业单位:测站所隶属的行业管理单位。
信息管理单位:测站信息报送质量责任单位,可填写实际上报信息的气象部门名称。
交换管理单位:测站信息交换管理单位,可填写实际信息交换管理的水利部门名称。
测站岸别:暂为空。
测站方位:暂为空。
至河口距离:暂为空。
集水面积:暂为空。
拼音码:用于快速输入测站名称的编码,采用测站名称的汉语拼音首字母构成,不区分
大小写。
启用标志:启用标志取值“0”和“1”。当取值为“1”时,代表启用该站报数;当测
站报数出现异常情况无法马上排除时,启用标识应设为“0”,停止该站报数,默认值为
“1”。
备注:用于记载该条记录的一些描述性的文字,最长不超过100个汉字。
时间戳:用于保存该条记录的最新插入或者修改时间,取系统日期时间,精确到秒。
1.2 降水量表
1.2.1 一般规定
降水量表用于存储时段降水量和日降水量。
表标识:WT_PPTN_R。
1.2.2 降水量表表结构
见表5。
表5 降水量表表结构
序号 字段名 字段标识 类型及长度 是否允许空值 计量单位 主键序号
1 测站编码 STCD C(8) N 2
2 时间 TM DATETIME N 1
3 时段降水量 DRP N(5,1) mm
4 时段长 INTV N(5,2) h
5 降水历时 PDR N(5,2)
6 日降水量 DYP N(5,1) mm
7 天气状况 WTH C(1)
表结构各字段描述如下:
测站编码:同1.2节中测站编码字段。
时间:降水量值的截止时间。
时段降水量:表示指定时段内的降水量。
时段长:描述测站所报时段降水量的统计时段长度。
降水历时:描述指定时段的实际降雨时间。数据存储的格式是HH.NN,其中HH为小时
数,取值为00~23;NN为分钟数,取值为01~59。当降水历时为整小时数时,可只列小时
数。
日降水量:表示前一天8时至截至8时共计24h的累计降水量。
天气状况:时间字段截至时刻的天气状况,用代码表示。天气状况的代码及意义按表6
中规定取值。
表6 天气状况代码表
天气状况 代码
雪 5
雨夹雪 6
雨 7
阴 8
晴 9