省级气象信息共享系统的设计与实现

黑龙江省气象科学数据共享系统研究与实现的开题报告一、选题的背景与意义气象科学是研究大气环境和气象现象的学科，是现代气象预报和应用的基础。

随着我国气象事业不断发展，气象数据的积累和应用也越来越重要。

黑龙江省作为我国东北地区的一个重要省份，气象科学的发展也十分关键。

为了更好地支持气象科学研究和应用，提高黑龙江省气象信息资源利用率和服务水平，本项目拟研究和实现黑龙江省气象科学数据共享系统。

二、研究内容和研究方法本项目主要研究黑龙江省气象科学数据共享系统，具体包括以下内容：1. 系统架构设计：根据黑龙江省气象科学数据资源特点及应用需求，设计具有可扩展性、可维护性和兼容性的系统架构。

2. 数据存储与管理：研究气象数据的存储格式、存储策略和管理方法，实现气象数据处理、清洗及存储等功能，确保系统中的数据质量和可靠性。

3. 数据服务接口设计：通过定义标准接口和数据格式，实现系统间数据互通和共享，支持用户多样化的请求和数据使用。

4. 安全性设计：考虑到气象数据的重要性和敏感性，本项目将研究并实现安全策略和措施，确保数据的安全性和可信度。

本项目研究采用以下方法和工具：1. 调研和文献综述：对相关的气象科学数据共享系统进行研究，了解最新的技术和发展趋势。

2. 系统设计和开发：根据本项目的研究目标和内容，设计系统架构，选择开发工具，实现系统开发。

3. 测试和评价：对系统进行测试，评价系统的稳定性、可用性、扩展性等指标。

三、预期成果本项目预期将研究和实现一个具有较高可靠性、可扩展性和可维护性的黑龙江省气象数据共享平台。

该平台将会通过规范的接口和格式，为广大气象科学家、气象部门和其他相关机构提供高质量的气象数据服务，助力气象科学的发展和应用。

四、可行性分析本项目涉及到的技术和应用都已经得到了广泛的应用和验证。

同时，我们的团队也有相关气象数据处理和共享系统的经验和技术实力，因此，本项目是可行的。

五、进度安排本项目的进度安排如下：第一阶段（1-2个月）：开展文献综述，了解数据共享系统的技术和应用，确定本项目的研究思路和方向。

济宁市气象信息共享平台的设计与实现摘要通过分析市县气象决策服务、公众服务的制作、发布、管理等一系列流程，结合网络技术，制作出一个基于web的市县气象信息共享平台，实现了全市预报、预警、服务、农气、通信等各类气象信息的快速有效共享；并对市县上传各种气象信息进行实时监控，及时发现上传资料传输过程中存在的问题，提高资料传输的时效和质量。

关键词气象信息；共享；平台；山东济宁多轨道、集约化、研究型、开放式的业务技术体制，对通信网络系统和信息共享系统提出了更高的要求。

现有的信息系统和信息共享业务不能满足多轨道业务对数据收集与分发、数据存储与检索的需求；长期以来，信息系统主要围绕天气、气候系统的业务需要进行建设，很少或没有考虑其他轨道业务的需求，并且为了适应社会经济的发展，天气、气候轨道也要有新的发展，因此现有信息系统必须有大的发展才能适应多轨道业务发展需求。

随着省市6M、市县2M SDH宽带网宽带的开通，为建立基于web的市级气象信息共享平台提供了良好的网络基础。

1平台介绍1.1结构按照山东省业务技术体制改革建设6个轨道、6个体系的要求，结合市县气象局的实际工作需要，将气象信息共享平台分为气象信息、气候、生态与农业、人工影响天气、雷电、业务流程、业务规定、气象科普等部分（图1）。

1.2主要内容主页除设有各部分的导航条外，还包括最新时次的省台预报意见、3d天气预报、当日实况、最新公告、业务流程、最新卫星云图、雷达资料、学习园地、当天08时、14时、20时的11县市观测点资料。

气象信息部分包括市县会商意见、各县市天气预报、短时天气预报、中期天气预报、一周天气预报、预警信号等；气候部分包括本市气候特点、短期气候预测、气候评价等；生态与农业气象部分包括农业气象旬报、墒情监测、气象遥感图片、农业气象服务、农业气候资源、主要农作物气候指标等。

2信息更新2.1上传资料的监控自2007年1月1日起，国家二级气象观测站的天气加密报的传输路由改为和一级站一样传到省局服务器，省局服务器收到报后，立即生成1个包含原报文的回执文件。

省级气象信息共享系统的设计与实现马渝勇;徐晓莉;宋智;吴薇;蒋勇【摘要】针对省级气象业务对气象信息管理与共享服务的需求,提出了一套气象信息管理与共享服务系统建设模型.该模型实现了对海量气象信息的有效管理,能够提供气象信息的高效定位、检索,以及要素级的数据服务等功能.系统采用消息型中间件技术,为二次开发提供了便捷的接口,一方面使数据库的安全性和访问效率得到保障,另一方面支持各种不同开发环境和编程语言对数据库的访问,由此实现了开放式的气象信息共享服务.基于该模型开发了省级气象信息共享服务系统,并投入业务应用,对省级业务提供信息支撑作用.%Meteorological information plays the fundamental role in weather forecast and meteorological service. With the rapid development of meteorological observing system and numerical weather prediction model in the last decade, the types and amount of the meteorological information, including observation data and forecast products, increases enormously. The traditional meteorological information management and sharing system can not fully meet the requirements of meteorological operation and service. To address the growing demand of meteorological operation and service, a new model of provincial meteorological information management and sharing system is proposed. The model is mainly made up of two parts: The relational database and the message-oriented middleware.The database manages integrated meteorological information from both observation and model outputs. Due to different data encoding mechanism, meteorological information is divided into two categories. The first category is decoded tometeorological element data and stored in two-dimensional data tables of the database. The other one is stored in a special storage area in file form and its file index table is managed by the database. So the database can provide the meteorological information sharing service in both file-level and element-level.The middleware provides flexible and high-performance access to the database. It is compatible with a variety of development environment and programming languages. The middleware also takes full advantage of indexes in the database, and protects the database by automatically generating and submitting SQL statements for the application software. The advantages of the meteorological information sharing system are as follows: The system manages a mass amount of meteorological data in an intensive way. The meteorological information in the database is retrieved exactly and efficiently by utilizing some technologies, such as metadata. The middleware of the system implements a more open , more efficient and safer access to the database.The meteorological information management and sharing system in Sichuan Province is developed in accordance with the model. The Oracle lOg is installed as the core database and IBM Websphere MQ, a message-oriented middleware with further developed library, is used as the access interface to the database. A series of applications developed upon the sharing system have been put into operation in recent years all over the Province, and have played extremely important roles in weather forecasting and meteorological service, especially in flood seasons service and emergency service.In practice, it's proved that the model of provincialmeteorological information management and sharing system not only improves the internal quality of meteorological information management, but also the meteorological information sharing service in all round way. The model can meet the requirements to manage and share meteorological information for the provincial meteorological service. Therefore, this model can be used as a reference in designing of the provincial meteorological information management and sharing system.【期刊名称】《应用气象学报》【年(卷),期】2011(022)004【总页数】8页(P505-512)【关键词】数据库;中间件;信息管理;信息共享【作者】马渝勇;徐晓莉;宋智;吴薇;蒋勇【作者单位】四川省气象信息中心,成都610072;四川省气象信息中心,成都610072;四川省气象信息中心,成都610072;四川省气象信息中心,成都610072;四川省气象信息中心,成都610072【正文语种】中文引言气象数据和产品是气象预报预测、决策服务工作的基础和支撑。

气象信息服务平台的设计与实现随着信息科技的发展，人们对于气象信息的需求越来越高，尤其在社会生产、生活和环境保护等领域，对气象数据的实时监测和准确预报具有重要的意义。

气象信息服务平台作为一个信息系统，可以对气象数据进行实时监测和预报，并且向用户提供各种气象服务。

本文将介绍气象信息服务平台的设计与实现。

一、平台设计1.需求分析在设计气象信息服务平台之前，首先要进行需求分析，明确用户的需求，以此为基础开展平台设计。

通过对用户需求进行分析，平台设计人员以此确定了平台的基本功能和服务。

2.平台架构设计气象信息服务平台架构呈现出三层结构，即表现层、业务逻辑层和数据层。

表现层为用户提供友好的界面，并且交互地展示气象数据和服务；业务逻辑层则将用户的请求分配给相应的服务，并且处理和整合相应的数据；数据层则提供气象数据的服务。

平台的架构设计使其可扩展性和可维护性更强。

3.系统设计在平台的系统设计中，主要包含用户管理、气象信息管理、预警信息管理、数据接口管理、数据存储等模块。

其中，用户管理模块基于 RBAC 模型，实现对用户的角色、权限和资源的管理；气象信息管理模块是平台的核心，包括气象数据的实时监测、预测和分析；预警信息管理模块功能强大，可以及时发布气象预警信息；数据接口管理模块支持用户通过 API 访问数据；数据存储模块则通过分布式文件系统实现大规模数据的存储和管理。

二、平台实现1.技术选型基于需求分析和平台架构设计，平台的实现选择了 SpringBoot、Vue.js、MySQL、Redis、HBase 等技术。

其中，SpringBoot 作为平台的后端框架，提供了一种快速构建 Web 应用程序的方式；Vue.js 作为平台的前端框架，提供了一种灵活的组件化开发模式；MySQL 作为平台数据的存储和管理工具，提供了可靠的数据存储保障；Redis 作为平台的缓存工具，提供了高效的数据缓存和查询；HBase 作为平台的分布式文件系统，成为平台实现的关键。

一种气象数据共享接口系统的设计与实现作者：尹常红胡雅超袁文波涂明来源：《电脑知识与技术》2021年第05期摘要：随着气象部门与各行业部门间合作逐渐深入，气象信息对外服务越来越普遍，各行业部门对精细化气象服务提出了更高要求。

在对当前气象数据共享服务需求分析基础上，基于数据库相关技术，设计一种通用气象数据共享接口系统，实现气象部门与各行业部门数据共享共用。

系统接口设计灵活，使用便捷，为推进部门合作和信息共享具有一定意义。

关键词：气象数据;行业数据;数据共享;接口系统1 引言随着科技进步和经济社会发展，社会公众和各行业部门对气象服务的需求日益凸显。

气象信息对外服务越来越普遍，大量的气象数据被挖掘和分析，服务于社会。

气象服务领域遍布交通、农业、能化、旅游、水利、环保、物流等各行业，气象服务业开放程度和市场化进程日益深化，社会用户及公众对服务数据种类、数据服务手段和数据服务的多形式化表现的要求越来越高，可预见的未来还会更高，对气象服务的需求度还会随着预报技术的发展同步增长。

气象数据的共享服务是气象业务和气象科研的重要工作，近年來国家和省级气象部门都开展了一些相关的气象数据共享和信息应用的研究工作，其中中国气象局主导建设的全国综合气象信息共享平台（CIMISS）建成了气象系统内标准统一应用规范的基础气象数据库，CIMISS 包括实时观测数据、历史数据和业务产品等14 大类，初步实现了各类气象数据的统一规划、分布存储和共享共用。

CIMISS在一定程度上解决了气象数据共享应用，尤其是行业内部应用的问题，但是在行业共享应用还有待进一步深入。

以武汉为例，随着气象与水务、环保、农业、交管、综治等各行业间合作的加强，气象数据加工存储与行业间共享需求日益增长。

在气象数据应用服务中，对于海量数据存储、高速数据交换以及并发访问、多样性数据处理、数据挖掘应用等需求也需要进一步研究解决，气象业务服务发展急需基础数据资源环境的可靠支撑。

^mmmm2021年第05期(总第221期）云端省级公共气象服务数据共享平台设计与实现刘建宏\陈增境2,高国弘\赵蔚\张超华1(1.宁夏气象服务中心;2.宁夏气象信息中心，宁夏银川750002)摘要：为提高社会公众气象服务建设能力，不断完善公众气象服务体系，解决气象数据跨网共享难点和产品海量生产痛 点等问题,通过采用互联网“数据聚合(Mashup)”技术建立宁夏公共气象服务数据共享平台，将来自多个渠道、不同格式 的公共气象服务数据融合到统一的服务云中，实现数据“云端化”、制作“在线化”、共享“规范化”，为气象部门各类互联网 服务终端,乃至全社会和气象信息服务企业提供了一个均等使用气象数据的途径，降低了各类市场主体获取气象数据的 难度与成本，为气象信息服务市场大众创业、万众创新提供基础。

关键词:数据共享;数据聚合;数据处理;分布式计算中图分类号:TP309 文献标识码:B文章编号=2096-9759(2021 )05-0054-05Design and Implementation o f Cloud Provincial Public M eteorological Service Data SharingPlatformLiu Jianhong1,Chen Zengjing2,Gao Guohong1,Zhao Wei1,Zhang Chaohua1 (l.Ningxia Meteorological Service Center,Yinchuan750002;2.Ningxia Meteorological Information Center,Yinchuan750002)A bstract:In order to improve the public meteorological service construction capacity,continuously improve the public meteor­ological service system,and solve the problems of cross-network sharing of meteorological data and the pain points of mass pro­duction of p roducts,the Ningxia public meteorological service data sharing platform was established through the use of InternetM Mashup"technology,To integrate public weather service data from multiple channels and different formats into a unified service cloud to realize data"cloudification",production"online1',and sharing"standardization",providing various Internet service termi­nals for meteorological departments,and even The whole society and meteorological information service enterprises provide a way to use meteorological data equally,which reduces the difficulty and cost of various market entities to obtain meteorological data, and provides a foimdation for public entrepreneurship and innovation in the meteorological information service marketKey w ords:data sharing;data aggregation;data processing;distributed computing.〇引言随着(移动)互联网、大数据、云计算、人工智能等科技的 不断发展，人类社会已经全面步入“互联网+”时代，如今社会 公众和各行业部门对于气象信息的关注度逐渐增强，移动互 联网媒体成为人们获取天气信息的主要渠道。

省级气象资料数据库系统的设计与实现的开题报告一、选题背景和意义随着气象科技的不断发展和应用，气象数据的处理和管理成为重要的任务。

在气象行业，气象资料的获取、处理、分析和应用已成为气象学的重要组成部分，为气象工作的准确性和科学性提供了重要支撑。

将省级气象资料进行有效的管理，规范化的存储，可以提高数据共享和利用效率，为气象防灾减灾，气象科研工作，气象技术服务等提供重要帮助。

省级气象资料数据库系统的设计和实现是在高效处理和管理气象资料的基础上，提高气象数据共享和利用效率，促进气象科学研究和气象服务的发展中的重要举措。

二、研究目的和内容1. 研究目的本项目旨在设计和开发一套省级气象资料数据库系统，将省内气象数据通过统一化的管理方式存储于该系统中，并在此基础上实现气象资料的查询、统计、分析等功能，提高气象资料的共享度和利用效率，为气象预测、科学研究、气象服务等提供可靠、高效、快捷的数据支持。

2. 研究内容本论文将研究如何设计和实现一套高效的省级气象资料数据库系统。

具体包括以下内容：（1）气象资料库系统设计原则与需求分析（2）省内气象资料库的数据建设与维护（3）气象资料库的系统结构设计与开发实现（4）地理信息系统与气象资料库的数据集成（5）系统安全性和后期维护问题三、研究方法和技术路线1. 研究方法本项目将运用文献研究法、实证研究法，结合三大部分，开展研究工作，完成本项目的设计和实现。

2. 技术路线本文拟采取的技术路线如下：（1）数据库技术：MySQL、SQL Server、Oracle（2）编程语言：Java、Python、JavaScript（3）地理信息系统技术：ArcGIS、Mapbox（4）前端框架：Vue.js、React四、预期成果和意义1. 预期成果本项目的预期成果如下：（1）基于成熟的数据库技术和地理信息系统技术，设计和实现可靠实用的气象资料库系统。

（2）实现基于地图的气象资料查询及数据可视化查询。

气象信息化系统的设计与实现随着科技的发展，气象信息化系统的设计与实现逐渐成为了趋势。

气象信息化系统不仅可以提高气象部门的工作效率，还能为公众和企业提供精准的气象服务，对于国家的经济发展和社会建设也有着重要的作用。

本文将对气象信息化系统的设计与实现进行探讨。

一、气象信息化系统概述气象信息化系统是指基于计算机技术，以气象观测、预报、预警等为主要内容，将气象数据进行采集、传输、处理、分析和展示，形成一套在线、实时、智能化、全面的气象服务系统。

随着气象服务需求的增长和用户服务质量要求的提高，气象信息化系统已成为气象现代化建设的关键之一。

二、1. 前端界面设计气象信息化系统的前端界面设计应该符合人机工程学原则，让用户能够轻松使用。

界面需要直观、简洁、美观、易操作，设计应考虑可用性、统一性、协调性和易学性。

采用响应式布局技术，为用户提供不同大小屏幕的界面适配，并支持多终端浏览。

2. 数据采集与处理气象信息化系统需要对数据进行实时采集、传输和处理。

数据应包括气象站点观测数据、卫星云图、气候信息、气象预报等。

数据采集要求高效、可靠、规范。

系统还需要对数据进行质量评估、噪声去除、数据插补等处理，确保数据质量。

3. 预警机制与预报算法气象信息化系统需要建立完善的预警机制和预报算法。

预警机制应包括灾害预警、空气质量预警等，具备预测性、预警性、预防性。

预报算法应具备科学性、准确性、智能化，能够从多个角度对气象因素进行分析，并能够进行大量数据的存储、并发计算和快速查询。

4. 服务支持与用户管理气象信息化系统需要提供完善的服务支持和用户管理功能。

服务支持应包括用户需求统计、数据报表分析、定制服务等。

用户管理应包括用户注册、权限管理、用户数据查看等功能。

三、气象信息化系统的应用前景气象信息化系统的应用前景非常广阔。

首先，在为气象部门提供全面的气象服务的同时，还能为立体化的城市建设以及大型天气灾害的预防和救援提供帮助。

其次，在提高人们的生产生活安全的同时，还能提供对环保和能源使用的帮助。

气象数据共享平台的建设与管理随着科技的飞速发展和社会的不断进步，气象数据在各个领域的应用越来越广泛。

从农业生产到交通运输，从能源开发到城市规划，准确、及时、全面的气象数据对于提高决策的科学性、降低风险、保障公共安全和促进经济发展都具有至关重要的意义。

在此背景下，建设一个高效、可靠、便捷的气象数据共享平台成为了时代的迫切需求。

一、气象数据共享平台建设的必要性气象数据具有多样性、复杂性和时效性等特点。

不同类型的气象数据，如气温、降水、风速、风向、气压等，需要进行综合分析和处理，才能为用户提供有价值的信息。

同时，气象数据的来源也非常广泛，包括气象观测站、卫星遥感、雷达监测等。

由于这些数据分散在不同的部门和机构中，缺乏有效的整合和共享，导致数据的利用率低下，重复建设现象严重。

因此，建设一个气象数据共享平台，实现气象数据的集中管理和统一发布，不仅可以提高数据的利用效率，减少资源浪费，还可以促进气象科研和业务的协同发展，为气象服务的创新提供有力支撑。

二、气象数据共享平台的建设目标1、数据整合将来自不同渠道、不同格式的气象数据进行整合，建立统一的数据标准和规范，确保数据的一致性和准确性。

2、数据存储采用先进的数据库技术和存储设备，确保海量气象数据的安全存储和快速检索。

3、数据共享通过网络技术，实现气象数据的在线共享，为用户提供便捷的数据访问服务。

4、数据分析提供数据分析工具和算法，帮助用户挖掘数据中的潜在价值，为决策提供支持。

5、系统安全建立完善的安全机制，保障气象数据的安全性和保密性。

三、气象数据共享平台的架构设计气象数据共享平台的架构通常包括数据源层、数据存储层、数据处理层、数据服务层和用户应用层。

1、数据源层负责收集来自各种气象观测设备、卫星遥感、数值预报模型等的原始数据。

2、数据存储层采用关系型数据库和分布式文件系统相结合的方式，存储结构化和非结构化的气象数据。

3、数据处理层运用数据清洗、转换、融合等技术，对原始数据进行预处理，提高数据质量。

信 息 技 术13科技资讯 S CI EN CE & T EC HNO LO GY I NF OR MA TI ON 气象数据和产品是气象预报预测、决策服务、科学研究等工作的基础和支撑[1]。

随着气象综合观测系统的建设和气象业务规范的逐步调整,气象信息在内涵与外延上发生了重大变化,种类和数据量都呈几何级数增长[2],这对传统的气象信息管理和应用模式提出了挑战。

为了应对这种挑战,我国各省(市)都纷纷开展了气象信息共享平台的建设工作[3-6],并取得了一些效果。

但面对不断膨胀的数据量,以及新的气象业务需求,现有的气象信息共享系统面临信息共享交互程度不高、信息交互不方便、信息缺乏有效规范的组织形式、共享数据类别不全、扩展不方便等问题,因此需要重新规划以数据库为核心的省级气象信息共享平台建设,以规范气象信息从收集到服务的业务流程,实现全部气象资料和产品的高效存储管理及常用资料的质量控制,完成常规、自动站、雷达、卫星等资料的有效应用。

主要包括:(1)建立起与新型业务技术体制相适应的数据收集、处理业务流程和技术规范;确定数据质量控制体系、数据管理和共享办法。

(2)建立高可靠的应用服务系统,以适应不断增加的各类探测数据的收集、处理、存储和分发业务需求。

(3)建设更快捷、更可靠的信息存储检索系统,以适应气象科学研究、业务运行、部门和行业间对信息共享、存储和数据处理能力的需求。

1 气象信息共享平台总体设计方案气象信息共享平台的建设围绕两个目标开展:一是建立数据接收的快速通道,提供统一的数据访问接口,为共享服务提供高效、规范的数据;二是统一数据管理各项功能的操作,提供规范、友好的操作界面,省级气象信息共享平台设计刘文清1 魏乐2 罗飞2(1.成都信息工程学院统计学院;2.成都信息工程学院计算机学院 四川成都 610225)摘 要:为满足气象部门对气象信息共享服务的需求,设计了一个省级气象信息共享平台。

首先介绍了平台的总体设计方案,包括平台定位、设计目标和设计原则;随后提出了基于SOA的气象信息共享平台体系结构,并对平台的三个层次进行了说明;接着在对气象数据进行分析的基础上,给出平台数据表设计;最后对平台实现的功能进行了详细的阐述。

收稿日期:2019-08-19 修回日期:2019-12-20基金项目:江西省气象科技重点项目(201703)作者简介:周雪莹(1979-),女,高级工程师,硕士,从事气象系统与数据库研发工作;通讯作者:李　芬(1970-),女,高级工程师,从事气象系统设计与研究㊂气象水文信息实时共享系统的设计与实现周雪莹,李　芬,李显风,胡佳军(江西省气象信息中心,江西南昌330096)摘　要:为推进气象与各行业的气象数据跨界融合,充分发挥不同部门自动站观测数据的优势,针对业务服务㊁防灾减灾和管理的要求,依托江西省政务网,构建了江西省气象自动观测站和水文自动观测站的雨量数据实时共享机制㊂在CIMISS 数据环境的基础上,建立了跨部门跨行业共享数据实时数据库和监测告警信息数据库㊂基于B /S 和C /S 架构,采用C #㊁Java 和Python 等开发平台,建设了气象水文雨量信息实时共享系统,实现了气象㊁水文雨量数据的实时收集㊁入库㊁处理和共享服务,并基于微信平台㊁短信平台,开发了系统监测告警功能,实现系统运行状态在手机端的实时显示,完善值班人员的监视方式,保障了系统稳定运行,有效提高共享数据的及时性和可靠性㊂系统投入业务应用运行后,为江西省预报预警工作提供了有力的数据环境支撑㊂关键词:气象雨量;水文雨量;共享系统;监控告警;日志管理;跨部门中图分类号:TP 302 文献标识码:A 文章编号:1673-629X (2020)07-0194-05doi :10.3969/j.issn.1673-629X.2020.07.040Design and Implementation of Real -time Sharing System forMeteorological and Hydrological DataZHOU Xue -ying ,LI Fen ,LI Xian -feng ,HU Jia -jun(Meteorological Information Center of Jiangxi Province ,Nanchang 330096,China )Abstract :In order to promote the cross -border integration of meteorology and various industries and give full play to the advantages of observation data from different departments of automatic meteorological stations ,in accordance with the requirements of operational services ,disaster prevention ,mitigation and management ,we establish a real -time rainfall data sharing mechanism for Jiangxi meteorological automatic observation stations and hydrological automatic observation stations based on the Jiangxi Provincial Government Network.On the basis of CIMISS data environment ,the real -time database of shared data and the database of monitoring and warning in⁃formation across departments and industries are established.Based on B /S and C /S architecture ,the real -time sharing system of meteor⁃ological and hydrological rainfall information is built by using C #,Java and Python development platforms ,which realizes the real -time collection ,storage ,processing and sharing services of meteorological and hydrological rainfall data.Based on the platform of Wechat and Short Message ,the function of system monitoring and alarming is developed ,which realizes the real -time display of the system running status on the mobile terminal ,improves the monitoring mode of the duty personnel ,ensures the stable operation of the system ,and effectively improves the timeliness and reliability of the shared data.After putting the system into operation ,it provides a powerful data environment support for the forecasting and early warning work in Jiangxi Province.Key words :meteorological rainfall ;hydrological rainfall ;sharing system ;monitoring alarm ;log management ;cross -sectoral0　引　言江西省洪涝灾害发生十分频繁,气候异常㊁极端天气事件增多,气象防灾减灾形势日益严峻,社会对气象资料和气象服务的需求越来越大,也越来越多样化㊂国家 十三五”规划建议提出: 实施国家大数据战略,推进数据资源开放共享”,气象部门和水利部门是国民经济与社会发展的重要基础支撑和保障,气象和水文数据是国家重要的基础资源,在各自不同的领域里研究了水分循环系统的不同环节,建立信息共享机制是时代发展的大趋势,积极提高全社会气象服务信息的利用能力,激活全社会气象信息服务产业的活力[1]㊂根据中国气象局与水利部长江水利委员会签署共同推第30卷　第7期2020年7月 计算机技术与发展COMPUTER TECHNOLOGY AND DEVELOPMENT Vol.30　No.7July　2020进长江流域防汛抗旱战略合作协议,实现两部门的数据实时共享,开展跨学科㊁跨部门㊁跨地域的深入研究,为更加准确的气象预报预警信息提供强有力的数据支撑,进而提升洪水旱情预测㊁预警与防灾减灾综合服务能力,提高公共气象服务水平[2]㊂江西省气象㊁水利部门各自建设高密度雨量观测站网,水文自动观测站有2807个,其中水文站有110个,水位站有259个,雨量站有1855个,气象自动观测站有2545个,其中国家级自动站有93个,区域级自动站有2452个㊂因为水文部门的水文监测自动化系统运行机制与气象部门的大气监测自动化系统运行机制有所差异[3],数据采集㊁报文格式和传输时效流程完全不同,所以数据共享的实时性不强,监视报警环节薄弱,一旦处于有效时间之外,将无法有效地为气象预报预警㊁防汛抗旱和公共气象服务提供及时有效准确的数据环境[4]㊂目前,大量的共享数据变成历史数据存储在共享服务器中,大部分没有被开发利用,造成资源浪费㊂为了提高气象水文共享数据的实时性㊁准确性㊁有效性和利用率,为气象部门㊁水利部门㊁市县以及周边省的业务㊁科研㊁专业服务提供完整的数据支持[5],开发了江西省气象水文数据实时共享平台,实现数据传输㊁接收㊁处理㊁存储㊁共享㊁日志管理和监视告警等功能,在CIMISS基础上,建立跨部门共享数据实时数据库和监视信息数据库,并且提供统一的数据访问接口㊂针对共享数据传输和共享的高时效性和可靠性,以及目前页面形式告警缺少信息交互,手机短信告警能够展示的信息较为贫乏,增加了微信的方式接收告警信息,满足消息通知的及时性㊁信息展示的丰富性和交互性,更能及时通知值班业务人员和管理人员服务器状态㊁网络状态㊁进程运行㊁数据传输和处理等异常情况㊂1　气象水文数据共享流程设计全国综合气象信息共享平台(CIMISS)是气象核心基础数据支撑平台,在此基础上建立了气象信息化数据统一标准,直接支撑气象业务和服务应用㊂但是跨行业合作是新时代的趋势,数据需求增长迅速,对数据的时效性和稳定性要求越来越高,基于气象核心业务的CIMISS对跨行业共享数据支持存在不完善,在原有CIMISS技术架构和访问接口的基础上建立跨行业数据库[6-7],提供更加及时准确的跨行业共享数据环境支撑,实现对实时数据的快速响应㊂本系统依托政务外网㊁CIMISS数据环境和统一数据服务接口,定时获取气象降水数据,并根据共享数据格式生成气象降水文件,采用FTP方式实现数据实时传输至水文共享服务器,同时水文部门也将水文降水文件传输至气象部门㊂对实时收集的气象和水文降水文件进行解码入库处理,并以rest方式提供数据服务接口,兼容与CIMISS数据标准,同时根据需求,将实时收集的水文降水文件通过气象专网共享至周边省份,为长江流域气象水文业务服务提供数据支撑[8]㊂数据共享流程如图1所示㊂图1　数据实时共享流程2　系统设计与实现在建设气象㊁水文数据共享传输网络系统的基础上,基于B/S架构和C/S架构相结合的方式,采用MySQL数据库㊁C#和Python等计算机技术,建立江西省气象水文数据实时共享系统,实现气象㊁水文共享数据的实时收集和多线程处理,提高数据使用的实时性㊁准确性和有效性,建立气象㊁水文共享数据库,并以接口的方式提供数据服务,为省市县三级业务应用提供了有力的数据支撑㊂2.1　总体设计根据气象部门和水利部门自动观测规范㊁报文格式㊁采集时效等不同,以及对数据处理的实时性㊁准确性和有效性的要求,设计了系统的总体结构㊂本系统主要由数据共享处理㊁日志管理和监视告警三部分组成,各部分依赖性低,耦合性弱,结构更加明确,增加了系统的可扩展性,极大降低了后期维护的成本和时间[9]图2　系统总体架构㊃591㊃　第7期 周雪莹等:气象水文信息实时共享系统的设计与实现2.2　系统功能根据应用需求,系统设计了数据共享处理㊁日志管理和监视告警等功能,其中数据共享处理功能包括文件解码入库模块㊁补处理模块和省际共享模块,日志管理功能包括日志生成㊁日志存储和日志调用,监视告警功能包括短信告警㊁微信告警和页面告警㊂2.2.1　数据共享处理气象部门的降水监测系统定时采集小时和分钟降水资料,而水文部门降水监测系统仅监测和传输发生降水时次资料,数据频次具有不确定性特点,因此通过设置高频率扫描频次对水文共享资料文件进行实时扫描,确保共享数据文件接收和处理的完整性㊁及时性㊂将扫描获取的文件列表,写入解析入库处理队列,提取文件内容,并写入数据库相应数据表,同时生成文件传输情况㊁解码情况㊁入库情况和备份情况日志文件,提供系统监控使用㊂日志文件中,由于网络故障㊁设备故障和人为操作等原因,不可避免会造成系统运行中断等异常情况,导致某个时次或时间段范围内报文未及时处理,系统提供异常处理功能,实现缺失数据的手动补处理,保障实时共享数据文件接收和处理的及时性㊁完整性和连续性㊂数据共享处理流程如图3所示㊂2.2.2　日志管理采用日志管理方式,对系统运行的关键环节㊁系统服务器状态㊁网络状态等信息进行实时日志记录㊂服务器运行状态和网络状态通过部署状态采集软件实现,采集信息包括服务CPU ㊁内存㊁储存空间等信息以及网络中断信息等㊂系统运行状态通过实时生成行为日志和异常日志信息,并按照标准规范生成相应的日志文件[10]㊂对日志文件进行解析处理,提取数据收集㊁数据处理㊁数据储存管理等系统状态信息及异常告警信息,写入系统的监视信息数据库,为后续系统分析和故障处理提供依据㊂日志管理流程如图4所示㊂图3　数据共享处理流程图4　日志管理流程2.2.3　监视告警监视告警功能提供页面告警(见图5)㊁短信告警和微信告警三种方式,为业务值班人员及系统管理员提供及时的监视告警信息㊂系统通过实时读取监视信息数据库的数据记录,监测到异常情况,并根据参数配置的监控告警规则判断告警级别,分为紧急告警㊁严重告警㊁一般告警[11]㊂若为一般告警仅提供页面显示,若为紧急告警和严重告警,监视系统则发出异常声音告警,并同时以短信和微信的方式,把异常信息发送至值班人员和管理人员,保障异常情况被快速处理㊂图5　系统监控告警页面㊃691㊃ 计算机技术与发展 第30卷3　关键技术3.1　基于多线程的气象水文数据加工处理气象水文数据共享处理系统采用文本文件作为传输标准格式,由于每时次共享传输文件数量大,采用单线程顺序处理所有文件耗时长,无法满足实时观测资料时效性需求,为此采用多线程处理方式,根据文件数和线程数,将全部处理文件分配到各个线程同步处理,极大提高了数据解析入库处理效率㊂对系统的目录扫描㊁文件传输,包括目录扫描线程㊁文件传输线程㊁数据处理和解码入库分别采用不同的处理线程来提高系统处理效率㊂目录扫描线程定时扫描共享目录下的数据文件,通过文件名匹配和数据格式检查,剔除异常数据文件,得到每时次的处理文件列表㊂文件传输线程实现收集和发送气象雨量文件和水文数据文件,实现数据文件实时共享㊂数据处理线程使用CIMISS气象数据统一服务接口(MUSIC)快速获取地面逐小时雨量数据,根据文件命名规则和文件标准格式生成气象雨量数据文件㊂文件解码入库线程对文件内容进行逐行解析处理,提取时间㊁经度㊁纬度㊁站号㊁要素和要素值等信息,当文件数据读取结束后,将提取的信息一次性写入气象水文共享数据实时数据库㊂3.2　基于数据接口的共享服务共享数据以CIMISS数据源和水利数据为基础,数据标准保持与CIMISS数据环境的一致性,以统一接口服务的方式面向业务应用提供服务㊂为了提高数据读写性能㊁数据库访问速度和数据查询速度,保证共享数据入库的及时性,采用视图㊁索引㊁主键或复合主键等技术对数据库进行优化设计,不同的要素分开存储在不同的实体数据表中[12-13]㊂根据业务需求,系统设计并建立了元数据表㊁台站基本信息表㊁雨量数据表㊁水位流量数据表和监视告警信息表等㊂元数据表用于存储关于数据的说明性信息,是关于数据的数据或描述数据的数据,包括气象水文共享数据类型㊁数据类型标识㊁各个要素的说明;台站基本信息表用于存储站点信息;雨量数据表和水位流量数据表分别存储水文站观测的降水量㊁水位和流量等不同要素数据;监视告警信息表用于存储系统运行环境状态㊁系统运行状态指标和网络连接状态等信息㊂基于建立的共享数据库,采用rest方式设计了一套统一的数据访问接口㊂根据数据共享服务需求,设计并建立了按时段检索地面降水㊁按时间检索地面降水㊁按时段统计地面降水㊁按时间段及站号检索地面降水等不同的功能接口(见表1)㊂rest具有访问数据快,接口调用简单等优势,以按时间段及站号检索地面降水接口为例,通过调用getSurfEleByTimeRangeAnd StaID接口,获取了2019年3月02日至2019年3月03日(北京时)水文站(站号为62422800)24小时降水量及站点元数据信息(见表2)㊂表1　接口说明序号接口代码接口名称1getSurfEleInRegionByTimeRange按时间段检索地面降水2getSurfEleInRegionByTime按时间检索地面降水3statSurfEleInRegion按时间段统计地面降水4getSurfEleByTimeRangeAndStaID按时间段及站号检索地面降水表2　按时间段及站号检索返回结果Station_ID_C pre_1h lon lat station_name city cnty datetime 624228005116.188626.7550头陂抚州广昌县2019-03-0212:00:00 624228006116.188626.7550头陂抚州广昌县2019-03-0213:00:00 624228001116.188626.7550头陂抚州广昌县2019-03-0214:00:00 624228005116.188626.7550头陂抚州广昌县2019-03-0216:00:00 624228003116.188626.7550头陂抚州广昌县2019-03-0217:00:00 624228001116.188626.7550头陂抚州广昌县2019-03-0218:00:00 624228004116.188626.7550头陂抚州广昌县2019-03-0219:00:00 624228002116.188626.7550头陂抚州广昌县2019-03-0220:00:00 624228002116.188626.7550头陂抚州广昌县2019-03-0221:00:00 624228000.5116.188626.7550头陂抚州广昌县2019-03-0222:00:00㊃791㊃　第7期 周雪莹等:气象水文信息实时共享系统的设计与实现3.3　基于移动端的监视告警微信接收监视报警模块使用企业微信丰富的API 接口和应用与小程序的功能,采用shell脚本和HTML5等开发技术,通过接口凭证调用企业微信号提供的开发接口,建立本地应用程序与企业微信之间的连接和交互,实现监视报警信息推送至值班人员和管理人员的微信上㊂用户不需要增加手机app,通过关注企业微信号后,即可获得内容丰富且具有个性化的移动应用[14]㊂Web端短信发送监视报警模块是在移动代理服务器(云MAS短信服务平台)的基础上,采用C#编程语言调用Mas机API接口方式制作的短信发送入库接口,调用该接口可以发送监视报警信息至移动㊁联通和电信的手机上,实现 三网合一”,同时将短信发送返回状态㊁手机号和短信内容保存至数据库㊂为了防止值班人员和管理人员收到的短信含有乱码,短信信息的字符串编码与发送短信的服务器的编码一致,即使用UTF-8编码,发送至多个用户时,可以使用逗号分隔电话号码㊂设置网段限制,防止未授权的用户调用该接口发送非法短信信息㊂4　应用实例本系统为全省气象部门提供了高密度的站点实况降水数据,有效支撑了本省省市县三级业务应用㊂江西省气象信息中心基于该共享系统的数据接口,采用基于RIA的WebGIS技术,建立了江西省气象㊁水文雨情信息的分析平台,实现了水文站㊁气象站降水叠加地理信息的一张图显示,具备数据的等值面绘制㊁数据统计分析,数据查询㊁导出等功能[15],平台在降水监测,尤其是强降水监测中发挥了重要作用㊂5　结束语根据气象部门和水利部门的监测自动化系统运行机制的不同,设计和实现了一套具有收集㊁分发㊁处理㊁共享㊁监视㊁告警㊁日志管理和数据存储管理功能的气象水文数据实时共享系统,并且对气象水文共享数据文件接收㊁处理㊁发送㊁日志管理和监视告警进行了详细的阐述㊂(1)通过政务外网建立了跨部门的数据共享与交换机制,加强了数据共享的实时性和有效性;通过多元化的监视报警方式,提高了数据传输的及时性和稳定性;利用多线程的数据处理方式,提升了数据解码入库的时效性和并发性㊂(2)系统实现了数据共享处理㊁数据存储㊁日志管理和监视告警等功能,建立了气象和水文共享数据实时数据库和监测告警信息数据库,为省市县三级业务的应用提供统一的数据访问接口㊂日志管理和监视告警为值班员和业务管理人员对系统故障判断和处理提供了可靠的决策依据,通过界面显示㊁短信和微信方式相结合,实现内容丰富且具有个性化的移动应用㊂(3)系统投入业务运行后,显著提高了数据传输的及时性和数据使用的完整性,能够为提升公共气象服务水平㊁气象预报预警与防灾减灾综合服务能力㊁洪水旱情预测及跨行业跨部门的信息共享㊁空间集成以及跨学科的可持续发展研究提供有力的数据支撑,为气象部门㊁水利部门㊁市县以及周边省的业务㊁科研㊁专业服务提供完整有效的数据环境㊂参考文献:[1]　赵琳娜,包红军,田付友,等.水文气象研究进展[J].气象,2012,38(2):147-154.[2]　彭　涛,张利平,沈铁元,等.现代水文气象预报技术研究进展[J].人民黄河,2010,32(9):29-32.[3]　萧晓俊,罗万明,罗　泽,等.青海湖生态水文监测数据可视化平台[J].计算机系统应用,2018,27(10):75-79. [4]　陈蓓青,谭德宝,田雪冬,等.大数据技术在水利行业中的应用探讨[J].长江科学院院报,2016,33(11):59-62. [5]　范保松.河南省气象观测数据综合服务平台的设计与实现[J].气象与环境科学,2019,42(1):135-142. [6]　梁宝龙,崔学林,谢寒生等.多源气象数据实时推送系统的设计与实现[J].计算机技术与发展,2018,28(8):139-143.[7]　李新庆,陈海波,杨有林,等.宁夏综合气象信息共享与管理系统设计研究[J].计算机技术与发展,2019,29(5):135-141.[8]　杨代才,张冰松.长江流域气象水文雨量资料一张图分析系统建设与应用[J].计算机系统应用,2019,28(1):47-52.[9]　陈　华,徐　坚,肖志远,等.水文大数据共享平台研究与设计[J].水资源研究,2018,7(1):10-18. [10]李显风,邓卫华,邹海燕,等.江西省下行气象资料实时监视平台设计与实现[J].气象科技,2016,44(2):229-233.[11]赵　冰,崔　鑫,谢寒生.海南气象信息传输实时监控系统的设计与实现[J].计算机技术与发展,2017,27(10):193-196.[12]华连生,王建荣,金素文,等.基于IMS的气象信息传输智能语音通知系统设计与实现[J].气象科技,2015,43(6): 1040-1045.[13]韩　笑,王　力,王吉滨,等.一种地市级气象数据库的设计与应用[J].气象科技,2015,43(6):1053-1059. [14]陈乾国.基于微信企业号的干部学习平台[J].计算机系统应用,2018,27(3):57-63.[15]李志鹏,胡佳军,张　玮,等.基于RIA的WebGIS自动气象站数据服务系统[J].江西师范大学学报:自然科学版, 2013,37(1):60-64.㊃891㊃ 计算机技术与发展 第30卷。

收稿日期:2019-04-28 修回日期:2019-08-29 网络出版时间:2019-12-18基金项目:江苏省青年气象科研基金项目(Q201709)作者简介:王　力(1985-),男,硕士研究生,工程师,研究方向为气象信息技术㊂网络出版地址: /kcms /detail /61.1450.TP.20191218.1112.038.html一种地市级气象数据共享系统的设计与实现王　力,杨福兴,曹锦飞(江苏省苏州市气象局,江苏苏州215131)摘　要:气象数据共享是气象预报预警㊁公共气象服务的基础㊂针对地市级气象数据存储分散㊁共享水平低㊁无标准等问题,从气象应用需求和数据共享角度,首先设计标准化数据获取客户端,以灵活配置的形式完成多种气象资料的解析㊂通过气象资料的逻辑划分,实现物理上集中存储,逻辑上相对独立的方式进行数据存储和管理㊂同时,系统以多种方式进行数据共享服务和安全访问控制㊂在标准化气象数据获取㊁一体化气象数据存储与管理,数据共享服务等方面,构建了灵活㊁高效的气象数据流程,设计和实现了一种面向地市级的实时气象数据共享系统㊂在整个数据流程中,均考虑每个环节的监控,为集中运维提供可靠的数据参考㊂目前,该系统已经投入业务使用,为市县两级气象应用的数据调取和公共气象服务提供稳定㊁高效的实时数据共享服务,取得了较好的应用效果㊂关键词:气象数据共享;数据获取;数据处理;访问控制;数据管理中图分类号:TP319 文献标识码:A 文章编号:1673-629X (2020)04-0200-06doi:10.3969/j.issn.1673-629X.2020.04.038Design and Realization of a Municipal MeteorologicalData Sharing SystemWANG Li ,YANG Fu -xing ,CAO Jin -fei(Suzhou Meteorological Bureau ,Suzhou 215131,China )Abstract :Meteorological data sharing is the basis of meteorological forecast ,early warning and public services.Aiming at the exsiting problems of scattered storage ,low sharing level and non -standard of meteorological data in municipal meteorological department ,firstly a standardized data acquisition client is designed and realized from the perspective of meteorological application requirements and data sharing to complete data analysis of various meteorological data in the form of flexible configuration.Secondly ,an intensive data storage and management system is designed through the logical classification of those data ,which provides data sharing services and secure access control in a variety of ways.Therefore ,we construct a flexible and efficient meteorological data flow from the aspects of standardized data acquisition ,integrated data management and data sharing services ,and design and implement a real -time meteorological data sharing system.Throughout the data flow ,we consider the monitoring of each link to provide reliable data reference for centralized operation and maintenance.At present ,the system has been put into operation ,which provides stable and efficient real -time data sharing services for data acquisition and public meteorological services of meteorological applications at city and county levels.The better application effect has been achieved.Key words :meteorological data sharing ;data acquisition ;data processiong ;access control ;data management0　引　言随着地市级气象装备类型和布设站点的日益增多,带来了气象数据流程错综复杂㊁数据存储分散㊁数据共享水平低等问题㊂按照构建国省统一数据环境㊁实现数据集约管理的总体要求,国家气象信息中心建立了全国综合气象信息共享平台(CIMISS )[1],解决了数据分散存储㊁缺乏标准㊁共享困难等问题㊂而在地市一级,随着气象服务需求和气象应用系统的日益增加,由于缺乏以气象数据为主线的系统顶层设计,出现了 信息孤岛”, 数据烟囱”等现象㊂因此,结合气象应用需求,急需构建一种适宜于地市一级的气象数据共享系统㊂以苏州为例,近年来建设的气象观测㊁预报预警㊁公共服务㊁专业服务系统约20个,同时,存在15个独第30卷　第4期2020年4月 计算机技术与发展COMPUTER TECHNOLOGY AND DEVELOPMENT Vol.30　No.4Apr.　2020立的数据库存储环境,这给应用系统的运维㊁数据共享带来较大不便㊂另外,存在气象应用系统较多,应用系统与数据耦合度高,气象数据来源多样,甚至存在数据不一致等现象㊂其根本原因是缺少市县一体的气象数据共享环境和支撑环境,并需要逐步形成以气象数据为核心的应用开发模式㊂气象数据共享是气象业务和气象服务的基础性工作㊂WIS(WMO information system)[2]作为世界气象组织(WMO)一个综合的信息系统,为WMO各成员国制作的所有气象资料提供发现㊁获取和共享服务㊂中国气象局作为世界气象组织规划的全球气象信息系统中心之一,在2011年建立了全球气象信息交换共享系统,提供基于互联网的全球气象交换资料的在线发现㊁检索和获取服务[3]㊂近年来,在气象数据的组织㊁共享和管理及相关系统建设方面也取得了很多研究成果㊂李集明[4]提出的气象数据库系统是气象信息共享平台的重要管理系统,需要在集约化和标准化原则下,充分利用成熟的商业数据库技术和大气科学领域的相关技术加以构建㊂并进行气象数据库的框架设计和体系架构设计㊂华连生[5]开发了基于Oracle数据库的存储系统,并设计数据调用接口,在J2EE环境下,通过Web进行气象数据共享查询㊂国家气象信息中心开发设计了CIMISS系统[6],从数据收集㊁加工处理㊁存储管理㊁共享服务和业务监控几个方面进行设计,为国-省两级气象业务提供了统一规范的气象数据使用环境㊂针对省级气象信息共享需求,马渝勇[7]提出一套气象信息管理与共享服务系统建设模型,实现了开放式的㊁要素级的气象信息共享服务㊂申辉[8]基于Oracle数据库㊁MQ中间件㊁访问接口等技术,建立一个实时的数据库共享系统㊂在数据共享和交换技术方面,XML数据订阅[9],WebService异构数据共享技术[10],标准化气象数据服务接口[11],在气象行业均有大规模的应用㊂江彩英[12]面向文件的集中存储,基于虚拟化云网盘实现气象数据的共享,并在权限控制下实现共性和个性化的数据访问㊂为保证数据共享的安全性,访问控制机制[13]已成为一种信息安全系统不可缺少的安全方案㊂存在自主访问控制㊁强制访问控制和基于角色的访问控制[14-15]等㊂张寅伟[16]通过用户鉴权方式进行气象数据开放平台API的数据访问控制㊂邓莉[17]采用角色与气象数据权限的分配来建立数据访问控制模型,实现数据访问控制对象的精确控制㊂文中立足于苏州市县两级数据共享和气象应用需求,针对气象数据源头多㊁数据支撑能力不足㊁可管理性差等问题,分别从标准化气象数据获取㊁数据规范化存储㊁数据共享平台设计㊁访问控制及集中运维监控等方面,设计并实现了一种实时气象数据共享系统,为市县一体的气象数据共享平台设计提供一个整体的解决方案㊂该系统已在苏州市县气象部门中部署,系统运行稳定㊂同时,规范了气象数据处理流程,开发了数据管理平台,实现多源气象数据的一体化管理和规范调用㊂1　系统框架设计气象数据共享的前提是数据能够有效的组织,形成统一的数据处理流程和集约化的数据支撑环境㊂因此,文中以气象数据流向为主线,将系统分为气象数据获取㊁数据处理与存储㊁数据共享与服务三大模块㊂整体系统框架如图1所示㊂气象数据获取模块通过开发标准化的数据获取客户端,实现多种气象数据的采集和汇聚㊂数据处理与存储模块负责数据的处理㊁加工和数据衍生产品的生成,并对数据进行逻辑分类㊂同时,配套实现集约化的数据支撑环境和数据管理平台㊂数据共享与服务模块主要实现数据和文件的实时共享访问,封装业务逻辑接口,通过常规的API接口㊁共享平台等方式对外提供服务,在数据安全性方面,通过多种安全策略实现共享数据的访问控制㊂在整个系统流程中,均考虑各个环节的监控,为集中运维提供可靠的数据参考㊂2　标准化数据获取苏州气象部门下辖4个县3个区和1个国家级台站,每个站点均有多种自有建设的气象观测设备,存在数据种类多,数据获取流程不统一等问题,因此,市县一体的标准化数据获取是实现数据共享的基础㊂而由于各县区气象部门在软硬件运维保障力量相对较薄弱,在系统设计上,考虑将各类数据统一落地到市级气象部门,通过数据共享平台进行实时共享㊂这就决定了,在数据获取上,需采用分布式部署和轻量级软件设计,数据获取客户端主要负责多源数据的采集㊁汇交,并能够通过灵活配置的形式,完成多种气象资料的解析㊂2.1　数据获取客户端分布式数据获取客户端主要实现数据报文的采集㊁解压㊁报文解析㊁提取,并生成标准化数据序列,发送至市级中心端,进行数据入库㊂因多种气象数据原始采集形式多样,为了实现标准化数据获取,客户端集成了多种数据获取方式,主要包括:单文件获取㊁文件累加获取㊁压缩文件获取㊁数据库查询获取㊁Web Services接口获取㊁XML网页解析获取等㊂并实现数据获取记忆功能㊂比如,客户端可以自动完成网络异常时段的历史数据采集,并进行任㊃102㊃　第4期 王　力等:一种地市级气象数据共享系统的设计与实现意时间段的数据补录㊂客户端可对原始采集文件定时备份至市局中心服务器端㊂目前,在苏州气象部门,已实现大气成分㊁温室气体㊁风廓线等11种气象数据的标准化获取㊂图1　系统框架2.2　可配置式数据解析系统采用灵活㊁可配置式的数据解析模式,来避免数据获取程序重复开发的现象㊂根据气象原始资料特征,大部分原始资料为txt ㊁Excel ㊁xml 和图片等格式,均通过文件内容累加㊁周期性文件创建(如每天或每小时)来采集原始数据㊂文中对多种气象资料原始采集文件特征进行抽象㊁归纳,通过可配置式数据解析的方式实现结构化和图片类数据的标准化获取㊂可配置信息主要包括:客户端ID ㊁站号㊁数据采集间隔㊁文件路径㊁时间类型(北京时/世界时)㊁数据解析分割符㊁队列地址㊁文件上传路径㊁文件上传格式等㊂客户端将定时采集到的数据以消息的形式发送到市级消息队列㊂系统采用的是RabbitMQ 消息中间件,部署两台MQ 服务互为热备㊂3　数据处理与存储数据处理与存储是在地市级中心端构建统一的结构化和非结构化数据处理流程和集约㊁规范的数据存储环境,为气象数据共享奠定基础㊂对于多种气象应用和数据类别,为了达到逻辑清晰㊁统一管理的应用效果,需要从底层存储上进行逻辑划分,并在中心端数据处理服务中通过数据路由策略汇聚㊁存储至对应的数据库或文件库中㊂3.1　数据存储与管理采用物理上集中存储,逻辑上相对独立的方式进行数据的存储和管理㊂从数据用途和应用类别对数据进行逻辑分类,如表1所示㊂表1　数据存储划分(部分)业务类型名称用途DmsObse 气象监测库存储本市大气成分㊁太湖水质㊁温室气体㊁闪电等监测数据DmsStas统计信息库存储气象监测数据统计信息DmsMete 气象业务平台应用库存储气象业务平台数值模式㊁预警发布产品等数据DmsPic 图片产品库存储气象图片产品DmsMoni 监控信息库存储数据库环境㊁表空间利用率,文件存储等监控信息DmsMana系统管理库存储用户㊁系统权限等信息 在底层数据存储上将气象数据在逻辑上分为多个相互独立的存储空间,形成既相互独立,又可进行相互共享的应用效果㊂系统搭建基于Linux 操作系统环境的Oracle 数据库㊂操作系统为RedHat Enterprise Linux 6.4,数据库版本为Oracle 11g R 2,由两台机器构成Oracle Rac 集群,底层数据管理采用Oracle 存储解决方案ASM (自动存储管理)㊂㊃202㊃ 计算机技术与发展 第30卷根据表1中的数据存储划分结果,在Oracle Rac 系统环境中建立对应的方案,采用对象同义词和存储过程,将方案对象映射到主方案,以实现气象数据统一存储和管理㊂3.2　数据处理数据处理中心端实现数据的解码㊁提取和规整入库,通过数据路由策略汇交存储至对应的数据库或文件库中㊂标准化数据获取客户端实现了同类型数据序列的规整,在数据处理中心端设计了数据路由策略配置表,可根据数据或业务类型将不同客户端发送的数据信息路由㊁存储至相应的库表结构中,实现了数据的可配置入库㊂详细的数据路由策略配置表如表2所示㊂表2　数据路由策略配置字段字段描述允许空类型ClientID客户端ID N Varchar2(100)StationID站号Y Varchar2(50)DataType数据类型N Varchar2(50)ClientIP客户端IP N Varchar2(100)TableName表名Y Varchar2(50)SchemaID所属方案名Y Varchar2(50)FilePath文件路径Y Varchar2(200)ConfigTime配置时间N Date 数据处理中心端启动后,首先加载数据路由配置策略,启动监听数据队列,当新数据到达时,判断策略中是否存在此类数据,若不存在则过滤此数据,否则,按照数据路由配置信息将数据路由到指定库表或文件库中㊂中心端以多任务并行处理,增强系统时效性,服务端支持负载均衡,可增加中心端节点数,来提高系统可靠性㊂4　数据共享与服务不同的气象应用场景,对数据共享的需求是不同的,文中通过不同的技术手段,采取访问接口㊁数据推送㊁统一出图和开发市县一体化平台等多种形式来提供市县数据共享服务㊂4.1　访问接口系统主要发布了两种类型的数据接口,WCF及WebServices接口,以满足应用级别的数据调用,并开发了接口管理平台,实现接口的统一管理㊁权限分配等㊂下面以图片查询接口为例进行说明,图片查询接口示例如下:public String PicQuery(final String UserID,final String DataType,final String ElementType,final String StationID,final String Year,final String Month,final String FileName)参数说明如下:UserID,用户ID,需要判定当前用户是否有访问某种数据类型的权限㊂DataType,数据类型㊂ElementType,要素类型(可选),默认值null㊂StationID,站号㊂Year,图片的年份㊂Month,图片的月份㊂FileName,图片名称㊂譬如,从图片服务器中找到道面监测ROAD/ 2017/DM001/10/20171009153000.jpg文件的实际存放路径㊂则调用示例为:String Result=DownloadFile("szqx_road", "ROAD",null,"DM001","2017","10"," 20171212143000.jpg")其中szqx_road为已分配的道面监测资料访问用户㊂接口返回的结果采用键-值对形式,如下: {"Name":"20171009153000.jpg","Path": "http://IP/group1/M00/00/52/wKdQcFdXJMaAUB⁃MeAACi8R90A3s603.jpg"}Path值为文件系统实际存储的地址,可供BS应用,各种气象服务系统直接显示或调用㊂4.2　市县一体化数据共享平台基于Html5前端框架开发了市县一体化数据共享平台,以B/S形式实现苏州市县一体的数据共享,可按数据类型㊁要素㊁区域㊁站点㊁产品进行数据实时查看,包括多站点单要素,单站点多要素等形式的切换展示,平台实现了11种数据的共享㊂自动气象站风向风速观测数据展示如图2所示㊂图2　风向风速观测数据展示(以昆山市为例)㊃302㊃　第4期 王　力等:一种地市级气象数据共享系统的设计与实现平台采用统一出图和GIS 叠加技术完成二次衍生产品的生成,实现数据的直观㊁可视化展示㊂出图软件采用grads ㊂同时,基于arcgis 实现webgis 地图散点图㊁填色图展示㊁图片混合叠加显示㊂4.3　安全性设计在数据共享的同时,文中在访问权限控制㊁资源管理与安全访问等方面进行了安全性设计㊂4.3.1　表访问权限管理对于各应用之间的结构化数据共享访问,利用Oracle 权限控制来保证数据访问的安全性和可管理性㊂譬如,表1中气象业务平台需要访问气象监测库中的特定表数据,则可通过Oracle 的GRANT 语句完成精确到表结构的权限控制,如下所示㊂GRANT SELECT on DmsObse.T _OBSE _AWS _ALL TO DmsMete ;以上命令是将DmsObse 库中的T _OBSE _AWS _ALL 表(自动站数据表)的查询权限赋予DmsMete 应用进行数据访问㊂这样可以进行气象内部业务平台和外部应用系统之间的数据共享,避免数据级别的重复解报㊁处理等工作㊂4.3.2　资源管理与安全访问控制开发BS 资源管理平台,实现文件资源的管理和安全控制功能,可根据资料类别㊁起始年份㊁结束年份㊁要素㊁站号等参数初始化目录结构,进行存储资源的划分,同时创建对应的资源群组Group 与各个目录进行对应,只有在组中的用户才可访问相对应的目录㊂采用用户权限分配,实现访问接口的安全控制㊂用户管理模块,可实现数据访问接口中用户名㊁密码的创建,修改㊂后台可将用户分配到对应的资源群组,以达到访问用户(应用)权限和资源的精确㊁安全控制,用户-群组管理如图3所示㊂图3　用户-群组对应关系示例(部分)5　运维监控在图1所示的数据共享系统流程图中,监控是贯穿在各个环节之中的,主要包括:客户端监控㊁数据库集群环境状态,数据库性能监控,表空间㊁磁盘空间等的使用,访问接口调用等方面进行的监控㊂5.1　数据库集群环境监控Oracle Rac 集群环境监控实现对Oracle 数据库系统实例状态,数据库Open 状态,是否可用状态,集群并行状态以及上一次启动时间的整体监控,是Oracle 数据库是否正常的最直观的展示㊂Oracle Rac 集群环境监控如图4所示㊂图4　数据库集群环境监控5.2　数据库性能监控实现对Oracle 数据库实例SGA ㊁PGA 分布情况监控,以进行空间分配调整㊂同时,对数据库命中率,用户会话信息,被锁定用户,数据库访问等待时间,Redo Log 切换频次等性能指标进行了监控㊂其中数据库等待曲线图和Redo Log 切换频次也能直观反映数据库整体性能状况㊂对于重做日志切换过于频繁,则需要数据库管理员适当调整Redo Log 日志组和日志文件大小㊂实时数据库等待曲线和Redo Log 切换频次监控如图5所示㊂图5　数据库等待曲线和Redo Log 切换频次监控5.3　SQL 性能监控由于多个应用的开发者编程习惯和技术水平不尽相同,有时不太关注SQL 查询语句和数据对象的优化设计㊂因此,系统建立一种SQL 性能监控与通报机制,以最大限度地保证共享系统数据库整体性能㊂面㊃402㊃ 计算机技术与发展 第30卷向多个气象应用的数据查询SQL,实时监控TOP10性能较低SQL,并及时进行SQL优化㊂SQL性能监控指标包括:CPU耗时㊁磁盘读时间㊁执行次数㊁执行时长㊂分别按照CPU耗时,执行时间,磁盘读时间进行统计分析㊂该项监控功能设计在实际的多种气象应用的管理和SQL优化推进中起到了较好的效果,既提高了应用管理水平,同时又建立了一种数据检索SQL优化的机制㊂采用数据等待时间指标监控近期等待时间较长对象㊂示例代码如下所示:select a.CURRENT_OBJ#,d.object_name,d.object_type,a.EVENT,sum(a.WAIT_TIME+a.TIME_WAITED)total_wait_time from v$active_session_history a,dba_objects dwhere a.SAMPLE_TIME between sysdate-30/2880 and sysdateand a.CURRENT_OBJ#=d.object_idgroup by a.CURRENT_OBJ#,d.object_name,d.object_ type,a.EVENTorder by total_wait_time desc;5.4　数据状态及访问状况监控系统在数据入库过程中,记录每类数据的更新时间,通过数据的更新周期即可判断数据的获取和接收状态是否正常㊂同时,在数据访问逻辑接口封装过程中,分别记录用户和数据资料访问频次,按周㊁月㊁年实时统计用户和数据访问情况,并按柱状图形式可视化展示㊂数据更新状态监控示例如图6所示㊂图6　数据更新状态监控示例6　结束语面向地市级气象部门现代化建设与公共服务对于气象数据的应用需求,针对存在的气象数据共享水平低㊁无标准等问题,以数据共享为目标,在标准化气象数据获取㊁一体化气象数据管理㊁数据共享服务等方面,构建了灵活㊁高效的气象数据流程,设计和实现一种面向地市级的实时气象数据共享系统,并开发了市县一体化数据共享平台㊂在系统安全设计方面,通过访问权限管理㊁安全访问控制等策略,实现数据的安全访问㊂在整个数据流程中,考虑每个环节的监控,为集中运维提供可靠的数据参考㊂目前,该系统已在苏州市县气象部门应用环境中部署并业务化运行㊂为市县两级多种气象应用的数据调取和公共气象服务提供稳定高效的实时数据共享服务㊂参考文献:[1]　赵　芳,熊安元,张小缨,等.全国综合气象信息共享平台架构设计技术特征[J].应用气象学报,2017,28(6):750-758.[2]　LOVE G.The birth of WMO information system[J].Bulle⁃tin of WMO,2003,55(4):232-238.[3]　WANG F.WMO Information system:Beijing global informa⁃tion system center[J].Bulletin of the American Meteorologi⁃cal Society,2013,94(7):991-994.[4]　李集明,王国复.气象数据库系统总体设计综述[J].气象科技,2007,35:1-5.[5]　华连生,丁宪生,吕　刚.基于Oracle的气象数据共享系统[J].计算机应用,2010,30(S2):162-164.[6]　熊安元,赵　芳,王　颖,等.全国综合气象信息共享系统的设计与实现[J].应用气象学报,2015,26(4):500-512.[7]　马渝勇,徐晓莉,宋　智,等.省级气象信息共享系统的设计与实现[J].应用气象学报,2011,22(4):502-512. [8]　申　辉.基于MQ中间件的气象数据库共享系统的设计与实现[D].成都:电子科技大学,2010.[9]　王甫棣,姚　燕,李　湘.基于XML的气象数据订阅系统设计[J].气象科技,2012,40(4):591-595. [10]焦圣明,严明良,郭　静,等.基于Web Service的分布式交通气象信息共享技术研究[J].计算机工程与科学,2012, 34(3):196-200.[11]许皓皓,姚日升,沃伟峰.标准化气象数据服务接口设计与实现[J].气象科技,2018,46(4):685-691. [12]江彩英,郭晓佳,谢　丹,等.基于虚拟化云网盘的气象数据共享和交换应用实现[J].气象科技,2017,45(3):440-445.[13]KAYES A S M,HAN J,COLMAN A.An ontology-basedapproach to context-aware access control for software serv⁃ices[C]//International conference on web information sys⁃tems engineering.Nanjing:Springer,2013:410-420. [14]SANDHU R S,COYNE E J,FEINSTEIN H L,et al.Role-based access control models[J].IEEE Computer,1996,29(2):38-47.[15]FERRAIOLO D F,SANDHU R,GAVRILA S,et al.Pro⁃posed NIST standard for role-based access control[J].ACM Transactions on Information and System Security,2001,4(3):224-274.[16]张寅伟,董雪莹.面向海量用户的气象数据开放平台[J].气象科技,2015,43(6):1070-1073.[17]邓　莉,王伯民,李庆祥,等.数据访问控制在气象信息服务平台中的应用[J].计算机工程,2011(s1):139-141.㊃502㊃　第4期 王　力等:一种地市级气象数据共享系统的设计与实现。

小谈省级气象信息网络系统的规划设计1．1设计思路1)系统的整体性原则省级气象信息广域网系统，主要涉及省、市、县三个业务层级。

由于业务性质以及效率的因素，气象信息收集、传输以及共享服务系统均采用了扁平化的设计，三个层级之间内在联系和相关性很强，不仅有大量省与市、市与县之间的传输、服务和应用的需求，而且还存在大量的省与县之间的传输、服务和应用需求。

因此，省、市、县之间的网络系统不能简单地规划和设计为相互独立的省一市和市一县的网络系统，而应该作为一个整体，统筹规划设计。

2)系统的综合性原则作为一套实时运行的业务化网络系统，其设计不能仅仅局限于简单的宽带瓦通，还必须考虑系统的可靠性、稳定性，主备系统的健全和易于切换；同时，Intemet接入及其安全防护等方面的需求。

也是系统规划设计必须考虑的一个重要方面；由于气象视频会议会商系统的广泛应用，网络系统对于视频流传输交换的支持也必须给予充分考虑。

因此，应该综合考虑包括视频应用在内的各种业务应用支持。

1．2省一市一县的主干网设计考虑到系统设计的层次化和模块化结构其主干系统的结构可分为接入层、汇聚层和核心层。

由于现有的分级管理体制和逐级指导的业务体制，同时考虑电信运营商SDH等专线在长途、本地租费等方面的政策，因此，采用以省级为核心层、地市级局为汇聚层，县局为接入层的星型与树型相结合的主干拓扑结构，这样既可以与系统运行和维护管理的组织结构相匹配，实现分级维护和管理，使网络结构清晰化、网络维护简单化，提高网络运维效率，同时还能节约线路租赁费用(线路租费省一市为长途、市一县为本地)。

根据气象业务服务对信道的要求，以及现有电信运营商能够提供广泛覆盖的网络信道，设计采用SDH信道方式。

1．3集约的有防护的Interest接入由于业务的需求，Internet接入是气象信息网络必要的组成部分，同时也使其面对网络安全的威胁。

如何在保证网络安全的同时实现Internet的接人，是一个重要的课题。

国家气象中心气象信息共享门户系统技术方案一、引言随着气象科学的发展和信息技术的进步，国家气象中心需要建立一个气象信息共享门户系统，以方便气象信息的实时获取、共享和应用。

本文将提出一个技术方案，以满足国家气象中心的需求。

二、系统架构气象信息共享门户系统的核心是一个集中化的数据管理和共享平台，系统架构如下：1.前端界面：支持多种方式的用户接入，包括网页访问、移动应用等，方便用户获取气象信息。

2.数据采集和处理模块：负责采集气象观测数据、预报数据、卫星遥感数据等，并进行数据质量控制和转换处理。

3.数据存储和管理模块：将采集和处理后的气象数据存储在数据库中，并提供数据备份和恢复机制。

4.数据共享和发布模块：提供数据的实时共享和发布功能，包括实时气象数据、预报产品、气候数据等。

5.数据分析和应用模块：提供气象数据分析和应用的接口，方便用户进行数据处理、模型建立、预测等。

6.安全保护模块：确保系统的数据和用户信息的安全，包括身份验证、访问控制、数据加密等。

7.系统管理模块：提供系统的运行监控、故障处理、用户管理等功能，方便管理员对系统进行管理和维护。

三、关键技术1.数据采集和处理技术：采用自动化的气象观测仪器和卫星遥感设备，实现气象数据的实时采集和处理。

同时，还需要开发数据质量控制算法，确保采集的数据准确可靠。

2. 数据存储和管理技术：选择合适的数据库管理系统（如SQL Server、Oracle、MySQL等），进行气象数据的存储和管理。

此外，还需要开发数据备份和恢复机制，以防止数据丢失。

3. 数据共享和发布技术：采用Web服务技术，提供数据的实时共享和发布功能。

用户可以通过Web界面或API接口，获取实时气象数据和预报产品。

4.数据分析和应用技术：开发气象数据分析和应用的接口，支持用户进行数据处理、模型建立、预测等。

同时，还可以提供一些常用的气象分析和应用工具，方便用户使用。

5.安全保护技术：采用身份验证、访问控制和数据加密等技术，确保系统的数据和用户信息的安全。