下载文档原格式
DOI：10.15913/ki.kjycx.2024.04.018基于气象大数据云平台的数据访问实现方法陶睿（内蒙古自治区气象数据中心，内蒙古呼和浩特010051）摘要：随着气象观测系统的不断发展，气象数据类型、数量日益增长。
气象大数据云平台支持大数据汇聚交换、产品加工、共享服务和挖掘分析，实现了气象数据的高效服务。
通过介绍基于气象大数据云平台的Rest数据访问方式、脚本数据访问方式和文件目录数据访问方式的参数配置和具体应用，可以使气象工作人员对气象大数据云平台有更深入的了解，并自主高效获取数据，最大程度地发挥气象数据效能。
关键词：气象大数据云平台；数据访问；脚本；文件目录中图分类号：TP311.13；P409 文献标志码：A 文章编号：2095-6835（2024）04-0069-04随着信息化的快速发展，气象信息化也在快速适应时代变化。
以气象信息化驱动气象现代化，建设智慧气象，是落实创新驱动发展战略和国家信息化发展战略的重要举措，气象数据共享服务将在保证数据安全的前提下更加开放多样。
全国综合气象信息共享平台（CIMISS）是国家气象信息基础性建设的重要工程，是一套覆盖全国，集数据收集和分发、质量控制与产品生成、存储管理、共享服务于一体的气象信息共享业务系统，为部门内外用户提供地面、高空、海洋、辐射、农气、数值模式、大气成分、气象灾害、雷达、卫星、服务产品等气象观测数据和气象服务产品的共享服务。
但随着用户使用数据需求多样化，CIMISS平台出现了用户暴力检索、业务系统长时间序列数据服务效率低以及数据安全性差等问题[1]。
2019年国家气象局研发了“数算一体”的气象大数据云平台。
气象大数据云平台不仅可以解决全国综合气象信息共享平台服务接口现状问题，而且降低了存储技术开发难度，解耦应用与数据，直接支撑业务系统。
气象大数据云平台服务接口遵循CIMISS接口规范，并按需拓展，可以高效支撑天气预报服务、人工影响天气等多种气象应用，形成“云+端”的应用生态[2]。
气象数据共享平台的构建与应用研究在当今数字化和信息化的时代，气象数据的重要性日益凸显。
气象数据不仅对于天气预报、气候研究等专业领域至关重要，还在农业生产、交通运输、能源供应等众多与人们日常生活息息相关的领域发挥着关键作用。
为了更好地利用和管理这些宝贵的数据资源，构建一个高效、便捷、准确的气象数据共享平台成为了必然的需求。
一、气象数据共享平台的需求分析气象数据具有多样性、复杂性和大规模性的特点。
它包括了气温、气压、湿度、风速、风向、降雨量等多种观测数据，以及通过数值模拟和预测生成的各类气象产品。
不同的用户群体，如气象部门、科研机构、企业和普通公众，对气象数据的需求和使用目的也各不相同。
气象部门需要实时、准确的气象数据来进行天气预报和灾害预警，以保障公众的生命财产安全。
科研机构则更关注长时间序列的气象数据，用于气候研究和模型验证。
企业可能会根据气象数据来优化生产计划，例如农业企业根据天气情况安排种植和收获，能源企业根据气象条件调整能源供应策略。
普通公众则希望能够方便地获取与日常生活相关的气象信息，如出行时的天气状况。
因此，气象数据共享平台需要具备以下功能：1、数据整合与管理：能够整合来自不同来源、不同格式的气象数据，并进行有效的管理和存储。
2、数据检索与查询：提供便捷的检索和查询功能，使用户能够快速找到所需的数据。
3、数据处理与分析：具备一定的数据处理和分析能力，帮助用户对数据进行初步的加工和解读。
4、数据可视化：以直观的图表、地图等形式展示气象数据，便于用户理解和使用。
5、用户权限管理：根据用户的身份和需求，设置不同的访问权限和数据使用权限。
6、数据更新与维护：确保数据的及时性和准确性，定期进行数据更新和维护。
二、气象数据共享平台的构建技术1、数据库技术选择合适的数据库管理系统是构建气象数据共享平台的基础。
关系型数据库如 MySQL、Oracle 等常用于存储结构化的气象数据，而NoSQL 数据库如 MongoDB、Cassandra 等则适用于处理大规模的非结构化或半结构化数据。
一种气象数据共享接口系统的设计与实现尹常红，胡雅超，袁文波，涂明（武汉国家基本气象观测站，湖北武汉430048）摘要：随着气象部门与各行业部门间合作逐渐深入，气象信息对外服务越来越普遍，各行业部门对精细化气象服务提出了更高要求。
在对当前气象数据共享服务需求分析基础上，基于数据库相关技术，设计一种通用气象数据共享接口系统，实现气象部门与各行业部门数据共享共用。
系统接口设计灵活，使用便捷，为推进部门合作和信息共享具有一定意义。
关键词：气象数据；行业数据；数据共享；接口系统中图分类号：TP311文献标识码:A文章编号：1009-3044(2021)05-0093-03开放科学（资源服务）标识码（OSID ）:1引言随着科技进步和经济社会发展，社会公众和各行业部门对气象服务的需求日益凸显。
气象信息对外服务越来越普遍，大量的气象数据被挖掘和分析，服务于社会。
气象服务领域遍布交通、农业、能化、旅游、水利、环保、物流等各行业，气象服务业开放程度和市场化进程日益深化，社会用户及公众对服务数据种类、数据服务手段和数据服务的多形式化表现的要求越来越高，可预见的未来还会更高，对气象服务的需求度还会随着预报技术的发展同步增长。
气象数据的共享服务是气象业务和气象科研的重要工作，近年来国家和省级气象部门都开展了一些相关的气象数据共享和信息应用的研究工作，其中中国气象局主导建设的全国综合气象信息共享平台（CIMISS ）建成了气象系统内标准统一应用规范的基础气象数据库，CIMISS 包括实时观测数据、历史数据和业务产品等14大类，初步实现了各类气象数据的统一规划、分布存储和共享共用。
CIMISS 在一定程度上解决了气象数据共享应用，尤其是行业内部应用的问题，但是在行业共享应用还有待进一步深入。
以武汉为例，随着气象与水务、环保、农业、交管、综治等各行业间合作的加强，气象数据加工存储与行业间共享需求日益增长。
在气象数据应用服务中，对于海量数据存储、高速数据交换以及并发访问、多样性数据处理、数据挖掘应用等需求也需要进一步研究解决，气象业务服务发展急需基础数据资源环境的可靠支撑。
基层气象台站网络安全系统的设计与实现——以宣城市气象局为例奚和平，程筱农，华华（安徽省宣城市气象局，安徽宣城242000）摘要：气象网络安全系统建立在公网的基础上，是气象信息传输以及数据共享的重要保障，气象系统内部局域网承担着气象业务信息交换的工作，网络结构复杂、网段众多，存在安全隐患，保证网络的安全、可靠，就保证了气象服务和业务系统的保密、完整和可用。
利用先进的网络安全技术与设备，结合基层气象台站网络安全方面存在的问题及隐患，以宣城市气象局为例，提出网络安全系统的设计方案，实现安全、畅通、高速局域网络的目的。
关键词：网络；安全管理；技术中图分类号：TP311文献标识码：A文章编号：2096-9759（2023）03-0160-030引言近年来，随着人工智能、云计算、5G等网络新技术的快速发展，气象现代化建设也不断深入，计算机技术在气象系统得到广泛应用，是开展气象业务、服务必不可少的工具，计算机网络技术的应用也越来越普及、重要。
目前，宣城市气象局建设有气象业务专网、公共气象服务网和政务专网，分别对应气象基本业务、公共气象服务和决策气象服务，由于网络的特点，气象网络也面临如网络故障、木马、病毒、数据安全等威胁。
如2020年的“勒索”病毒，就给宣城市气象局网络正常运行造成很大影响，保证气象业务服务网络系统安全稳定的运行，网络安全建设不可或缺，气象网络安全问题无法只依靠单一的安全技术或防御策略来解决，必须综合利用各类网络安全产品、技术和服务，加强安全管理，构建一套主动、高效、全面的信息安全体系，才能降低气象部门网络安全风险，更好地服务气象业务。
1网络安全技术网络安全（Cyber Security）是指网络系统的硬件、软件及其系统中的数据受到保护，不因偶然的或者恶意的原因而遭受到破坏、更改、泄露，系统连续可靠正常地运行，网络服务不中断。
网络安全技术是伴随着网络的诞生而出现的，但直到20世纪80年代末才引起关注，90年代在国外获得了飞速的发展。
气象数据共享平台的建设与管理随着科技的飞速发展和社会的不断进步，气象数据在各个领域的应用越来越广泛。
从农业生产到交通运输，从能源开发到城市规划，准确、及时、全面的气象数据对于提高决策的科学性、降低风险、保障公共安全和促进经济发展都具有至关重要的意义。
在此背景下，建设一个高效、可靠、便捷的气象数据共享平台成为了时代的迫切需求。
一、气象数据共享平台建设的必要性气象数据具有多样性、复杂性和时效性等特点。
不同类型的气象数据，如气温、降水、风速、风向、气压等，需要进行综合分析和处理，才能为用户提供有价值的信息。
同时，气象数据的来源也非常广泛，包括气象观测站、卫星遥感、雷达监测等。
由于这些数据分散在不同的部门和机构中，缺乏有效的整合和共享，导致数据的利用率低下，重复建设现象严重。
因此，建设一个气象数据共享平台，实现气象数据的集中管理和统一发布，不仅可以提高数据的利用效率，减少资源浪费，还可以促进气象科研和业务的协同发展，为气象服务的创新提供有力支撑。
二、气象数据共享平台的建设目标1、数据整合将来自不同渠道、不同格式的气象数据进行整合，建立统一的数据标准和规范，确保数据的一致性和准确性。
2、数据存储采用先进的数据库技术和存储设备，确保海量气象数据的安全存储和快速检索。
3、数据共享通过网络技术，实现气象数据的在线共享，为用户提供便捷的数据访问服务。
4、数据分析提供数据分析工具和算法，帮助用户挖掘数据中的潜在价值，为决策提供支持。
5、系统安全建立完善的安全机制，保障气象数据的安全性和保密性。
三、气象数据共享平台的架构设计气象数据共享平台的架构通常包括数据源层、数据存储层、数据处理层、数据服务层和用户应用层。
1、数据源层负责收集来自各种气象观测设备、卫星遥感、数值预报模型等的原始数据。
2、数据存储层采用关系型数据库和分布式文件系统相结合的方式，存储结构化和非结构化的气象数据。
3、数据处理层运用数据清洗、转换、融合等技术，对原始数据进行预处理，提高数据质量。
气象信息共享服务业务平台用户认证系统的设计何小明,蒋永东(北京大学物理学院 北京 100081)摘 要:构筑一个安全、实用的分布式的网络用户身份认证体系,是各级气象部门进行信息共享、提高工作效率、保证信息安全的迫切要求。
阐述了如何应用W eb Serv ice 技术,通过架构与接口设计、安全性设计、模块设计,设计实现一个覆盖全国的、具有网络用户身份的统一认证(F IA )和单点登录(SSO )功能的认证系统,并举例介绍了在实际工作中取得的成功应用。
关键词:统一认证;Web Service;单点登陆;分布式中图分类号:T P311 文献标识码:B 文章编号:1004 373X (2007)21 079 02Design of Identity Authentication on a Meteorologic Information Sharing Service PlatformH E Xiaom ing ,JIA N G Y ongdong(Phy sics Inst i t ut e,Bei jing U niversity ,Beijing ,100081,China)Abstract :T he paper prov ides desig n and implementatio n of security and pr act ical identit y authenticatio n system o f netwo rk deplo yment user ,put s emphasis o n design and implementatio n o f federal identity authentication function and sing le sign on functio n o f netw or k user w ith W eb Serv ice technique.T he desig n o f system fr ame wo rk and interface,the design o f secur ity ,the desig n o f F eder al identity authentication mo del,the desig n of identity authenticat ion interface mo del in a port al infor mation ser vice system all o ver the country ,and success in pr actice.Keywords :feder al identity authenticatio n;Web Service;single sign on;por tal收稿日期:2007 06 20气象信息共享服务系统,是一个建立在气象宽带网之上、覆盖全国、分布式的气象数据共享服务平台,由一个以中国气象局主节点和31个省级气象局、4个计划单列市气象局分节点组成。
提高网络用户的工作效率并保证系统的信息安全,构筑一个安全、实用的分布式的网络用户身份认证体系,是各级气象部门进行信息共享的迫切要求。
Web Service 是能够基于网络直接调用的进行任务处理的软件模型,通过SOA P 在Web 上提供的软件服务,使用WSDL 文件进行说明,并通过U DDI 进行注册。
为了保证全网的数据安全,我们设计并实现了一个基于Web Service 技术的用户认证系统,系统应用IBM 的Web sphere 5.0Applicat ion Server 为核心应用构架,实现了全局用户的统一认证和单点登录功能。
1 系统设计系统的总体设计是在气象信息共享服务平台的各节点建设一个面向全局用户的统一的认证体系。
在主节点网站建立统一的全局用户认证鉴权中心,通过主节点用户统一认证中心模块和分节点用户认证接口模块的设计,实现全局用户统一认证和单点登录的功能,完成对各节点、各类气象数据共享服务应用的支持。
1.1 统一认证统一认证简称FIA(F ederal Identity Aut henticat ion),气象信息共享服务系统全局用户身份的统一认证是指全局用户的帐号、密码等信息资源统一集中在主节点网站统一认证鉴权中心,各节点以鉴权中心数据作为全局用户认证的惟一依据。
全局用户可以用帐号、密码信息通过统一认证接口获得相应的权限,实现对所有节点共享网站上的相关数据、资料的检索和下载。
实现统一身份认证首先必须建立共享服务网统一的用户电子身份体系,共享服务网中现实的每一个全局用户,在认证系统中也相应地有一个固定的身份,即电子身份,存放在统一的全局用户信息数据库中。
这个电子身份是用户在认证系统中的惟一识别标识,任何对用户的授权都是基于用户的这个电子身份的。
用户身份以用户名/密码的形式提供给用户。
1.2 单点登录(SSO)单点登录的机制就是网络用户通过一次认证(au thenticate)访问多个受保护的资源,也就是说,用户可以对所有被授权的网络资源进行无缝的访问,将不会导致每一次都要用户提供认证的信息,只需要一次认证即可。
在SSO 的体系中,一般会有下面3种角色:多个用户、多个应79现代电子技术 2007年第21期总第260期通信与信息技术用和一个认证中心。
对于气象信息共享服务系统而言,其网站系统的SSO 是指以网站的统一认证(鉴权信息集中)为基础,各个节点数据共享服务网站的用户认证采用单点登录认证模式,一次登录即可在各个节点数据共享服务网站中完成相应的认证工作的功能。
在统一认证的基础上,建立单点登录服务,为用户提供单点登录服务,当用户经过认证服务系统认证以后,将会获得由认证服务器颁发的一个临时票据,在票据的有效期内,凭此票据用户就可以直接访问各个分节点共享服务网站,而无须再重复多次登录,这样既给用户提供了便利,又提高了系统的安全性。
2 系统结构气象信息共享服务系统的统一认证鉴权中心采用基于IBM Websphere 5.0A pplication Server 为核心应用体系构架,以Oracle9i 数据库系统进行全局用户信息的管理。
图1 全局用户身份认证系统结构图2.1 接口设计统一认证的核心问题是主节点认证鉴权中心和各分节点系统之间的通信接口问题,气象信息共享服务系统的用户认证接口采用Web Service 方式实现,协议是基于标准化HT T P 之上的SO AP,使得扩展节点的接入不完全依赖于网络环境。
2.2 安全性设计对于气象信息共享服务系统,认证中心接口协议调用采用SO AP 方式。
统一认证和SSO 接口参数的信息安全,一方面采用专有加密算法对参数内容进行加密,另一方面,采用IP 认证策略来保证对接口双方的信任,通过通道安全和信息加密双保险的措施来保证统一认证体系的接口安全。
2.3 统一认证中心模块统一认证鉴权中心模块位于主节点,是认证系统的应用服务器端,为共享服务网提供分布式的网络用户身份统一认证功能的Web Service 应用服务模块。
他包含请求处理器功能模块、任务分发器模块、会话管理模块、平台管理模块、Web Service 接口等多个功能模块,各功能模块相对独立,便于扩展和维护。
2.4 分节点认证接口模块分节点用户认证接口模块是为分节点网站统一提供的具有单点登录申请、身份认证申请、新增用户申请功能的集成接口模块。
该模块是发送和接受SO AP 消息的客户端。
分节点网站用户利用HT T P 协议,通过向主节点统一认证中心模块(Web Service 服务端)发送SO AP 请求与Web Service 通信,主节点统一认证中心模块接受请求并返回处理信息。
3 关键技术研究与实现根据上述方案,应用统一的全局用户分级、分类标准,我们对各节点网站的用户管理与用户认证部分进行统一设计。
各节点的系统平台采用Linux,系统设计语言为JAV A,实现了全局用户的申请注册、单点登录、统一认证、用户的行为跟踪监督、服务日记记录等功能。
下面以中国气象局主节点和江苏省、湖北省分节点为例,说明认证系统在气象信息共享服务平台中的实现。
图2 气象信息共享服务系统用户身份认证系统应用流程示意图(1)全局用户在某一节点(这里为湖北网站)通过分节点用户认证集成接口模块以HT T P 方式向主节点认证应用服务模块提交SO AP 请求(用户ID 和口令),请求登录。
(2)主节点全局认证应用服务模块接受登录请求后,首先访问用于全局用户统一管理的用户信息数据库,查询并返回结果。
(3)建立该用户的临时票据文档,票据内容含有用户ID 和一个动态生成的随机码,同时记录下该用户此次操作的动作类型(包括登录、新增申请等)和动作时间,并向分节点返回该用户ID 、随机码、用户权限,表示登录成功。
(4)如果查询结果为T RU E,则向分节点返回该用户ID 、随机码、用户权限,表示登录成功。
(5)该用户如需访问江苏分节点,则以表单形式向江苏分节点提交该用户的ID 和随机码。
(下转第84页)80信息安全何小明等:气象信息共享服务业务平台用户认证系统的设计方式完成与对方的通信,从而将重要信息告知对方。
7 研究展望目前数字水印的研究方兴未艾,尽管已取得了不少有价值的成果,但还有很多工作有待继续。
今后还需深入研究的方向为:(1)对几何攻击具有较强鲁棒性的数字图像水印。
尽管在这方面已经有了大量的工作,但仍然存在着巨大的困难。
(2)安全数字水印验证系统。
数字水印算法的设计中,除了其本身的鲁棒性外,验证系统也是确保水印安全性的一个重要环节。
现在基于零认证的验证系统正在得到越来越多的重视,他既可以验证图像所有者对图像的所有权,又不会泄露任何关于水印的信息,从而避免了水印信息的外泄造成的不安全因素。
(3)兼顾保真性和鲁棒性的最优水印算法。
水印的保真性和鲁棒性似乎是一对矛盾,但却都是数字水印至关重要的属性。
所以,从信息论、信号处理等角度出发,研究如何利用图像本身的特性最优化地嵌入水印,对于提高其保真性和鲁棒性是非常有意义的。
参 考 文 献[1]Kuder D.D igital Water marking of M ultimedia Signal A lg orit hms and Implications[J].Pr oc IEEE,1996(6):491 496.[2]Co x I J.A R ev iew o f W atermar king and the Impor tance ofPerceptual M odeling[C].in:Pr oceeding s SPI E Co nference on Human V ision and Electr onic Imag ing II,1997.[3]Zhao J,K och E.Dig ital W at ermarking in Business T odayand to mor row[J].Communications o f A CM,1998,41(7):67 72.[4]Swanson M D,K obany shi A H.M ult imedia Data Embeddingand W atermar king T echniques[J].P roc.I EEE,1998(8): 1064 1087.[5]Wang H jm,K uo Jcj.A n I nteg rated A ppro ach o n EmbeddingImage Coding and Water marking.In:Pro c.Int.Co nf.on A co ust,Speech,Signal P ro cessing,Piscatawa y.IEEE P ress, 1988(6):3271 3275.[6]L in C Y.Rotation,Scale,and T r anslat ion Resilient Watermarking for Imag es[J].IEEE.T r ansactio ns on Image P ro cessing,2001,10(5).[7]Bender W,G ruh l D.M ormo to N etal T echnique fo r DataH iding[J].IBM Sy stem Journal,1996,35(3,4):313 336.[8]向辉.基于信息重组思想的多媒体数据压缩与多媒体数据安全技术研究[D].杭州:浙江大学CA D&CG国家重点实验室,1999.[9]廖继旺,孙洪淋.基于人类视觉系统的数字水印技术研究[J].现代电子技术,2006,29(13):62 63,66.作者简介 吴亚丽 女,1982年出生,甘肃白银人,西安科技大学研究生。
