下载文档原格式
基于“微服务+分布式”架构的公共气象服务数据支撑系统研究作者：林孔杰夏利娜汪春辉陈玉吉来源：《计算机时代》2022年第05期摘要：气象服务数据规模随着精细化、多元化服务要求的提升，加之各气象服务系统集约化程度不高、并发访问能力不足，对气象数据的处理和应用形成了新的挑战。
本研究基于“微服务+分布式”架构，采用数据采集和处理相分离方式完成数据存储入库;开发了多源数据融合模型完成对多源数据的融合，并生成气象服务统一接口提供对外气象数据服务。
系统实现了气象服务产品的采集、供给标准化，为用户提供了安全、及时、高效的数据服务。
关键词：分布式; 微服务; 数据支撑; 气象服务中图分类号：P409;TP311.1 文献标识码：A 文章编号：1006-8228（2022）05-138-03Research on public meteorological service data support system based on"micro service + distribution" architectureLin Kongjie， Xia Lina， Wang Chunhui， Chen YujiAbstract： Meteorological service data increases with the improvement of refined and diversified service requirements. However， the intensification of each meteorological service system isscattered， and the concurrent access capability is insufficient， which forms new challenges to the processing and application of meteorological data. Based on the "microservice + distributed" architecture， data storage are completed by separating data acquisition and processing， and a multi-source data fusion model is developed to complete the fusion of multi-source data. A unified interface for meteorological services is generated to provide external meteorological data services. In this system， the standardization of the collection and supply of meteorological service products is realized. It provides users with safe， timely and efficient data services.Key words： distribution; micro services; data support; meteorological service引言随着气象现代化、信息化业务快速发展，气象服务业务涉及面渐广，交通、林业、电力、农业等行业气象服务飞速发展，部门间的数据交互日漸频繁，如何充分释放数据价值而又避免计算资源浪费，并且支撑系统能够安全、稳定、高效，是个挑战。
MPP大规模并行处理架构详解面试官：说下你知道的M P P架构的计算引擎？这个问题不少小伙伴在面试时都遇到过，因为对M PP这个概念了解较少，不少人都卡壳了，但是我们常用的大数据计算引擎有很多都是M PP架构的，像我们熟悉的I mp al a、C l i c kH o u se、D rui d、Do ri s等都是MP P架构。
采用M PP架构的很多O L AP引擎号称：亿级秒开。
本文分为三部分讲解，第一部分详解M P P架构，第二部分剖析M P P架构与批处理架构的异同点，第三部分是采用M P P架构的O L A P引擎介绍。
一、M PP架构M P P是系统架构角度的一种服务器分类方法。
目前商用的服务器分类大体有三种：1.S M P（对称多处理器结构）2.N U M A（非一致存储访问结构）3.M P P（大规模并行处理结构）我们今天的主角是MP P，因为随着分布式、并行化技术成熟应用，MPP引擎逐渐表现出强大的高吞吐、低时延计算能力，有很多采用M PP架构的引擎都能达到“亿级秒开”。
先了解下这三种结构：1. SMP即对称多处理器结构，就是指服务器的多个C P U对称工作，无主次或从属关系。
S M P服务器的主要特征是共享，系统中的所有资源（如C PU、内存、I/O等）都是共享的。
也正是由于这种特征，导致了S MP服务器的主要问题，即扩展能力非常有限。
2. NUMA即非一致存储访问结构。
这种结构就是为了解决S MP扩展能力不足的问题，利用N U M A技术，可以把几十个C PU组合在一台服务器内。
N U M A的基本特征是拥有多个C P U模块，节点之间可以通过互联模块进行连接和信息交互，所以，每个C P U可以访问整个系统的内存（这是与M PP系统的重要区别）。
但是访问的速度是不一样的，因为C P U访问本地内存的速度远远高于系统内其他节点的内存速度，这也是非一致存储访问N U M A的由来。
星环科技多模数据库ArgoDB“一库多用“，构建高性能湖仓集一体平台随着业务数据量不断增长的同时，数据结构也变得越来越灵活多样，数据不再局限于规整的结构化数据，半结构化、非结构化数据在数据域处理中的占比逐年上升，因此对不同模态的数据进行智能化数据处理的需求越来越迫切。
《中国信通院在数据库发展研究报告（2021 年）》中指出，在后关系型数据库阶段，数据结构越来越灵活多样、业务类型越来越复杂多变，为应对此类现状，越来越多的用户选择通过多模型数据库实现“一库多用“，将各种类型的数据进行集中存储、查询和处理，满足对结构化、半结构化和非结构化数据的统一管理需求。
Transwarp ArgoDB是星环科技自主研发的分布式分析型数据库，基于多模型统一架构支持关系型存储，宽表存储、搜索引擎、事件存储、图存储、键值存储、时序数据存储等10种数据模型，满足多种数据模型处理场景和复杂业务需求。
ArgoDB提供多模分析、实时数据处理、存算解耦、混合负载、数据联邦、异构服务器混合部署等先进技术能力，一站式满足OLAP、AETP、多模型融合分析、联邦计算、数据仓库、实时数仓、湖仓集一体等场景。
2019年8月，ArgoDB成为全球第四个通过TPC-DS基准测试并经过TPC 官方审计的数据库产品。
在架构上，ArgoDB基于存算解耦，实现了多模数据库的“四个统一”：⚫统一的SQL编译引擎，支持SQL 99/2003 标准语法，兼容TD，Oracle，DB2等多种方言，对不同模式的数据提供统一接口，将多个操作访问入口变为一个入口，将多种数据库语言变为一种语言，降低开发和迁移成本，简化用户操作。
⚫统一的计算引擎，将多套计算引擎变为一套引擎，将多份计算资源变为一份资源，提供高性能的分析计算和执行效率，满足跨模型数据复杂关联分析场景。
⚫统一的存储管理系统，同时支持分析型行列混合存储、支持具有搜索功能的文本存储等多模异构存储，并保证数据的强一致性，数据只需一次入库，即可通过异构存储的访问能力支撑多样化复杂分析场景，降低运维成本，将分散存储管理变为统一存储管理，极大简化系统架构，减少开发运维成本。
I G I T C W产业 观察Industry Observation172DIGITCW2023.101 分布式数据库概述分布式数据库的特点主要包括以下几点。
（1）透明性：分布式数据库的透明性包括分片透明、复制透明、位置透明和逻辑透明等，其中分片透明是透明性的最高层次，逻辑透明层次最低。
具体来说，透明性是指用户在使用过程中，不必关心数据在数据库管理系统内部是如何分片的，不必知道数据都分别存放在哪个节点以及各个网络节点是怎样完成数据复制的，用户只需在使用时完成自己的相关操作即可。
（2）高可靠性：分布式数据库会对数据采取多次备份存储形成多副本来提高数据的可靠性。
当某个节点出现故障时，其他节点可快速替代故障节点继续工作，避免出现数据丢失现象。
（3）易扩展性：当数据库现有容量和性能告急时，分布式数据库可采取添加新节点和服务器的方法来实现扩展，相比于集中式数据库的难扩展性可以更好地满足用户不断增长的需求。
如图1所示。
2 分布式数据库的发展历程21世纪以前，关系型商业数据库可以满足大部分用户应用场景，但随着互联网应用的到来，数据呈现大容量、多样性、流动性等特点，采取集中式架构的传分布式数据库发展综述苏彦志，陈 广，蒋越维（中国移动通信集团河北有限公司，河北 石家庄 050000）摘要：分布式数据库作为信息时代重要的数据管理工具，为处理分布式事务、海量数据存储、高并发任务发挥着重要的作用。
文章介绍了分布式数据库发展历程、国内外发展现状、发展面临的问题以及未来发展前景和展望。
关键词：分布式数据库；发展现状；发展前景doi：10.3969/J.ISSN.1672-7274.2023.10.056中图分类号：TP 311.13 文献标志码：A 文章编码：1672-7274（2023）10-0172-03Overview of the Development of Distributed DatabaseSU Yanzhi, CHEN Guang, JIANG Yuewei(China Mobile Group Hebei Co., Ltd., Shijiazhuang 050000, China)Abstract: As an important data management tool in the information age, distributed data plays an important role in processing Distributed transaction, massive data storage, and high concurrency tasks. This article introduces the development history of distributed databases, the current development status at home and abroad, the problems faced in development, and the future development prospects and prospects.Key words: distributed database; development status; development prospects作者简介：苏彦志（1982-），男，汉族，河北石家庄人，本科，研究方向为大型IT 基础设施发展与演进。
