混合云EI解决方案大数据MRS介绍

  • 格式:pdf
  • 大小:2.28 MB
  • 文档页数:18

下载文档原格式

  / 18
  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

混合云MRS解决方案FusionInsight介绍

大数据创新焦点转向云服务和融合,提供更加敏捷的云数据湖解决方案

1980年2010年2019+

数据仓库

Data Warehouse

数据湖DataLake

云数据湖Cloud DataLake

数据湖

-------

Data Marts

实时处理

机器学习

数据科学ETL

数据准备BI

报表

机器/深度学习

数据科学

BI

流分析

云数据湖

-------ETL

BI

报表

Data Marts

Data Warehouse

数据类型:关系型、非关系型、

计算资源:云虚机、BMS 、容器,资源快速发放数据存储:对象存储,存算分离

分析引擎:Hadoop, Spark, Flink, Presto, MPP, TensorFlow 数据管理:Atlas, AWS Glue, HUDI, DeltaLake …数据类型:关系型、非关系型

计算资源:物理机

数据存储:HDFS ,存算一体

分析引擎:Hadoop, Spark, Storm…数据类型:关系型

计算资源:物理机数据存储:SAN

分析引擎:Oracle Exadata 、

Teradata

云存储云Hadoop

云数仓

原始数据预清洗数据数据仓库数据集市

统一目录

统一安全

•软硬件统一云化管理,支持一键弹性发放•数据统一目录和安全,支持数据资产化•计算和存储分离,提升资源利用率

面向未来的企业云数据湖参考架构:灵活、融合、开放、多场景、高性能的数据分析平台,一站式解决分析域所有问题

即席查询实时决策

自助BI 数据科学

固定报表

数据湖统一存储

统一存储

统一目录

数据安全

HDFS | 对象元数据授权| 隐私

统一资源调度

开放数据生态工具

(批量ETL/ELT)

流/实时(实时ETL )

微批

(准实时ETL )

关系型数据日志数据

传感器(IoT )

外部数据

流/实时分析

高级分析批/交互式分析NoSQL •流处理•内存实时分析

•交互式分析•批处理/加工•

机器学习/AI •

图计算•KV/文档•搜索

•数据集成

•数据开发•数据治理

•数据运营

数据源

虚拟入湖◆更多数据通过实时、虚拟方式入湖,数据

产生即可见、可用

◆数据大集中,开放共享、统一目录管理,

避免跨系统数据搬迁

◆多种工作负载、异构计算资源池,统一调

度,多样性融合分析

◆开放接口,支持开放实时标准,构建丰富

生态,自助式数据开发与分析

◆存储和计算分离,支持更多用户并发和更

大数据量

◆集约建设,一键发放,小时级平台搭建

数据湖

FusionInsight HD大数据平台全面升级为混合云MRS云服务

Manager

精细化监控

大集群管理

日志在线检索

容灾备份

集中告警处理

数据存储

数据管理

融合处理

Hive Spark

批处理

HetuEngine

交互式查询

HBase

实时检索

Elastic

Search

Catalog Security

YARN

Scheduler 调度

数据目录数据安全

OBS/HDFS

TXT | ORC | Parquet | CarbonData

数据存储

流处理

Kafka Redis

Flink

Superior

华为云

HUAWEI Cloud

定期连线

(版本升级、高阶

服务远程运维)

EI高阶服务

混合云大数据服务MRS

华为云Stack

HUAWEI Cloud Stack

MRS

控制面服务申请资源管理租户管理运维监控

集群部署扩容管理补丁&升级

FusionInsight 扎根社区,开放吸收全球智慧,使能千行万业

开放、繁荣、持续发展的大数据社区

“自主创新作为一种精神是值得鼓励的,

站在人类文明的基础上创新才是正确的”

——任正非2019年社区贡献:

FusionInsight 开放、融合的企业级大数据平台

永远在线

一站式平台可持续演进

易用,低成本

批交互式融合

大数据AI融合

批流融合多模分析多级可靠性保护

容灾、备份

无感知升级

全组件、多集群管理

统一元数据,统一接口

软硬一体化

社区贡献,共同演进

云演进路线

异构基础设施兼容数据接入数据仓库数据智能NoSQL 多模全文检索调度数据管理7200+ 提交者5900万+ 代码更新

1500+企业100+高校100+开源组件