腾讯云-弹性MapReduce服务平台概述
- 格式:docx
- 大小:937.41 KB
- 文档页数:17
云计算平台的弹性伸缩与使用教程近年来,云计算平台在各个行业中的应用越来越广泛。
云计算平台的弹性伸缩是其中一个重要的功能,它可以帮助企业灵活地调整资源,以满足不同的业务需求。
本文将介绍云计算平台的弹性伸缩的概念、原理和使用教程,以帮助读者更好地了解和应用。
一、弹性伸缩的概念云计算平台的弹性伸缩是指根据业务负载的变化,自动调整计算资源的数量。
当业务负载增加时,弹性伸缩可以自动添加更多的计算资源,保证业务的正常运行;而当业务负载减少时,弹性伸缩会自动减少计算资源,以节约成本。
弹性伸缩可以帮助企业提高效率、降低成本,并增加业务的稳定性和可靠性。
二、弹性伸缩的原理弹性伸缩的原理基于以下几个核心概念:负载监控、伸缩策略和资源调度。
1. 负载监控负载监控是弹性伸缩的基础,它通过监控业务系统的负载情况,例如CPU使用率、内存使用率等指标,来判断业务负载的变化。
常用的负载监控工具有Zabbix、Nagios等,它们可以实时监控各项指标,并生成报告供用户查看。
2. 伸缩策略伸缩策略是弹性伸缩的决策依据,它定义了在不同业务负载情况下,云计算平台需要采取的具体伸缩行为。
常见的伸缩策略有基于阈值的伸缩、基于预测的伸缩和基于事件的伸缩。
基于阈值的伸缩是指根据设定的负载阈值,当负载超过或低于阈值时,自动进行伸缩;基于预测的伸缩是根据历史数据和算法预测未来的负载情况,并根据预测结果进行伸缩;基于事件的伸缩是根据特定事件的触发条件,如用户请求量、网络流量等,进行伸缩。
3. 资源调度资源调度是指根据伸缩策略的决策结果,将计算资源分配到不同的机器上。
资源调度可以通过自动化工具,如Kubernetes、Docker等,来实现。
它们可以根据业务需求和资源状况,将任务分配到不同的节点上,并负责监控和管理节点的运行状态。
三、云计算平台弹性伸缩的使用教程下面将介绍云计算平台弹性伸缩的使用教程,以Amazon Web Services(AWS)为例。
云计算中的弹性计算概念解析云计算作为一种新兴的计算模式,已经广泛应用于各行各业。
其中,弹性计算作为云计算的重要概念,对于满足用户的可扩展性和弹性需求起到了至关重要的作用。
本文将对云计算中的弹性计算进行深入解析,探讨其概念、特点和应用场景。
一、概念解析弹性计算是云计算中的一种重要特性,它指的是根据实际需求弹性地分配和调整计算资源。
在传统的计算模式中,用户需要提前购买和配置计算资源,无法根据实际的计算需求进行灵活调整,这在一定程度上限制了计算资源的利用效率和灵活性。
而云计算通过提供弹性计算服务,使用户能够根据实际需求动态地分配和调整计算资源,从而提高计算资源的利用率和灵活性。
二、特点分析1. 资源弹性扩展:云计算平台可以根据用户的需求,自动地分配和调整计算资源。
当用户的计算需求增加时,云平台可以自动地增加计算资源,满足用户的需求;当用户的计算需求减少时,云平台也可以自动地释放多余的计算资源,提高资源利用率。
2. 快速弹性响应:弹性计算能够快速响应用户的需求变化。
无论是用户突然增加的计算需求还是突然减少的计算需求,云平台都能够快速调整计算资源,确保用户始终享有最佳的计算性能。
3. 按需付费:弹性计算实现了按需付费的计费模式。
用户只需支付实际使用的计算资源,无需提前购买和配置计算设备,节约了资金成本。
4. 高可用性与容错性:云计算平台采用分布式的架构,能够实现高可用性和容错性。
当某个计算节点发生故障时,其他节点可以接替其工作,保证系统的稳定运行。
三、应用场景弹性计算在各行各业都有广泛应用。
以下是几个典型的应用场景:1. 电子商务:电子商务网站面临着日常访问量的波动,在促销活动或者特定时段可能会出现访问量激增的情况。
通过弹性计算,电子商务网站可以根据实时流量,自动调整计算资源,以确保用户的访问速度和体验。
2. 大数据分析:大数据分析需要大量的计算资源支持,但是每个分析任务的计算量不尽相同。
通过弹性计算,可以根据不同的分析任务,动态地分配和调整计算资源,提高大数据分析的效率和成本效益。
云计算平台的弹性扩展技术云计算是当今科技领域的热门话题之一,它通过将计算资源、存储资源和应用程序提供给用户,为企业和个人提供了灵活、高效和经济的解决方案。
然而,随着云计算应用的不断扩展和用户需求的增长,云计算平台的弹性扩展技术变得尤为重要。
本文将探讨云计算平台的弹性扩展技术及其应用。
一、什么是云计算平台的弹性扩展技术云计算平台的弹性扩展技术是指根据用户需求实时调整计算资源、存储资源和应用程序的能力。
它可以根据负载的变化自动或手动地增加或减少云计算平台的资源,以实现高效的资源利用和响应用户需求的能力。
云计算平台的弹性扩展技术包括两个关键方面:横向扩展和纵向扩展。
横向扩展指通过增加计算节点或服务器来提高云计算平台的性能和容量。
纵向扩展则是指通过增加单个计算节点或服务器的处理能力来提高云计算平台的性能。
二、云计算平台的弹性扩展技术的实现方式云计算平台的弹性扩展技术有多种实现方式,以下是其中几种常见的:1. 负载均衡(Load Balancing)负载均衡是通过将网络流量分发到多个服务器或计算节点上,从而实现资源的均衡利用和请求的合理分配。
它可以根据服务器或计算节点的负载情况来动态调整流量的分发,以实现系统的高可用性和性能的优化。
2. 自动扩容(Auto Scaling)自动扩容是一种基于需求启动或停止计算节点或服务器的技术。
通过监测云计算平台的负载情况,自动扩容系统可以根据预设的条件自动增加或减少计算节点或服务器的数量。
这样可以确保在高负载时能够迅速增加计算资源,而在低负载时则可以减少资源的浪费。
3. 弹性存储(Elastic Storage)弹性存储是指可以动态调整存储资源容量的能力。
通过弹性存储,云计算平台可以根据数据的增长或减少自动调整存储空间的大小,以适应不断变化的业务需求。
4. 弹性网络(Elastic Networking)弹性网络是指云计算平台可以自动扩展和调整网络资源的能力。
它可以根据用户的需求自动调整网络的带宽、容量和拓扑结构,以实现高性能、高可用性和优质的网络服务。
TencentCloud的云服务器腾讯云(Tencent Cloud)的云服务器腾讯云(Tencent Cloud)是中国领先的云计算服务提供商之一。
其云服务器(Cloud Server)是一项核心产品,为个人和企业提供高性能、可靠稳定的云计算资源。
本文将对腾讯云云服务器进行介绍,并针对其特点和优势进行分析。
一、云服务器简介云服务器,简称云主机,是基于云计算技术的虚拟化服务器。
它将计算资源、存储空间和网络资源等进行虚拟化,通过云服务提供商进行统一管理和分配,用户可以按需购买、使用和释放资源。
腾讯云云服务器提供了多种规格和容量的主机实例,以满足不同用户的需求。
二、腾讯云云服务器的特点1. 弹性扩展:腾讯云云服务器支持快速弹性扩展,可以根据实际业务需求实时增加或减少计算资源。
用户可以根据流量峰值和访问量变化,灵活调整云服务器规模,避免因资源浪费或不足而导致的成本问题。
2. 多地域布局:腾讯云在全球范围内拥有多个数据中心,覆盖了亚洲、欧洲、美洲等多个地区。
用户可以根据业务需求选择就近部署,提高数据传输速度和降低延迟。
3. 安全可靠:腾讯云云服务器具备高可用性和容错性,通过硬件冗余和数据备份等措施保障数据的安全性和可靠性。
同时,腾讯云还提供多层次的安全防护机制,包括防火墙、DDoS防护等,有效抵御各种网络攻击。
4. 低成本高性能:腾讯云云服务器提供灵活的计费方式,用户可以按量付费或选择包年包月的方式。
无论是小型创业公司还是大型企业,都可以根据实际需求和预算进行合理的资源配置。
同时,腾讯云云服务器拥有强大的计算和存储能力,可以快速响应和处理大规模的计算任务。
三、选择腾讯云云服务器的优势1. 卓越的性能:腾讯云云服务器采用高性能硬件设备,配备强大的处理器和高速的存储设备,可以提供稳定可靠的计算资源。
无论是运行大型数据库还是进行复杂的数据分析,腾讯云云服务器都能够满足高性能计算的需求。
2. 可扩展性强:腾讯云云服务器提供了多种规格和容量的实例,用户可以根据业务需求选择合适的配置。
人工智能服务平台产品概述目录产品简介产品概述 (3)简介 (3)产品功能 (3)产品优势 (4)应用场景 (5)产品简介产品概述19-01-22 17:24:18简介腾讯人工智能服务平台(TI Matrix Platform,简称云智天枢平台)是基于腾讯云和腾讯优图的强大技术能力打造的全栈式平台,致力于帮助企业加速数字化转型并促进 AI 行业生态共建。
云智天枢平台支持快速接入各种数据、算法和智能设备,并提供可视化编排工具对服务和资源进行管理和调度,进一步通过 AI 服务组件集成和标准化接口开放,降低 AI 应用开发成本。
产品功能弹性伸缩提供灵活简便的弹性扩缩容能力。
用户通过容器管理平台实现手动 / 自动的节点扩容,以适配业务的发展。
集群管控提供集群自动扩缩容、集群配置、启停、资源智能监控报警等功能。
用户可以利用集群管控功能进行日常运维、集群性能调优。
算法管理提供多算法自动化托管、自动化适配能力、多算法接口规范,提高算法开发效率和算法复用能力。
任务编排提供任务编排调度管理模块,支持算法驱动和数据驱动的任务编排和调度。
同时提供完备的任务监控能力以及数据处理能力,方便用户使用任务的结构化数据。
设备管理用户可按照官方提供的接入规范,自行接入智能设备,并且可对多种设备进行统一管理。
运营监控提供完善的监控告警、日志查询、弹性扩缩容以及容器平台等全方位的运维能力,更好地保障 TI Matrix 平台的稳定性和高可用性。
产品优势19-01-24 15:54:09全栈式平台支持一个平台连接云边端,支持方便快捷接入多种硬件设备、算法模型和客户数据,提供灵活调度能力,更高效率地构建适用于企业的 AI 应用。
开放式服务通过提供 API 网关的方式,标准化地开放 AI 能力,支持和第三方系统集成对接,为企业系统快速赋予智慧。
简单易用提供可视化、可拖拽的任务编排和调度能力,轻松实现算法和业务微服务的组合调度、多数据组件组装,快速满足企业业务场景诉求。
云计算的弹性和可扩展性了解云计算对IT行业弹性和可扩展性的优势云计算的弹性和可扩展性:了解云计算对IT行业弹性和可扩展性的优势云计算已经成为现代信息技术领域的重要组成部分,为企业提供了弹性和可扩展性的优势。
本文将介绍云计算在IT行业中的应用和这些优势的具体表现。
一、云计算的定义和基本原理在详细讨论云计算的弹性和可扩展性之前,首先需要了解云计算的定义和基本原理。
云计算是一种通过互联网提供计算服务的模式。
它基于虚拟化技术,将计算资源、存储空间和应用程序等服务按需提供给用户,用户可以根据需要随时获得并支付使用的资源。
云计算提供了灵活性和可扩展性,使用户能够根据业务需求快速扩展或缩减资源。
二、云计算的弹性优势1. 实时资源分配:云计算平台可以根据用户实际需求及时分配资源,使用户能够快速满足业务需求。
无论是需要增加还是减少资源,都可以在短时间内完成,避免了传统硬件设备扩容的时间和成本消耗。
2. 弹性扩展性:云计算平台具备高度可伸缩性,能够根据业务负载的增加或减少自动调整资源。
当业务峰值时,云计算平台可以快速增加计算和存储资源以满足需求;而当业务需求下降时,可以自动释放多余的资源,避免资源浪费。
3. 高可用性和容错性:云计算平台具备分布式架构和冗余机制,能够在硬件故障或其他问题发生时实现自动容错和故障恢复。
当某个节点发生故障时,云计算平台可以自动将任务转移到其他可用节点上,保证业务的持续运行。
三、云计算的可扩展性优势1. 硬件资源虚拟化:云计算通过虚拟化技术将硬件资源如服务器、存储、网络等进行抽象和隔离,使得用户可以灵活地使用和管理这些资源。
用户可以根据需求调整资源的规模和配置,实现快速扩展和部署。
2. 自动化管理:云计算平台提供了自动化的资源管理和任务调度功能,使用户能够实现快速部署和配置。
用户只需通过简单的界面或API即可完成复杂的管理操作,大大降低了管理和运维成本。
3. 经济性和成本优势:云计算采用按需付费的模式,用户只需根据实际使用的资源量付费,避免了传统的固定投资成本。
腾讯云大数据基础服务腾讯,我们知道知道其研发的QQ、微信是目前国内使用率高的社交软件,所以,腾讯的大数据也不容小觑,基于此,腾讯云有其大数据基础服务。
腾讯云大数据基础服务之大数据处理套件是基于腾讯多年海量数据处理经验,对外提供的可靠、安全、易用的大数据处理平台。
您可以按需部署大数据处理服务实现数据处理需求,例如报表展示,数据提取、分析,客户画像等大数据应用。
腾讯云大数据基础服务之弹性MapReduce,其结合云技术和Hadoop、Hive、Spark、Storm 等社区开源技术,提供安全、低成本、高可靠、可弹性伸缩的云端托管Hadoop 服务。
您可以在数分钟内创建安全可靠的专属Hadoop 集群,以分析位于集群内数据节点或COS 上的PB 级海量数据。
弹性MapReduce目前也是在公厕中,还没有完全开放。
大数据基础服务之数据工坊(Tencent Data Factory)是源于腾讯云数智大数据套件的轻量云上大数据产品,为您提供基于SQL的大数据计算框架;适合于需要动态灵活获取大数据计算能力进行批量计算、日志处理或数据仓库应用的场景,大数据基础服务之数据工坊产品目前是在内测中,如果您想参加内测,可点击链接,联系我们上海国经网络。
大数据基础服务之云推荐引擎(Cloud Recommendation Engine)是为您量身定制的一站式通用推荐引擎,提供安全、便捷、精准、可靠的推荐系统服务,适用于兴趣推荐、相关推荐、社会化推荐和位置推荐等多种推荐场景,帮助您提升业务的用户体验和点击转化率。
云推荐引擎目前也是属于内测阶段,并未对外开放。
大数据基础服务之DI-Perceiver 实时多维分析引擎结合数据列存储技术和极速查询优化技术,向用户提供高性能的实时多维分析能力。
您可以在无需预构建数据立方的情况下通过SQL 语句对千亿级数据进行毫秒级的无限制上卷、下钻、切片、切块、旋转等分析操作,以快速洞察海量数据价值。
弹性云服务器在当今数字化飞速发展的时代,云计算技术已经成为了企业和个人不可或缺的一部分。
而在云计算的众多服务中,弹性云服务器以其独特的优势和强大的功能,为用户提供了高效、灵活、可靠的计算资源解决方案。
那么,什么是弹性云服务器呢?简单来说,弹性云服务器是一种可根据用户需求灵活调整计算资源(如 CPU、内存、存储和带宽等)的服务器。
与传统的物理服务器相比,它具有更高的灵活性和可扩展性。
想象一下,您是一家正在快速发展的初创企业。
在业务初期,您的网站流量较小,对服务器资源的需求也相对较低。
这时候,您可以选择配置较低的弹性云服务器,以降低成本。
随着业务的增长,网站流量急剧增加,您只需通过简单的操作,就能快速提升服务器的性能,满足更多用户的访问需求。
这种按需调整资源的能力,就是弹性云服务器的“弹性”所在。
弹性云服务器的优势不仅仅在于其弹性。
它还为用户带来了诸多便利。
首先,它节省了用户的硬件成本。
传统的物理服务器需要企业购买服务器硬件设备,并投入大量资金用于维护和管理。
而弹性云服务器则无需用户购买硬件,只需按需租用资源,大大降低了前期投入。
其次,弹性云服务器具有更高的可靠性。
云服务提供商通常会在多个数据中心部署服务器,并采用冗余技术和备份机制,确保服务器的稳定运行。
即使某个数据中心出现故障,也能迅速切换到其他可用的数据中心,保障业务的连续性。
再者,它的部署速度非常快。
用户可以在几分钟内创建并启动一台弹性云服务器,快速部署自己的应用和服务。
相比之下,购买和部署物理服务器可能需要数周甚至数月的时间。
另外,弹性云服务器还提供了强大的管理功能。
用户可以通过直观的控制面板,轻松管理服务器的配置、监控服务器的运行状态、进行安全设置等。
同时,云服务提供商还会提供专业的技术支持,帮助用户解决遇到的问题。
对于不同类型的用户,弹性云服务器都有着广泛的应用场景。
对于企业来说,它可以用于搭建企业网站、电子商务平台、企业资源规划(ERP)系统等。
弹性MapReduce服务平台产品概述目录产品简介产品概述 (4)简介 (4)功能特性 (4)产品优势 (5)灵活 (5)可靠 (5)安全 (5)易用 (5)节约成本 (5)产品功能 (7)弹性伸缩 (7)存储计算分离 (7)运维支撑 (7)安全 (8)应用场景 (9)离线数据分析 (9)流式数据处理 (9)分析 COS 数据 (10)节点类型说明 (12)组件版本 (13)版本历史 (15)2019.12.26 (15)2019.12.17 (15)2019.11.04 (15)2019.10.17 (15)2019.09.18 (15)2019.08.07 (16)2019.08.01 (16)2019.07.05 (16)2019.06.18 (16)2019.05.17 (16)2019.05.07 (17)2019.03.29 (17)2019.03.04 (17)2019.01.15 (17)产品简介产品概述19-04-24 20:02:36简介弹性 MapReduce(EMR)是腾讯云提供的云上 Hadoop 托管服务,提供了便捷的 Hadoop 集群部署、软件安装、配置修改、监控告警、弹性伸缩等功能,为企业及用户提供安全稳定的大数据处理解决方案。
功能特性弹性 MapReduce 的软件完全源于开源社区中的 Hadoop 软件,您可以将现有的大数据集群无缝平滑迁移至腾讯云上。
弹性 MapReduce 产品中集成了社区中常见的热门组件,包括但不限于 Hive、Hbase、Spark、Presto、Sqoop、Hue 等,可以满足您对大数据的离线处理、流式计算等全方位需求。
弹性 MapReduce 无缝集成了腾讯云对象存储(COS)服务,您可将原本存储于 HDFS 中的文件放置在可无限扩展、存储成本低且高可靠的 COS 中,实现计算存储分离。
依托于 COS,您可以在需要的时候创建集群,并在任务完成后销毁集群。
与此同时,您无需担心数据的丢失。
按需创建的集群,可以大幅度降低您的大数据处理成本。
弹性 MapReduce 采用了5种节点类型:Master 节点、Core 节点、Task 节点、Router 节点和 Common 节点。
各类型节点作用,请参见节点类型说明。
弹性 MapReduce 目前支持了众多资源规格,您可以采用 EMR 标准型、内存型、高 IO、计算型及大数据机型实例作为计算资源。
若您需要在黑石物理主机上部署 Hadoop 集群,请提交工单联系我们。
产品优势19-04-24 20:02:44与自建 Hadoop 相比,弹性 MapReduce 能提供更方便、更安全、更可靠的云端 Hadoop 服务。
灵活只需几分钟即可获得一个安全可靠的 Hadoop 集群,以运行 Hive、Spark、Presto 等主流开源大数据计算框架。
可对一个已有的弹性 MapReduce 集群进行快速的弹性伸缩,以在变动的业务部门数据分析需求与高昂 IT 硬件成本之间快速获得平衡点。
可靠Master 节点容灾设计,备节点秒级拉起,保障大数据服务可用性。
完善的监控体系建设,您可以通过短信渠道秒级感知集群组件及任务的运行异常状况。
支持将 Hive 元数据存放于 TencentDB,元数据可靠性达99.9996%。
支持分析存放于 COS 的高存储耐久性的 PB 级数据。
集群默认开启回收站功能。
安全可通过便捷的 VPC 网络安全隔离手段规划托管 Hadoop 集群网络策略,支持网络 ACL 和安全组,可从子网和主机维度筛选流量,全方位满足网络安全需求。
腾讯云品质的安全加固服务为 EMR 集群提供一体化的安全服务,涵盖网络防护、入侵检测、漏洞防护等。
易用可以响应业务需求创建不同版本的集群分析 COS 上的同一份数据。
可以借助开箱即用的 Hue、Oozie 等社区组件随心分析位于数据节点或 COS 上的 PB 级数据,无需担心产生任何知识迁移成本。
节约成本通过 EMR 服务,可以按业务曲线随心伸缩托管 Hadoop 集群,缩减高昂的硬件成本。
丰富的运维工具支持,大幅提升运维工作效率,让工程师更专注于业务本身的商业价值,摆脱重复搭建监控、安全、运维工具等基础设施。
产品功能19-04-24 20:02:49弹性 MapReduce 结合云技术和 Hadoop、Hive、Spark、Storm 等社区开源技术,为您提供安全、低成本、高可靠、可弹性伸缩的云端 Hadoop 服务。
其主要功能体现在以下方面:弹性伸缩分钟级集群创建通过控制台数分钟就可创建一个安全、稳定的云端托管 Hadoop 集群。
分钟级集群扩缩容仅需数分钟即可对现有 EMR 集群进行平滑扩缩容,以适应互联网业务需求的快速变化。
API 支持支持通过 API 方式便捷的在程序中创建、扩缩容、销毁 EMR 集群。
存储计算分离集群内存储计算分离集群内支持按照存储节点、计算节点的模式来规划云端 Hadoop 集群,以支持客户对计算节点的随意伸缩来降低硬件成本。
基于 COS 的存储计算分离支持把待分析海量数据存放于 COS,在通过 COS 规模化效应降低存储成本的同时,您还可以创建不同 EMR 版本分析同一份数据,这将为您带来极度的架构灵活性。
运维支撑监控与多渠道告警提供完善的监控运维体系,对包含 Spark、Hive、Presto 等在内的组件异常和任务异常的秒级感知,以保障大数据集群的稳健运行。
技术服务支持在提供完善技术文档之外,还支持包含邮件、QQ、微信等渠道在内的技术服务体系,为客户提供完备的技术支持。
安全EMR 创建的 CVM 子机同时会创建安全组来限制外网访问。
各组件 Web UI 均通过其中一台有外网 IP 的子机进行访问,并且通过用户名和密码进行验证,有外网 IP 的子机安全组只开放 SSH 端口和代理访问端口。
注意:CVM 子机如果更换项目会导致 CVM 安全组丢失。
应用场景19-11-28 10:58:52弹性 MapReduce(EMR)集群应用场景很多,Hadoop 和 Spark 能够支持的场景 EMR 都可以支持,因为 EMR 本质就是 Hadoop 和 Spark 的集群服务。
以下为 EMR 应用的经典场景。
离线数据分析把游戏、Web 应用、手机 App 等业务服务器上的海量日志同步到 EMR 的数据节点或 COS 后,可借助于 Hue 等工具使用 Hive、Spark、Presto 等主流计算框架快速获取数据洞察力。
可使用 Sqoop 等工具加载分散于各TencentDB 或其他存储引擎的数据,并把分析后的数据同步到 TencentDB,为 RayData 这样的数据可视化产品提供数据支撑。
流式数据处理在程序/工具中通过 API、SDK 把位于业务服务器上实时产生的数据 Push 到 CMQ 消息中间件之后,可在 EMR 产品中选择合适的流式数据处理引擎来分析数据,以实现对业务变动的实时告警;还可以把分析结果实时同步到TencentDB 等存储引擎,以便于通过 RayData 等数据可视化产品对业务状态进行实时可视化检测。
分析 COS 数据可通过 EMR 产品快速分析存储于 COS 上的海量数据,以实现彻底的存储计算分离。
通过这样的设计,可充分利用COS 提供的丰富数据同步工具,同时还可以让多个不同版本 Hadoop 集群分析同一份数据,以满足数据一致性及历史原因导致的多版本 Hadoop 集群共存的问题。
节点类型说明19-11-28 16:48:59EMR 提供了5种节点类型,您可以根据自身需求进行选择:Master 节点为管理节点,保证集群的调度正常进行。
Core 节点为计算及存储节点,您在 HDFS 中的数据全部存储于 Core 节点中,因此为了保证数据安全,扩容Core 节点后不允许缩容。
Task 节点为纯计算节点,不存储数据,被计算的数据来自 Core 节点及 COS 中,因此 Task 节点往往被作为弹性节点,可随时扩容和缩容。
Common 节点为 HA 集群 Master 节点提供数据共享同步以及高可用容错服务。
Router 节点用以分担 Master 节点的负载或者作为集群的任务提交机,可以随时扩容和缩容。
组件版本19-11-21 16:26:57腾讯云弹性 MapReduce 由一系列大数据生态的开源应用程序组成。
每个弹性 MapReduce 的版本,包含了一组特定版本的开源程序。
当您在创建集群时,可以选择对应的 EMR 版本,以满足您对其中包含的开源组件的版本需求。
注意:EMR 版本会定期升级,类似 EMR-V1.3.1、EMR-V2.0.1、EMR-V2.1.0。
每一个版本上捆绑的组件和组件的版本都是固定的。
目前还不支持组件的多个不同版本的选择,也不支持用户自行更改组件的版本。
例如在 EMR-V2.0.1 中内置的是 Hadoop 2.7.3、Spark 2.2.1 等。
一旦选择了 EMR 某个版本创建集群,该集群使用的 EMR 版本和组件版本不会自动升级,例如选 EMR- V2.0.1 版本,那么 Hadoop 就一直保持在2.7.3,Spark 就一直保持在2.2.1。
后续如果版本升级到了EMR-V2.1.0,Hadoop 到了2.8.4,Spark 到了2.3.2也不会影响到已经创建出来的集群。
只有新的集群才会使用新的镜像。
当您通过数据迁移的方式升级集群版本的时候,例如从 EMR-V2.0.1 升级到 EMR-V2.1.0,为防止一些升级不兼容,环境变化等,请务必测试需要迁移的任务,保证在新的软件环境中能正常运行。
各 EMR 版本包含的组件及组件版本如下:组件名称EMR-V 1.3.1EMR-V 2.0.1EMR-V 2.1.0EMR-V 3.0.0发布时间--2019.052019.10Flink 1.2.0 1.2.0 1.4.2 1.8.1Ganglia 3.7.2 3.7.2 3.7.2-Hadoop 2.7.3 2.7.3 2.8.4 3.1.2Hbase 1.2.4 1.3.1 1.3.1 2.2.0Hive 2.1.1 2.3.2 2.3.3 3.1.1Hue 3.12.0 3.12.0 4.4.0 4.40Ooize 4.3.0 4.3.1 4.3.1 5.1.0Phoneix 4.8.1 4.11.0 4.13.0-Presto0.1610.1880.2150.222版本历史20-01-02 09:50:452019.12.26【新功能】新增配置分组下发功能。
支持 CAM 资源级授权。
支持关联 CHDFS,详见挂载云 HDFS。
【新规格】北上广地域支持 AMD 机型标准型 SA2。