当前位置：文档之家 › Intel Hadoop 发行版高可用手册2.5.1 IDH-HighAvailabilityGuide_R2-5-1_CN

Intel Hadoop 发行版高可用手册2.5.1 IDH-HighAvailabilityGuide_R2-5-1_CN

  • 格式：pdf
  • 大小：385.22 KB
  • 文档页数：21

英特尔® Apache Hadoop*软件发行版高可用性操作手册版本2.5.12013年9月文档编号：328774-005CN免责声明和法律信息本文件中包含关于英特尔产品的信息。

本文件不构成对任何知识产权的授权，包括明示的、暗示的，也无论是基于禁止反言的原则或其他。

除英特尔产品销售的条款和条件规定的责任外，英特尔不承担任何其他责任。

英特尔在此作出免责声明：本文件不构成英特尔关于其产品的使用和/或销售的任何明示或暗示的保证，包括不就其产品的(i)对某一特定用途的适用性、(ii)适销性以及(iii)对任何专利、版权或其他知识产权的侵害的承担任何责任或作出任何担保。

除非经过英特尔的书面同意认可，英特尔的产品无意被设计用于或被用于以下应用：即在这样的应用中可因英特尔产品的故障而导致人身伤亡。

英特尔有权随时更改产品的规格和描述而毋需发出通知。

设计者不应信赖任何英特产品所不具有的特性，设计者亦不应信赖任何标有“保留权利”或“未定义”说明或特性描述。

对此，英特尔保留将来对其进行定义的权利，同时，英特尔不应为因其日后更改该等说明或特性描述而产生的冲突和不相容承担任何责任。

此处提供的信息可随时改变而毋需通知。

请勿根据本文件提供的信息完成一项产品设计。

本文件所描述的产品可能包含使其与宣称的规格不符的设计缺陷或失误。

这些缺陷或失误已收录于勘误表中，可索取获得。

在发出订单之前，请联系当地的英特尔营业部或分销商以获取最新的产品规格。

索取本文件中或英特尔的其他材料中提的、包含订单号的文件的复印件，可拨打1-800-548-4725，或登陆英特尔网站。

英特尔处理器标号不是性能的指标。

/products/processor_number处理器标号仅用于区分同属一个系列的处理器的特性，而不能够用于区分不同系列的处理器。

详情敬请登陆：/products/processor_numberPerformance tests and ratings are measured using specific computer systems and/or components and reflect the approximate performance of Intel products as measured by those tests.Any difference in system hardware or software design or configuration may affect actual performance.Buyers should consult other sources of information to evaluate the performance of systems or components they are considering purchasing.For more information on performance tests and on the performance of Intel products, visit Intel Performance Benchmark Limitations.结果基于模拟测算得出，仅作参考之用。

结果通过系统模拟器或模型测算得出。

任何系统硬件、软件的设计或配置的不同均可能影响实际性能。

英特尔, 英特尔® Apache Hadoop*软件发行版, 英特尔® 发行版, Intel® Manager for Apache Hadoop* software, 和Intel® Manager是英特尔在美国和/或其他国家的商标。

* 其他的名称和品牌可能是其他所有者的资产。

英特尔公司2013版权所有。

所有权保留。

文档修订记录日期修订描述2013年3月001英特尔® Apache Hadoop*软件发行版 v2.3文档第一版2013年3月002英特尔® Apache Hadoop*软件发行版 v2.3文档更新2013年5月003英特尔® Apache Hadoop*软件发行版 v2.4文档更新2013年6月004英特尔® Apache Hadoop*软件发行版 v2.4.1文档更新2013年9月005英特尔® Apache Hadoop*软件发行版 v2.5.1文档更新目录1.0简介 (5)1.1支持的高可用性种类 (5)1.2高可用性是如何工作的 (5)1.3支持的操作系统 (6)2.0设置高可用性的要求和推荐 (7)2.1总体要求 (7)2.2推荐配置 (8)3.0为你的Kernel获得DRBD Kernel模块 (9)3.1哪些版本的DRBD Kernel模块已存在？ (9)3.2从源码建立DRBD Kernel模块的RPM (9)4.0使用Intel® Manager来配置高可用性 (11)5.0高可用性维护 (14)5.1监控高可用性 (14)5.2更改高可用性配置 (14)5.3基本DRBD操作 (15)5.3.1资源概述 (15)5.3.2检查DRBD状态 (15)5.3.3常用命令 (17)5.4Pacemaker的基本操作 (17)5.4.1资源状态 (17)5.4.2操作资源 (17)5.4.3操作集群节点 (18)5.4.4维护模式 (18)5.4.5手工更改CRM配置 (18)5.5处理硬盘故障 (18)5.6节点故障后的NameNode恢复 (19)5.7脑裂恢复 (19)5.8运行脚本排除故障 (20)6.0卸载高可用性 (21)1.0简介Apache Hadoop*集群中通常有多个用户长时间地运行多个作业。

这些作业生成的数据分析具有商业上的重要性，可帮助公司节省大笔开支或产生收入。

因此，集群的高可用性至关重要，几分钟、几小时或几天的宕机可能花费大量的金钱。

系统管理员面对的问题主要是JobTracker和Primary NameNode的单点故障。

如果其中一个服务失败，则在问题解决前集群功能将不可用。

而且，这些故障可能需要花费大量的时间和人力去解决，这将导致长时间宕机，这对公司业务尤其是关键业务来说是不可接受的。

要解决这些问题，英特尔® Apache Hadoop*软件发行版支持JobTracker和Primary NameNodedaemon的高可用性（High Availability）功能。

如果其中一个daemon发生故障，则备用daemon将立即托管，集群可继续处理数据，与此同时，系统管理员可进行故障排除解决问题。

本文档解释如何为英特尔® 发行版设置高可用性。

1.1支持的高可用性种类高可用性功能支持JobTracker和Primary NameNode的active-standby配置。

这表示每个PrimaryNameNode在另一个节点上有一个完全冗余的对象，它只有当关联的Primary NameNode发生故障时会在线。

Primary NameNode的冗余对象被称为Standby NameNode。

JobTracker的冗余对象被称为Backup JobTracker。

Primary NameNode的服务和Standby节点上的服务完全一致。

因此，如果Primary NameNode发生故障，则standby节点上接手托管的服务被命名为hadoop-namenode。

如果JobTracker发生故障，则Backup JobTracke节点上接手托管的服务被命名为hadoop-jobtracker。

高可用性配置包括以下四类节点：Standby NameNode、Backup JobTracker、Primary NameNode和JobTracker节点。

如果Primary NameNode服务不可用，则高可用性功能将自动探测故障，并切换到StandbyNameNode。

如果JobTracker服务不可用，则高可用性功能将自动探测故障，并切换到BackupJobTracker。

如果Primary NameNode和JobTracker同时发生故障，则高可用性功能将切换到相应的Standby进程。

发生故障时，通常会产生短时间的服务中断，无需人工干预会自动恢复。

此外，如果在运行作业时JobTracker发生故障，期间所有作业将丢失。

1.2高可用性是如何工作的高可用性功能包含以下服务：•Distributed Replicated Block Device (DRBD) — 是一个用软件实现的、无共享的、服务器之间镜像块设备内容的存储复制解决方案。

也就是说，这是位于不同机器的二个磁盘分区的基于TCP的磁盘冗余阵列（RAID）。

•Pacemaker是一个集群资源管理(CRM) 的框架，它能自动启动、停止、监控和迁移资源。

•Corosync是Pacemaker能够使用的集群通讯层。

在为高可用性配置DRBD时，存在主要和次要设备。

主要设备存在于Primary NameNode。

这一设备是存储NameNode的fs_image的逻辑磁盘分区。

次要设备存在于Standby NameNode。

这一设备是一个大小和主要设备一致的逻辑磁盘分区。

当数据块放入主要设备时，它们会被自动复制到次要设备上。

数据复制是指次要设备仅包含主要设备的数据、但主要设备不从次要设备上获得数据的一种方法。

Pacemaker负责探测Active节点的故障，并启动切换到合适的Standby节点。

服务也管理和监控以下发生故障时切换所需资源：•在Active和Standby节点之间浮动的虚拟IP (VIP)地址。

虚拟IP用于客户机（比如DataNodes和TaskTracker）和active节点的通讯。

•Primary NameNode、Standby NameNode、JobTracker和Backup JobTracker。

•DRBDPacemaker本身是一个集群，它包含了Apache Hadoop*集群中的多个节点。

Pacemaker服务根据quorum做出判断。

也就是说，当Pacemaker集群中的多数节点同意故障切换已发生、而且哪个Standby节点应成为Active节点后，则Pacemaker判断故障已被探测到，且切换已启动。

如果Primary NameNode发生故障，则Pacemaker会将之切换到Standby NameNode。

因为StandbyNameNode可访问DRBD次要设备，且这一设备包含和Primary NameNode的fs_image完全相同的复制品，存储在HDFS的数据不会丢失，客户机仍可通过Standby NameNode访问这些数据。

合集下载

hadoop运维手册

hadoop运维手册

目录一、hadoop服务启停 (2)各组件和对应的服务名 (2)一次完整的启动过程 (3)一次完整的关闭过程 (3)二、应用服务启停及说明 (3)系统说明： (3)启停说明： (4)三、常用的运维操作 (5)1、修改原有文件的备份数 (5)2、检查hadoop block健康状态 (5)3、更新调度器调度文件 (5)4、杀死正在运行的Job (5)5、离开safe mode (6)四、hdfs目录用途说明 (6)一、hadoop服务启停Hadoop服务启动：service <server_name> start,例：启动namenode为service hadoop-hdfs-namenode start说明：查看是否正常启动，首先看启动是的提示是否为[ok],其次jps查看是否有相应的进程名Hadoop服务停止：service <server_name> stop,例：停止namenode为service hadoop-hdfs-namenode stopzookeeper启动： zkServer.sh start说明：查看是否正常启动zkServer.sh status，查看状态，其中一台的状态为leader，其余均为followerzookeeper停止： zkServer.sh stop各组件和对应的服务名一次完整的启动过程1、启动所有zookeeper2、启动所有的JournalNode3、启动两台NameNode及zkfc，这里可以通过查看namenode的web页面，查看两台机器的状态，一台为active，另一台为standby4、启动所有的DataNode5、启动两台ResourceManager，这里可以通过查看resourceManager的web页面6、启动所有的NodeManager7、启动JobHistory一次完整的关闭过程1、停止JobHistory2、停止所有的NodeManager3、停止两台ResourceManager4、停止所有的DataNode5、停止两台NameNode及ZKFC6、停止所有的JournalNode7、停止所有的zookeeper二、应用服务启停及说明系统说明：应用系统均分为前台和后台，前台为tomcat服务器，后台为shell脚本，对应关系如下表格启停说明：各个应用系统启动类似，特做统一说明，注意：所有服务必须使用tools用户启动，即所有启动操作均需要切换成tools用户再操作前台启动:启动tomcat:cd /opt/app/apache-tomcat-6.0.35/bin./startup.sh停止tomcatcd /opt/app/apache-tomcat-6.0.35/bin./shutdown.sh后台启动：启动：启动上述表格中后台启动shell即可。

intel Hadoop方案介绍

intel Hadoop方案介绍


英特尔Hadoop发行版结构化数据连接器 (Sqoop)
提供高效在Hadoop和结构化数据源（比如关系型数据库、数据文件）之间 双向传送数据的连接器组件。它将数据传输任务转换为分布式Map任务实 现，在传输过程中还可以实现数据转换等功能，完成传统数据源和Hadoop 之间ETL的任务。
基本特点: 使用MapReduce框架并行传送，效率高 可以实现增量同步和完全同步 提供扩充接口，实现复制转换
Map/Reduce 1.0.3
Zookeeper 3.4.5
大数据在中国
英特尔Hadoop发行版生态系统
6
英特尔Hadoop发行版分布式文件系统(HDFS)
针对大规模数据的高容错性和高吞吐的分布式 文件系统。它可以构建从几台到几千台由常规 服务器组成的集群中，并提供高聚合输入输出 的文件读写访问。 主要特点 使用低成本存储和服务器构建高可靠性和容错 性系统，数据自动复制 ，可自我修复 支持GB到TB级别大数据文件，提供PB级别的 存储容量 为流式数据访问优化，简化“一致性”，适合 一次写入、多次读 高聚合带宽，高并发访问 移动“计算”比移动“数据”更便宜 ，提供 同节点数据存放和计算能力
4
大数据在中国
英特尔Hadoop发行版
英特尔Hadoop发行版组件
稳定的企业级hadoop发行版 HBase改进和创新，为Hadoop提供实时数据处理能力 利用硬件新技术进行优化 针对行业的功能增强，应对不同行业的大数据挑战
Intel Hadoop Manager 2.2
安装、部署、配置、监控、告警和访问控制
Map(k,v) (k’,v’) Group (k’,v’) by k’ Reduce(k’, v’[]) v’’
hadoop高可用集群搭建

hadoop高可用集群搭建

Hadoop高可用集群搭建一、Hadoop高可用原理1.原理Hadoop高可用（Hadoop High Availability），是保证业务连续性的有效解决方案，通常通过设置备用节点的方式实现。

一般将执行业务的名称节点称为活动节点（Active），另一个名称节点作为备用的节点（Standby），当活动节点出现问题导致业务不能正常的执行时，备用节点此时就会监测到，并立即切换为活动状态，从而保证业务的正常运行而不会被中断。

Node高可用NameNode是HDFS的核心，如果NameNode失效了，那么整个HDFS也就不能提供服务了，所以Hadoop提供了高可用的方案，即Hadoop HA；HDFS提供了两种高可用的方案：一种是基于QJM（Quorum Journal Manager），另一种是基于NFS的。

这里使用QJM来解决NameNode的单点故障问题，解决的方案就是在HDFS集群中建立多个NameNode节点。

为了保证NameNode元数据的一致性和编辑日志的安全性，采用Zookeeper 来存储编辑日志文件。

多个NameNode节点中只有一个是处于Active状态的，其余都是Standby 状态，同一时间只能有一个处于Active状态的NameNode节点。

多个NameNode上存储的元数据是实时同步的，当Active的NameNode出现故障时，通过Zookeeper实时切换到Standby的NameNode上，并将状态改为Active。

HDFS HA架构中有两台NameNode节点，一台是处于活动状态（Active）为客户端提供服务，另外一台处于热备份状态（Standby）。

DataNode会将心跳信息和Block汇报信息同时发给两台NameNode，DataNode只接受Active NameNode发来的文件读写操作指令。

为了使备用节点保持其状态与Active节点同步，两个节点都与一组称为“JournalNodes”（JN）的单独守护进程通信。

Hadoop各商业发行版之比较

Hadoop各商业发行版之比较

Hadoop各商业发行版之比较Hadoop 的发行版除了社区的Apache Hadoop 外，Cloudera ，Hortonworks ，MapR ，EMC ，IBM ，Intel ，华为等都提供了自己的商业版本。

商业版主要是提供了专业的技术支持，这对一些大型企业尤其重要。

每个发行版都有自己的一些特点，本文就各个发行版做简单介绍。

2008 年成立的Cloudera 是最早将 Hadoop 商用的公司，为合作伙伴提供Hadoop 的商用解决方案，主要是包括支持，咨询服务，培训。

2009 年Hadoop 的创始人 DougCutting 也加盟 Cloudera 公司。

Cloudera 产品主要为CDH ， Cloudera Manager ， Cloudera Support 。

CDH 是 Cloudera 的Hadoop 发行版，完全开源，比 Apache Hadoop 在兼容性，安全性，稳定性上有所增强。

Cloudera Manager 是集群的软件分发及管理监控平台，可以在几个小时内部署好一个 Hadoop 集群，并对集群的节点及服务进行实时监控。

Cloudera Support 即是对 Hadoop 的技术支持。

Cloudera 的标价为每年每个节点 4000 美元。

2011 年成立的Hortonworks 是雅虎与硅谷风投公司 Benchmark Capital 合资组建的公司。

公司成立之初就吸纳了大约 25 名至 30 名专门研究 Hadoop 的雅虎工程师，上述工程师均在 2005 年开始协助雅虎开发 Hadoop ，这些工程师贡献了 Hadoop 80% 的代码。

雅虎工程副总裁、雅虎 Hadoop 开发团队负责人 Eric Baldeschwieler 出任 Hortonworks 的首席执行官。

Hortonworks 的主打产品是 Hortonworks Data Platform (HDP) ，也同样是 100% 开源的产品， HDP 除了常见的项目外还包含了 Ambari ，一款开源的安装和管理系统。