Cloudera大数据平台环境搭建(CDH5.13.1)傻瓜式说明书

cdh安装hadoop教程CDH（Cloudera's Distribution including Apache Hadoop）是一种基于Apache Hadoop的大数据处理平台，它提供了一套完整的Hadoop生态系统工具和组件。

CDH安装教程一共包含以下几个步骤：1. 系统准备：在开始安装之前，我们需要确保系统满足CDH的最低要求。

CDH要求操作系统为RHEL / CentOS 6或7，并且至少有8GB的内存，2个vCPU，100GB的磁盘空间和64位操作系统。

此外，还需要配置主机名、网络和防火墙设置。

2. JDK安装：CDH依赖于Java运行环境。

首先需要在系统上安装JDK。

可以从Oracle官方网站或OpenJDK获取JDK安装包。

安装JDK后，还需要设置JAVA_HOME环境变量。

3. CDH下载：在安装CDH之前，我们需要从Cloudera官网下载CDH安装包。

Cloudera提供了几个版本，包括CDH4、CDH5和CDH6。

根据需要选择合适的版本下载。

4. 安装CDH：解压CDH安装包，并根据官方文档进行安装。

安装过程中需要指定一个安装目录和一个临时目录，还需要配置Hadoop配置文件如core-site.xml、hdfs-site.xml、yarn-site.xml等。

这些配置文件用于定义Hadoop集群的相关属性，如数据节点、名称节点、资源管理器等。

5. 启动Hadoop集群：完成CDH安装后，我们需要启动Hadoop集群。

首先启动HDFS服务，然后启动YARN服务。

可以使用启动脚本启动Hadoop集群，或者使用Cloudera Manager进行管理。

6. 验证集群状态：一旦Hadoop集群成功启动，我们需要验证集群的状态。

可以通过命令行工具hdfs dfs -ls /或yarn node -list来检查HDFS和YARN的状态。

如果一切正常，应该能够看到节点列表和文件系统的目录。

cdh运维手册CDH运维手册是一份详细介绍CDH（Cloudera Distribution of Hadoop）运维过程的指南。

本文旨在帮助运维人员更好地掌握CDH的部署、管理、维护及优化方法，以确保集群稳定高效运行。

I.引言CDH是基于Apache Hadoop的分布式大数据处理平台，包括Hadoop、Spark、Hive、Pig等组件。

在实际应用中，CDH面临着复杂的运维挑战。

为了提高运维效率，降低故障风险，我们需要深入了解CDH的运维流程。

II.CDH简介CDH（Cloudera Distribution of Hadoop）是Cloudera公司推出的一款大数据处理平台。

它包含了Hadoop的核心组件，如HDFS、YARN、MapReduce等，以及一系列数据处理工具，如Spark、Hive、Pig等。

CDH 提供了一整套大数据解决方案，满足企业在数据存储、分析、挖掘等方面的需求。

III.CDH运维流程A.环境搭建：根据业务需求，选择合适的硬件资源、网络环境和操作系统。

搭建CDH集群，包括配置核心组件和相关工具。

B.数据迁移：将原始数据迁移至CDH集群，根据数据特点选择合适的存储格式和压缩算法。

C.运维管理：监控CDH集群的运行状态，包括资源使用情况、任务进度、日志等。

定期进行性能评估，优化集群配置。

D.故障排查：遇到问题时，快速定位故障原因，采取相应措施进行解决。

E.性能优化：针对CDH集群的性能瓶颈，采取调整参数、优化任务流程等措施，提高集群性能。

F.安全防护：确保CDH集群的安全性，防范外部攻击和内部安全风险。

IV.运维工具与技巧A.常用工具：掌握CDH运维过程中所需的常用工具，如Hadoop DistCp、Hive Query、Spark Submission等。

B.自动化脚本：编写自动化脚本，实现批量任务调度、日志收集、性能监控等功能。

C.监控与报警：搭建CDH集群监控系统，实现实时报警，确保问题及时发现并处理。

ClouderaManager及CDH升级说明书升级内容1、升级Cloudera Manager Server到5.12.1版本2、升级Cloudera Manager Server DB 到5.12.1版本3、升级Cloudera Manager agent 到5.12.1版本4、升级CDH到5.12.1版本5、升级JDK到1.8版本6、按照Spark2.2升级步骤1、收集升级信息a)主机认证信息：集群使用hdroot用户安装。

b)当前CM版本号：Cloudera Express 5.4.8 (#7 built by jenkins on 20151023-1203git: d7dbdf29ac1d57ae9fb19958502d50dcf4e4fffd)c)当前CDH版本号：CDH 5.4.8, Parceld)Cloudera Manager用户名和密码e)集群启用的服务：i.Flumeii.Hbaseiii.HDFSiv.Hivev.Impalavi.Kafkavii.Sqoop2viii.YARNix.ZookKeeperx.Cloudera Management Servicef)集群使用Parcel安装，版本为CDH 5.4.8g)JDK版本：openjdk1.7h)操作系统版本：CentOS6.72、数据库备份a)Cloudera Manager数据库备份i.查看数据库连接信息：cat /etc/cloudera-scm-server/db.propertiesii.备份语句：pg_dump -h localhost -p 7432 -U scm >/home/clusterUpdate/scm_server_db_backup.$(date +%Y%m%d)b)元数据库备份i.Hive：mysqldump -uroot hive > /home/clusterUpdate/hive.sqlii.amon：mysqldump -uroot amon > /home/clusterUpdate/amon.sqliii.rman：mysqldump -uroot rman > /home/clusterUpdate/rman.sql3、升级Cloudera Managera)首先停止集群上的所有服务b)停止Cloudera Manager server：service cloudera-scm-server stopc)停止Cloudera Manager server DB：service cloudera-scm-server-db stopd)停止Cloudera Manager client：service cloudera-scm-agent stope)修改yum信息（所有服务器）：i.vi cloudera-manager.repo[cloudera-manager]name = Cloudera Manager, Version 5.12.1baseurl = /cm5/redhat/6/x86_64/cm/5.12.1/gpgkey = /cm5/redhat/6/x86_64/cm/RPM-GPG-KEY-cloudera gpgcheck = 1f)清理yum缓存：yum clean allg)建立yum索引：yum makecache allh)升级Cloudera Manager服务：yum upgrade cloudera-manager-*4、升级JDK（所有服务器）cd /home/clusterUpdate/tar -zxvf jdk-8u144-linux-x64.tar.gzmkdir -p /usr/local/javacp -R jdk1.8.0_144/ /usr/local/java/yum -y remove java*echo JAVA_HOME=/usr/local/java/jdk1.8.0_144 >> /etc/profileecho JRE_HOME=/usr/local/java/jdk1.8.0_144/jre >> /etc/profileecho SCALA_HOME=/opt/scala-2.11.4 >> /etc/profileecho SPARK_HOME=/opt/cloudera/parcels/SPARK2-2.2.0.cloudera1-1.cdh5.12.0.p0.142354/lib/spark2 >> /etc/profileechoCLASSPATH=.:\$JAVA_HOME/lib/dt.jar:\$JAVA_HOME/lib/tools.jar:\$JRE_HOME/lib >>/etc/ profileecho PATH=\$SCALA_HOME/bin:\$JAVA_HOME/bin:\$PATH >>/etc/profileecho export PATH JAVA_HOME CLASSPATH SCALA_HOMESPARK_HOME >>/etc/profilesource /etc/profileecho $JAVA_HOMEecho $CLASSPATHecho $PATHecho $SCALA_HOMEecho $SPARK_HOMEjava -version5、启动Cloudera Manager服务a)启动Cloudera Manager server DB：service cloudera-scm-server-db restartb)启动Cloudera Manager server：service cloudera-scm-server restartc)启动Cloudera Manager client：service cloudera-scm-agent restart6、升级客户端a)Web访问地址：http://<cloudera-server-IP>:7180/cmf/loginb)c)/cm5/redhat/6/x86_64/cm/5.12.1//cm5/redhat/6/x86_64/cm/RPM-GPG-KEY-clouderad) e)f) g)h) i)j)k)l)修改内嵌数据库提示：i.搜索Enable Embedded Database Checkm)修改JDK_HOME：i.搜索Java：/usr/local/java/jdk1.8.0_1447、升级CDH到5.12.1a)备份NameNode数据(cloudera01服务器和cloudera02服务器)cd /mnt/app/dfs/nn1tar -cvf /home/clusterUpdate/nn1_backup_data.tar .cd /mnt/app/dfs/nn2tar -cvf /home/clusterUpdate/nn2_backup_data.tar .b)升级CDHc)d) e)。

一、cloudera-quickstart的安装（1）在官网上下载一种版本的cloudera-quickstart（有三种不同版本分别对应的可以在三种不同的虚拟机上运行）（2）根据下载的不同版本下载虚拟机（VMware or VisualBox）（3）以VisualBox虚拟机为例则可以运行cloudera-quickstar的基本配置如下：RAM内存至少为8G虚拟处理器分配为两个（4）虚拟机配置好以后，不用先安装Linux操作系统。

因为cloudera-qiuckstart对包括操作系统在内的都已经打好包了，所以只需将下载的cloudera-quickstart的虚拟磁盘（比如：cloudera-quickstart-vm-5.1.0-1-virtualbox-disk1.vmdk）添加到虚拟机控制器的位置然后启动虚拟机中的该的系统，cloudera-quickstart所包含的一整套系统就可以使用了，这就是quickstart 版本的方便之处。

具体操作如下：进入配置好的虚拟机页面，选择“存储”，然后点下图红圈标注的位置会弹出来如下对话框，选择“使用现有的虚拟盘”然后再找到你下载的cloudera-quickstart的虚拟磁盘所在的位置，点击“打开”则虚拟磁盘就被添加进去了，如下图所示最后启动该系统对于win7系统上如果安装VMware虚拟机有可能在启动虚拟磁盘时会提示出现内部错误（如下图所示），此时只需要以管理员身份运行虚拟机就可以解决该问题了。

二、cloudera manager控制页面启动虚拟机进入cloudera-quickstart操作系统桌面后，会自动跳出浏览器上cloudera的控制平台。

但有可能会出现接口连接不上服务器的状况，如下图所示：此时有两种解决方法：（1）点击桌面上的“Launch cloudera manager”(2)打开Linux的控制终端输入：“sudo/home/cloudera/cloudera-manager--force”一般我比较喜欢采取第二种方法。

Cloudera manage（离线）安装手册
1. 准备工作
1.1. 系统环境
硬件设备：16G内存，1.8T
网络组成：
172.16.41.41 j1
172.16.41.42 j2
172.16.41.43 j3
操作系统：Centos6.4 64位
1.2. 安装JDK
从官方网站上下载rpm包，本次使用版本1.7.0_79（CDH5可能支持1.7之前的版本，具体情况未经测试），执行命令：
rpm -ivhjdk-7u60-linux-x64.rpm
由于是rpm包并不需要我们来配置环境变量，我们只需要配置一个全局的JAVA_HOME变量即可，执行命令：
echo &quot;JAVA_HOME=/usr/java/latest/&quot; &gt;&gt;/etc/environment
执行命令，查看Jdk是否安装正确
java -version
javac -version
1.3. 修改主机名
修改/etc/sysconfig/network文件： NETWORKING=yes
HOSTNAME=j1
其中HOSTNAME与主机名一致。

主机名如果跟系统安装时不一致请执行hostname命令让其立即生效，否则会影响各节点互相访问，命令如下：
hostname master
修改/etc/hosts文件，添加： 172.16.41.41 j1
172.16.41.42 j2
172.16.41.43 j3。

大数据平台用户手册修订记录目录1.前言 (1)1.1.系统介绍 (1)1.2.目标用户 (1)2.运行环境 (1)2.1.现有服务器及配置 (1)2.2.生产环境部署 (2)2.3.生产环境服务器及配置 (2)2.4.私有环境部署 (3)2.5.私有环境服务器及配置 (3)3.系统功能 (4)3.1.平台管理中心 (4)3.1.1.平台总览 (4)3.1.2.资源管理 (4)3.1.3.数据连接管理 (8)3.2.数据开发中心 (9)3.2.1.项目列表 (9)3.2.2.离线同步中心 (12)3.2.3.离线开发中心 (15)3.2.4.实时同步中心 (19)3.2.5.实时开发中心 (21)3.3.运维监控中心 (24)3.3.1.概述 (24)3.3.2.离线运维中心 (24)3.3.3.实时运维中心 (27)3.4.数据资产中心 (29)3.4.1.概述 (29)3.4.2.数据资产概览 (29)3.4.3.元数据管理 (30)3.4.4.元数据检索 (32)3.5.数据服务中心 (34)3.5.1.概述 (34)3.5.2.数据服务开发 (34)3.5.3.数据服务管理 (36)3.5.4.应用管理 (38)3.6.算法平台中心 (40)3.6.1.概述 (40)3.6.2.功能操作 (40)4.注意事项 (41)1.前言1.1.系统介绍大数据平台是自主研发的企业级大数据中台产品，旨在帮助用户快速收集数据、快速整理数据、快速构建数仓、数据服务管理以及数据资产管理。

通过平台可构建PB级别数据仓库及进行数据价值的深度挖掘，实现超⼤规模数据的资产化。

自主研发的全链条、一体化、轻量级、开放式的通用大数据平台，平台通过对海量历史与实时数据的采集、计算、存储、分析、挖掘、推荐，极大提升数据开发和应用的效率。

1.2.目标用户项目管理员，项目开发人员，项目运维人员，安全管理员，业务人员。

2.运行环境2.1.现有服务器及配置2.2.生产环境部署2.3.生产环境服务器及配置2.4.私有环境部署2.5.私有环境服务器及配置3.系统功能3.1.平台管理中心3.1.1.平台总览3.1.1.1.功能描述➢总体展示平台的总体功能模块，点击选择功能模块快速进入对应页面。

4、检查swappiness不能超过10cat /proc/sys/vm/swappiness如果超过10运行时执行echo 0 > /proc/sys/vm/swappiness保持重启之后继续生效vim /etc/sysctl.confvm.swappiness=05、设置下面内容echo never > /sys/kernel/mm/transparent_hugepage/defrag echo never > /sys/kernel/mm/transparent_hugepage/enabled为了重启之后也生效vim /etc/rc.local添加：echo never > /sys/kernel/mm/transparent_hugepage/defrag echo never > /sys/kernel/mm/transparent_hugepage/enabled二、安装准备1、准备cm包1、将cm包放到安装http服务的节点mkdir /opt/cmallkeys.asccloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpmcloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpmcloudera-manager-server-6.3.1-1466458.el7.x86_64.rpmcloudera-manager-server-db-2-6.3.1-1466458.el7.x86_64.rpm enterprise-debuginfo-6.3.1-1466458.el7.x86_64.rpmoracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm2、创建本地yum仓库createrepo .若createrepo命令未发现，需要安装createrepoyum -y install createrepo再次执行createrepo .3、在/etc/yum.repo.d/目录下增加cm.repo文件vim /etc/yum.repos.d/cm.repo添加以下内容：[cmrepo]name=CMbaseurl=http://hostname:9052/cmgpgcheck=falseenabled=true4、验证CM源是否配置成功yum repolist5、将cm.repo分发到其余各节点2、准备cdh parcel包1、mkdir/opt/cdh将parcel包放到文件夹CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcelCDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha256manifest.json2、mkdir/opt/cdh/flink将flink parcel包放到该文件下FLINK-1.13.3-bin-scala-2.11-el7.parcelFLINK-1.13.3-bin-scala-2.11-el7.parcel.shamanifest.json3、将FLINK_ON_YARN-1.13.3.jar放到cm节点的/opt/cloudera/csd并修改文件夹权限sudo chown cloudera-scm:cloudera-scm/opt/cloudera/*3、在mysql创建数据库和用户并授权#scmCREATE DATABASE scm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;CREATE USER 'scm'@'%' IDENTIFIED BY'password';GRANT ALL ON scm.* TO 'scm'@'%' ;FLUSH PRIVILEGES;#Activity MonitorCREATE DATABASE am DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;CREATE USER 'am'@'%' IDENTIFIED BY'password';GRANT ALL ON am.* TO 'am'@'%';FLUSH PRIVILEGES;#Reports ManagerCREATE DATABASE rm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;CREATE USER 'rm'@'%' IDENTIFIED BY'password';GRANT ALL ON rm.* TO 'rm'@'%' ;FLUSH PRIVILEGES;#HueCREATE DATABASE hue DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;CREATE USER 'hue'@'%' IDENTIFIED BY'password';GRANT ALL ON hue.* TO 'hue'@'%';FLUSH PRIVILEGES;#HiveCREATE DATABASE hive DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;CREATE USER 'hive'@'%' IDENTIFIED BY'password';GRANT ALL ON hive.* TO 'hive'@'%' ;FLUSH PRIVILEGES;#OozieCREATE DATABASE oozie DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;CREATE USER 'oozie'@'%' IDENTIFIED BY'password';GRANT ALL ON oozie.* TO 'oozie'@'%' ;FLUSH PRIVILEGES;4、在cm节点配置jdbc驱动# mkdir -p /usr/share/java# mv mysql-connector-java-5.1.34.jar/usr/share/java/# cd /usr/share/java/# ln -s mysql-connector-java-5.1.34.jar mysql-connector-java.jar5、如果cms节点的/usr/java/default/下没有jdk，用下面方式安装yum -y install oracle-j2sdk1.8-1.8.0+update181-1三、安装1、安装 cloudera-manager-serveryum -y install cloudera-manager-server2、初始化cm数据库/opt/cloudera/cm/schema/scm_prepare_database.sh mysql scm scm password3、启动cm serversystemctl start cloudera-scm-server4、访问7180端口， admin admin配置parcel 路径：http://hostname:9052/cdh。

ClouderaManager大数据平台部署指南一、简介ClouderaManager是一款用于管理和监控大数据平台的工具，它提供了一套集中式的管理界面，可以帮助用户轻松部署、配置和监控大数据集群。

本文将详细介绍ClouderaManager的部署过程，包括环境准备、安装步骤和常见问题解决方法。

二、环境准备1. 操作系统要求ClouderaManager支持多种操作系统，包括CentOS、Red Hat Enterprise Linux、Ubuntu等。

在开始部署之前，请确保您的操作系统符合ClouderaManager的要求，并已经完成了基本的系统设置。

2. 硬件要求为了保证ClouderaManager的性能和稳定性，建议您在部署之前对硬件进行评估，并选择合适的硬件配置。

通常情况下，建议至少具备以下硬件配置：- CPU：双核或更高- 内存：8GB或更高- 硬盘：至少100GB的可用空间3. 网络要求ClouderaManager需要与集群中的各个节点进行通信，因此请确保网络连通性良好，并且所有节点都能够访问ClouderaManager的管理界面。

4. 软件要求在开始部署之前，您需要安装以下软件：- Java Development Kit (JDK)：ClouderaManager需要JDK来运行，请确保您已经安装了适当版本的JDK。

- 数据库：ClouderaManager需要一个数据库来存储配置信息和监控数据。

常见的选择包括MySQL、PostgreSQL等。

三、安装步骤1. 下载ClouderaManager首先，您需要从Cloudera官方网站上下载ClouderaManager的安装包。

请确保您选择了与您操作系统版本相对应的安装包。

2. 安装ClouderaManager Server在安装ClouderaManager Server之前，请确保您已经满足了所有的环境准备要求。

接下来，您可以按照以下步骤来安装ClouderaManager Server：- 解压安装包：使用适当的命令解压下载的安装包。

CDP使用指南2021年05月12日目录1.文档说明 (8)2.CDP平台介绍 (8)2.1.CDP平台简介 (9)2.2.C LOUDERA M ANAGER概览 (10)2.3.C LOUDERA R UNTIME (11)2.4.工具 (11)2.5.设置对基于阿里云部署的CDP的访问权限 (12)2.5.1.配置SOCKS代理 (12)2.5.2.启动SOCKS代理 (12)2.5.3.配置Google Chrome浏览器以使用代理 (13)2.5.4.网络安全组 (14)3.CLOUDERA MANAGER (15)3.1.术语 (15)3.1.1.部署 (16)3.1.2.动态资源池 (16)3.1.3.集群 (16)3.1.4.主机 (16)3.1.5.机架 (16)3.1.6.服务 (16)3.1.7.服务实例 (17)3.1.8.角色 (17)3.1.9.角色实例 (17)3.1.10.角色组 (17)3.1.11.主机模板 (17)3.1.12.网关（Gateway） (17)3.1.13.Parcel (18)3.1.14.静态服务池 (18)3.2.C LOUDERA M ANAGER架构 (18)3.2.1.心跳 (19)3.3.状态管理 (19)3.4.C LOUDERA M ANAGER 管理控制台 (20)3.4.1.Cloudera Manager管理控制台主页 (24)3.4.2.自动登出 (28)3.5.进程管理 (30)3.6.主机管理 (30)3.7.C LOUDERA M ANAGER A GENT (31)3.7.1.cm_processes (31)3.8.资源管理 (32)3.9.用户管理 (33)3.10.安全管理 (33)3.11.使用C LOUDERA M ANAGER监控集群 (33)3.12.C LOUDERA M ANAGEMENT S ERVICE (35)3.12.1.健康测试 (35)3.12.2.指标收集和显示 (36)3.12.3.事件、警报和触发器 (36)3.13.集群配置概述 (37)3.14.服务器和客户端配置 (38)3.15.C LOUDERA M ANAGER API (39)3.16.虚拟专用集群和C LOUDERA SDX (39)3.16.1.分离计算和数据资源的优势 (40)3.16.2.架构 (40)3.16.3.权衡性能 (42)3.16.4.虚拟专用集群的兼容性注意事项 (42)3.16.5.虚拟专用集群的网络注意事项 (47)4.CDP核心组件 (53)4.1.C LOUDERA R UNTIME组件版本 (53)4.2.分布式文件系统HDFS (57)4.3.实时数据库HB ASE (58)4.4.列式存储引擎K UDU (60)4.5.统一资源管理和调度框架 (61)4.6.分布式计算框架–T EZ (66)4.7.数据仓库组件–H IVE (68)4.8.SQL分析引擎I MPALA (69)4.9.HB ASE SQL查询引擎P HOENIX (71)4.10.C LOUDERA整合全文检索引擎 (73)4.11.分布式内存计算框架–S PARK (76)4.12.数据库接入工具S QOOP (78)4.13.C LOUDERA一站式安全管理 (83)4.14.分布式消息队列K AFKA (93)4.15.A PACHE A TLAS (95)5.CLOUDERA安全概述 (98)5.1.概述 (98)5.1.1.安全要求 (99)5.1.2.安全等级 (99)5.1.3.Hadoop安全架构 (100)5.2.认证概述 (101)5.2.1.Kerberos概述 (102)5.2.2.Kerberos部署模型 (103)5.2.3.使用TLS/SSL进行安全的Keytab分发 (109)5.2.4.使用向导或手动过程来配置Kerberos身份验证 (110)5.2.5.集群组件使用的身份验证机制 (110)5.3.加密概述 (111)5.3.1.保护静态数据 (111)5.3.2.保护传输中的数据 (114)5.3.3.Hadoop项目中的数据保护 (115)5.3.4.加密机制概述 (117)5.4.授权概述 (117)5.4.1.Hadoop中的授权机制 (118)5.4.2.与身份验证机制的身份验证机制集成 (119)5.4.3.Hadoop项目中的授权 (120)5.5.治理概述 (121)5.5.1.什么是Apache Atlas？ (121)5.5.2.Apache Atlas使用元数据创建血统关系 (121)5.5.3.添加到实体元数据使搜索更加容易 (121)5.5.4.Apache Atlas体系结构 (122)6.CLOUDERA最佳实践 (123)6.1.I MPALA分区 (123)6.1.1.文件计数和文件大小 (123)6.1.2.分区注意事项 (124)6.1.3.指南总结 (126)6.2.I MPALA性能 (126)6.2.1.Kudu RPC (126)6.2.2.设立专门的协调员 (127)6.2.3.按需元数据和元数据管理 (130)6.3.加速S PARK ML应用 (153)6.3.1.Spark ML的原生数学库 (153)6.3.2.启用libgfortran库 (154)6.3.3.启用英特尔MKL库 (156)6.3.4.性能比较 (157)7.故障排查 (159)7.1.安全故障排查 (159)7.1.1.错误信息和各种故障 (159)7.1.2.身份验证和Kerberos问题 (167)7.1.3.HDFS加密问题 (179)7.1.4.Key Trustee KMS加密问题 (181)7.1.5.对Cloudera Manager中的TLS/SSL问题进行故障排除 (182)7.2.YARN、MR V1和L INUX OS安全性 (185)7.2.1.MRv1和YARN：jsvc程序 (185)7.2.2.仅限MRv1：Linux TaskController (186)7.2.3.仅限YARN：Linux容器执行器 (186)7.3.对I MPALA进行故障排除 (187)7.3.1.使用Breakpad Minidumps进行崩溃报告 (188)7.4.对A PACHE Y ARN进行故障排查 (190)7.4.1.在YARN上对Docker进行故障排除 (190)7.4.2.对Linux Container Executor进行故障排除 (200)7.5.对HB ASE进行故障排除 (202)7.5.1.使用HBCK2工具修复HBase集群 (203)7.5.2.Thrift Server在收到无效数据后崩溃 (203)7.5.3.HBase正在使用比预期更多的磁盘空间 (204)7.5.4.对RegionServer分组进行故障排除 (205)7.6.对APACHE KUDU进行故障排除 (206)7.6.1.启动或重启主服务器或者Tablet服务器时出现问题 (206)7.6.2.磁盘空间使用问题 (207)7.6.3.性能问题 (208)7.6.4.可用性问题 (214)7.6.5.象征堆栈跟踪 (216)7.6.6.在多主服务器部署中从死掉的Kudu主服务器中恢复 (218)7.7.对C LOUDERA S EARCH进行故障排除 (218)7.7.1.故障排除 (218)7.7.2.动态Solr分析 (219)7.7.3.其他故障排除信息 (220)7.7.4.找出Cloudera Search部署中的问题 (220)7.7.5.Cloudera Search配置和日志文件 (223)7.8.对H UE进行故障排查 (226)7.8.1.Hue负载平衡器无法在各个Hue服务器之间平均分配用户 (226)7.8.2.无法使用SAML对Hue中的用户进行身份验证 (227)7.8.3.清理旧数据以提高性能 (227)7.8.4.无法使用提供的凭据连接到数据库 (229)7.8.5.在Hue UI上激活Hive查询编辑器 (230)7.8.6.查询执行在Hue中完成，但显示为在Cloudera Manager Impala查询页面上执行 (231)7.8.7.查找Hue超级用户列表 (232)7.8.8.通过Knox访问Hue时，用户名或密码不正确 (233)7.8.9.从Knox访问Hue UI时出现HTTP 403错误 (234)7.8.10.无法从Knox Gateway UI访问Hue (236)7.8.11.引荐检查失败，因为域与任何受信任的来源都不匹配 (239)7.8.12.无法查看Snappy压缩文件 (239)7.8.13.启用SAML时出现“未知属性名称”异常 (241)7.8.14.Impala查询因无效的查询句柄错误而失败 (242)7.8.15.PostgreSQL支持的服务失败或挂起 (243)7.8.16.验证Hue中的LDAP用户时出错 (244)7.8.17.从负载均衡器访问Hue时出现502代理错误 (245)7.8.18.提交Hive查询后，无效的方法名称：“ GetLog”错误 (246)7.8.19.在Hue中提交查询时出现“授权异常”错误 (246)7.8.20.无法更改Hue中的压缩表 (248)7.8.21.从Hue访问“搜索”应用程序（Solr）时出现连接失败错误 (249)7.8.22.从顺化下载查询结果需要时间 (250)7.8.23.启用TLS后，Hue Load Balancer无法启动 (250)7.8.24.无法终止以Kerberized集群运行的Hue作业浏览器中的Hive查询 (251)7.8.25.无法在受Knox保护的集群上的Hue中查看或创建Oozie工作流 (252)7.8.26.1040，“连接太多”异常 (253)8.参考资料 (254)1.文档说明本文档主要是基于阿里云部署的CDP的操作使用和介绍，关于CDP平台的操作和使用信息来源Cloudera官网，大家可以访问https:///cdp-private-cloud-bas e/latest/index.html来获取对应的信息。

CDH大数据集群部署手册cdh5.14版本目录一、概述 (3)二、集群部署准备 (3)1.集群硬件信息 (3)2.集群服务部署规划 (4)3.管理节点到其他节点免密钥配置 (5)4.系统优化 (5)5.时钟同步 (6)6.CDH本地yum源搭建 (9)7.MySQL主从安装配置 (9)8.创建集群各服务的数据库 (13)三、应用部署 (13)1.cloudera manager server安装 (13)2.cloudera management service安装 (18)3.hdfs安装 (19)4.zookeeper安装 (20)5.yarn安装 (20)6.hive安装 (21)7.spark安装 (21)8.hbase安装 (22)9.impala安装 (23)10.oozie安装 (24)11.sqoop安装 (25)12.sqoop2安装 (25)13.kafka安装 (25)14.kudu安装 (26)15.hue安装 (27)16.hdfs高可用 (28)17.yarn高可用 (30)18.hiveserver2负载均衡 (30)19.impalad负载均衡 (33)20.hue 配置负载均衡的hiveserver2和impala (35)四、安全部署 (35)1.Kerberos高可用安装 (35)2.集群enable Kerberos (41)3.sentry安装 (43)4.OpenLDAP安装 (46)5.Linux系统集成OpenLDAP (51)6.hue集成ldap用户同步 (54)7.hive集成LDAP认证 (57)8.impala集成LDAP认证 (57)9.LDAP图形客户端Apache Directory Studio (58)五、集群参数调优 (63)六、总结 (66)一、概述针对海尔大数据应用的需求，本文完成了CDH5.12大数据集群的部署，并记录了详细步骤。

Cloudera大数据平台环境搭建（CDH5.13.1版）目录................................................................................................1.基础环境....................................................................................1.1.软件环境......................................................................................1.2.配置规划......................................................................................1.3.所需要的软件资源 ..............................................................................1.4.修改机器名（所有节点） ........................................................................1.5.设置防火墙（所有节点） ........................................................................1.6.配置免密码登录SSH.............................................................................1.7.关闭SELINUX（所有节点）.......................................................................1.8.修改Linux内核参数（所有节点）.................................................................1.9.其他安装与配置（所有节点） ....................................................................1.10. ............................................................................................................................................... 配置NTP服务1.11. ................................................................................................................... 安装oracleJDK1.8（所有节点）1.12. .................................................................................................................................. Mysql安装（主节点）2.安装CM.....................................................................................2.1.传包，解包 ....................................................................................2.2.创建数据库 ....................................................................................2.3.创建用户......................................................................................2.4.制作本地YUM源 ................................................................................2.5.拷贝jar包 ....................................................................................2.6.修改cloudera-scm-agent配置 ...................................................................2.7.启动CMServer和Agent..........................................................................2.8.访问CM........................................................................................3.安装CDH....................................................................................3.1.登录后界面 ....................................................................................3.2.选择CM版本 ...................................................................................3.3.指定主机......................................................................................3.4.选择CDH版本 ..................................................................................出现“主机运行状态不良”错误..............................................................3.5.检查主机正确性 ................................................................................3.6.选择安装的服务 ................................................................................3.7.角色分配......................................................................................3.8.数据库设置 ....................................................................................测试连接报错：............................................................................3.9.群集设置......................................................................................3.10. ...................................................................................................................................................... 开始安装3.11. ...................................................................................................................................................... 安装完成警告信息： .............................................................................4.常见错误....................................................................................4.1.初始化数据库错误： ............................................................................4.2.未能连接到HostMonitor.........................................................................1.基础环境1.1.软件环境本文将介绍Centos7.4离线安装CDH和ClouderaManager过程，软件版本如下：1.2.配置规划本次安装共5台服务器，服务器配置及用途如下：1.3.所需要的软件资源1)JDK环境：JDK版本：51jdk-8u151-linux-x64.rpm下载地址：2)CM包：CM版本：5.13.1下载地址：3)CDH包CDH版本：5.13.1，；.sha1；manifest.json下载地址：4)JDBC连接jar包：jar包版本：5.1.43，mysql-connector-java-5.1.43.jar下载地址：1.4.修改机器名（所有节点）1)修改机器名称这种方式，在Centos7中可以永久性改变主机名称。

Cloudera Manager5及CDH5在线（cloudera-manager-installer.bin）安装详细文档问题导读：1.Cloudera Manager5如何使用cloudera-manager-installer.bin安装？2.Cloudera Manager5安装被中断该如何继续安装？还是重新安装？3.安装过程cloudera server与agent不能通信该如何解决？4.Cloudera Manager5对是否有要求？5.安装服务的过程中，遇到错误，该如何解决？Cloudera Manager5安装遇到很多的问题，本来Cloudera Manager是为了简化部署，但是由于条件有限，安装Cloudera Manager如果不注意，会成为一部血泪史。

为了避免、多次、重复安装不成功，所以你需要具备以下条件。

1.较好的网速至少2m,否则现在慢的要死2.网络要稳定一旦网络中断，可能你花费了半天或则一天的时间，就有可能会浪费，然后重装。

3.内存要足够大我的电脑是8G:使用虚拟机安装cloudera server：4Gcloudera agent：分别为2G电脑最后很卡，而且内存爆满。

所以官网给出的10G不是没有道理的。

安装系统为ubuntu12.04准备工作规划三台：cloudera scm server 内存分配4Gcloudera scm agent 内存分配2Gcloudera scm agent 内存分配2G同时三台都需要配置hostname及hosts如下（这里一定要配置正确否则，会面会出通信问题）#127.0.1.1 ubuntu 172.16.77.60 CDH 172.16.77.61 CDH1 172.16.77.62 CDH2不知道如何配置，参考ubuntu修改hostname注意：本来想写一个完美的文档，上面有一个小失误，CDH2可以写成CDG2，这里不要照抄，而是失误，不过这个不影响，只要所有的hosts，都配置成这样，通信是没有问题的。

cdh运维手册（原创实用版）目录1.cdh 运维手册概述2.cdh 运维手册的内容3.cdh 运维手册的使用方法4.cdh 运维手册的优点5.总结正文【cdh 运维手册概述】cdh 运维手册是一款针对大数据处理平台 cdh（Cloudera Data Platform）的运维管理手册。

cdh 运维手册内容全面，覆盖了 cdh 平台的各个方面，包括安装、配置、监控、优化等，为运维人员提供了全方位的操作指南。

【cdh 运维手册的内容】cdh 运维手册主要包括以下几个方面的内容：1.安装与配置：介绍如何安装 cdh 平台，以及如何对 cdh 平台进行基本配置，包括各种参数的设置、安全性配置等。

2.监控：介绍如何对 cdh 平台进行监控，包括如何查看各种日志、如何监控平台性能等。

3.优化：介绍如何对 cdh 平台进行性能优化，包括如何进行资源管理、如何进行任务调度等。

4.故障排除：介绍如何处理 cdh 平台可能出现的各种故障，包括如何进行故障诊断、如何进行故障恢复等。

【cdh 运维手册的使用方法】使用 cdh 运维手册时，可以按照手册中的步骤进行操作，也可以根据需要查阅相关章节，获取需要的信息。

【cdh 运维手册的优点】cdh 运维手册的优点主要体现在以下几个方面：1.内容全面：cdh 运维手册覆盖了 cdh 平台的各个方面，无论是安装配置，还是监控优化，都可以在其中找到相关的信息。

2.操作简便：cdh 运维手册的步骤清晰明了，易于理解，即使是初学者也可以按照手册进行操作。

3.实用性强：cdh 运维手册中的内容都是实践中总结出来的，具有很强的实用性，可以有效地解决运维过程中可能遇到的各种问题。

cloudera data platform使用摘要：一、Cloudera Data Platform 概述1.Cloudera 公司的介绍2.CDP 的定义和作用3.CDP 的核心组件二、CDP 的架构与功能1.数据存储层2.数据管理层3.数据处理层4.数据应用层三、CDP 的优势与特点1.高度集成2.统一数据平台3.强大的数据处理能力4.易于扩展四、CDP 在企业中的应用1.数据仓库与分析2.大数据应用3.数据治理与合规4.AI 与机器学习五、CDP 的实施与部署1.实施CDP 的流程2.部署CDP 的关键步骤3.监控与运维正文：Cloudera Data Platform（CDP）是一款由Cloudera 公司开发的一体化数据平台，它集成了数据存储、管理、处理和应用等功能，为企业提供了一个全面、高效的数据解决方案。

CDP 的架构分为四个层次：数据存储层、数据管理层、数据处理层和数据应用层。

数据存储层包括多种存储类型，如HDFS、HBase、Object Storage 等，可满足不同类型数据的需求。

数据管理层负责数据的摄取、存储、清洗、转换等操作，支持多种数据格式和协议。

数据处理层提供了批处理、实时处理和交互式分析等功能，满足各种数据处理需求。

数据应用层则包括了各种数据服务和应用程序，如数据仓库、大数据应用、数据治理等。

CDP 具有高度集成、统一数据平台、强大的数据处理能力和易于扩展等优势。

它能够帮助企业降低数据管理的复杂性，提高数据处理效率，加速数据价值实现。

在企业中，CDP 可以应用于数据仓库与分析、大数据应用、数据治理与合规以及AI 与机器学习等领域。

通过CDP，企业可以更轻松地应对不断增长的数据挑战，实现数据驱动的业务决策。

实施和部署CDP 是企业成功应用CDP 的关键。

实施过程包括需求分析、方案设计、部署实施和培训支持等阶段。

在部署过程中，企业需要关注数据存储、数据处理、数据服务和数据应用等方面的关键步骤。

clouderaCDH安装修订记录目录1.导言 (5)1.1.说明 (5)1.2.集群节点 (5)1.3.硬件 (5)1.4.软件版本 (5)2.准备工作 (5)2.1.操作系统 (5)2.2.磁盘 (5)2.2.1.是否需要raid (5)2.2.2.磁盘划分 (5)2.2.3.磁盘裸设备的挂载 (6)2.3.关闭防火墙 (6)2.4.修改主机名并配置Hosts (7)2.4.1.修改主机名 (7)2.4.2.设置每台主机的hosts (7)2.5.ssh免登陆配置 (7)2.5.1.创建公钥和密钥 (7)2.5.2.配置与其他机器的免密码登陆 (8)2.6.同步集群时间ntp (9)2.6.1.配置ntp server集群时钟 (9)2.6.2.ntp客户端配置 (10)2.6.3.测试 (11)2.7.上传安装包以及搭建yum源 (12)2.7.1.安装cloudera需要的文件如下安装包 (12)2.7.2.上传yum源需要的文件到/var/www/html目录下 (12)2.7.3.启动httpd服务 (13)2.7.4.测试HTTPD (13)2.7.5.编辑yum源配置文件 (14)2.7.6.安装createrepo (15)2.7.7.创建源索引 (15)3.cm安装 (15)3.1.上传cm安装启动程序 (15)3.2.安装cm的install.bin (16)4.cdh安装 (19)4.1.登陆CM (19)4.2.指定主机 (20)4.3.群集安装 (21)4.4.安装parcel (21)4.4.1.配置CDH-5.3.0-1.cdh5.3.0.p0.30-el6.parcel.sha1 (21)4.4.2.配置parcel (22)4.5.选择parcel和cm等 (24)4.6.安装CM JDK和分发数据包等 (26)4.7.分配parcel (28)4.8.检查各个主机 (28)4.9.选择需要安装的服务 (29)4.10.分配角色并安装 (30)5.验证和使用 (33)5.1.zookeeper (33)5.2.hbase (33)5.3.hdfs (33)5.4.使用shell验证hbase安装 (34)1.导言1.1.说明本指导书以潍坊交警hadoop集群为例，指导安装CDH1.2.集群节点见hadoop服务器角色清单1.3.硬件共14台“华为RH2288-HV2 Xeon E5-2620，内存容量：192G，4块2T SATA 硬盘”1.4.软件版本cdh5.3.02.准备工作2.1.操作系统操作系统使用64位CentOS6.52.2.磁盘2.2.1.是否需要raid集群datanode不需要安装raid磁盘，hadoop的hdfs本身具有冗余和并发机制，namenode为了保证数据安全，需要安装raid。

部署指南 Cloudera Manager CDH官方共给出了3中安装方式。

第一种方法必须要求所有机器都能连网，由于各种网络超时错误，基本没法用。

第二种方法使用CM的在线yum源，在线下载很多包，同样是超时严重。

第三种方法是全离线方式，实际情况是也只能用这个。

1、Cloudera Manager的部署条件•CDH不支持在容器中部署。

•支持Oracle JDK7，目前可使用的最新版本为1.7u80，C5.3.x及以上版本也支持使用oracle JDK8，同一个CDH集群中的所有节点使用的JDK版本必须一致。

•使用Python2.4及以上，不支持Python3•仅支持IPv4，且IPv6必须要disabled•基于tar压缩包的离线安装方式，会在6.0.0中停止支持该方式。

•支持selinux，但如果不熟悉使用方法，建议关闭。

•管理端口为7180，此外还有很多基础应用使用的端口，可以运行iptables，需要确认有恰当的授权控制，例如至少要对同网段的访问放开全部端口。

2、Cloudera Manager部署的几个阶段和可选择的方式注：因为Cloudera Manager的官方yum源位于国外，受网速影响而无法正常使用。

所以上述部署方式中，一般是使用PATH C，或者在预先下载好相关RPM包的条件下参照PATH B方式。

3、主机节点信息和基础配置（1）主机信息本次部署使用以下主机，前两个作为NameNode使用。

后四个主机，分别额外挂载一块1TB的磁盘到本地的/dfs/dn目录下。

注1：用于大数据平台的数据磁盘不要配置RAID，直接祼盘即可。

如果有RAID 控制器，则直接对每块盘设置一个单独的RAID0，仍然当作单盘使用。

注2：在有第二块数据盘的情况下，继续挂载到/dfs/dn2，更多的数据盘则按命名规则和挂盘规则扩展即可。

注3：对于生产环境而言，NameNode所在的节点一般不要同时做数据节点使用。

Family guide Table of ContentsGet the power of Hadoop faster, with less risk 2 What is your business goal? 2 Dell Ready Bundle for Cloudera Hadoop3 Configuration details 3 Why Dell for Hadoop? 4 Complete your solution with Dell Services 4 Dell Professional Services 4 Find out more today 5 Dell Ready Bundle for Cloudera HadoopAn end-to-end Hadoop system, designed to address data analytics requirements, reduce costs and optimize performanceLeverage anend-to-end solutionReduce development costsOptimize performance Get the power of Hadoop faster, with less riskUnlike traditional systems, Hadoop enables multiple types of analytic workloads to runon the same data, at the same time, at massive scale on industry-standard hardware Cloudera’s Distribution of Hadoop (CDH) includes Apache® Hadoop and additional key open source projects to ensure you get the most out of Hadoop and your data, and it's engineered to meet the highest enterprise standards for stability and reliabilityDespite these tantalizing benefits, many organizations struggle — either to begin their data analytics journey or to make Hadoop projects successful once they’ve begunThey are often impeded by a lack of Hadoop expertise and end up spending too much time and effort on the front-end work before they can get to the results of a fully operational solutionExpertise and infrastructure matter when building a Hadoop environment That’s why Dell has teamed up with industry leaders such as Cloudera®, Intel® and Syncsort® to remove the uncertainty and barriers that may be holding you back from deploying HadoopCost-effective, future-ready Dell Ready Bundles for Cloudera Hadoop are comprehensive and easy-to-implement turnkey Hadoop solutions that help you efficiently harness the Hadoop platform and the power of data analytics to drive competitive advantageWhat is your business goal?The use cases for Hadoop are very diverse, but there are common patterns across industries and verticalsThis is just a sampling of possible use cases using the Dell Ready Bundle forCloudera HadoopOperational efficiency use casesDell warehouse augmentation Log aggregation and analytics Dual storage and active archiveReduces total cost of ownership (TCO) and increasesreturn on investment (ROI)Secures your enterprise Reduces TCO and eases compliance• Offload extract, transform, load (ETL) workloads • Reduce licensing costs• Enhance data accessibility• Enable better data exploration and analytics • Manage performance more effectively • Prevent security breaches and threats• Detect operational anomalies• Increase infrastructure efficiency and automation• Lower data storage costs while maintainingaccessibility• Ease compliance and reporting• Streamline inquiry processes• Enjoy business operations improvementBusiness transformation use casesMarketing Finance Healthcare Pharmaceutical ManufacturingAnticipating customer needs Reducing risk and detecting fraud Improving patient care and reducingcosts Ensuring regulatory compliance andvalidationAchieving continuous processimprovement• Customer 360 insight• Customer retention• Customer segmentation • Customer loyalty• New product/service launch • Credit scoring• Customer analytics• Fraud detection• Risk management• Sarbanes-Oxley Act (SOX)compliance• Quality of care• Patient safety• Risk mitigation• Fraud detection• Claims management• Biomedical analytics• Stability and shelf life• Primary research• FDA compliancemanufacturing• Product quality• Customer insight• Demand forecasting•Improved operations23Dell Ready Bundle for Cloudera HadoopDell Ready Bundle for Cloudera Hadoop is an integrated Hadoop system, designed to address data analytics requirements, reduce costs and optimize performanceSince 2011, Dell and Cloudera have built validated solutions to help customers speed time to insights With our deep roots in data analytics solutions and Hadoop — and otherleading partners in data analytics — Dell has the expertise, tools and solutions needed to drive successful, flexible and scalable Hadoop deploymentsConfiguration detailsDell Ready Bundles for Cloudera Hadoop offer a variety of configurations to meet your needs 1Dell Cloudera Hadoop solution on PowerEdge R730XD Server Dell Cloudera Hadoop solution on PowerEdge FX2 Server Dell Cloudera Syncsort ETL offload Hadoop solution on PowerEdgeR730XD ServerDell Cloudera Syncsort ETL offload Hadoop solution on PowerEdge FC630 Server Dell QuickStart for Cloudera Hadoop Use cases Active archive/customer 360-degree Active archive/customer 360-degree ETL offload ETL offloadTesting and proofs of concept (POCs)Sizing Scales from 5 to 252 nodes, 3 8PBScales from 5 to 252 nodes, 3 8PBScales from 5 to 252 nodes, 3 8PB Scales from 5 to 252 nodes, 3 8PB 48TBSoftwareCloudera Enterprise OpenManage/iDRAC with Lifecycle Controller Cloudera Enterprise OpenManage/iDRAC with Lifecycle Controller Cloudera Enterprise Syncsort DMX-h and SILQ™Cloudera Enterprise Syncsort DMX-h and SILQCloudera Basic Edition OpenManage/iDRAC with Lifecycle Controller Pod network2 x Networking S4048 10GbE pod switches 1 x S3048 iDRAC switch 2 x Networking S4048 10GbE pod switches 1 x S3048 iDRAC switch 2 x Networking S4048 10GbE pod switches 1 x S3048 iDRAC switch 2 x Networking S4048 10GbE pod switches 1 x S3048 iDRAC switch Networking S3048-ON switchNetworking S4048-ON switchCluster network 2 x Networking S6000 40GbE cluster switches 2 x Networking S6000 40GbE cluster switches 2 x Networking S6000 40GbE cluster switches 2 x Networking S6000 40GbE cluster switches Infrastructure nodes1 x PowerEdge R630 Server admin node3 x PowerEdge R730XD Server name nodes1 x PowerEdge R730XD Server edge node 1 x PowerEdge R630 Server admin node3 x PowerEdge R730XD Server name nodes1 x PowerEdge R730XD Server edge node 1 x PowerEdge R630 Server admin node3 x PowerEdge R730XD Server name nodes1 x PowerEdge R730XD Server edge node 1 x PowerEdge FC630 Server admin node 3 x PowerEdge FC630 Server name nodes 1 x PowerEdge FC630 Server edge node2 x PowerEdge R730XD ServersWorker nodes10 x PowerEdgeR730XD Servers with 3 5" Drives — 48TB or 10 x PowerEdgeR730XD Servers with 2 5" Drives — 24TB10 x PowerEdge FC630 Servers10 x PowerEdge FD332 Storage — 32TB10 x PowerEdgeR730XD Servers with 3 5" Drives — 48TB or 10 x PowerEdgeR730XD Servers with 2 5" Drives — 24TB10 x PowerEdge FC630 Servers10 x PowerEdge FD332 Storage — 32TB3 x PowerEdge R730XD Servers1T he quantity and configuration of each system depends on thespecific size and use caseDell PowerEdge R730 Server : Impressive processor performance, a large memoryfootprint, extensive I/O (input/output) options and a choice of dense, high-performance storage or low-cost, high-capacity storageDell PowerEdge FX2 Server : Modular server, storage and networking blocks are neatly combined in a compact, converged 2U rack chassis to redefine data center agilityDell Networking S4048-ON 10/40GbE : T op-of-rack, high-density 1U switch with forty-eight 10GbE uplinks It offers ultra-low-latency and line-rate performance that is optimized for data centers4Dell FC630 PowerEdge Server nodes : The 2-socket, half-width 1U workhorse server blocks are ideal for a wide variety of business applicationsDell FD332 Storage : Flexible, high-density, half-width 1U storage modules enable you to rapidly scale direct attached storage (DAS)The Dell Ready Bundle for Cloudera Hadoop Services includes:5• Onsite hardware and Operating System (OS) deployment services via Dell ProDeploy • Dell Cloudera Accelerator Services : Best practice guidance, hands-on labs, roadmap planning and knowledge transfer so you can get from install to full productivity, with the skills and knowledge to get the greatest value from your big data solution• Dell Cloudera Hadoop Health Check Services : Reviews your current data technologies and processes, and makes recommendations for Cloudera tools, testing and operational practices• Dell Consulting Services for Hadoop, including software installation and configuration, data migration and Microsoft ® Azure ® integration• Hardware and software support services via Dell ProSupportWhy Dell for Hadoop?At Dell, we design our solutions to create maximum value by continually driving upcapabilities while driving down costs and complexity This is how we give organizations the power to do moreWe drive up capabilities: We combine organic development with joint partnerships and targeted acquisitions to develop practical innovations that deliver robust functionality at any scaleWe drive down costs: We focus on driving down initial and ongoing expenses, ensuring a low total cost of ownership to help customers achieve maximum results on minimum budgetsWe drive down complexity: We believe technology should be sophisticated yet simple, to help our customers save time so they can focus on other prioritiesComplete your solution with Dell ServicesDell Professional ServicesSolutions customized for your needsDell Hadoop Consulting is a best-in-class service delivered by certified Cloudera Hadoop experts to help you get the business value of data analytics using Hadoop The services include a data analytics assessment, workshop, testing, proofs of concept and production implementation These Hadoop experts help determine where Hadoop is a good fit for your organization They also help you build your own team of Hadoop experts through knowledge transfer at each stepSupport always on for youDell ProSupport offers a single point of accountability from experts withsolution-specific training, along with premium hardware and software support available24x7x365 ProSupport also includes collaborative support for Cloudera Enterprise software Additionally, ProSupport includes next-business-day onsite service with four- and eight-hour parts and labor response options, and escalation management with customer-set severity level optionsMetaScaleAchieved ROI in just 3 months 2T exas Advanced Computing Center (TACC)Gained up to 50X performance improvement 3Dell40% increased automation of standard sales reports 460% faster response times for prescriptive and predictive analysis 42D ell case study, "Accelerating big data ROI with Hadoop ," April 20153D ell case study video, "Dell Drives Big Data Solutions at TACC ," November 2016 4D ell case study, "Unlocking data's value for better insights and decisions ," May 2015 5A ll Dell Services are standard in the US and Canada For all other regions, services are custom6D ell case study, "A powerful new foundation for creating customer campaigns ," May 2015“We’ve completelyredesigned how we capture, store and provision data with the new Dell Hadoop cluster We can gather larger amounts of data, and our analysts and statisticians can mine that data in ways they couldn’t before ”6T ony Giordano, ExecutiveVice President of theT echnology Solutions Group,Merkle, United StatesCopyright © 2017 Dell Inc or its subsidiaries All Rights Reserved Dell, and other trademarks are trademarks of Dell Inc or its subsidiaries Other trademarks may be the property of their respective owners Published in the USA 02/17 Family guide DELL-FG-HADOOP-CH-101Apache ® and Hadoop ® are either registered trademarks or trademarks of the Apache Software Foundation in the United States and/or other countries Cloudera ® is a trademark or trade dress of Cloudera Intel ® is a trademark of Intel Corporation in the U S and other countries Syncsort ® and SILQ TM are the property of Syncsort in the United States and/or other countries Microsoft ® and Azure ® are a registered trademarks or trademarks of Microsoft Corporation in the United States and/or other countries VMware ® is a registered trademark or trademark of VMware, Inc in the United States and/or other jurisdictionsDell believes the information in this document is accurate as of its publication date The information is subject to change without noticeDeployment assistance when you need itDell offers a broad menu of installation and implementation services for Hadoop solutions through Dell ProDeploy Dell Services include onsite hardware and software installation, optional rack integration at a Dell facility and validation of the installed solution Dell takes care of the complete project management, from order drop to your acceptance For more information, visit Dell com/ServiceDescriptionsFind out more todayDon’t wait to harness the benefits of Cloudera Hadoop on a purpose-built solutiondesigned from the ground up to address data analytics requirements, reduce development costs and optimize performance for deep data mining and analytics Contact your Dell representative to find out more today“Addressing exhausted enterprise data capacity can cost up to $800,000 per terabyte of data But with Hadoop’s extreme scalability, adding terabytes can cost as little as $5,000 using MetaScale’s big data appliances based on Dell PowerEdge Servers ”7Ankur Gupta, General Manager, MetaScale,United States7D ell case study, "Accelerating big data ROI with Hadoop ," April 2015。