cloudera data platform使用

hdp dep原理

HDP（Hortonworks Data Platform）和CDH（Cloudera

Distribution Including Apache Hadoop）是两种常见的Hadoop发行版。它们都是基于Apache Hadoop构建的大数据平台，用于存储、处理和分析大规模数据集。HDP和CDH都提供了对Hadoop生态系统中各种组件的支持，包括HDFS（Hadoop分布式文件系统）、YARN（资源调度与管理框架）、MapReduce（分布式计算框架）等。

HDP的原理主要包括以下几个方面：

1. HDP基于开源的Apache Hadoop项目，因此其原理基本遵循Hadoop的架构和工作原理。Hadoop采用分布式存储和计算的方式，通过HDFS存储数据，并通过MapReduce或其他计算框架进行数据处理和分析。

2. HDP提供了丰富的组件和工具，包括Hive（数据仓库）、Pig（数据流处理）、HBase（分布式数据库）、Spark（内存计算框架）等，这些组件共同构成了HDP的数据处理和分析能力。

3. HDP还包括一些管理和监控工具，如Ambari和Ranger，用于管理集群、监控资源利用情况、进行安全管理等。

在HDP的架构中，HDFS用于存储数据，YARN用于资源管理和作业调度，而各种组件则提供了不同的数据处理和分析功能。HDP的原理在于整合这些组件，提供一个完整的大数据解决方案，使用户能够高效地管理、存储和分析海量数据。

总的来说，HDP的原理基于Hadoop生态系统的架构和工作原理，通过整合各种开源组件和工具，提供了一个功能丰富、可靠稳定的大数据平台，满足企业对于数据存储、处理和分析的需求。

Cloudera问题

1、Clouderamanager问题

1、内置数据库无法连接，重启以后损坏，如何避免

尽量避免使用内嵌数据库，重启时仍然会写

2、目前的配置问题中的错误问题,HDFS警告

损坏问题自己会修复。只是副本损坏，一段时间后会自动丢弃坏块，重新生成新的副本块

3、spark的gateway无状态，同时显示不适用，什么是不适用

尚未回答

4、什么是同行，复制的方法是怎么样的，是直接复制数据过来还是只是访问上面的服务信息

尚未回答

5、默认的内嵌数据库的密码登入不上，无法创建数据库。

密码已找到，但是仍然建议使用非内嵌数据库

6、初部署重启的时候出现

service cloudera-scm-service

cloudera-scm-server dead but pid file exists

原因和解决方法

删除pid后重新启动，servicestart和stop的原理就是把pid放进一个文件中，执行停止命令时，从文件中读取pid信息然后停止

7、什么是维护模式，有什么具体的用处 相当于只读模式，在版本升级过程中使用，不会损坏文件

8、如何备份，复制计划如何使用。

9、Navigator 设置是什么意思，其中的服务范围，包括其他的许多服务都有服务范围

上午培训已经说过

10、某些服务删除的时候会提示只在CM上删除了，如何彻底在服务器上删除，一定需要手动吗。

CM只能在一定程度上帮助部署监控，有些还是需要手动解决

2、CDH问题

1、sqoop2需要postgresql或者derby数据库，目前无法部署的问题。

只能自己部署数据库 2、kafka代码连接CDH中的kafka集群出现如下异常

3、Namenode节点在启动后两到三个小时会发出告警（配置HA）18:20:03,563

ERROR node.SecondaryNameNode: Exception

in doCheckpoint java.io.IOException: Inconsistent checkpoint fields. LV = -60

ClouderaManager大数据平台部署指南

一、简介

ClouderaManager是一款用于管理和监控大数据平台的工具，它提供了一套集中式的管理界面，可以帮助用户轻松部署、配置和监控大数据集群。本文将详细介绍ClouderaManager的部署过程，包括环境准备、安装步骤和常见问题解决方法。

二、环境准备

1. 操作系统要求

ClouderaManager支持多种操作系统，包括CentOS、Red Hat Enterprise Linux、Ubuntu等。在开始部署之前，请确保您的操作系统符合ClouderaManager的要求，并已经完成了基本的系统设置。

2. 硬件要求

为了保证ClouderaManager的性能和稳定性，建议您在部署之前对硬件进行评估，并选择合适的硬件配置。通常情况下，建议至少具备以下硬件配置：

- CPU：双核或更高

- 内存：8GB或更高

- 硬盘：至少100GB的可用空间

3. 网络要求

ClouderaManager需要与集群中的各个节点进行通信，因此请确保网络连通性良好，并且所有节点都能够访问ClouderaManager的管理界面。

4. 软件要求

在开始部署之前，您需要安装以下软件： - Java Development Kit (JDK)：ClouderaManager需要JDK来运行，请确保您已经安装了适当版本的JDK。

- 数据库：ClouderaManager需要一个数据库来存储配置信息和监控数据。常见的选择包括MySQL、PostgreSQL等。

三、安装步骤

1. 下载ClouderaManager

首先，您需要从Cloudera官方网站上下载ClouderaManager的安装包。请确保您选择了与您操作系统版本相对应的安装包。

2. 安装ClouderaManager Server

在安装ClouderaManager Server之前，请确保您已经满足了所有的环境准备要求。接下来，您可以按照以下步骤来安装ClouderaManager Server：

Cloudera平台参考部署架构 Cloudera平台软件体系结构

Cloudera的软件体系结构中包含了以下模块：系统部署和管理，数据存储，资源管理，处理引擎，安全，数据管理，工具库以及访问接口。一些关键组件的角色信息： 模块

组件 管理角色 工作角色

系统部署和管理 Cloudera Manager Cloudera Manager Server Cloudera Manager Agent Host Monitor Service Monitor Reports Manager Alert Publisher Event Server Cloudera Director

数据存储 HDFS NameNode DataNode Secondary NameNode JournalNode FailoberController HBase HBase Master RegionServer 资源管理 YARN ResourceManager NodeManager Job HistoryServer 处理引擎 Spark History Server Impala Impala Catalog Server Impala Daemon Impala StateStore Search Solr Server

安全、数据管理 Sentry Sentry Server

Cloudera Navigator Navigator KeyTrustee Navigator Metadata Server Navigator Audit Server 工具库 Hive Hive Metastore Hive Server2

硬件配置 集群服务器按照节点承担的任务分为管理节点和工作节点。管理节点上一般部署各组件的管理角色，工作节点一般部署有各角色的存储、容器或计算角色。根据业务类型不同，集群具体配置也有所区别： 1.实时流处理服务集群：Hadoop实时流处理性能对节点内存和CPU有较高要求，基于SparkStreaming的流处理消息吞吐量可随着节点数量增加而线性增长。 管理节点 工作节点 处理器 两路Intel®至强处理器，可选用E5-2630处理器 两路Intel®至强处理器，可选用E5-2660处理器 内核数 6核/CPU（或者可选用8核/CPU)， 主频2.3GHz或以上 6核/CPU（或者可选用8核/CPU)， 主频2.0GHz或以上 内存 128GB ECC DDR3 128GB ECC DDR3 硬盘 2个2TB的SAS硬盘（3.5寸), 7200RPM， RAID1 4-12个4TB的SAS硬盘（3.5寸), 7200RPM， 不使用RAID 网络 至少两个1GbE以太网电口，推荐使用光口提高性能。 可以两个网口链路聚合提供更高带宽。 至少两个1GbE以太网电口，推荐使用光口提高性能。 可以两个网口链路聚合提供更高带宽。 硬件尺寸 1U或2U 1U或2U 接入交换机 48口千兆交换机，要求全千兆，可堆叠 聚合交换机（可选） 4口SFP+万兆光纤核心交换机，一般用于50节点以上大规模集群 2. 在线分析业务集群：在线分析业务一般基于Impala等MPP SQL引擎，复杂的SQL计算对内存容量有较高要求，因此需要配置128G甚至更多的内存。 管理节点 工作节点 处理器 两路Intel®至强处理器，可选用E5-2630处理器 两路Intel®至强处理器，可选用E5-2650处理器 内核数 6核/CPU（或者可选用8核/CPU)， 主频2.3GHz或以上 6核/CPU（或者可选用8核/CPU)， 主频2.0GHz或以上 内存 128GB ECC DDR3 128GB -256GB ECC DDR3 硬盘 2个2TB的SAS硬盘（3.5寸), 7200RPM， RAID1 12个4TB的SAS硬盘（3.5寸), 7200RPM， 不使用RAID 网络 至少两个1GbE以太网电口，推荐使用光口提高性能。 可以两个网口链路聚合提供更高带宽。 至少两个1GbE以太网电口，推荐使用光口提高性能。 可以两个网口链路聚合提供更高带宽。 硬件尺寸 1U或2U 2U 接入交换机 48口千兆交换机，要求全千兆，可堆叠 聚合交换机（可选） 4口SFP+万兆光纤核心交换机，一般用于50节点以上大规模集群