hdfs编程步骤

hadoop学习笔记（⼗）：hdfs在命令⾏的基本操作命令（包括⽂件的上传和下载和

hdfs。。。

hdfs命令⾏

（1）查看帮助

hdfs dfs -help

（2）查看当前⽬录信息

hdfs dfs -ls /

（3）上传⽂件

hdfs dfs -put /本地路径 /hdfs路径

（4）剪切⽂件

hdfs dfs -moveFromLocal a.txt /aa.txt

（5）下载⽂件到本地

hdfs dfs -get /hdfs路径 /本地路径

（6）合并下载

hdfs dfs -getmerge /hdfs路径⽂件夹 /合并后的⽂件

（7）创建⽂件夹

hdfs dfs -mkdir /hello

（8）创建多级⽂件夹

hdfs dfs -mkdir -p /hello/world

（9）移动hdfs⽂件

hdfs dfs -mv /hdfs路径 /hdfs路径

（10）复制hdfs⽂件

hdfs dfs -cp /hdfs路径 /hdfs路径

（11）删除hdfs⽂件

hdfs dfs -rm /aa.txt

（12）删除hdfs⽂件夹

hdfs dfs -rm -r /hello

（13）查看hdfs中的⽂件

hdfs dfs -cat /⽂件

hdfs dfs -tail -f /⽂件

（14）查看⽂件夹中有多少个⽂件

hdfs dfs -count /⽂件夹

（15）查看hdfs的总空间

hdfs dfs -df /

hdfs dfs -df -h /

（16）修改副本数

hdfs dfs -setrep 1 /a.txt

Hadoop分布式⽂件系统（HDFS）详解

HDFS简介：

当数据集的⼤⼩超过⼀台独⽴物理计算机的存储能⼒时，就有必要对它进⾏分区 (partition)并存储到若⼲台单独的计算机上。管理⽹络中跨

多台计算机存储的⽂件系统成为分布式⽂件系统 (Distributed filesystem)。该系统架构于⽹络之上，势必会引⼊⽹络编程的复杂性，因此分

布式⽂件系统⽐普通磁盘⽂件系统更为复杂。

HDFS是基于流数据模式访问和处理超⼤⽂件的需求⽽开发的，它可以运⾏于廉价的商⽤服务器上。总的来说，可以将 HDFS的主要特点概

括为以下⼏点：

（1 ）处理超⼤⽂件

这⾥的超⼤⽂件通常是指数百 MB、甚⾄数百TB ⼤⼩的⽂件。⽬前在实际应⽤中， HDFS已经能⽤来存储管理PB(PeteBytes)级的数据了。

在 Yahoo！，Hadoop 集群也已经扩展到了 4000个节点。

（2 ）流式地访问数据

HDFS的设计建⽴在更多地响应“⼀次写⼊，多次读取”任务的基础之上。这意味着⼀个数据集⼀旦由数据源⽣成，就会被复制分发到不同的

存储节点中，然后响应各种各样的数据分析任务请求。在多数情况下，分析任务都会涉及数据集中的⼤部分数据，也就是说，对HDFS 来

说，请求读取整个数据集要⽐读取⼀条记录更加⾼效。

（3 ）运⾏于廉价的商⽤机器集群上

Hadoop设计对硬件需求⽐较低，只须运⾏在廉价的商⽤硬件集群上，⽽⽆须昂贵的⾼可⽤性机器上。廉价的商⽤机也就意味着⼤型集群中

出现节点故障情况的概率⾮常⾼。这就要求在设计 HDFS时要充分考虑数据的可靠性、安全性及⾼可⽤性。

正是由于以上的种种考虑，我们会发现现在的 HDFS在处理⼀些特定问题时不但没有优势，⽽且有⼀定的局限性，主要表现在以下⼏个⽅

⾯。

（1 ）不适合低延迟数据访问

如果要处理⼀些⽤户要求时间⽐较短的低延迟应⽤请求，则 HDFS不适合。HDFS 是为了处理⼤型数据集分析任务的，主要是为达到⾼的数

据吞吐量⽽设计的，这就可能要求以⾼延迟作为代价。⽬前有⼀些补充的⽅案，⽐如使⽤HBase，通过上层数据管理项⽬来尽可能地弥补这

HDFS常⽤命令总结

⽂章⽬录

课程⼤纲（HDFS详解）

学习⽬标：HDFS基本概念篇

1.1HDFS前⾔

1.2HDFS的概念和特性

HDFS基本操作篇

2.1HDFS的shell(命令⾏客户端)操作

2.1.1 HDFS命令⾏客户端使⽤

2.2 命令⾏客户端⽀持的命令参数

2.3 常⽤命令参数介绍

HDFS原理篇

hdfs的⼯作机制

3.1 概述

3.2 HDFS写数据流程

3.2.1 概述

3.2.2 详细步骤图

3.2.3 详细步骤解析

3.3. HDFS读数据流程

3.3.1 概述

3.3.2 详细步骤图

3.3.3 详细步骤解析

4 NAMENODE⼯作机制

4.1 NAMENODE职责

4.2 元数据管理

4.2.1 元数据存储机制(元数据是对象，有特定的数据结构，可以理解为hashmap结构)

4.2.2 元数据⼿动查看

4.2.3 元数据的checkpoint

4.2.4 元数据⽬录说明

5 DATANODE的⼯作机制

5.1 概述

5.2 观察验证DATANODE功能

5.3元数据⽬录(⾃⼰添加,实测有效)

HDFS应⽤开发篇

6. HDFS的java操作

6.1 搭建开发环境

6.2 获取api中的客户端对象

6.3 DistributedFileSystem实例对象所具备的⽅法

6.4 HDFS客户端操作数据代码⽰例：

6.4.1 ⽂件的增删改查

6.4.2 通过流的⽅式访问hdfs

6.4.3 场景编程

7. 案例1：开发shell采集脚本

7.1需求说明

7.2需求分析

7.3技术分析

7.4实现流程

7.4.1⽇志产⽣程序

7.4.2伪代码

7.5代码实现

7.6效果展⽰及操作步骤

8. 案例2：开发JAVA采集程序

8.1 需求

8.2 设计分析HDFS基本概念篇

1.1HDFS前⾔

设计思想

分⽽治之：将⼤⽂件、⼤批量⽂件，分布式存放在⼤量服务器上，以便于采取分⽽治之的⽅式对海量数据进⾏运算分析；

在⼤数据系统中作⽤：

为各类分布式运算框架（如：mapreduce，spark，tez，……）提供数据存储服务

hdfs基本操作

HDFS（Hadoop Distributed File System）是Apache

Hadoop生态系统中的分布式文件系统，用于存储和处理大规模数据集。下面是HDFS的一些基本操作：

1. 文件和目录操作：

- 创建目录：`hadoop fs -mkdir `

- 查看目录内容：`hadoop fs -ls `

- 创建空文件：`hadoop fs -touchz `

- 复制文件或目录到HDFS：`hadoop fs -put `

- 复制文件或目录到本地：`hadoop fs -get `

- 删除文件或目录：`hadoop fs -rm [-r] `

2. 文件操作：

- 查看文件内容：`hadoop fs -cat `

- 移动文件：`hadoop fs -mv ` - 修改文件副本数：`hadoop fs -setrep [-R] `

- 修改文件权限：`hadoop fs -chmod [-R] `

- 修改文件所有者：`hadoop fs -chown [-R] `

3. 文件系统操作：

- 格式化文件系统：`hadoop namenode -format`

- 查看文件系统状态：`hadoop fs -df [-h]`

- 查看文件系统的块信息：`hadoop fsck `

4. 权限和用户操作：

- 查看文件或目录权限和所有者：`hadoop fs -ls -R

`

- 修改文件或目录权限和所有者：`hadoop fs -chown

[-R] `

- 修改文件或目录权限：`hadoop fs -chmod [-R] `

这些是HDFS的一些基本操作，可以通过命令行工具（如hadoop fs）或Hadoop提供的API进行操作。请注意，具体命令的参数和用法可能因Hadoop版本而有所不同，建议查阅相关文档或使用命令行的帮助选项（如`hadoop fs -help`）获取更详细的信息。