Hadoop基本文件系统操作

一、Hadoop基本文件系统操作

URI的模式有两种，如果是HDFS文件系统，模式是hdfs://namenode:namenodeport。一个HDFS文件或目录/user/yarn，可以表示成hdfs://namenode:namenodeport/user/yarn。也可以使用简洁的写法如/user/yarn，因为hdfs://namenode:namenodeport在配置文件中做了默认配置。

如果是本地文件系统，模式是file:///。如：/home/yarn可以表示成file:///home/yarn。

没有特别说明，本书的所有测试就在伪分布式模式下进行，下面用命令行操作文件系统，例如：读取文件，创建目录，移动文件，删除数据，列出索引目录等等。

通过命令hadoop fs -help可以看到命令详细帮助文件。

准备工作：在/home/yarn目录下创建文本文件fs.txt文件。

put命令：把本地文件上传到HDFS。第一个参数是本地文件系统的路径，第二个参数是

本地文件路径可以是相对路径：

如：当前目录是/homt/yarn

HDFS文件路径可以缺省hdfs://YARN:9000，在core-site.xml文件中有如下配置：

如：也可以省略/user/yarn/，HDFS默认当前用户的默认路径

如：从HDFS上下载文件到本地，使用完整路径

如：HDFS文件路径可以缺省hdfs://YARN:9000

如：可以使用下面方式，路径前面加上file:///

如：创建目录

如：使用默认路径，当前用户HDFS文件系统路径/user/yarn

如：显示文件的基本信息

如：使用完整路径，显示HDFS文件系统/user/yarn/目录下的文件

如：显示本地文件系统目录下的文件

cat命令：将指定路径文件的内容输出到标准输出(控制台)

如：省略hdfs://YARN:9000

如：删除当前用户默认目录下的文件，删除/user/yarn/目录下的文件fs.txt

如：删除本地文件系统下的文件

cp命令：将文件从源路径复制到目标路径，可以是目录或文件。命令允许有多个源路径，

如：将多个源目录文件拷贝到一个目录内。注意：当多个源拷贝时，目标必须是目录

mv命令：将文件从源路径移动到目标路径

如：将fs.txt文件更名为fs_bak.txt

如：将fs.txt文件移动到testdir1目录下