大数据Hadoop入门第四讲 HDFS体系结构

MapReduce的基本原理就是：将大的数据分析分成小块逐个分析，最后再将 提取出来的数据汇总分析，最终获得我们想要的内容。当然怎么分块分析，怎 么做Reduce操作非常复杂，Hadoop已经提供了数据分析的实现，我们只需要 编写简单的需求命令即可达成我们想要的数据。
总
总结 总的来说Hadoop适合应用于大数据存储和大数据分析的应用，适合于服 务器几千台到几万台的集群运行，支持PB级的存储容量。 Hadoop典型应用有：搜索、日志处理、推荐系统、数据分析、视频图像 分析、数据保存等。
Hadoop历史
• • • • • • • 雏形开始于2002年的Apache的Nutch，Nutch是一个开源Java 实现的搜索引擎。它提 供了我们运行自己的搜索引擎所需的全部工具。包括全文搜索和Web爬虫。 随后在2003年Google发表了一篇技术学术论文谷歌文件系统（GFS）。GFS也就是 google File System，google公司为了存储海量搜索数据而设计的专用文件系统。 2004年Nutch创始人Doug Cutting基于Google的GFS论文实现了分布式文件存储系统名 为NDFS。 2004年Google又发表了一篇技术学术论文MapReduce。MapReduce是一种编程模型， 用于大规模数据集（大于1TB）的并行分析运算。 2005年Doug Cutting又基于MapReduce，在Nutch搜索引擎实现了该功能。 2006年，Yahoo雇用了Doug Cutting，Doug Cutting将NDFS和MapReduce升级命名为 Hadoop，Yahoo开建了一个独立的团队给Goug Cutting专门研究发展Hadoop。 不得不说Google和Yahoo对Hadoop的贡献功不可没。

Input
Input Data：
A DD BB A BB A
Map Task Map
Map
0,A 1,DD
A,1 DD,1
Reduce Task
Shuffle & Sort
Reduce
map, sort, combiner, partition, spill, merge
copy partition data A,[1, 1, 1]
1、问题：
有如下数据，字段内容分别为：url,catePath0,catePath1,catePath2,unitparams
https:///confluence 0 1 8 {"store":{"fruit":[{"weight":1,"type":"apple"},{"weight":9,"type":"pear"}],"bicycle":{"price":19.951,"color":"red1"}},"email":" amy@only_for_json_udf_","owner":"amy1"} /leejun2005/blog/83058 0 1 23 {"store":{"fruit":[{"weight":1,"type":"apple"},{"weight":2,"type":"pear"}],"bicycle":{"price":19.951,"color":"red1"}},"email":"

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。

用户可以在不了解分布式底层细节的情况下，开发分布式程序。

充分利用集群的威力进行高速运算和存储。

[1] Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。

HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。

HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。

Hadoop的框架最核心的设计就是：HDFS和MapReduce。

HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。

1起源项目起源Hadoop由Apache Software Foundation 公司于2005 年秋天作为Lucene的子项目Nutch的一部分正式引入。

它受到最先由Google Lab 开发的Map/Reduce 和Google File System(GFS) 的启发。

2006 年3 月份，Map/Reduce 和Nutch Distributed File System (NDFS) 分别被纳入称为Hadoop 的项目中。

Hadoop 是最受欢迎的在Internet 上对搜索关键字进行内容分类的工具，但它也可以解决许多要求极大伸缩性的问题。

例如，如果您要grep 一个10TB 的巨型文件，会出现什么情况？在传统的系统上，这将需要很长的时间。

但是Hadoop 在设计时就考虑到这些问题，采用并行执行机制，因此能大大提高效率。

发展历程Hadoop原本来自于谷歌一款名为MapReduce的编程模型包。

谷歌的MapReduce 框架可以把一个应用程序分解为许多并行计算指令，跨大量的计算节点运行非常巨大的数据集。

HDFS中DFS介绍分布式文件系统（Distributed File System，DFS）是一种用于存储和管理大规模数据的系统。

Hadoop分布式文件系统（Hadoop Distributed File System，HDFS）是由Apache开发的一个开源分布式文件系统，用于支持大规模数据处理应用的存储。

本文将详细介绍HDFS中的DFS的相关概念、架构和工作原理。

DFS的概念DFS是分布式文件系统的核心组件，它是将数据分布到多个节点上存储的一种文件系统。

DFS主要解决了大规模数据的存储和管理问题，保证了数据的高可靠性和高可用性。

HDFS的架构HDFS的架构是基于master-slave模式的，其中包含一个NameNode（主节点）和多个DataNode（从节点）。

NameNode负责管理文件系统的命名空间、存储元数据和控制数据读写操作，DataNode负责存储实际的数据块和处理数据的读写请求。

DFS的工作原理1.数据分块：当客户端要向DFS中写入数据时，首先将数据切分成固定大小的数据块（默认大小为128MB），然后将这些数据块分布在多个DataNode上存储。

2.元数据管理：NameNode负责管理文件系统的元数据，包括文件的命名空间、目录结构和数据块的位置等信息。

NameNode将这些元数据保存在内存中，并定期持久化到磁盘上。

3.数据访问：当客户端要读取数据时，首先向NameNode发送读取请求，NameNode返回包含数据块位置的元数据信息。

然后客户端直接与存储数据块的DataNode进行通信，读取数据块的内容。

4.数据一致性：HDFS使用写一次、多次读取的模式来保证数据的一致性。

当客户端要向DFS中写入数据时，先将数据写入一个临时文件，然后通知NameNode进行元数据的更新。

在大部分DataNode都成功接收到数据块后，NameNode将接收到的数据块认定为永久数据，此时客户端可正常访问。