[Hadoop系列]Hadoop的MapReduce中多文件输出
2010-01-08 11:14 2883人阅读评论(4) 收藏举报inkfish原创，请勿商业性质转载，转载请注明来源（https://www.doczj.com/doc/07889494.html,/inkfish）。
Hadoop默认的输出是TextOutputFormat，输出文件名不可定制。hadoop 0.19.X中有一个org.apache.hadoop.mapred.lib.MultipleOutputFormat，可以输出多份文件且可以自定义文件名，但是从hadoop 0.20.x中MultipleOutputFormat所在包的所有类被标记为“已过时”，当前如果再使用MultipleOutputFormat，在将来版本的hadoop中可能无法使用。本篇文章中，我们自己实现一个简单的MultipleOutputFormat，并修改hadoop自带的WordCount 示例程序来测试结果。
环境：
Ubuntu 8.0.4 Server 32bit
Hadoop 0.20.1
JDK 1.6.0_16-b01
Eclipse 3.5
所有代码分为3个类：
1.LineRecordWriter：
RecordWriter的一个实现，用于把
view plain
1.package inkfish.hadoop.study;
2.import java.io.DataOutputStream;
3.import java.io.IOException;
4.import java.io.UnsupportedEncodingException;
5.import org.apache.hadoop.io.NullWritable;
6.import org.apache.hadoop.io.Text;
7.import org.apache.hadoop.mapreduce.RecordWriter;
8.import org.apache.hadoop.mapreduce.TaskAttemptContext;
9.import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;
10./**摘自{@link TextOutputFormat}中的LineRecordWriter。 */
11.public class LineRecordWriter
12.private static final String utf8 = "UTF-8";
13.private static final byte[] newline;
14.static {
15.try {
16. newline = "/n".getBytes(utf8);
17. } catch (UnsupportedEncodingException uee) {
18.throw new IllegalArgumentException("can't find " + utf8 + " enco
ding");
19. }
20. }
21.protected DataOutputStream out;
22.private final byte[] keyValueSeparator;
23.public LineRecordWriter(DataOutputStream out, String keyValueSeparator)
{
24.this.out = out;
25.try {
26.this.keyValueSeparator = keyValueSeparator.getBytes(utf8);
27. } catch (UnsupportedEncodingException uee) {
28.throw new IllegalArgumentException("can't find " + utf8 + " enco
ding");
29. }
30. }
31.public LineRecordWriter(DataOutputStream out) {
32.this(out, "/t");
33. }
34.private void writeObject(Object o) throws IOException {
35.if (o instanceof Text) {
36. Text to = (Text) o;
37. out.write(to.getBytes(), 0, to.getLength());
38. } else {
39. out.write(o.toString().getBytes(utf8));
40. }
41. }
42.public synchronized void write(K key, V value) throws IOException {
43.boolean nullKey = key == null || key instanceof NullWritable;
44.boolean nullValue = value == null || value instanceof NullWritable;
45.if (nullKey && nullValue) {
46.return;
47. }
48.if (!nullKey) {
49. writeObject(key);
50. }
51.if (!(nullKey || nullValue)) {
52. out.write(keyValueSeparator);
53. }
54.if (!nullValue) {
55. writeObject(value);
56. }
57. out.write(newline);
58. }
59.public synchronized void close(TaskAttemptContext context) throws IOExce
ption {
60. out.close();
61. }
62.}
2.MultipleOutputFormat：
抽象类，主要参考org.apache.hadoop.mapred.lib.MultipleOutputFormat。子类唯一需要实现的方法是：String generateFileNameForKeyValue(K key, V value, Configuration conf)，即通过key和value及conf配置信息决定文件名（含扩展名）。
view plain
1.package inkfish.hadoop.study;
2.import java.io.DataOutputStream;
3.import java.io.IOException;
4.import java.util.HashMap;
5.import java.util.Iterator;
6.import org.apache.hadoop.conf.Configuration;
7.import org.apache.hadoop.fs.FSDataOutputStream;
8.import org.apache.hadoop.fs.Path;
9.import org.apache.hadoop.io.Writable;
10.import org.apache.hadoop.io.WritableComparable;
11.import https://www.doczj.com/doc/07889494.html,pressionCodec;
12.import https://www.doczj.com/doc/07889494.html,press.GzipCodec;
13.import org.apache.hadoop.mapreduce.OutputCommitter;
14.import org.apache.hadoop.mapreduce.RecordWriter;
15.import org.apache.hadoop.mapreduce.TaskAttemptContext;
16.import org.apache.hadoop.mapreduce.lib.output.FileOutputCommitter;
17.import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
18.import org.apache.hadoop.util.ReflectionUtils;
19.public abstract class MultipleOutputFormat
V extends Writable>
20.extends FileOutputFormat
21.private MultiRecordWriter writer = null;
22.public RecordWriter
IOException,
23. InterruptedException {
24.if (writer == null) {
25. writer = new MultiRecordWriter(job, getTaskOutputPath(job));
26. }
27.return writer;
28. }
29.private Path getTaskOutputPath(TaskAttemptContext conf) throws IOExcepti
on {
30. Path workPath = null;
31. OutputCommitter committer = super.getOutputCommitter(conf);
32.if (committer instanceof FileOutputCommitter) {
33. workPath = ((FileOutputCommitter) committer).getWorkPath();
34. } else {
35. Path outputPath = super.getOutputPath(conf);
36.if (outputPath == null) {
37.throw new IOException("Undefined job output-path");
38. }
39. workPath = outputPath;
40. }
41.return workPath;
42. }
43./**通过key, value, conf来确定输出文件名（含扩展名）*/
44.protected abstract String generateFileNameForKeyValue(K key, V value, Co
nfiguration conf);
45.public class MultiRecordWriter extends RecordWriter
46./**RecordWriter的缓存*/
47.private HashMap
48.private TaskAttemptContext job = null;
49./**输出目录*/
50.private Path workPath = null;
51.public MultiRecordWriter(TaskAttemptContext job, Path workPath) {
52.super();
53.this.job = job;
54.this.workPath = workPath;
55. recordWriters = new HashMap
56. }
57.@Override
58.public void close(TaskAttemptContext context) throws IOException, In
terruptedException {
59. Iterator
).iterator();
60.while (values.hasNext()) {
61. values.next().close(context);
62. }
63.this.recordWriters.clear();
64. }
65.@Override
66.public void write(K key, V value) throws IOException, InterruptedExc
eption {
67.//得到输出文件名
68. String baseName = generateFileNameForKeyValue(key, value, job.ge
tConfiguration());
69. RecordWriter
70.if (rw == null) {
71. rw = getBaseRecordWriter(job, baseName);
72.this.recordWriters.put(baseName, rw);
73. }
74. rw.write(key, value);
75. }
76.// ${mapred.out.dir}/_temporary/_${taskid}/${nameWithExtension}
77.private RecordWriter
b, String baseName)
78.throws IOException, InterruptedException {
79. Configuration conf = job.getConfiguration();
80.boolean isCompressed = getCompressOutput(job);
81. String keyValueSeparator = ",";
82. RecordWriter
83.if (isCompressed) {
84. Class codecClass = getOutputComp
ressorClass(job,
85. GzipCodec.class);
86. CompressionCodec codec = ReflectionUtils.newInstance(codecCl
ass, conf);
87. Path file = new Path(workPath, baseName + codec.getDefaultEx
tension());
88. FSDataOutputStream fileOut = file.getFileSystem(conf).create
(file, false);
89. recordWriter = new LineRecordWriter
am(codec
90. .createOutputStream(fileOut)), keyValueSeparator);
91. } else {
92. Path file = new Path(workPath, baseName);
93. FSDataOutputStream fileOut = file.getFileSystem(conf).create
(file, false);
94. recordWriter = new LineRecordWriter
eparator);
95. }
96.return recordWriter;
97. }
98. }
99.}
3.WordCount：
基本上维持hadoop示例中的WordCount原样，主要增加一个静态内部类AlphabetOutputFormat，这个类实现了MultipleOutputFormat，文件命名规则是：以英文字母开头的单词以“首字母.txt”为文件名保存，其他以“other.txt”保存。
view plain
1.package inkfish.hadoop.study;
2.import java.io.IOException;
3.import java.util.StringTokenizer;
4.import org.apache.hadoop.conf.Configuration;
5.import org.apache.hadoop.fs.Path;
6.import org.apache.hadoop.io.IntWritable;
7.import org.apache.hadoop.io.Text;
8.import org.apache.hadoop.mapreduce.Job;
9.import org.apache.hadoop.mapreduce.Mapper;
10.import org.apache.hadoop.mapreduce.Reducer;
11.import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
12.import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
13.import org.apache.hadoop.util.GenericOptionsParser;
14.public class WordCount {
15.public static class TokenizerMapper extends Mapper ntWritable> { 16.private final static IntWritable one = new IntWritable(1); 17.private Text word = new Text(); 18.public void map(Object key, Text value, Context context) throws IOEx ception, 19. InterruptedException { 20. StringTokenizer itr = new StringTokenizer(value.toString()); 21.while (itr.hasMoreTokens()) { 22. word.set(itr.nextToken()); 23. context.write(word, one); 24. } 25. } 26. } 27.public static class IntSumReducer extends Reducer t, IntWritable> { 28.private IntWritable result = new IntWritable(); 29.public void reduce(Text key, Iterable ontext) 30.throws IOException, InterruptedException { 31.int sum = 0; 32.for (IntWritable val : values) { 33. sum += val.get(); 34. } 35. result.set(sum); 36. context.write(key, result); 37. } 38. } 39.public static class AlphabetOutputFormat extends MultipleOutputFormat xt, IntWritable> { 40.@Override 41.protected String generateFileNameForKeyValue(Text key, IntWritable v alue, Configuration conf) { 42.char c = key.toString().toLowerCase().charAt(0); 43.if (c >= 'a' && c <= 'z') { 44.return c + ".txt"; 45. } 46.return"other.txt"; 47. } 48. } 49.public static void main(String[] args) throws Exception { 50. Configuration conf = new Configuration(); 51. String[] otherArgs = new GenericOptionsParser(conf, args).getRemaini ngArgs(); 52.if (otherArgs.length != 2) { 53. System.err.println("Usage: wordcount 54. System.exit(2); 55. } 56. Job job = new Job(conf, "word count"); 57. job.setJarByClass(WordCount.class); 58. job.setMapperClass(TokenizerMapper.class); 59. job.setCombinerClass(IntSumReducer.class); 60. job.setReducerClass(IntSumReducer.class); 61. job.setOutputKeyClass(Text.class); 62. job.setOutputValueClass(IntWritable.class); 63. job.setOutputFormatClass(AlphabetOutputFormat.class);//设置输出格式 64. FileInputFormat.addInputPath(job, new Path(otherArgs[0])); 65. FileOutputFormat.setOutputPath(job, new Path(otherArgs[1])); 66. System.exit(job.waitForCompletion(true) ? 0 : 1); 67. } 68.} 在我测试环境中运行结果： view plain 1.10/01/0820:35:34 INFO mapred.JobClient: Job complete: job_201001052238_0013 2.10/01/0820:35:34 INFO mapred.JobClient: Counters: 15 3.10/01/0820:35:34 INFO mapred.JobClient: Job Counters 4.10/01/0820:35:34 INFO mapred.JobClient: Launched reduce tasks=1 5.10/01/0820:35:34 INFO mapred.JobClient: Rack-local map tasks=38 6.10/01/0820:35:34 INFO mapred.JobClient: Launched map tasks=38 7.10/01/0820:35:34 INFO mapred.JobClient: FileSystemCounters 8.10/01/0820:35:34 INFO mapred.JobClient: FILE_BYTES_READ=1473227 9.10/01/0820:35:34 INFO mapred.JobClient: FILE_BYTES_WRITTEN=1370636 10.10/01/0820:35:34 INFO mapred.JobClient: Map-Reduce Framework 11.10/01/0820:35:34 INFO mapred.JobClient: Reduce input groups=0 12.10/01/0820:35:34 INFO mapred.JobClient: Combine output records=29045 13.10/01/0820:35:34 INFO mapred.JobClient: Map input records=19313 14.10/01/0820:35:34 INFO mapred.JobClient: Reduce shuffle bytes=517685 15.10/01/0820:35:34 INFO mapred.JobClient: Reduce output records=0 16.10/01/0820:35:34 INFO mapred.JobClient: Spilled Records=58090 17.10/01/0820:35:34 INFO mapred.JobClient: Map output bytes=1393868 18.10/01/0820:35:34 INFO mapred.JobClient: Combine input records=119552 19.10/01/0820:35:34 INFO mapred.JobClient: Map output records=119552 20.10/01/0820:35:34 INFO mapred.JobClient: Reduce input records=29045 https://www.doczj.com/doc/07889494.html,er@cloud-2:~/software/test$ ls out/ 22.a.txt c.txt e.txt g.txt i.txt k.txt l.txt n.txt o.txt q.txt s. txt u.txt w.txt y.txt 23.b.txt d.txt f.txt h.txt j.txt _logs m.txt other.txt p.txt r.txt t. txt v.txt x.txt z.txt https://www.doczj.com/doc/07889494.html,er@cloud-2:~/software/test$ ６苏州大学学报（工科版）第３０卷 图１Ｉ－ＩＤＦＳ架构 ２ＨＤＦＳ与ＬｉｎｕｘＦＳ比较 ＨＤＦＳ的节点不管是ＤａｔａＮｏｄｅ还是ＮａｍｅＮｏｄｅ都运行在Ｌｉｎｕｘ上，ＨＤＦＳ的每次读／写操作都要通过ＬｉｎｕｘＦＳ的读／写操作来完成，从这个角度来看，ＬｉｎｕｘＰＳ是ＨＤＦＳ的底层文件系统。 ２．１目录树（ＤｉｒｅｃｔｏｒｙＴｒｅｅ） 两种文件系统都选择“树”来组织文件，我们称之为目录树。文件存储在“树叶”，其余的节点都是目录。但两者细节结构存在区别，如图２与图３所示。 一二 Ｒｏｏｔ ＼ 图２ＩｔＤＦＳ目录树围３ＬｉｎｕｘＦＳ目录树 ２．２数据块（Ｂｌｏｃｋ） Ｂｌｏｃｋ是ＬｉｎｕｘＦＳ读／写操作的最小单元，大小相等。典型的ＬｉｎｕｘＦＳＢｌｏｃｋ大小为４ＭＢ，Ｂｌｏｃｋ与ＤａｔａＮ－ｏｄｅ之间的对应关系是固定的、天然存在的，不需要系统定义。 ＨＤＦＳ读／写操作的最小单元也称为Ｂｌｏｃｋ，大小可以由用户定义，默认值是６４ＭＢ。Ｂｌｏｃｋ与ＤａｔａＮｏｄｅ的对应关系是动态的，需要系统进行描述、管理。整个集群来看，每个Ｂｌｏｃｋ存在至少三个内容一样的备份，且一定存放在不同的计算机上。 ２．３索引节点（ＩＮｏｄｅ） ＬｉｎｕｘＦＳ中的每个文件及目录都由一个ＩＮｏｄｅ代表，ＩＮｏｄｅ中定义一组外存上的Ｂｌｏｃｋ。 ＨＤＰＳ中ＩＮｏｄｅ是目录树的单元，ＨＤＦＳ的目录树正是在ＩＮｏｄｅ的集合之上生成的。ＩＮｏｄｅ分为两类，一类ＩＮｏｄｅ代表文件，指向一组Ｂｌｏｃｋ，没有子ＩＮｏｄｅ，是目录树的叶节点；另一类ＩＮｏｄｅ代表目录，没有Ｂｌｏｃｋ，指向一组子ＩＮｏｄｅ，作为索引节点。在Ｈａｄｏｏｐ０．１６．０之前，只有一类ＩＮｏｄｅ，每个ＩＮｏｄｅ都指向Ｂｌｏｃｋ和子ＩＮ－ｏｄｅ，比现有的ＩＮｏｄｅ占用更多的内存空间。 ２．４目录项（Ｄｅｎｔｒｙ） Ｄｅｎｔｒｙ是ＬｉｎｕｘＦＳ的核心数据结构，通过指向父Ｄｅｎ姆和子Ｄｅｎｔｒｙ生成目录树，同时也记录了文件名并 指向ＩＮｏｄｅ，事实上是建立了＜ＦｉｌｅＮａｍｅ，ＩＮｏｄｅ＞，目录树中同一个ＩＮｏｄｅ可以有多个这样的映射，这正是连 Hadoop分布式文件系统：架构和设计 引言 (2) 一前提和设计目标 (2) 1 hadoop和云计算的关系 (2) 2 流式数据访问 (2) 3 大规模数据集 (2) 4 简单的一致性模型 (3) 5 异构软硬件平台间的可移植性 (3) 6 硬件错误 (3) 二HDFS重要名词解释 (3) 1 Namenode (4) 2 secondary Namenode (5) 3 Datanode (6) 4 jobTracker (6) 5 TaskTracker (6) 三HDFS数据存储 (7) 1 HDFS数据存储特点 (7) 2 心跳机制 (7) 3 副本存放 (7) 4 副本选择 (7) 5 安全模式 (8) 四HDFS数据健壮性 (8) 1 磁盘数据错误，心跳检测和重新复制 (8) 2 集群均衡 (8) 3 数据完整性 (8) 4 元数据磁盘错误 (8) 5 快照 (9) 引言 云计算（cloud computing)，由位于网络上的一组服务器把其计算、存储、数据等资源以服务的形式提供给请求者以完成信息处理任务的方法和过程。在此过程中被服务者只是提供需求并获取服务结果，对于需求被服务的过程并不知情。同时服务者以最优利用的方式动态地把资源分配给众多的服务请求者，以求达到最大效益。 Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS 能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。 一前提和设计目标 1 hadoop和云计算的关系 云计算由位于网络上的一组服务器把其计算、存储、数据等资源以服务的形式提供给请求者以完成信息处理任务的方法和过程。针对海量文本数据处理,为实现快速文本处理响应,缩短海量数据为辅助决策提供服务的时间,基于Hadoop云计算平台,建立HDFS分布式文件系统存储海量文本数据集,通过文本词频利用MapReduce原理建立分布式索引,以分布式数据库HBase 存储关键词索引,并提供实时检索,实现对海量文本数据的分布式并行处理.实验结果表 明,Hadoop框架为大规模数据的分布式并行处理提供了很好的解决方案。 2 流式数据访问 运行在HDFS上的应用和普通的应用不同，需要流式访问它们的数据集。HDFS的设计中更多的考虑到了数据批处理，而不是用户交互处理。比之数据访问的低延迟问题，更关键的在于数据访问的高吞吐量。 3 大规模数据集 运行在HDFS上的应用具有很大的数据集。HDFS上的一个典型文件大小一般都在G字节至T字节。因此，HDFS被调节以支持大文件存储。它应该能提供整体上高的数据传输带宽，能在一个集群里扩展到数百个节点。一个单一的HDFS实例应该能支撑数以千万计的文件。 外文翻译 原文来源The Hadoop Distributed File System: Architecture and Design 中文译文Hadoop分布式文件系统：架构和设计 姓名 XXXX 学号 200708202137 2013年4月8 日 英文原文 The Hadoop Distributed File System: Architecture and Design Source：https://www.doczj.com/doc/07889494.html,/docs/r0.18.3/hdfs_design.html Introduction The Hadoop Distributed File System (HDFS) is a distributed file system designed to run on commodity hardware. It has many similarities with existing distributed file systems. However, the differences from other distributed file systems are significant. HDFS is highly fault-tolerant and is designed to be deployed on low-cost hardware. HDFS provides high throughput access to application data and is suitable for applications that have large data sets. HDFS relaxes a few POSIX requirements to enable streaming access to file system data. HDFS was originally built as infrastructure for the Apache Nutch web search engine project. HDFS is part of the Apache Hadoop Core project. The project URL is https://www.doczj.com/doc/07889494.html,/core/. Assumptions and Goals Hardware Failure Hardware failure is the norm rather than the exception. An HDFS instance may consist of hundreds or thousands of server machines, each storing part of the file system’s data. The fact that there are a huge number of components and that each component has a non-trivial probability of failure means that some component of HDFS is always non-functional. Therefore, detection of faults and quick, automatic recovery from them is a core architectural goal of HDFS. Streaming Data Access Applications that run on HDFS need streaming access to their data sets. They are not general purpose applications that typically run on general purpose file systems. HDFS is designed more for batch processing rather than interactive use by users. The emphasis is on high throughput of data access rather than low latency of data access. POSIX imposes many hard requirements that are not Hadoop分布式文件系统：架构和设计要点 Hadoop分布式文件系统：架构和设计要点 原文：https://www.doczj.com/doc/07889494.html,/core/docs/current/hdfs_design.html 一、前提和设计目标 1、硬件错误是常态，而非异常情况，HDFS可能是有成百上千的server组成，任何一个组件都有可能一直失效，因此错误检测和快速、自动的恢复是HDFS的核心架构目标。 2、跑在HDFS上的应用与一般的应用不同，它们主要是以流式读为主，做批量处理；比之关注数据访问的低延迟问题，更关键的在于数据访问的高吞吐量。 3、HDFS以支持大数据集合为目标，一个存储在上面的典型文件大小一般都在千兆至T字节，一个单一HDFS实例应该能支撑数以千万计的文件。 4、 HDFS应用对文件要求的是write-one-read-many访问模型。一个文件经过创建、写，关闭之后就不需要改变。这一假设简化了数据一致性问题，使高吞吐量的数据访问成为可能。典型的如MapReduce框架，或者一个web crawler应用都很适合这个模型。 5、移动计算的代价比之移动数据的代价低。一个应用请求的计算，离它操作的数据越近就越高效，这在数据达到海量级别的时候更是如此。将计算移动到数据附近，比之将数据移动到应用所在显然更好，HDFS提供给应用这样的接口。 6、在异构的软硬件平台间的可移植性。 二、Namenode和Datanode HDFS采用master/slave架构。一个HDFS集群是有一个Namenode和一定数目的Datanode 组成。Namenode是一个中心服务器，负责管理文件系统的namespace和客户端对文件的访问。Datanode在集群中一般是一个节点一个，负责管理节点上它们附带的存储。在部，一个文件其实分成一个或多个block，这些block存储在Datanode集合里。Namenode执行文件系统的namespace操作，例如打开、关闭、重命名文件和目录，同时决定block到具体Datanode节点的映射。Datanode在Namenode的指挥下进行block的创建、删除和复制。Namenode和Datanode 都是设计成可以跑在普通的廉价的运行linux的机器上。HDFS采用java语言开发，因此可以部署在很大围的机器上。一个典型的部署场景是一台机器跑一个单独的Namenode节点，集群中的其他机器各跑一个Datanode实例。这个架构并不排除一台机器上跑多个Datanode，不过这比较少见。 毕业设计（论文） 中文题目:基于hadoop的分布式存储平台的搭建与验证英文题目: Setuping and verification distributed storage platform based on hadoop 毕业设计（论文）原创性声明和使用授权说明 原创性声明 本人郑重承诺：所呈交的毕业设计（论文），是我个人在指导教师的指导下进行的研究工作及取得的成果。尽我所知，除文中特别加以标注和致谢的地方外，不包含其他人或组织已经发表或公布过的研究成果，也不包含我为获得及其它教育机构的学位或学历而使用过的材料。对本研究提供过帮助和做出过贡献的个人或集体，均已在文中作了明确的说明并表示了谢意。 作者签名：日期： 指导教师签名：日期： 使用授权说明 本人完全了解大学关于收集、保存、使用毕业设计（论文）的规定，即：按照学校要求提交毕业设计（论文）的印刷本和电子版本；学校有权保存毕业设计（论文）的印刷本和电子版，并提供目录检索与阅览服务；学校可以采用影印、缩印、数字化或其它复制手段保存论文；在不以赢利为目的前提下，学校可以公布论文的部分或全部内容。 作者签名：日期： 学位论文原创性声明 本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所取得的研究成果。除了文中特别加以标注引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写的成果作品。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律后果由本人承担。 作者签名：日期：年月日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 涉密论文按学校规定处理。 作者签名：日期：年月日 导师签名：日期：年月日 Hadoop大数据开发实战 教学设计 课程名称：Hadoop大数据开发实战 授课年级：______ ______________ ___ 授课学期：___ ____ ________ ________ 教师姓名：______________ ________ 第一课时 （HDFS简介、HDFS存储架构和数据读写流程、HDFS的Shell命 令、Java程序操作HDFS） 回顾内容，引出本课时主题 1.回顾内容，引出本课时的主题 上节学习了Hadoop集群搭建和使用，本节将学习HDFS分布式文件系统的相关知识。Hadoop的核心是HDFS和MapReduce。HDFS由NDFS系统演变而来，主要解决海量大数据存储的问题，也是目前分布式文件系统中应用比较广泛的一个。本章将带领大家深刻理解和运用HDFS系统。 2.明确学习目标 （1）能够了解HDFS （2）能够理解HDFS数据的存储和读取方式 （3）能够掌握HDFS的特点 （4）能够掌握HDFS的存储架构和数据读写流程 （5）能够掌握HDFS的Shell命令 （6）能够掌握Java程序操作HDFS 知识讲解 ?HDFS的概念 HDFS（Hadoop Distributed File System，Hadoop分布式文件系统）是一种通过网络实现文件在多台主机上进行分布式存储的文件系统。分布式存储比普通存储方式节省时间。 例如，现有10台计算机，每台计算机上有1TB的硬盘。如果将Hadoop 安装在这10台计算机上，可以使用HDFS进行分布式的文件存储。相当于登录到一台具有10 TB存储容量的大型机器。而用HDFS分布式的文件存储方式在10台计算机上存储，显然比用普通方式在1台计算机上存储更节省时间，这就如同3个人吃3个苹果比1个人吃3个苹果要快。 1．NameNode NameNode（名称节点）管理文件系统的命名空间。它负责维护文件系统树及树内所有的文件和目录。这些信息以两个文件（命名空间镜像文件和编辑日志文件）的形式永久保存在本地磁盘上。同时NameNode也记录着每个文件中各个块所在的数据节点信息，但它并不永久保存块的位置信息，因为这些信息在系统启动时由数据节点重建。 hadoop分布式存储平台外文翻译文献(文档含中英文对照即英文原文和中文翻译) 原文: TechnicalIssuesofForensicInvestigationsinCloudCompu ting Environments Dominik BirkRuhr-UniversityBochum HorstGoertzInstituteforITSecurityBochum, Germany Ruhr-University BochumHorstGoertzInstitute for ITSecurity Bochum,Germany Abstract—Cloud Computing is arguably one of the most discussed information technologiestoday. It presentsmany promising technological and economicalopportunities. However, many customers remain reluctant tomove t hei r bus i n ess I T infr a structure com pl etely t o th e cl o ud. O n e of theirma i n concernsisCloudSecurityandthethreatoftheunknown.CloudService Provide rs(CSP) encourage this perception by not letting their customerssee whatis behindtheirvirtualcurtain.Aseldomlydiscussed,butinthisregard highly relevant open issue is the ability to perform digital investigations.This c onti nue s to fuel insecu ri ty on the si d es of both pro vi dersa nd c us t omers.CloudForensicsconstitutesanewanddisruptivechallengeforinvestigators.D ue to the decentralized nature of data processing in the cloud,traditional approachestoevidencecollectionandrecoveryareno longerpractical. This paperfocusesonthetechnicalaspectsofdigitalforensicsindistributedcloud e nvir onments. W e c ont ribute b y ass es sing whether it i s possible for t he customerofcloudcomputingservicestoperformatraditionaldigital investigation from a technical point of view. Furthermore we discusspossible solutions and possible new methodologies helping customers to perform such investigations. I.INTRODUCTION Although the cloud might appear attractive to small as well as tolargecompanies, it does not comealongwithoutits own uniqueproblems.Outsourcingsensitive corporatedata intothe cloudraisesconcerns regardingtheprivacyandsecurityofdata.Securitypolicies,companiesmainpillarc oncern ing s e curity, cann ot be ea s il y d eployed into distributed,virtualize d cloud environments. This situation is further complicated by theunknown physicallocationofthe companie’s assets.Normally,if a securityincident occurs,thecorporatesecurityteamwantstobeabletoperformtheirownin vestigationwithoutdependencyonthirdparties.Inthecloud,thisisnotpos sible any m ore: The CSP obtain s all t he pow e r over the env i ronment andthus controls the sources of evidence. In the best case, a trusted thirdpartyactsasa trustee and guarantees for the trustworthiness of theCSP.Furthermore,theimplementationofthe technicalarchitecture andcircumstanceswithincloudcomputingenvironmentsbiasthewayani nvestigation may b e proc es sed. I n detail, evidenc e dat a hasto be i nte r pret ed by an investigator in a We would like to thank the reviewers for thehelpful commentsand DennisHeinson(CenterforAdvancedSecurityResearch Darmstadt - CASED) for the profound discussions regarding the legalaspects ofcloudforensics.propermannerwhichishardlybepossibleduetothelack of circumstantial information. For auditors, this situation does notchange: 电子科技大学 Hadoop分布式存储和分布式计算的测试 上传文件master（namenode） [hadoop@master ~]$ hadoop dfs -ls ls: Cannot access .: No such file or directory. 创建一个dir1目录，并且创建三个文件 [hadoop@master ~]$ mkdir dir1 [hadoop@master ~]$ echo "hello slave"> dir1/file1 [hadoop@master ~]$ echo "hello world slave1"> dir1/file2 [hadoop@master ~]$ echo "hello slave2 hello"> dir1/file3 [hadoop@master ~]$ hadoop dfs -cat dir1/file1 //查看file1文件内容 hello slave 下载文件到本地 [hadoop@master ~]$ hadoop dfs -ls Found 2 items drwxr-xr-x - hadoop supergroup 0 2013-10-30 14:33 /user/hadoop/dir1 -rw-r--r-- 2 hadoop supergroup 1761 2013-10-30 14:31 /user/hadoop/passwd.new [hadoop@master ~]$ hadoop dfs -get dir1 /tmp/dir1 [hadoop@master ~]$ ls /tmp/dir1/ file1 file2 file3 hadoop是什么分布式系统基础架构 hadoop是什么?hadoop能有哪些应用？hadoop和大数据是什么关系？下面我们将围绕这几个问题详细阐述。 hadoop是什么? Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。 Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS 有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。 Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。 项目起源 Hadoop由Apache Software Foundation 公司于2005 年秋天作为Lucene的子项目Nutch的一部分正式引入。它受到最先由Google Lab 开发的Map/Reduce 和Google File System(GFS) 的启发。 2006 年3 月份，Map/Reduce 和Nutch Distributed File System (NDFS) 分别被纳入称为Hadoop 的项目中。 Hadoop 是最受欢迎的在Internet 上对搜索关键字进行内容分类的工具，但它也可以解决许多要求极大伸缩性的问题。例如，如果您要grep 一个10TB 的巨型文件，会出现什么情况？在传统的系统上，这将需要很长的时间。但是Hadoop 在设计时就考虑到这些问题，采用并行执行机制，因此能大大提高效率。 发展历程 Hadoop原本来自于谷歌一款名为MapReduce的编程模型包。谷歌的MapReduce框架可以把一个应用程序分解为许多并行计算指令，跨大量的计算节点运行非常巨大的数据集。使用该框架的一个典型例子就是在网络数据上运行的搜索算法。Hadoop 最初只与网页索引有关，迅速发展成为分析大数据的领先平台。 目前有很多公司开始提供基于Hadoop的商业软件、支持、服务以及培训。Cloudera是一家美国的企业软件公司，该公司在2008年开始提供基于Hadoop的软件和服务。GoGrid是一家云计算基础设施公司，在2012年，该公司与Cloudera合作加速了企业采纳基于Hadoop 应用的步伐。Dataguise公司是一家数据安全公司，同样在2012年该公司推出了一款针对Hadoop的数据保护和风险评估。 Hadoop应用案例—全球著名企业应用案例 美国国会图书馆是全球最大的图书馆，自1800年设立至今，收藏了超过1.5亿个实体对象，包括书籍、影音、老地图、胶卷等，数字数据量也达到了235TB，但美国eBay拍卖网站，8千万名用户每天产生的数据量就有50TB，5天就相当于1座美国国会图书馆的容量。 在国外，不只eBay这种跨国电子商务业者感受到巨量数据的冲击，其他如美国连锁超市龙头Wal-Mart、发行信用卡的Visa公司等，在台湾如台湾集成电路（台积电）、中华电信等手上拥有大量顾客资料的企业，都纷纷感受到这股如海啸般来袭的Big Data巨量资料浪潮。这样的巨量数据并非是没有价值的数据，其中潜藏了许多使用者亲身经验的第一手原始数据， 针对一个Hadoop分布式存储解决方案，回答如下问题： 分析评价一个Hadoop分布式存储解决方案，需要哪些指标？ 1.RpcProcessingTimeAvgTime(PRC处理的平均时间) 通常HDFS在异常任务突发大量访问时，这个参数会突然变得很大，导致其他用户访问HDFS时，会感觉到卡顿，从而影响任务的执行时间 2.CallQueueLength(RPC Call队列的长度) 如果callqueue队列数值一直处于较高的水平，例如对于NN来说CallQueue的长度等于handler*100，也就是说NN可能收到了大量的请求或者server在处理rpc请求时耗时很长，导致call堆积等 3.进程JVM监控MemHeapUsedM(堆内存使用监控) 通过监控参数可以查看进程的gc时间和gc发生之后释放多少内存和进程的内存使用情况 4.ThreadsBlocked(线程阻塞数量) 分析当问题发生时进程的线程阻塞状况 5.ThreadsWaiting(线程等待数量) 分析当问题发生时进程的线程等待状况 https://www.doczj.com/doc/07889494.html,Node监控指标TotalFiles(总的文件数量) 监控和预警文件数的总量，可以通过其看出是否有任务突然大量写文件和删除大量文件 7.PercentUsed(集群HDFS使用百分比) 监控集群的HDFS的使用情况，使用率不宜太高，因为需要预留磁盘空间给任务计算使用 8.BlockPoolUsedSpace(该集群namespace的HDFS使用容量大小) 可以监控不同namespace的HDFS的使用情况 9.Total(集群HDFS总容量大小) 显示集群整体容量情况 https://www.doczj.com/doc/07889494.html,ed(集群HDFS已使用的容量大小) 集群HDFS使用情况，可以预警是否需要增加机器和删除无用数据 11.NumLiveDataNodes(存活的DN数量)NumDeadDataNodes(丢失的DN数量) 丢失节点，如果过多可能会引起丢块 12.VolumeFailuresTotal(坏盘的数量) 应该设定阀值，达到一定数量时处理 13.MissingBlocks(丢失的block数量) 丢失重要的块会引起任务报错 14.DataNode监控指标ReadBlockOpAvgTime(读取block的平均时间) 可选的监控选项，如果该机器在某个时段平均时间突然升高，可能磁盘读取速度存在问题 15.ResouceManager监控指标NumActiveNMs(NM存活节点数量监控) 有时节点会因为磁盘空间不足等原因导致进程退出，虽然集群具有容错机制，但当丢失节点达到一定数量之后，集群计算资源相当于减少了，所以应当设置合理的阀值报警处理 16.NumUnhealthyNMs(NM不健康节点数量监控) 通常会因为磁盘问题导致节点不健康 17.集群应用数量监控AppsSubmitted(app提交数量) 之前集群有出现过app的id号生成很慢的情况，可以通过改数值和其他参数去判断提交减少的问题分布式文件系统Hadoop HDFS与传统文件系统Linux FS的比较与分析
Hadoop分布式文件系统：架构和设计
Hadoop分布式文件系统：架构和设计外文翻译
Hadoop分布式文件系统方案
基于hadoop的分布式存储平台的搭建与验证毕业设计论文
《Hadoop大数据开发实战》教学教案—03HDFS分布式文件系统
hadoop分布式存储平台外文翻译文献
课程设计(二) Hadoop分布式文件系统(HDFS)运行测试
实验报告
学生姓名： 学号： 指导老师：田文洪
实验地点：
实验时间：2009 年 12 月 15 日
一、实验室名称：
二、实验项目名称：Hadoop 分布式文件系统（HDFS）运行测试
三、实验学时：16
四、实验原理：
在 SIP 项目设计的过程中，对于它庞大的日志在早先就考虑使用任务分解的 多线程处理模式来分析统计，但是由于统计的内容暂时还是十分简单，所以就采 用 Memcache 作为计数器结合 Mysql 完成了访问控制以及统计的工作。但未来， 对于海量日志分析的工作，还是需要有所准备。现在最火的技术词汇莫过于“云 计算”，在 Open API 日益盛行的今天，互联网应用的数据将会越来越有价值，如 何去分析这些数据，挖掘其内在价值，就需要分布式计算来支撑起海量数据的分 析工作。
回过头来看，早先那种多线程，多任务分解的日志分析设计，其实是分布式 计算的一个单机版缩略，如何将这种单机的工作分拆，变成集群工作协同，其实 就是分布式计算框架设计所涉及的。BEA 和 VMWare 合作采用虚拟机来构建集 群，无非就是希望使得计算机硬件能够类似于应用程序中的资源池中的资源，使 用者无需关心资源的分配情况，最大化了硬件资源的使用价值。分布式计算也是 如此，具体的计算任务交由哪一台机器执行，执行后由谁来汇总，这都由分布式 框架的 Master 来抉择，而使用者只需简单的将待分析内容的提供给分布式计算 系统作为输入，就可以得到分布式计算后的结果。Hadoop 是 Apache 开源组织的 一个分布式计算开源框架，在很多大型网站上都已经得到了应用，亚马逊， Facebook,Yahoo 等等。对于我来说，最近的一个使用点就是服务集成平台的日志 分析，服务集成平台的日志量将会很大，这也正好符合了分布式计算的适用场景 （日志分析，索引建立就是两大应用场景）。
什么是 Hadoop
Hadoop 框架中最核心设计就是：MapReduce 和 HDFS。MapReduce 的思想 是由 Google 的一篇论文所提及而被广为流传的，简单的一句话解释 MapReduce 就是任务的分解与结果的汇总。HDFS 是 Hadoop 分布式文件系统的缩写，为分 布式计算存储提供了底层支持。
MapReduce 从 它 名 字 上 来 看 就 大 致 可 以 看 出 个 缘 由 ， 两 个 动 词 Map,Reduce，Map（展开）就是将一个任务分解成为多个任务，Reduce 就是将Hadoop分布式存储和分布式计算的测试
hadoop是什么 分布式系统基础架构
Hadoop分布式存储所需要的评价指标,降低副本数到1.5的方法和思路,存储解决方案
相关主题
文本预览