Cygwin+Eclipse搭建Hadoop开发环境

hadoop搭建与eclipse开发环境设置――邵岩飞1.Ubuntu 安装安装ubuntu11.04 desktop系统。

如果是虚拟机的话，这个无所谓了，一般只需要配置两个分区就可以。

一个是\另一个是\HOME 文件格式就用ext4就行了。

如果是实机的话建议在分配出一个\SWAP分区。

如果嫌麻烦建议用wubi安装方式安装。

这个比较傻瓜一点。

2.Hadoop 安装hadoop下载到阿帕奇的官方网站下载就行，版本随意，不需要安装，只要解压到适当位置就行，我这里建议解压到$HOME\yourname里。

3.1 下载安装jdk1.6如果是Ubuntu10.10或以上版本是不需要装jdk的，因为这个系统内置openjdk63.2 下载解压hadoop不管是kubuntu还是ubuntu或者其他linux版本都可以通过图形化界面进行解压。

建议放到$HOME/youraccountname下并命名为hadoop.如果是刚从windows系统或者其它系统拷贝过来可能会遇到权限问题（不能写入）那么这就需要用以下命令来赋予权限。

sudo chown –R yourname:yourname [hadoop]例如我的就是：sudo chown –R dreamy:dreamy hadoop之后就要给它赋予修改权限，这就需要用到：sudo chmod +X hadoop3.3 修改系统环境配置文件切换为根用户。

●修改环境配置文件/etc/profile，加入：你的JAVA路径的说明：这里需要你找到JAVA的安装路径，如果是Ubuntu10.10或10.10以上版本，则应该在/usr/bin/java这个路径里，这个路径可能需要sudo加权限。

3.4 修改hadoop的配置文件●修改hadoop目录下的conf/hadoop-env.sh文件加入java的安装根路径：●把hadoop目录下的conf/core-site.xml文件修改成如下：<?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><!-- Put site-specific property overrides in this file. --><configuration><property><name>hadoop.tmp.dir</name><value>/hadoop</value></property><property><name></name><value>hdfs://ubuntu:9000</value></property><property><name>dfs.hosts.exclude</name><value>excludes</value></property><property>●把hadoop目录下的conf/ hdfs-site.xml文件修改成如下：<?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><!-- Put site-specific property overrides in this file. --><configuration><property><name>dfs.data.dir</name><value>/hadoop/data</value></property><property><name>dfs.replication</name><value>3</value></property></configuration>●把hadoop目录下的conf/ mapred-site.xml文件修改成如下：注意：别忘了hadoop.tmp.dir，.dir，dfs.data.dir参数，hadoop存放数据文件，名字空间等的目录，格式化分布式文件系统时会格式化这个目录。

eclipse hadoop开发环境配置win7下安装hadoop完成后，接下来就是eclipse hadoop开发环境配置了。

具体的操作如下：一、在eclipse下安装开发hadoop程序的插件安装这个插件很简单，haoop-0.20.2自带一个eclipse的插件，在hadoop目录下的contrib\eclipse-plugin\hadoop-0.20.2-eclipse-plugin.jar，把这个文件copy到eclipse的eclipse\plugins目录下，然后启动eclipse就算完成安装了。

这里说明一下，haoop-0.20.2自带的eclipse的插件只能安装在eclipse 3.3上才有反应，而在eclipse 3.7上运行hadoop程序是没有反应的，所以要针对eclipse 3.7重新编译插件。

另外简单的解决办法是下载第三方编译的eclipse插件，下载地址为：/p/hadoop-eclipse-plugin/downloads/list由于我用的是Hadoop-0.20.2，所以下载hadoop-0.20.3-dev-eclipse-plugin.jar.然后将hadoop-0.20.3-dev-eclipse-plugin.jar重命名为hadoop-0.20.2-eclipse-plugin.jar，把它copy到eclipse的eclipse\plugins目录下，然后启动eclipse完成安装。

安装成功之后的标志如图：1、在左边的project explorer 上头会有一个DFS locations的标志2、在windows -> preferences里面会多一个hadoop map/reduce的选项，选中这个选项，然后右边，把下载的hadoop根目录选中如果能看到以上两点说明安装成功了。

二、插件安装后，配置连接参数插件装完了，启动hadoop，然后就可以建一个hadoop连接了，就相当于eclipse里配置一个weblogic的连接。

eclipse配置hadoop-eclipse-plugin(版本hadoop2.7.3)
.
版权声明：本文为博主原创文章，未经博主允许不得转载。

1：首先下载hadoop2.7.3
2：下载Hadoop-eclipse-plugin-2.7.3.jar（注：自己百度，可以下载csdn上有下载）
3：下载eclipse-mars-2
4：eclipse中安装hadoop-eclipse-plugin-2.7.3.jar插件。

（注：自己百度，把包导入到eclipse 的安装目录的plugins下重启eclipse就可以了）
5：打开eclipse，然后点击eclipse菜单Window-->Show View-->Other 窗口，选择MapReducer Locations，如下图所示：
添加完毕后在视图区域中出现MapReduce视图，同时在视图区域右上方出现蓝色小象的添加按钮，如下图所示
6：新建Hadoop Location
点击蓝色小象新增按钮，提示输入MapReduce和HDFS Master相关信息，其中：Lacation Name：为该位置命名，能够识别该，可以随意些；
MapReduce Master：与$HADOOP_DIRCONF/mapred-site.xml配置保持一致；
HDFS Master：与$HADOOP_DIRCONF/core-site.xml配置保持一致
User Name：登录hadoop用户名，可以随意填写
7：配置完毕后，在eclipse的左侧DFS Locations出现CentOS HDFS的目录树，该目录为HDFS文件系统中的目录信息：。

Had oop安装及基于Eclipse的开发环境部署1、Had oop-1.2.1安装1.1 Hadoop安装工具1、操作系统：Win7系统2、虚拟机软件：VMware Workstation 103、Linux系统安装包：ubuntukylin-14.04-desktop-i386.iso（32位）4、JDK包：jdk-8u45-linux-i586.gz5、Hadoop-1.2.1程序安装包（非源码）：/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz 1.2Hadoop安装步骤（部分详细内容可参见《Hadoop安装指南》）1、Ubuntu虚拟机安装（建议安装32位Ubuntu操作系统）2、Windows与linux之间的共享文件夹设置，实现windows与linux之间的文件共享；具体设置如下图：设置完成后，可以看到一个共享文件夹，通过该文件夹可以实现windows与linux之间的文件共享；该共享文件夹默认在linux系统的/mnt/hgfs目录下。

3、ssh安装（ubuntu默认没有安装ssh，需要通过apt-get install 进行安装，这里建议暂时不要生成公钥）4、网络连接配置；网络连接配置的主要目的是保证能够使用Xshell等工具链接虚拟机进行操作。

由于采用NAT模式没有连接成功，本文建议使用自定义的虚拟网络进行连接，具体步骤及设置如下：1）本地虚拟网络IP设置；具体设置如图（可以根据自己的情况设置IP（如192.168.160.1），该IP将作为虚拟机的网关）：2）虚拟机网络适配器设置；建议采用自定义虚拟网络连接，设置如下：3）虚拟机网络IP设置；主要目的是设置自定义的IP、网关等；具体设置流程如下：4）当网络连接设置完成后，使用Ubuntu：service networking restart（centOS：service network restart）命令重启虚拟机网络服务；注意，重启网络服务后，建议在本机的DOS环境下ping一下刚刚在虚拟机中设置的IP地址，如果ping不通，可能是网卡启动失败，可以使用ifconfig eth0 up命令启动网卡（eh0是网卡名称，可以在网路连接设置中查看网卡名称）。

hadoop Map/Reduce开发实例1) Eclipse插件配置与程序开发在windows下开发Map/Readuce程序，首先要在windows安装cygwin，目的是让hadoop在执行过程中可以用到linux下的一些shell命令，sygwin则给window装了一个linux外壳。

配置eclipse及运行程序具体步骤如下：1. 安装cygwin步骤略过（网上安装步骤很多，因为不是此篇文章重点，不再赘述）但值得注意的在安装过程中一定要安装以下部分(1). net下的openssh和openssl，base下的sed，devel下的subversion(2). 设置环境变量path，需要设置 Cygwin 的bin 目录，具体是否需要设置 Cygwin 的usr\bin 目录还不是很确定，但本人设置了提示：cygwin安装完成后会有cygwin ssd服务在windows服务中，可以启动也可以不启动。

2. 下载并安装hadoop，（本人使用hadoop0.20.2版本）下载：/dyn/closer.cgi/hadoop/core/安装：即将hadoop-0.20.2.tar.gz解压即可2. 下载并安装hadoop eclipse插件(1)下载插件：https:///jira/browse/MAPREDUCE-1280（注意：此hadoop-eclipse-plugin-0.20.3-SNAPSHOT.jar插件支持eclipse3.4+，hadoop0.20.2目录 hadoop-0.20.2\contrib\eclipse-plugin中的插件只支持到eclipse3.3版本，版本不支持的话，导致插件不能正常使用。

）(2). 将插件拷贝到eclipse的plugins目录中（使用其他方法装载插件也可以），启动eclipse(3). 配置插件a.打开eclipse -->window->open prespective，可见并打开“ Map/Reduce ” 视图，如图：b. 打开eclipse -->window->show view, 可见并打开MapReduce tool --> Map/Reduce locations ，点击新建locations，视图如下：General选项卡各个参数说明：Location name:本地视图的location名称，自己自定义一个名称即可Map/Reduce Master组内host和port: 为Map/Reduce Master的地址与端口号，此地址端口与hadoop服务器安装配置过程中conf/mapred-site.xml文件中mapred.job.tracker节点值一致。

Cygwin的安装1.先在/install.html上下载安装文件打开后双击setup.exe安装。

如下图：2. 直接点击下一步后如下图：图中有三个选项，意思一看就懂啊。

这里直选择下一步3.直接点击下一步后如下图:这里是要选择安装路径，设置在哪里都可以。

没有特殊要求。

4. 设置好路径后下一步进入下图：这是设置Cygwin安装文件的目录。

先安装的exe只是个引导它需要自己下载安装文件。

设置这个目录就是存储这些文件的。

5.设置好后下一步进入下图：这里是你网络的链接方式，第一个是直接链接，第二个是使用IE代理，第三个使用你指定的HTTP/FTP代理。

你要根据你自己的情况选择。

通常选第一个如不好使则查看你的联网是否使用了代理用了就选下面两个中的一个。

6.设置好后下一步进入下图：选择其中一个url用作下载的站点。

我选第一就行挺快的。

你的不行可以试试别的。

也可以在下面的User URL中添加url写完地址一点Add就加入到上面的url列表中了。

然后选择你自己加入的url即可。

如果自己加入可以尝试一下这个url：/pub/。

然后点击下一步进行安装文件的下载，需要点时间。

如果点击下一步后出现这个错误Internal Error: gcrypt library error 60 illegal tag。

就是上一步网络选择的问题或者选择的url不能下载。

自己可以尝试改动一下。

正常下载的话也可能出现一个警告窗口如下图：点击确定即可。

随即会进入下图。

7. 来到此图就要开始进行一些配置了。

选择一下要安装的包。

如下图：首先：选择其中的Base Default，通常这里的包都已经选择上了。

你要确保sed已选择上，这样你可以在eclipse中使用hadoop了。

如下图这样即可：其次：选择Devel Default，将其中的subversion选中第一个即可。

如下图：最后：选择Net default包，将其中的openssh及openssl选上。

环境搭建总结：我公司采用的是在eclipse+cygwin的平台，我们需要的软件或者插件有，eclipse，jdk，cdt，git，github，cygwin，大概的安装流程为，1、安装eclipse 2、安装JDK 3、安装git 4注册github 5、安装cygwin一、eclipse总结：（eclipse是日常使用的编辑工具）1、下载eclipse：这里建议大家最好到官方网站去下载，因为国内很多网站的资源可能会出现问题（官网地址：/），传统的eclipse广泛用于Java的开发并不支持C，如果电脑上已经有eclipse，则需要下载cdt插件。

同时eclipse官网已经为我们提供了c的版本，我们可以直接下载，这样我们就可以省掉安装cdt插件的部分c版本的名字：Eclipse IDE for C/C++ Developers；在下载的时候要根据自己的操作系统的位数下载，以免不匹配的情况出现，请大家在下载的时候注意一下；2、jdk相关操作：下载完成之后先不要急着打开（eclipse不用安装），因为现在是打不开的，要使用eclipse还需要jdk的支持，首先我们要下载JDK，/technetwork/java/javase/downloads/index.htm）下载完成之后安装，在安装的时候回出现两个路径的选择，第一个为jdk安装路径，第二个为jre安装路径；安装完成之后，我们则需要设置环境变量，这里我们需要设置三个环境变量；步骤为：右键计算机->属性->高级系统设置->环境变量，在系统变量栏里新建CLASSPATH 值为：.;%JAVA_HOME%\lib;%JAVA_HOME%\lib\tools.jar（注意最前面有一点）新建JAVA_HOME 值为jdk安装路径，双击path后面追加;%JAVA_HOME%\bin;%JAVA_HOME%\jre\bin”，注意这里需要加“;”和前面的隔开。

hadoop搭建与eclipse开发环境设置――刘刚1.Windows下eclipse开发环境配置1.1 安装开发hadoop插件将hadoop安装包hadoop\contrib\eclipse-plugin\hadoop-0.20.2-eclipse-plugin.jar拷贝到eclipse的插件目录plugins下。

需要注意的是插件版本（及后面开发导入的所有jar包）与运行的hadoop一致，否则可能会出现EOFException异常。

重启eclipse，打开windows->open perspective->other->map/reduce 可以看到map/reduce开发视图。

1.2 设置连接参数打开windows->show view->other-> map/reduce Locations视图，在点击大象后弹出的对话框（General tab）进行参数的添加：参数说明如下：Location name:任意map/reduce master：与mapred-site.xml里面mapred.job.tracker设置一致。

DFS master：与core-site.xml里设置一致。

User name: 服务器上运行hadoop服务的用户名。

然后是打开“Advanced parameters”设置面板，修改相应参数。

上面的参数填写以后，也会反映到这里相应的参数：主要关注下面几个参数：：与core-site.xml里设置一致。

mapred.job.tracker：与mapred-site.xml里面mapred.job.tracker设置一致。

dfs.replication：与hdfs-site.xml里面的dfs.replication一致。

hadoop.tmp.dir：与core-site.xml里hadoop.tmp.dir设置一致。

hadoop.job.ugi：并不是设置用户名与密码。

HadoopEclipse开发环境搭建This document is from my evernote, when I was still at baidu, I have a complete hadoop development/Debug environment. But at that time, I was tired of writing blogs. It costsme two day’s spare time to recovery from where I was stoped. Hope the blogs will keep on. Still cherish the time speed there, cause when doing the same thing at both differenttime and different place(company), the things are still there, but mens are no more than the same one. Talk too much, Let’s go on.在，已经搭建好了⼀个⽤于开发/测试的haoop集群，在这篇⽂章中，将介绍如何使⽤eclipse作为开发环境来进⾏程序的开发和测试。

2.) 在Eclipse的Windows->Preferences中，选择Hadoop Map/Reduce,设置好Hadoop的安装⽬录，这⾥，我直接从linux的/home/hadoop/hadoop-1.0.3拷贝过来的，点击OK按钮：3.) 新建⼀个Map/Reduce Project4.) 新建Map/Reduce Project后，会⽣成如下的两个⽬录， DFS Locations和suse的Java⼯程，在java⼯程中，⾃动加⼊对hadoop包的依赖：5.）是⽤该插件建⽴的⼯程，有专门的视图想对应：6.）在Map/Reduce Locations中，选择Edit Hadoop Location…选项，Map/Recuce Master和 DFS Master的设置：7.）在Advanced parameters中，设置Hadoop的配置选项，将dfs.data.dir设置成和linx环境中的⼀样，在Advanced parameters中，将所有与路径相关的都设置成对应的Linux路径即可：8.）将Hadoop集群相关的配置设置好后，可以在DFS location中看到Hadoop集群上的⽂件，可以进⾏添加和删除操作：9.）在⽣成的Java⼯程中，添加Map/Reduce程序，这⾥我添加了⼀个WordCount程序作为测试：10.）在Java⼯程的Run Configurations中设置WordCount的Arguments，第⼀个参数为输⼊⽂件在hdfs的路径，第⼆个参数为hdfs的输出路径：11.）设置好Word Count的RunConfiguration后，选择Run As-> Run on Hadoop:12.) 在Console中可以看到Word Count运⾏的输出⽇志信息：13.）在DFS Location中可以看到，Word Count在result⽬录下⽣成的结果：14.）进⾏Word Count程序的调试，在WordCount.java中设置好断点，点击debug按钮，就可以进⾏程序的调试了：⾄此， Hadoop+Eclipse的开发环境搭建完成。

Eclipse搭建hadoop开发环境1、软件环境a)Eclipseb)运行中的hadoop集群2、eclipse上安装hadoop插件a)首先将eclipse Hadoop的插件放置到eclipse/plugins目录下，重启eclipseb)如果插件安装成功，打开Windows—Preferences后，在窗口左侧会有HadoopMap/Reduce选项，点击此选项，在窗口右侧设置Hadoop安装路径。

PS：这个路径是hadoop的路径，eclipse会从这里获取一定的jar包如图：c)配置Map/Reduce Locations，打开Windows—OpenPerspective—Other—Map/Reduce Locations—OK如图：d)点击新增hadoop如图：3、新建WordCount项目a)上传两个文件到hadoop集群里面b)分别写Mapper、Reducer、Main，如图所示：c)运行WordCountMain.java，Run As-----Run Configurations，然后配置如图：d)结果如图：4、碰到的错误a)Windows eclipse配置插件时候，碰到权限不够（org.apache.hadoop.security.AccessControlException），导致不能连接到hadoop，解决方案：1、将windows的账户名和用户组都设置成hadoop启动的账号一样的名字2、如果是自己的测试机器，可以关闭dfs的权限检测，在conf/hdfs-site.xml 将dfs.permissions修改成falseb)Exception in thread "main" java.io.IOException: Failed to set permissions of path:\tmp\hadoop-Administrator\mapred\staging\Administrator-519341271\.staging to0700这个是Windows下文件权限问题，在Linux下可以正常运行，不存在这样的问题。

基于Eclipse的Hadoop应用开发环境配置我的开发环境：操作系统fedora 14 一个namenode 两个datanodeHadoop版本：hadoop-0.20.205.0Eclipse版本：eclipse-SDK-3.7.1-linux-gtk.tar.gz第一步：先启动hadoop守护进程第二步：在eclipse上安装hadoop插件1.复制 hadoop安装目录/contrib/eclipse-plugin/hadoop-eclipse-plugin-0.20.205.0.jar 到eclipse安装目录/plugins/ 下。

2.重启eclipse，配置hadoop installation directory。

如果安装插件成功，打开Window-->Preferens，你会发现Hadoop Map/Reduce 选项，在这个选项里你需要配置Hadoop installation directory。

配置完成后退出。

3.配置Map/Reduce Locations。

在Window-->Show View中打开Map/Reduce Locations。

在Map/Reduce Locations中新建一个Hadoop Location。

在这个View中，右键-->New Hadoop Location。

在弹出的对话框中你需要配置Location name，如Hadoop，还有Map/Reduce Master和DFS Master。

这里面的Host、Port分别为你在mapred-site.xml、core-site.xml中配置的地址及端口。

如：Map/Reduce Master192.168.1.1019001DFS Master192.168.1.1019000配置完后退出。

点击DFS Locations-->Hadoop如果能显示文件夹(2)说明配置正确，如果显示"拒绝连接"，请检查你的配置。

hadoop搭建与eclipse开发环境设置――罗利辉1.前言1.1 目标目的很简单，为进行研究与学习，部署一个hadoop运行环境，并搭建一个hadoop开发与测试环境。

具体目标是：✓在ubuntu系统上部署hadoop✓在windows 上能够使用eclipse连接ubuntu系统上部署的hadoop进行开发与测试1.2 软硬件要求注意：Hadoop版本和Eclipse版本请严格按照要求。

现在的hadoop最新版本是hadoop-0.20.203，我在windows上使用eclipse（包括3.6版本和3.3.2版本）连接ubuntu上的hadoop-0.20.203环境一直没有成功。

但是开发测试程序是没有问题的，不过需要注意权限问题。

如果要减少权限问题的发生，可以这样做：ubuntu上运行hadoop的用户与windows 上的用户一样。

1.3 环境拓扑图ubuntu 192.168.69.231ubuntu2192.168.69.233 ubuntu1192.168.69.2322.Ubuntu 安装安装ubuntu11.04 server系统，具体略。

我是先在虚拟机上安装一个操作系统，然后把hadoop也安装配置好了，再克隆二份，然后把主机名与IP修改，再进行主机之间的SSH配置。

如果仅作为hadoop的运行与开发环境，不需要安装太多的系统与网络服务，或者在需要的时候通过apt-get install进行安装。

不过SSH服务是必须的。

3.Hadoop 安装以下的hadoop安装以主机ubuntu下进行安装为例。

3.1 下载安装jdk1.6安装版本是：jdk-6u26-linux-i586.bin，我把它安装拷贝到：/opt/jdk1.6.0_263.2 下载解压hadoop安装包是：hadoop-0.20.2.tar.gz。

3.3 修改系统环境配置文件切换为根用户。

●修改地址解析文件/etc/hosts，加入3.4 修改hadoop的配置文件切换为hadoop用户。

基于Eclipse的Hadoop开发环境配置方法（1）启动hadoop守护进程在Terminal中输入如下命令：$ bin/hadoop namenode -format$ bin/start-all.sh（2）在Eclipse上安装Hadoop插件找到hadoop的安装路径，我的是hadoop-0.20.2，将/home/wenqisun/hadoop-0.20.2/contrib/eclipse-plugin/下的hadoop-0.20.2-eclipse-plugin.jar拷贝到eclipse安装目录下的plugins里，我的是在/home/wenqisun/eclipse /plugins/下。

然后重启eclipse，点击主菜单上的window-->preferences，在左边栏中找到Hadoop Map/Reduce，点击后在右边对话框里设置hadoop的安装路径即主目录，我的是/home/wenqisun/hadoop-0.20.2。

（3）配置Map/Reduce Locations在Window-->Show View中打开Map/Reduce Locations。

在Map/Reduce Locations中New一个Hadoop Location。

在打开的对话框中配置Location name（为任意的名字）。

配置Map/Reduce Master和DFS Master，这里的Host和Port要和已经配置的mapred-site.xml 和core-site.xml相一致。

一般情况下为Map/Reduce MasterHost：localhostPort：9001DFS MasterHost：localhostPort：9000配置完成后，点击Finish。

如配置成功，在DFS Locations中将显示出新配置的文件夹。

（4）新建项目创建一个MapReduce Project，点击eclipse主菜单上的File-->New-->Project，在弹出的对话框中选择Map/Reduce Project，之后输入Project的名，例如Q1，确定即可。

Hadoop在Windows7操作系统下使用Eclipse来搭建hadoop开发环境-电脑资料网上有一些都是在Linux下使用安装Eclipse来进行hadoop应用开发，但是大部分Java程序员对linux系统不是那么熟悉，所以需要在windows下开发hadoop程序，所以经过试验，总结了下如何在windows下使用Eclipse来开发hadoop程序代码，。

1、需要下载hadoop的专门插件jar包2、把插件包放到eclipse/plugins目录下为了以后方便，我这里把尽可能多的jar包都放进来了，如下图所示：3、重启eclipse，配置Hadoop installation directory如果插件安装成功，打开Windows—Preferences后，在窗口左侧会有Hadoop Map/Reduce选项，点击此选项，在窗口右侧设置Hadoop安装路径。

4、配置Map/Reduce Locations打开Windows-->Open Perspective-->Other选择Map/Reduce，点击OK，在右下方看到有个Map/Reduce Locations的图标，如下图所示：点击Map/Reduce Location选项卡，点击右边小象图标，打开Hadoop Location配置窗口：输入Location Name，任意名称即可.配置Map/Reduce Master 和DFS Mastrer，Host和Port配置成与core-site.xml的设置一致即可。

去找core-site.xml配置： hdfs://name01:9000在界面配置如下：点击"Finish"按钮，关闭窗口。

点击左侧的DFSLocations—>myhadoop（上一步配置的location name)，如能看到user，表示安装成功，但是进去看到报错信息：Error: Permission denied: user=root,access=READ_EXECUTE,inode="/tmp";hadoop:superg roup:drwx---------，如下图所示：应该是权限问题：把/tmp/目录下面所有的关于hadoop的文件夹设置成hadoop用户所有然后分配授予777权限。

Hadoop开发环境搭建（Win8+Linux）常见的Hadoop开发环境架构有以下三种：1、Eclipse与Hadoop集群在同一台Windows机器上。

2、Eclipse与Hadoop集群在同一台Linux机器上。

3、Eclipse在Windows上，Hadoop集群在远程Linux机器上。

点评：第一种架构：必须安装cygwin，Hadoop对Windows的支持有限，在Windows 上部署hadoop会出现相当多诡异的问题。

第二种架构：Hadoop机器运行在Linux上完全没有问题，但是有大部分的开发者不习惯在Linux上做开发。

这种架构适合习惯使用Linux的开发者。

第三种架构：Hadoop集群部署在Linux上，保证了稳定性，Eclipse在Windows 上，符合大部分开发者的习惯。

本文主要介绍第三种Hadoop开发环境架构的搭建方法。

Hadoop开发环境的搭建分为两大块：Hadoop集群搭建、Eclipse环境搭建。

其中Hadoop集群搭建可参考官方文档，本文主要讲解Eclipse环境搭建（如何在Eclipse 中查看和操作HDFS、如何在Eclipse中执行MapReduce作业）。

搭建步骤：1、搭建Hadoop集群（Linux、JDK6、Hadoop-1.1.2）2、在Windows上安装JDK6+3、在Windows上安装Eclipse3.3+4、在Eclipse上安装hadoop-eclipse-plugin-1.1.2.jar插件（如果没有，则需自行编译源码）5、在Eclipse上配置Map/Reduce Location搭建Hadoop集群此步骤可参考Hadoop官方文档在Windows上安装JDK此步骤可参考官方文档在Window上安装Eclipse此步骤可参考官方文档在Eclipse上安装hadoop-eclipse-plugin-1.1.2.jar插件Hadoop-1.1.2的发布包里面没有hadoop-eclipse-plugin-1.1.2.jar，开发者必须根据所在的环境自行编译hadoop-eclipse-plugin-1.1.2.jar插件。

搭建eclipse的hadoop开发环境知识点一、概述在大数据领域，Hadoop是一个非常重要的框架，它提供了分布式存储和处理海量数据的能力。

而Eclipse作为一款强大的集成开发环境，为我们提供了便利的开发工具和调试环境。

搭建Eclipse的Hadoop 开发环境对于开发人员来说是必不可少的。

本文将从安装Hadoop插件、配置Hadoop环境、创建Hadoop项目等方面来详细介绍搭建Eclipse的Hadoop开发环境的知识点。

二、安装Hadoop插件1. 下载并安装Eclipse我们需要在全球信息湾上下载最新版本的Eclipse，并按照提示进行安装。

2. 下载Hadoop插件在Eclipse安装完成后，我们需要下载Hadoop插件。

可以在Eclipse 的Marketplace中搜索Hadoop，并进行安装。

3. 配置Hadoop插件安装完成后，在Eclipse的偏好设置中找到Hadoop插件，并按照提示进行配置。

在配置过程中，需要指定Hadoop的安装目录，并设置一些基本的环境变量。

三、配置Hadoop环境1. 配置Hadoop安装目录在Eclipse中配置Hadoop的安装目录非常重要，因为Eclipse需要通过这个路径来找到Hadoop的相关文件和库。

2. 配置Hadoop环境变量除了配置安装目录，还需要在Eclipse中配置Hadoop的环境变量。

这些环境变量包括HADOOP_HOME、HADOOP_COMMON_HOME、HADOOP_HDFS_HOME等，它们指向了Hadoop的各个组件所在的目录。

3. 配置Hadoop项目在Eclipse中创建一个新的Java项目，然后在项目的属性中配置Hadoop库，以及其它一些必要的依赖。

四、创建Hadoop项目1. 导入Hadoop库在新建的Java项目中，我们需要导入Hadoop的相关库，比如hadoopmon、hadoop-hdfs、hadoop-mapreduce等。

Windows 下配置Eclipse 连接Hadoop 开发环境学习本篇之前，首先需要搭建Hadoop集群环境，具体请参见：Hadoop 三台主机集群搭建详解在上一篇Hadoop 三台主机集群搭建详解，已经搭建起Hadoop集群，但是要开发调试MapReduce程序，还是在Windows 下比较方便和舒服。

成功配置这个环境，花费了我好几个晚上，先记录如下，方便后来学习的人：环境及配置：Eclipse选择非常重要，至少我是在这花费了很多时间，几乎试遍了所有的eclipse版本，都不成功，最后选择了SpringSource Tool，真的很好用，下载地址：/downloads/stsCygwinhadoop是基于Linux平台的，如其启动，关闭配置需要在Linux命令行中执行，cygwin是用来模拟Linux下的命令行工具。

安装地址：/install.htmlHadoop Eclipse插件不建议使用Hadoop自带的，不好用，如果使用SpringSource Tool的话，请使用hadoop-eclipse-plugin-0.20.3-SNAPSHOT，下载地址：https:///jira/browse/MAPREDUCE-1280预先配置1. 安装Cygwin，这个只要一路确定就行了，不过中间千万别停顿。

2. 配置Windows Hosts文件，为了DNS解析寻址用方法：进入C:\Windows\System32\drivers\etc，找到hosts文件，编辑添加hadoop集群配置的hosts文件相关信息如下：192.168.40.5master192.168.40.6slave1#非必须#192.168.40.7slave2#非必须#安装配置：①解压下载的SpringSource Tool到D:\\STS，将hadoop-eclipse-plugin-0.20.3-SNAPSHOT放到：D:\STS\sts-2.9.1.RELEASE\plugins②点击STS.exe，启动SpringSource Tool(一下简称Eclipse)，如果在Project Explorer中出现DFS Locations图标，则说明安装正确，如图：③之后，点击Windows-->Preferrence-->hadoop map/reduce, Brower 选择下载的hadoop-0.20.2所在的路径：④配置相关参数，点击Windows-->Show View -->Other --> Map/Reduce Location，打开Hadoop的MapReduce View点击Ok之后，出现如下图⑤上一步你不应该看到hadoopLoc, 应该什么都没有，右键点击空白处-->New Hadoop Location, 你会看到一个填写MapReduce Location参数的一个界面：其中：Location Name：这个不用在意，就是对这个MapReduce的标示，只要能帮你记忆即可Map/Reduce Master 部分相关定义：Host：上一节搭建的集群中JobTracker所在的机器的IP地址port：JobTracker的端口两个参数就是mapred-site.xml中mapred.job.tracker的ip和端口DFS Master部分：Host：就是上一节集群搭建中Namenode所在机器IPPort：就是namenode的端口这两个参数是在core-site.xml里里面的ip和端口User Name：就是搭建Hadoop集群是所用的用户名，我这里用的是root⑥填写完以上信息以后，关闭Eclipse，然后重新启动。

国家超级计算深圳中心Hadoop编译——Eclipse平台编译方法研究开发部2011-8-5Hadoop 编译——Eclipse平台编译方法目录Eclipse编译Hadoop (1)1 Windows环境下编译 (4)1.1安装Cygwin (4)1.2安装java (4)1.3安装ant (4)1.4安装Eclipse (5)1.5下载源码 (6)1.6编译Hadoop (6)步骤1 (6)步骤2 (7)步骤3 (8)2 Linux环境下编译 (8)2.1 ant下载 (8)2.2下载JDK (8)2.3下载源码 (9)2.4 Eclipse下载 (9)2.5编译Hadoop (9)步骤1 (9)步骤2 (10)步骤3 (11)版本信息1 Windows环境下编译1.1安装Cygwin到下载cygwin最新版本。

下载后执行安装（安装目录为C:\cygwin）即可，安装时默认的配置即可，必须联网下载内容。

安装过程中选择svn和sed。

用于下载源代码。

在环境变量中Path加入:C:\cygwin\bin1.2安装java下载Jdk1.6_26。

将Java的可执行文件安装路径+bin，形如：C:\Program Files\Java\jdk1.6.0_26\bin目录加入到Path变量中。

如下图所示：添加JAVA_HOME变量。

1.3安装ant到下载ant1.7或者1.8都可以。

解压到C盘后，设置环境变量：ANT_HOME 和PATH. 我的电脑右键->属性->高级->环境变量-新建：如下图所示，输入内容。

我的电脑右键->属性->高级->环境变量，找到系统变量中的PATH，单击编辑，如下图所示，加入:%ANT_HOME%\bin1.4安装Eclipse下载：/eclipse/technology/epp/downloads/release/ indigo/R/eclipse-jee-indigo-win32.zip 。