实验报告课程名称虚拟化与云计算学院计算机学院专业班级11级网络工程3班学号3211006414姓名李彩燕指导教师孙为军2014 年12 月03日EXSI 5.1.0安装安装准备安装VSPHERE HYPERVISOR SEVER（EXSI 5.1.0）需要准备：无操作系统的机器（如有系统，安装过程中会格式化掉），需切换到光盘启动模式。
BOIS中开启虚拟化设置（virtualization设置成enable）VMware vSphere Hypervisor 自启动盘安装过程1.安装VMware vSphere Hypervisor确保机器中无操作系统，并且设置BIOS到光盘启动模式2.插入光盘，引导进入安装界面。
3.选择需要安装在硬盘4.选择keyboard 类型，默认US DEFAULT5.设置ROOT的密码6.安装完毕后，请注意弹出光盘。
然后重启。
7.F2进入系统配置界面。
8.选择到Configure management network去配置网络。
9.配置完毕后，注意重启网络以使设置生效，点击restart management network，测试网络设置是否正确，点test management network。
至此，sever端安装完毕。
配置1.添加机器名：在DNS服务器上添加相关正反解析设置。
2.License设置：Vsphere client登陆后，清单→配置→已获许可的功能→编辑输入license3.时间与NTP服务设置：Vsphere client登陆后，清单→配置→时间配置→属性钩选上NTP客户端选项中，NTP设置设添加NTP服务器，然后在常规中开启NTP服务确定后等待5-10MIN，时间会与NTP服务器同步。
Hadoop安装Hadoop是一个易于安装易于使用的系统，他既适用于云计算的新人学习，也适用于对云计算已经有一定研究的人深入学习（包括网格计算，并行计算等等）。
Hadoop源于nutch，hadoop的两位创始人想开发一款开源的网络搜索引擎，但是在管理大量计算机时遇到了问题。
后来google发表了关于GFS与MapReduce的论文，他们把论文中的思想应用到了Nutch中。
最初他们把系统应用与20台机器上，但是很快他们发现为了处理互联网上的数据，他们需要上千台机器，这个问题超出了两个人能解决的程度。
这是yahoo对hadoop产生了兴趣并成立开发小组帮助他们将这部分内容从nutch中分离出来，成为一个独立的系统，取名hadoop。
Nutch也是hadoop的顶级项目之一，hadoop源于nutch，也独立于nutch。
虽然两者已经互相独立，但是还有很紧密的联系。
与此类似，hadoop也并不是一个单独的项目，hadoop内出了最基本的hadoop common外，还有hdfs，mapreduce，zookeeper。
同时也有一些相关项目，比如avro，chukwa，hbase，hive，mahout，pig（这些项目中很多都是从hadoop的子项目升级为apache的顶级项目的，由此可见hadoop的火热）。
对于新手，我们推荐按照默认方式安装hadoop，即同时安装hadoop common，hadoop hdfs，hadoop mapreduce。
目前，Hadoop可以运行在linux，unix，windows系统上。
实际上hadoop是为在linux平台上使用而开发出来的。
但是hadoop在一些主流的unix版本（甚至包括Mac OS X）也运行良好。
对于windows，这个问题有些复杂。
如果你想在windows上运行hadoop，那么你必须先安装Cygwin以模拟linux环境，然后再安装hadoop。
安装hadoop前，你需要先安装java6与ssh，java6必须是sun公司的jdk，这是hadoop编译运行的需要，ssh推荐安装openssh（免费的~），安装ssh是因为hadoop 需要通过ssh协议来启动各个节点上的守护进程。
Hadoop安装过程安装hadoop 的过程很简单，hadoop的使用也很简单，同时也很灵活。
首先，需要在每台机器上安装jdk1.6和openssh一．安装jdk1.6：安装JDK是一个很简单的过程，以ubuntu为例。
第一步：确保可以连接到互联网，输入命令：sudo apt-get install sun-java6-jdk，输入密码。
在接下来的三个确认中输入（或点击）Yes（或ok），你就可以安装java了。
这里先解释一下sudo这个命令，sudo这个命令能够允许普通用户执行某些或全部root权限命令，sudo命令提供了详尽的日志，可以记录下每个用户使用它做了什么；同时sudo也提供了灵活的管理方式，可以限制用户使用的命令；他的配置文件为/etc/sudoers。
Apt全称为the Advanced Packaging Tool，是ubuntu的软件包管理软件，通过它你可以无需考虑软件依赖关系，直接安装你所需要的软件，而apt会自动下载有依赖关系的包，并按顺序安装，在ubuntu中安装有他的一个图形化界面程序synaptic（中文译名为“新立得”），有兴趣的话也可以使用这个程序来安装你所需要的软件。
（如果你想了解更多可以查看一下关于debian计划的资料）第二步，配置环境变量：输入命令：sudo gedit /etc/profile，输入密码，打开profile文件。
在最下面输入如下内容：第三步:验证java是否安装成功。
新建文件Helloworld.java 输入如下内容：二．安装openssh:同样的，以ubuntu为例，用户名为u：第一步，确认已经连接上互联网，输入命令：首先查看在u用户下是否存在.ssh文件夹（注意ssh前面有“.”，这是一个隐藏文件夹），输入命令：ls –a /home/u。
一般来说，安装ssh时会自动在当前用户下创建这个隐藏文件夹，如果没有的，可以手动创建一个。
接下来，输入命令：这个命令会在.ssh文件夹下创建两个文件id_dsa及id_dsa.pub，这是ssh的一对私钥和公钥，类似于钥匙及锁，把id_da.pub（公钥）追加到授权的key里面去，输入命令：第三步，验证ssh已安装成功及无密码登陆本机，输入命令：第四步，将authorized_keys拷贝到其他主机实际上，在hadoop的安装过程中，是否无密码登陆不是必须的，但是如果不配置无密码登陆的话，每次启动hadoop，都需要输入密码以登陆到每台daotanode，考虑到一般的hadoop集群动辄数十数百台机器，因此一般来说都会配置ssh的无密码登陆。
三．安装hadoop：在安装hadoop前，我们需要先修改主机的几个配置文件：在下面这个文件，添加你的主机需要识别的主机名及其对应的ip地址hdfs的存储文件夹。
在master上，下载hadoop-0.20.2.tar.gz并将其解压，这里将其解压到用户目录下，一般为/home/[你的用户名]/，这里假设用户名为u，进入conf文件夹，修改配置文件：的地址及端口号，后一项配置为hdfs的存储文件夹，这个文件夹需要你自己创建。
需要注意的是，如果安装的是0.20之前的版本，那么只有一个配置文件，即为hadoop-site.xml。
另一个需要注意的是hadoop的配置不仅仅这几项，hadoop在启动时，会用这几项的配置去修改默认配置，也就是说，hadoop有完整的默认配置，你在这里进行配置只是相当于修改hadoop的默认配置，这种做法既可以保证程序的安全性，不易出错，对于用户来说，这种做法也很方便。
如果你想查看hadoop的默认配置，可以到docs中查看core-default.html, hdfs-default.html,和mapred-default.html这三个文件（0.20版本）.修改完这几个文件之后，通过scp命令将hadoop文件夹发送到其他节点上（slave1，slave2），用户名为u启动hadoop前，需格式化hadoop的文件系统hdfs（这点与windows是一样的，重新分区后的卷总是需要格式化的），在master上，进入hadoop文件夹输入命令：bin/hadoop namenode –format格式化文件系统，接下来，启动hadoop，输入命令：打开浏览器，分别输入网址对于hadoop来说，mapreduce及hdfs都是必须的，但是如果有必要的话，你依然可以只启动hdfs（start-dfs.sh）或mapreduce（start-mapred.sh）如果你的hadoop并没有正常工作，那你可查看log文件加下的日志内容一查看哪里出现问题。
五．向hadoop集群添加新的节点Hadoop的管理机制很灵活，你可以动态的添加节点，配置新添加的三个节点，我们先给他们分配ip地址同样进行hadoop的配置，当然你也可以直接从master拷贝，修改masters及slaves 文件（经测试，如果不修改，也可以连接上，但是你下次启动时需要再次手动连入集群）。
输入以下命令：从上面这个你可以很明显的看出，第一步是启动datanode，第二步是启动tasktracker。
这里在介绍两个命令，就是重启坏死的节点，排除问题后，在坏死的节点上输入命令：入启动命令，就可以把节点重新联入hadoop集群。
以上就是我们配置hadoop及日常使用时遇到的一些小问题。
同时我们搭建了一个用于mapreduce编程的网站，你可以在上面练习编写mapreduce程序，网站的地址是。
现在开放注册。
想要学习mapreduce编程的朋友可以先到这个网站上练习一下。
你对云计算的感想以及认识认识：云计算（Cloud Computing）是网格计算（Grid Computing ）、分布式计算（Distributed Computing）、并行计算（Parallel Computing）、效用计算（Utility Com puting）、网络存储（Network Storage Technologies）、虚拟化（Virtualization）、负载均衡（Load Balance）等传统计算机技术和网络技术发展融合的产物。
它旨在通过网络把多个成本相对较低的计算实体整合成一个具有强大计算能力的完美系统，并借助SaaS、PaaS、IaaS、MSP等先进的商业模式把这强大的计算能力分布到终端用户手中。
Cloud Computing的一个核心理念就是通过不断提高“云”的处理能力，进而减少用户终端的处理负担，最终使用户终端简化成一个单纯的输入输出设备，并能按需享受“云”的强大计算处理能力！云计算的核心思想，是将大量用网络连接的计算资源统一管理和调度，构成一个计算资源池向用户按需服务。
