下载文档原格式
分布式计算环境实验报告实验名称：在虚拟机下安装Linux系统和Hadoop专业班级：网络1101学生学号：3110610007学生姓名：平淑容目录实验目的..............................................................................P 实验仪器...............................................................................P 实验内容和步骤...................................................................P 安装过程的问题以及解决方法............................................P 代码运行以及实验结果.......................................................P 运行过程中的问题................................................................P 实验总结................................................................................P一、实验目的在虚拟机上安装CentOS系统并在Linux系统上安装Hadoop单机模式并且执行一个Java程序。
二、实验仪器硬件：虚拟机CentOS软件：Windows 7操作系统三、实验内容及步骤实验内容一、安装虚拟机二、安装Linux操作系统三、设置静态ip四、修改主机名四、绑定ip和主机五、关闭防护墙六、关闭防火墙的自动运行七、设置ssh八、安装JDK九、安装Hadoop十、在单机上运行Hadoop十一、Hadoop执行Java程序实验步骤：一、安装虚拟机此处安装的虚拟机是VMware Workstation版本，直接从压缩包里面解压安装即可，此处不做过多介绍。
实验环境：Win7或者Win XP都可以，但是要安装VS2008以上版本。
因为要实现分布式，形成多线程，电脑至少是双核系统。
本次试验用的编程语言是C#，主要用的是OpenMp实现多核开发技术。
OpenMp简单介绍：OpenMP起源于ANSI X3H5标准，它具有简单、移植性好和可扩展等优点，是共享存储系统编程的一个工业标准。
OpenMP使用Fork-Join并行执行模型。
支持增量并行化(Incremental Parallelization) 。
实际上OpenMP并不是一门新的语言，它是对基本语言（如Fortan77、Fortan90、C、C++等）的扩展。
OpenMP规范中定义的编译制导(Compiler Directive)、运行库(Runtime Library)和环境变量(Environment Variables)，能够使用户在保证程序的可移植性的前提下，按照标准将已有的串行程序逐步并行化。
制导指令是对程序设计语言的扩展，进一步提供了对并行区域、工作共享、同步构造的支持，并且支持数据的共享和私有化。
这样，用户对串行程序添加制导指令的过程，就类似于进行显式并行程序设计。
运行库和环境变量，使得用户可以调整并行程序的执行环境。
OpenMP的提出，是希望遵循该并行编程模型的并行程序，可以在不同的产商提供的共享存储体系结构间比较容易地移植。
实际上，已经有许多硬件和软件供应商提供支持OepnMP的编译器，如DEC、Intel、IBM、HP、Sun、SGI、及U.S.DOE ASCI program等，并且包括了Linux,UNIX和Windows等多种操作系统平台。
目前，Fortran77、Fortran90、C、C++语言的实现规范已经完成。
OpenMp并行编程模型：首先，OpenMP是基于线程的并行编程模型(Programming Model)，一个共享存储的进程由多个线程组成，OpenMP就是基于已有线程的共享编程范例；其次，OpenMP是一个外部的编程模型，而不是自动编程模型，它能够使程序员完全控制并行化，OpenMP使用Fork-Join并行执行模型。
分布式系统常用思想和技术总结百度最近发表了一篇名为《分布式系统常用思想和技术总结》的范文，感觉很有用处，这里给大家转摘到百度。
篇一：分布式与云计算总结进行数据复制主要出于两个目的：可靠性和性能。
数据一旦被复制，就会带来一致性的问题。
以数据为中心的一致性模型严格一致性（）：对于数据项的任何读操作将返回最近一次对进行写操作的结果所对应的值。
严格一致性是限制性最强的模型，但是在分布式系统中实现这种模型代价太大，所以在实际系统中运用有限。
顺序一致性：任何执行结果都是相同的，就好像所有进程对数据存储的读、写操作是按某种序列顺序执行的，并且每个进程的操作按照程序所制定的顺序出现在这个序列中。
也就是说，对，然后把它们传给(规约)函数，把具有相同中间形式的合并在一起。
文件存储位置：源文件：处理结果：本地存储处理结果：日志：单词计数：:自动对文本进行分割百度节点寻找这个资源，首先，在上查找后继节点为，发现并不符合?(;]的要求，那么直接在的路由表上查找符合这个要求的表项（由远及近查找），我们发现路由表中最远的一项+--满足?(;]，则说明这个点离持有这个资源的节点最近（因为在该路由表中离这个节点最远），那么此时跳到这个节点上继续查找。
的后继节点为，不符合?(;]的要求，说明不持有资源，此时，开始在的路由表上查找，我们由远及近开始查找，发现+--满足?(;]，则说明这个点离持有这个资源的节点最近，那么此时跳到这个节点上继续查找。
任何读、写操作的交叉都是可接受的，但是所有进程都看到相同的操作交叉。
顺序一致性由（）在解决多处理器系统的共享存储器时首次提出的。
因果一致性：所有进程必须以相同的顺序看到具有潜在因果关系的写操作。
不同机器上的进程可以以不同的顺序看到并发的写操作（和）。
假设和是有因果关系的两个进程，例如的写操作信赖于的写操作，那么和对的修改顺序，在和看来一定是一样的。
但如果和没有关系，那么和对的修改顺序，在和看来可以是不一样的。
分布式教学环境研究分析A Research and Analysis on Distributed Teaching EnvironmentZHOU Ying(Mathmatic Department, Nantong Higher Normal Institute, Nantong 226001, China): On the base of some problems existing in the current teaching environment and education resources, this paper introduces the application of distributed systems in modern education teaching, analyzes the key technology of application and gives some design suggestion on research model.以人为本，实现人的全面发展是新一轮课程改革的基本指导思想。
教育信息化程度的高低已经成为当今世界衡量一个国家综合国力的重要标志。
随着教育现代化建设的发展，教学内容与教学理念发生了重大变化，现有的教学系统因为设计、使用、资源的分类方式等种种原因，已经不再适合现代的课程标准，建立新型的、适应新课程标准的教学系统或者教学环境已经成为当务之急。
随着信息技术在学校中的广泛应用，校园网技术的不断更新，校园网环境也悄悄发生着变化。
这种变化主要表现在：学习资1) 源的通信功能。
学习资源的广泛性决定了学习资源只有具有一定的通信功能才能发挥其最大的学习功效。
基于校园网或是更大的或是互联网，利用通信功能，各教学设施间的学习资源可相互检索，共同利用，使得学习资源的使用超越地域的限制，真正实现学习资源共享。
2）教学设施的网络化。
随着基于光纤通信的校园网的建设，各教学设施之间都可以通过网络相互交换信息。
分布计算环境作业一．通过生成进程来构建并发服务器与使用多线程来构建并发服务器相比有优点也有缺点，请分析这两种方式的优缺点。
你认为基于CORBA 实现的并发服务器是基于生成进程的方法，还是基于多线程的方法？为什么？并发服务器需要同时处理多个请求。
采用多进程：优点：1）处理各个请求的进程之间隔离性好。
缺点：1）创建/撤销处理各个请求的进程的代价大；2）分发器（主进程……）将请求发送到另一个进程的代价大（如果能说明为什么代价大更好）；3）如果各个子进程间需要通信，代价大。
采用线程：优点：1）创建/撤销处理各个请求的线程的代价小；2）分发器（主线程……）将请求发送到另一个线程的代价小（如果能够说明为什么代价小更好）；3）如果各个线程间需要通信，代价小。
缺点：1）一个线程出问题，可能会影响其他线程。
CORBA:使用多线程技术实现并发服务器。
因为如果采用多进程实现，有以下问题：1）服务器端要同时维护多个可被用户访问的CORBA对象，这些对象的数量常常会比较大，为每个服务对象起一个进程，进程数会比较大，系统开销过大；2）对于远程方法调用来说，请求的参数比较复杂，主进程将请求再发送给子进程，开销比较大；3）主进程、子进程都需要ORB的Runtime，进程启动/撤销的代价大；所以如果采用多进程的话实现并发CORBA服务器很困难。
主要问题：（一）针对性不够：a）直接罗列进程和线程的优缺点（二）理由不够充分：a）为支持高并发及高可用，所以多线程或多进程b）为支持稳定性和健壮性，所以多线程或多进程c）ORB拿到请求后要决定哪一个对象实例完成这个请求，送过去，这种工作过程类似于线程d）多线程更适合，代价低，所以e）因为ORB每拿到一个对象都会派生一个线程，所以f）事务控制，所以……g）CORBA要对稳定性隔离性要求较高，所以基于进程方式（三）没有弄清楚题目问的重点：a）CORBA支持远程调用，客户和服务器不在同一个位置，所以多进程（四）其它：a）服务对象由不同语言编写，不能在单一进程中b）因为POA有线程策略，那么如果你不知道POA的工作机制呢？c）多个伺服对象在不同位置，所以多进程。
《分布式计算机技术》实验报告一、分布并行计算环境的安装和设置1．实验目的：掌握分布并行计算环境ProActive的安装和设置，理解客户-服务器模式以及涉及到的各种概念：分布式计算技术、通信与命名。
2．实验内容：①熟悉ProActive软件，完成JDK和ProActive在PC机上的安装和基本配置。
②理解ProActive的活动对象的概念和基本原理。
③理解客户-服务器模式，并且独立运行实例。
3．实验步骤及结果：①安装JDK1.4或者高于1.4的版本。
安装过程和配置过程略。
②ProActive安装过程和基本配置过程略。
③运行例子例子的运行除了运行例子的主类以外，ProActive为例子的运行提供了了脚本程序，scripts 所在的目录在：④Tiny版本的“HelloWorld”例子的运行，运行脚本程序：输出：⑤Reader(读者写者)例子的运行⑥Philosopher（哲学家）例子的运行（1）结果：（2）（3）（4）（5）4．归纳总结，撰写心得体会：在经过本次实验课的内容操作之后，我对分布并行计算环境ProActive有了一些基本的理解以及一些常用操作，也让我们了解客户-服务器模式，了解分布式计算技术、通信与命名等概念。
ProActive 是一个由法国的INRIA机构开发的并行分布式计算的Java 中间件，使用ProActive 能方便地开发网格和网络环境下的应用。
ProActive 是一个支持开发网格和网络环境下并行、分布及并发计算的Java 库。
具有如下特点：(1)纯Java 编写；(2)迁移性；(3)类型组通信和组件编程模式，支持面向对象的SPMD 程序设计；(4)支持Globus、PBS、LSF、SSH 和RSH等网络网格环境和中间件的接口；(5)强大的XML 部署描述器和安全机制。
Hello world ! 是一个最小的Proactive程序。
这是用主动对象概念写的最简单的程序。
为的是用尽量少的API知识快速展示一下怎样编写这类代码。
分布式系统设计和测试总结序⾔：在当今，有⼀门技术很是热门，那就是分布式技术，也许很多⼈对分布式技术很疑惑，但是实际上，你总是与分布式技术打交道，我们若想更好的把握住以后的机遇，那么则要让⾃⼰不断的对这些系统基础知识了解，这样才能去创新。
有不对的地⽅请指教，谢谢啦 ⼀、分布式系统和编程 1、分布式计算：将⼀个⼤型的⾼难度的计算拆分成若⼲个⼦进程进⾏计算，然后计算完毕后，回收结果。
这个需要区分的是并⾏计算，并⾏计算是指并发执⾏，分为空间和时间的并⾏，空间则是我们常说的多核，⽽时间则是利⽤了流⽔线，错开时间。
他们的共同点是解决对象上，都将⼤任务化为⼩任务，这是他们共同之处。
区别在于前者的每个任务具有独⽴性，并且更关注的是任务间的通信。
后者的任务包是⼀个划分，之间的联系很⼤。
2、分布式：⼀个分布式系统是若⼲个计算机操作系统组成，但是对于⽤户⽽⾔，就像⼀个巨型计算机⼀样。
3、分布式编程：简单⽽⾔，，其主要特征是分布和通信。
即将⼀个⼤型软件系统，分割成若⼲个模块，然后模块之间利⽤规范好的接⼝进⾏通信。
例如：我常⽤的是的分布式编程，包括：RMI、Corba以及SOAP RMI是java虚拟机模块之间的通信。
Corba是通过IDL描述接⼝，不同编程语⾔模块之间可通过Cobra服务进⾏通信。
SOAP是靠XML来描述接⼝，通过HTTP协议进⾏通信。
4、分布式存储：将⼀个⼤型计算机资源可以分配到不同的存储系统上，整体可以看做⼀个⼤型存储系统。
例如：现在很⽕的Hadoop的HDFS 就提供了这么⼀个功能。
所以，总之，分布式重点就在于：能够统⼀管理和分配资源，协调好各个分布式模块之间的通信。
⼆、分布式应⽤ 举⼏个简单的例⼦说说分布式 1、我们常⽤的也是分布式的，浏览器和服务器之间的交互是通过http协议，⽽可以将各个资源分配到各个服务器，⽽我们常说的就是这么来的。
2、在⼀些C/S系统中，也利⽤了分布式，将计算和资源进⾏分配，互相之间利⽤接⼝进⾏通信。
分布式计算方法在当今信息技术飞速发展的时代，计算资源的需求也日益增长。
为了满足这一需求，分布式计算方法应运而生。
分布式计算是指将一个计算任务分解成多个子任务并分配到多个计算节点上进行处理的一种计算模式。
本文将介绍分布式计算的基本原理以及常见的分布式计算方法。
一、分布式计算的基本原理分布式计算的基本原理是将一个大的计算任务分割成多个小的子任务，然后分配给多个计算节点并行计算，最后将各个子任务的计算结果进行汇总。
分布式计算可以大大提高计算效率和数据处理能力，提高系统的可靠性和扩展性。
分布式计算系统的基本组成部分包括任务调度器、计算节点和数据通信网络。
任务调度器负责将计算任务分解成小的子任务，并将这些子任务分配给计算节点进行并行计算。
计算节点是分布式计算系统中的工作单元，可以是物理机、虚拟机、容器等。
数据通信网络是计算节点之间进行通信和数据传输的基础设施，包括局域网、广域网等。
二、常见的分布式计算方法1. 分而治之（Divide and Conquer）分而治之是一种常见的分布式计算方法，它将一个大的计算问题分解成多个小的子问题，并将这些子问题分配给不同的计算节点进行计算。
每个计算节点独立地解决自己的子问题，最后将各个子问题的结果进行合并得到最终结果。
分而治之方法在处理递归问题和可并行计算的问题时非常有效。
2. 数据并行（Data Parallelism）数据并行是一种将数据分割成多个部分，然后分配给不同的计算节点并行处理的方法。
每个计算节点处理自己分配到的数据部分，最后将结果进行合并得到最终结果。
数据并行方法适用于大规模数据处理和机器学习等任务。
3. 任务并行（Task Parallelism）任务并行是一种将计算任务分解成多个小的任务，然后将这些小任务分别分配给不同的计算节点并行执行的方法。
每个计算节点处理自己分配到的任务，最后将各个任务的计算结果进行合并得到最终结果。
任务并行方法适用于需要同时进行多个独立任务的场景。
一致性指“All nodes see the same data at the sametime”，即更新操作成功并返回客户端完成后，所有节点在同一时间的数据完全一致。
对于一致性，可以分为从客户端和服务端两个不同的视角来看。
从客户端来看，一致性主要指多并发访问时更新过的数据如何获取的问题。
从服务端来看，则是如何将更新复制分布到整个系统，以保证数据的最终一致性问题。
可用性是指“Reads and writes alwayssucceed”，即服务一直可用，而且是在正常的响应时间内。
对于一个可用性的分布式系统，每一个非故障的节点必须对每一个请求作出响应。
也就是该系统使用的任何算法必须最终终止。
当同时要求分区容错性时，这是一个很强的定义：即使是严重的网络错误，每个请求也必须终止。
好的可用性主要是指系统能够很好地为用户服务，不出现用户操作失败或者访问超时等用户体验不好的情况。
通常情况下可用性和分布式数据冗余、负载均衡等有着很大的关联。
分区容错性指“The system continues to operate despite arbitrary message loss or failure of part of thesystem”，也就是指分布式系统在遇到某节点或网络分区故障的时候，仍然能够对外提供满足一致性和可用性的服务。
分区容错性和扩展性紧密相关。
在分布式应用中，可能因为一些分布式的原因导致系统无法正常运转。
好的分区容错性要求应用虽然是一个分布式系统，但看上去却好像是一个可以运转正常的整体。
例如现在的分布式系统中有某一个或者几个机器宕掉了，其他剩下的机器还能够正常运转满足系统需求，或者是机器之间有网络异常，将分布式系统分隔为独立的几个部分，各个部分还能维持分布式系统的运作，这样就具有好的分区容错性。
通过CAP理论，知道无法同时满足一致性、可用性和分区容错性这三个特性，那应该如何取舍呢？（1）CA withoutP：如果不要求P（不允许分区），则C（强一致性）和A（可用性）是可以保证的。
分布计算环境作业一．通过生成进程来构建并发服务器与使用多线程来构建并发服务器相比有优点也有缺点，请分析这两种方式的优缺点。
你认为基于CORBA实现的并发服务器是基于生成进程的方法，还是基于多线程的方法？为什么？并发服务器需要同时处理多个请求。
采用多进程：优点：1）处理各个请求的进程之间隔离性好。
缺点：1）创建/撤销处理各个请求的进程的代价大；2）分发器（主进程……）将请求发送到另一个进程的代价大（如果能说明为什么代价大更好）；3）如果各个子进程间需要通信，代价大。
采用线程：优点：1）创建/撤销处理各个请求的线程的代价小；2）分发器（主线程……）将请求发送到另一个线程的代价小（如果能够说明为什么代价小更好）；3）如果各个线程间需要通信，代价小。
缺点：1）一个线程出问题，可能会影响其他线程。
CORBA：使用多线程技术实现并发服务器。
因为如果采用多进程实现，有以下问题：1）服务器端要同时维护多个可被用户访问的CORBA对象，这些对象的数量常常会比较大，为每个服务对象起一个进程，进程数会比较大，系统开销过大；2）对于远程方法调用来说，请求的参数比较复杂，主进程将请求再发送给子进程，开销比较大；3）主进程、子进程都需要ORB的Runtime，进程启动/撤销的代价大；所以如果采用多进程的话实现并发CORBA服务器很困难。
主要问题：(一)针对性不够：a)直接罗列进程和线程的优缺点(二)理由不够充分：a)为支持高并发及高可用，所以多线程或多进程b)为支持稳定性和健壮性，所以多线程或多进程c)ORB拿到请求后要决定哪一个对象实例完成这个请求，送过去，这种工作过程类似于线程d)多线程更适合，代价低，所以e)因为ORB每拿到一个对象都会派生一个线程，所以f)事务控制，所以…….g)CORBA要对稳定性隔离性要求较高，所以基于进程方式(三)没有弄清楚题目问的重点：a)CORBA支持远程调用，客户和服务器不在同一个位置，所以多进程(四)其它：a)服务对象由不同语言编写，不能在单一进程中b)因为POA有线程策略，那么如果你不知道POA的工作机制呢？c)多个伺服对象在不同位置，所以多进程。
分布式系统复习总结分布式系统复习总结1.分布式系统定义A distributed system is a collection of autonomous computing elements that appears to its users as a single coherent system.（独⽴的计算机的集合，对这个系统的⽤户来说，系统就像⼀台计算机⼀样）。
2.分布式系统的⽬标Making resource availableDistribution transparency(分布的透明性)Openness(开放性)Scalability(可扩展性)包含三个⽅⾯：Size: Number of users and/or processes(solution:强⼤的服务器)Geographical: Maximum distance between nodesAdministrative: Number of administrative domains3.为什么需要分布式4.分布式系统透明性含义分布式系统的透明性（Transparency in a Distributed System）定义：对⽤户和应⽤程序员屏蔽分布式系统组件的分散性，系统被认为是⼀个整体，⽽不是独⽴的组件集合。
透明性对⽤户和应⽤程序员隐藏了与⼿头任务⽆直接关系的资源，并匿名使⽤，使得分布的某些特性对应⽤程序员具有不可见性，这样应⽤程序员只要关⼼特定应⽤的设计问题。
(1)⽹络透明性：⽤户察觉不出是以⽹络的⽅式⼯作，所有的⼯作对象是在单台机器上完成。
(2)操作系统透明性：使⽤不同操作系统的机器和⽤户可以⾃由的协同⼯作，不同操作系统带来的不同被掩盖。
(3)语⾔透明性：使⽤不同语⾔编写的程序或者模块能够⾃由交互⼯作，相互调⽤。
(4)数据复制与分⽚透明性：分⽚的数据像未分⽚的数据⼀样⼯作，修改数据时复制在多处的数据⾃动更新。
