下载文档原格式
本文侧重于Hadoop集群的体系结构和方法，以及它与网络和服务器基础设施这件的关系。
文章的素材主要来自于研究工作以及同现实生活中运行Hadoop集群客户的讨论。
如果你也在你的数据中心运行产品级的Hadoop集群，那么我希望你能写下有价值的评论。
Hadoop集群部署时有三个角色：Client machines, Master nodes和Slave nodes。
Master nodes负责Hadoop的两个关键功能：数据存储（HDFS）；以及运行在这个数据之上的并行计算，又称为Map-Reduce。
Name node负责调度数据存储，而Job Tracker则负责并行数据处理的调度（使用Map-Reduce技术）。
Slave nodes 由大量的机器组成，完成数据存储以及运行计算这样的脏活。
每个slave node 都运行Data node和Task Tracker daemon，这些slave daemon和master nodes 的相应daemon进行通信。
Task tracker daemon由Job Tracker管理，Data node Daemon由Name node管理。
Client机器包含了Hadoop集群的所有设置，但是它既不是Master也不是Slave。
Client的角色是向集群保存数据，提交 Map-Reduce jobs（描述如何处理数据），获取查看MR jobs的计算结果。
在小型集群中（40节点）你可能会发现一个物理机器扮演多个角色，比如既是Job Tracker又是Name node，在中等或者大规模集群中，一般都是用独立的服务器负责单独的角色。
在真正的产品集群中，不存在虚拟服务器和虚拟机平台，因为他们仅会导致不必要的性能损耗。
Hadoop最好运行在linux机器上，直接工作于底层硬件之上。
换句话说，Hadoop可以工作在虚拟机之上，对于学习Hadoop是一个不错的廉价方法，我本身就有一个6-node的Hadoop cluster运行Windows 7 laptop的VMware Workstation之上上图是Hadoop集群的典型架构。
网络集群行为的主要特征及其发生机制研究作者：邓希泉来源：《社会科学研究》2010年第01期[摘要]网络集群行为是传统集群行为在互联网上的复制、延伸和创新，具有发生环境网络化、行为互动符号化、成员参与超功利化、成员关系松散与自发分工并存、行动信息的多点化和多向化以及不在场和匿名状态下的有限理性等六个方面的新特征。
其发生机制既具有传统集群行为的共同特征，又具有自身的新属性。
在价值累加理论框架下，本文深入分析了两者之间的异同。
[关键词]网络集群行为；社会控制机制；价值累加理论[中图分类号]C912.6[文献标识码]A[文章编号]1000－4769(2010)01－0103－05社会运动和集群行为是社会科学界一个长盛不衰的研究领域。
在互联网全面介入人类社会生活并成为社会结构中具有重要影响的要素之后，社会运动和集群行为发生了一些新的变化。
从2006年的“虐猫事件”、“铜须门事件”、“网上追逐流氓外教事件”，到2007年发生的“南京烧狗事件”和“北京辱师视频事件”，以及2008年的“范美忠事件”等网络事件，强烈冲击着网络世界的现有秩序和现存结构，其社会影响在现实生活中不断蔓延。
纵观这些事件的萌芽、发生、发展与结束各阶段，社会控制机制没有及时和有效地发挥作用，政府管理和社会治理也未能有效介入。
事件的发生发展之所以未能有效预料和未得到有效控制，是因为作为新生事物的网络事件的形成过程与发生机制未被有效地了解和研究。
在缺乏相应政策法规进行规范的情况下，社会控制机制的功能付之阙如。
因此，准确定性并探明发生机制，是有效解决新兴网络事件的关键和前提。
一、网络集群行为的内涵与特征网络事件一般具有五方面的共同因素：一是网络事件参与者缺乏经常性的直接人际互动和明确的组织者和领导者；二是网络事件有很强的突发性和不可预料性；三是共同的刺激因素使网民产生相似的行为；四是在没有经过组织策划的情况下，网络事件自发产生；五是网络事件造成的负面影响客观存在并呈不断扩大的趋势。
试论网络集群行为的成因及影响作者：孙超来源：《新闻世界》2011年第07期【摘要】“雷词制造”、“人肉搜索”和“无聊聚集”三种网络集群行为都是网络互动的产物，三者紧密联系亦有所区别。
本文运用文献分析法和“沉默的螺旋”理论着重讨论“雷词制造”网络集群行为的概念、成因及影响。
【关键词】“雷词制造” 网络集群行为舆论领袖把关人一、“雷词制造”与网络集群行为1、网络集群行为集群行为（collective behavior），又称“集聚行为”或“聚合行为”、“集体行为”，最早由美国社会学家罗伯特·帕克提出的。
认为它是在“集体共同推动和影响下发生的个人行为，是社会互动的结果”①。
按照社会学家戴维·波普诺的说法，集群行为“是指那些在相对自发的、无组织和不稳定的情况下，因为某种普遍的影响和鼓舞而发生的行为”。
集群行为具有自发性、狂热性、非常规性和短暂性等特点。
根据集群行为的定义和特征，网络集群行为是指在某一时间内，相当数量的网民聚合起来，以互联网为平台，利用网络新技术自发产生的不受正常社会规范和伦理道德制约的网络表达和网络狂热行为，②是网民围绕公共议题，在虚拟空间自发聚集而成的一种传播现象。
③由于网络传播的匿名性、广泛性和快速性，网络集群行为比现实集群行为更容易发生，我们应引起重视。
2、“雷词制造”是网络集群行为的一种表现作为现代社会公民诉求表达的重要方式，“人肉搜索”、“雷词制造”、“无聊聚集”三种网络集群事件是社会互动的产物，往往胶合在一起，只不过侧重点有所不同。
仅就“雷词制造”而言，是指网友曲解公众事件的核心情节或者关键性词语，制造社会舆论，影响事件进程。
具体来说，“雷词”是指伴随着新闻事件的发生，在网络虚拟社区尤其是在BBS和博客当中迅速窜红，其内涵和外延在传播过程中发生变异和延伸，并因此而风靡于网络内外的热门词语。
④ “雷词”显然不是新鲜东西，从2008年的“很傻很天真”、“打酱油”，2009年的“躲猫猫”、“欺实马”，到2010年的“神马都是浮云”、“给力”、2011年的“杀人为生”、“不归我管”等等，“雷词”以一种另类的方式成为大众表达的集中展示，具有一般流行语和网络语言不具备的独特之处。
新媒体视角下网络集群行为背后的群体心理学现代互联网技术的发展使得人们的日常生活变得日益多样化、数字化，网络世界的建构充实了人们的物质生活和精神生活。
因其所具有主体的符号性、信息的快捷性以及表达的直接性，使其愈发的成为人们获取信息、谋求利益的重要渠道。
网络、智能技术的快速发展，网民的数量也变得日益庞大，导致网络集群行为频繁出现。
网络集群行为的发生，是网络社会化的一种特殊形式，存在着其自身发展的内在逻辑和自发秩序。
在新媒体技术的发展中，网络集群行为的规模日益扩大，其所具备的特点也在此基础上逐渐扩大，在其发展的每一个阶段都包含着不同的社会心理机制，正确认识网络集群行为背后的群体心理，是正确处理这一行为的重要举措。
标签：新媒体；网络集群行为；群体心理学之前，人们对于信息的获取来源主要为报纸、广播或电视，后随着网络的不断发展，其已经成为我们常说的“第四媒体”，并占据着越来越重要的地位。
日益成为人们获取信息、谋求利益、表达意愿的重要媒介。
网络的出现，促进了经济社会的发展与进步，带动了各行各业的发展与创新，其特别之处在于让更多的大众能够获得话语权，人们可在网络上吐露自己的想法，使得思想得到解放。
此外，网络也让之前较为隐匿的信息变得透明公开。
正是这些特性使得广大网民获得了不同于现实社会的虚拟生活空间，成为一个基于现实社会投射下的公共生活领域。
随着网络技术的高速发展，我国已经成为拥有网民数量最多的国家。
信息网络的普及化，加快了人们生活的数字化。
新兴媒体的普及，扩大了人们的生活空间，改变了大众的生活方式和社交方式。
网民在这个虚拟空间进行广泛的信息交流与沟通，逐渐形成不同身份、职业、性别、种族等的网络集群行为，他们在一定基础上拥有共同的价值观与世界观，从而结成较为稳固的群体。
另外，不同的群体又通过一定的媒介融合成更大的网络集群。
因此，主动把握网络群体行为背后的群体心理，可以有效地得到预警的主动权，从而操控网络舆情的走向与网络心理干预。
2012.664 网络集群行为初探朱思鹤中国人民公安大学 北京 100038摘要：本文通过分析网络集群行为的特征、原因以及与其相关的法律规定，以求对其有初步认识，并对构建网络集群行为的社会控制机制提出自己的看法。
关键词：网络集群行为；特征；规制0 前言随着科技的迅猛发展，网络已经成为公众集中表达意见的平台，网络的匿名性、开放性、宽松性等特点吸引了大批网民参与到对某一热点社会事件的挖掘、评价中来，形成网络集群行为。
网络集群行为在揭露贪腐、反映民意等方面发挥了积极作用，但有时由于缺乏完善的监管机制而演变成为网络暴力，极大地损害了公共利益，侵害了公民的合法权益，因此有必要对其加以系统研究，以提出相对完善的解决方案。
1 网络集群行为的特征一般来说，网络集群行为具有以下特征： (1) 超时空性在网络集群行为中，参与者的行动不再受时间、空间以及社会身份的限制，网络将不同时间、不同地点的人们的言论、思想、行为和情绪整合到同一时空进行互动。
尽管网络事件的参与者分布在不同的地方，也没有在某一确定时间点下的固定物质场所中进行聚集，但由于互联网成为了参与者之间时刻存在的依托与载体，它将高度分散的参与者在不同时间、空间发生的类似行为汇聚成为网络集群行为。
另外，由于缺乏姓名、年龄、性别等身份的核实，使得互联网拥有多个聚集个体，并能更加便利地为集群行为的发生提供场所与机会。
只要拥有电脑和网络，就可以成为事件的参与者。
(2) 超功利性传统的集群行为一般是具有共同利益的人聚在一起，由于共同的原因产生的群体性行为，个人的参与行为往往和其自身的利益相关。
而网络集群行为突破了这一规律性，参与者的参与动机、参与行为和参与目标都与自身利益基本无关，具有超功利性。
曾经轰动一时的“犀利哥”事件就是一个很好的例证，“犀利哥”事件伊始，网民的积极参与，纯粹是为了娱乐、恶搞以及对时尚和潮流的戏谑，并不涉及自身任何利益。
后来，事件演变成为了对弱势群体的关怀，和对社会道德的呼吁。
什么是集群？看完这篇你就知道啦！集群简介简单地说，集群就是指⼀组（若⼲个）相互独⽴的计算机，利⽤⾼速通信⽹络组成的⼀个较⼤的计算机服务系统，每个集群节点（即集群中的每台计算机）都是运⾏各⾃服务的独⽴服务器。
这些服务器之间可以彼此通信，协同向⽤户提供应⽤程序，系统资源和数据，并以单⼀系统的模式加以管理。
当⽤户请求集群系统时，集群给⽤户的感觉就是⼀个单⼀独⽴的服务器，⽽实际上⽤户请求的是⼀组集群服务器。
举个例⼦：打开⾕歌，百度的页⾯，看起来好简单，也许你觉得⽤⼏分钟就可以制作出相似的⽹页，⽽实际上，这个页⾯的背后是由成千上万台服务器集群协同⼯作的结果。
若要⽤⼀句话描述集群，即⼀堆服务器合作做同⼀件事，这些机器可能需要统⼀协调管理，可以分布在⼀个机房，也可以分布在全国全球各个地区的多个机房。
为什么要使⽤集群（1）⾼性能⼀些国家重要的计算密集型应⽤（如天⽓预报，核试验模拟等），需要计算机有很强的运算处理能⼒。
以全世界现有的技术，即使是⼤型机，其计算能⼒也是有限的，很难单独完成此任务。
因为计算时间可能会相当长，也许⼏天，甚⾄⼏年或更久。
因此，对于这类复杂的计算业务，便使⽤了计算机集群技术，集中⼏⼗上百台，甚⾄成千上万台计算机进⾏计算。
假如你配⼀个LNMP环境，每次只需要服务10个并发请求，那么单台服务器⼀定会⽐多个服务器集群要快。
只有当并发或总请求数量超过单台服务器的承受能⼒时，服务器集群才会体现出优势。
（2）价格有效性通常⼀套系统集群架构，只需要⼏台或数⼗台服务器主机即可。
与动辄价值上百万元的专⽤超级计算机相⽐便宜了很多。
在达到同样性能需求的条件下，采⽤计算机集群架构⽐采⽤同等运算能⼒的⼤型计算机具有更⾼的性价⽐。
早期的淘宝，⽀付宝的数据库等核⼼系统就是使⽤上百万元的⼩型机服务器。
后因使⽤维护成本太⾼以及扩展设备费⽤成⼏何级数翻倍，甚⾄成为扩展瓶颈，⼈员维护也⼗分困难，最终使⽤PC服务器集群替换之，⽐如，把数据库系统从⼩机结合Oracle数据库迁移到MySQL开源数据库结合PC服务器上来。
集群分析的基本概念与集群一、引言在计算机科学领域，集群是指由一组互相连接的计算机或服务器组成的系统。
集群分析是通过对这些计算机之间的相互作用和关系进行研究和分析，从而获得有关集群特征和性能的信息。
本文将介绍集群分析的基本概念，并讨论集群在现代计算领域中的应用。
二、集群分析的基本概念1.集群定义集群是一个由互相连接的计算机或服务器组成的系统，这些计算机通过网络进行通信和协作。
集群通常由一个主节点或主服务器控制，并通过分配任务和资源共享来提高系统的整体性能。
2.集群特征集群具有高可用性、高性能和可伸缩性的特点。
高可用性指的是当一个节点出现故障时，其他节点可以接管其任务并继续运行。
高性能表示集群可以同时处理大量的计算任务，从而提高系统的整体性能。
可伸缩性指的是集群可以根据需求动态地增加或减少节点，以适应不同规模和负载的需求。
3.集群组件集群通常由以下几个组件组成：–主节点/主服务器：负责协调和管理集群中的各个节点。
-从节点/从服务器：执行分配给它们的任务，并通过与其他节点的通信来共享资源。
-网络：提供节点之间的通信和数据传输。
-分布式文件系统：用于在节点之间共享和存储数据。
4.集群算法集群分析通常涉及使用各种算法和技术来研究和分析集群中的数据。
常用的集群算法包括K-means聚类、DBSCAN、层次聚类等。
这些算法通过将数据分组为不同的簇，从而揭示数据中的模式、趋势和关系。
三、集群的应用集群在现代计算领域中有着广泛的应用，以下是一些常见的应用场景：1.数据挖掘集群分析被广泛用于数据挖掘和机器学习任务。
通过对大规模数据集进行聚类和分类，可以发现数据中的潜在模式和趋势。
这对于市场分析、用户行为分析、推荐系统等领域非常有用。
2.并行计算集群可以利用分布式计算能力，同时处理多个计算任务。
这在大规模科学计算、天气预测、图像处理等领域有着广泛的应用。
通过将任务分发给不同的节点，并通过节点之间的通信共享和整合结果，可以提高计算效率和速度。
什么是集群？集群分为哪几类？——计算机群集技术概述《3》高可用集群技术高可用性集群，介绍一下它的工作原理。
MSCS（Microsoft Cluster Server）术语中，所有的应用程序、数据文件、磁盘、网络IP地址等都被称为资源，一些资源可以组成一个资源组，一个资源组存在于一个节点上，但同时只能在一个节点上，它是M 切换（FailOver）的最小单元。
中，所有的资源都处于资源监视器的监视之下，资源监视器通过资源动态链接库文件与资源进行通信，这些会侦测对应资源的状态，并通知资源监视器，之后，监视器再把信息提供给集群服务（Cluster Service），缺服务会启动一个资源监视器来监视节点中的全部资源。
性来定义不同资源彼此之间的关系，MSCS会根据资源间的相互依赖关系来决定把这些资源变为在线或者是一个WEB服务器文件共享的例子，文件共享的资源需要硬盘驱动器来存储数据，把这些有关系的资源一起放要实现共享，就必须先把硬盘准备好。
同时，为了完成文件共享，我们还需要准备好网络名称以及IP地址。
以看出，文件共享资源依赖于硬盘资源，网络名称资源依赖于IP地址资源，而对应的WEB服务刚依赖于文称。
在可以分为五种状态e，资源不能被别的资源或者客户机使用e Pending，资源正处于Offline的过程中e，资源处于可用的状态e Pending，资源正处于Online的过程中d，资源出现了MSCS无法解决的问题提到，MSCS可以从一个节点故障切换到另一个节点的最小单元是资源组。
被定义好的相关的资源放在同一立对应的依赖关系。
以下图为例，如果节点A中的资源组1要移到节点B上的话，资源组1中的资源（资源C）也必须从节点A移到节点B才行。
图重新启动该资源。
根据阀值的设定，如果在某一时间段内，资源不可用的情况达到了设定的阀值时，就会经过故障切换的过程，对应的资源组在另外一个节点上重新启动了，继续为客户机提供服务，对客户来说，这就完成了一次故障切换。
何谓“集群”？近几年，人们越来越多的听到集群(Cluster)这个概念，并且有越来越多的集群在实际生活中得到应用。
通俗地讲，集群是指一组计算机以某种方式联结起来并协同完成特定任务的系统。
在这个系统中，计算机可以是同构的(如目前最常使用的基于x86构架的PC服务器)，也可以是不同构的(如混合采用PC服务器及RISC服务器)；而系统内各计算机之间可采用以太网或专用网络连接。
一组计算机要成为集群的一个必要条件是它们要协同工作完成特定任务。
从用户的角度，集群就像是一台具有强大处理能力的服务器。
在集群内部，各服务器可能承担不同的任务，但我们可以把它们统称为节点机。
为什么使用集群随着计算机的广泛应用，需要处理的信息量越来越大，人们对于计算机的要求也越来越高，各种性能更高的计算机不断的被研制及应用，如SMP(对称多处理器)计算机、MPP(大规模并行处理)计算机等。
这些计算机有很高的配置(如大内存、海量存储、可多达上千个的处理器等)，具有很高的处理能力。
但与这些计算机的高性能相对应的是它们高昂的价格。
当一台服务器在使用过程中已不能通过增加处理器、扩充内存等方法满足用户的需求时，传统的方法是使用一台新的服务器来替换原服务器，新服务器比原服务器有更好的处理能力。
然而这种升级方式存在着多方面的缺点。
当服务器不能满足服务的要求时，就需要系统升级，使用性能更强大的服务器。
服务的效能最终取决于这台服务器的性能。
在升级过程中，服务可能不得不中断。
升级后，服务完全由新服务器承担，原服务器不会再参与服务，这就造成了资源浪费。
当然也可以用旧服务器承担其它服务。
对服务器的可靠性有很高要求。
由于服务是由一台服务器提供，所以当这台服务器发生故障时，对外服务就会中断，即存在着单点失效问题。
使用更多的处理器可以提高计算机的性能，但随着处理器数目的增加，计算机的复杂程度急剧增加，计算机的价格也会迅速提高。
高端服务器的价格是多数用户难以承受的。
传统应⽤、服务器集群、分布式、SOA各种架构的简单解释
传统架构：⽆论是SE应⽤还是WEB应⽤，传统架构都是表现层---业务层---持久层---数据库
1000并发（tomcat单台500并发，tomcat⼀般做集群的话，节点数量不能太多，5个左右）：可以采⽤多服务器如2台tomcat搭建服务器集群，通过编码实现负载均衡，session共享等问题
100000并发：需要按照模块将系统进⾏拆分，这样就可以单独为某些业务添加服务器，需要系统之间配合完成整个业务逻辑，这种也称为分布式。
分布式架构：多个⼦系统相互协作完成业务流程，系统之间需要进⾏通信（可以使⽤WebService）。
SOA架构：⾯向服务的架构，将⼯程拆分成服务层、表现层两个⼯程。
服务层处理业务逻辑，只需对外提供服务，表现层只需要处理和页⾯前台的交互。
也就是说订单系统不只是会调⽤订单服务，还有会调⽤其它服务，如会员服务等，服务和表现层之间的通信都通过远程服务之间的调⽤来实现，服务⼯程和表现层⼯程之间的对应关系为多对多。
如可以使⽤这种架构进⾏开发时，就需要选取⼀个表现层和服务之间的调⽤⽅式，所以Dubbo就是⼀个不错的选择。
刚刚接触到这种架构性的东西，先这么⽚⾯理解下。
集群分为哪几种？集群的区别在于哪里？目前应用最为广泛的集群计算技术可以分为三大类：高可用性集群技术、高性能计算集群技术和高可扩展性集群技术。
下面我们将对这三种集群技术进行一下简单的介绍。
1、高可用性集群技术高可用性集群，英文原文为High Availability Cluster, 简称HA Cluster，是指以减少服务中断（宕机）时间为目的的服务器集群技术。
随着全球经济的增长，世界各地各种各样的组织对IT系统的依赖都在不断增加，电子贸易使得商务一周七天24小时不间断的进行成为了可能。
新的强大的应用程序使得商业和社会机构对日常操作的计算机化要求达到了空前的程度，趋势非常明显，我们无时无刻不依赖于稳定的计算机系统。
这种需求极速的增长，使得对系统可用性的要求变得非常重要，许多公司和组织的业务在很大程度上都依赖于计算机系统，任何的宕机都会造成严重的损失，关键IT系统的故障可能很快造成整个商业运作的瘫痪，每一分钟的宕机都意味着收入、生产和利润的损失，甚至于市场地位的削弱。
为了提高整个系统的可用性，除了提高计算机各个部件的可靠性以外，一般情况下都会采用集群的方案。
所谓集群，就是共同为客户机提供网络资源的一组计算机系统。
而其中的每一台提供服务的计算机，我们称之为节点。
当一个节点不可用或者不能处理客户的请求时，该请求将会转到另外的可用节点来处理，而这些对于客户端来说，它根本不必关心这些要使用的资源的具体位置，集群系统会自动完成。
集群中节点可以以不同的方式来运行，这要看它们是如何设置的。
在一个理想的两个节点的集群中，两个服务器都同时处于活动状态，也就是在两个节点上同时运行应用程序，当一个节点出现故障时，运行在出故障的节点上的应用程序就会转移到另外的没有出现故障的服务器上，这样一来，由于两个节点的工作现在由一个服务器来承担，自然会影响服务器的性能。
针对这种情况的解决方案是，在正常操作时，另一个节点处于备用状态，只有当活动的节点出现故障时该备用节点才会接管工作，但这并不是一个很经济的方案，因为你不得不买两个服务器来做一个服务器的工作。
1.4 核心概念阐释。
要想深入的分析网络共识的具体表现形式及多元网民是如何在复杂的网络环境中实现共识，首先要对本文指涉的网络集体行动和网络共识概念再一次的进行具体明晰和界定。
网络集体行动一直是不容小觑的课题，其发挥的社会功能和作用直接能够影响社会的运行和秩序。
在国内学术界，学者对于网络集体行动的研究虽然已经具备一些具有说服力的内容，但是网络集体行动仍然是一个新生事物。
我们有必要在此对网络集体行动的概念内涵再次进行明晰和界定。
当下，学者们对网络集体行动的研究主要从两大方面入手：社会功能角度和社会传播角度。
从社会功能角度来说，网络集体行动是网民在网络中自发组织的，在非预期的情况下实现某种诉求以维持社会秩序正常运行的集体行为。
北大教授夏学銮较早给出了网络集体行动的概念：网络集体行动即集体行为，网络集体行为即在某一时间内网民自发或有组织聚集在某个网络公共领域，用多个网民发帖进行网络表达的行为[44].学者周湘艳认为网络集体行动是数量众多的网民在非预期的特定阶段为到达共同诉求而通过网络集中参与社会事件的行为[45].学者 Gloor 认为网络集体行动是指具有集体意识的网民群体，在网络的作用下，通过共享信息，知识，达成共同目标，在网络上进行聚集[46].从社会传播角度来说，网络集体行动是网民通过网络舆论传播、造势、发泄不满在相对不稳定的环境下受到影响和鼓舞而形成的。
学者葛琳指出网络集体行动是在网络环境下，较大数量、无组织的网民在相对自发的、不稳定的情况下，基于共同的目的，通过在网络上发布和传送大量信息的方式，发泄自身不满情绪，同时制造网络舆论以煽动网民情绪，引起网民聚集的行为[47].南大学者杜俊飞认为网络集体行为的本质是网民群体围绕某一主题、基于不同目的，以网络聚集的方式制造社会舆论、促发社会行动的传播过程[48].纵观网络集体行动的研究可以看出，学者们对于网络集体行动的概念界定有的从社会功能角度进行概括，有的从社会传播角度进行，但是均阐述的是网民在网络空间中表达的共同诉求。
