19252-storm入门到精通-storm1

本文以Twitter Storm为基础，详细描述如何快速搭建一个Storm集群，其中，项目实践中碰到的问题及体会总结，在相应章节以“注意事项”的形式给出。

Storm集群组件Storm集群中包括两类节点：主控节点（Master Node）和工作节点（Work Node）。

其别离对应的角色如下：1. 主控节点（Master Node）上运行一个被称为Nimbus的后台程序，它负责在Storm集群内分发代码，分派任务给工作机械，而且负责监控集群运行状态。

Nimbus的作用类似于Hadoop中JobTracker的角色。

2. 每一个工作节点（Work Node）上运行一个被称为Supervisor的后台程序。

Supervisor负责监听从Nimbus分派给它执行的任务，据此启动或停止执行任务的工作进程。

每一个工作进程执行一个Topology 的子集；一个运行中的Topology由散布在不同工作节点上的多个工作进程组成。

Storm集群组件Nimbus和Supervisor节点之间所有的和谐工作是通过Zookeeper集群来实现的。

另外，Nimbus和Supervisor进程都是快速失败（fail-fast)和无状态（stateless）的；Storm集群所有的状态要么在Zookeeper集群中，要么存储在本地磁盘上。

这意味着你能够用kill -9来杀死Nimbus和Supervisor进程，它们在重启后能够继续工作。

那个设计使得Storm集群拥有难以想象的稳固性。

安装Storm集群这一章节将详细描述如何搭建一个Storm集群。

下面是接下来需要依次完成的安装步骤：1. 搭建Zookeeper集群；2. 安装Storm依托库；3. 下载并解压Storm发布版本；4. 修改配置文件；5. 启动Storm各个后台进程。

搭建Zookeeper集群Storm利用Zookeeper协集结群，由于Zookeeper并非用于消息传递，因此Storm给Zookeeper带来的压力相当低。

Storm调研及部署文档作者：黄崇远时间：2013/8/13类型详细该文档为storm 0.8.2的调研及部署文档，相关代码部分随后提供相关描述. 其他相关文档请参考新浪博客/huangchongyuan . 有任何其他想法，可以邮件874450476@. 文档下载请到百度文库及IT268文库搜索. 部分文档涉及到源码，有需要的博客留言Storm调研及部署文档 ............................................................................. (1)1 Storm调研 ............................................................................. . (2)1.1 Storm简介 ............................................................................. (2)1.2 Storm特点 ............................................................................. (2)1.3 Storm架构 ............................................................................. (3)1.3.1 Storm集群组成 ............................................................................. .. (3)1.3.1 Storm拓扑结构 ............................................................................. .. (4)1.4 Storm原理 ............................................................................. (5)1.4.1 Storm组成 ............................................................................. . (5)1.4.2 Storm工作原理 ............................................................................. .. (7)2 Storm安装部署 ............................................................................. (9)2.1 搭建Storm集群的主要步骤 ............................................................................. (9)2.2 布置ZK集群 ............................................................................. .. (9)2.3 安装相关软件 ............................................................................. . (10)2.3.1安装Python-2.6.6或以上版本 .............................................................................102.3.2 安装zeromq ......................................................................... .. (10)2.3.3 安装jzmq ........................................................................... .. (10)2.3.4 安装storm .......................................................................... . (11)2.4 配置Storm.yaml ..................................................................... .. (11)2.5 启动Storm集群 ............................................................................. (12)1 Storm调研1.1 Storm简介Twitter Storm 是使用 Clojure（发音同 closure）语言实现的。

Storm深入学习
测试storm
A、安装Maven（参考maven安装和使用手册）•接着要修改一下 maven 仓库的存放位置：
找到 maven 下的 conf 下的 settings.xml 配置文件，我的是在D:\Server\maven\conf\settings.xml
Storm深入学习
测试storm
A、安装Maven（参考maven安装和使用手册）
•maven 的仓库默认是放在本地用户的临时文件夹下面的 .m2 文件夹下的 repository 下，我的是在 C:\Users\admcnm\.m2\repository 目录下，
•现在我们来修改将它指定到我们自己的路径下，我现在要将仓库指定到 D:\Repositories\Maven 目录下，只需要将上面注销的本地仓库打开，
Storm深入学习
测试storm
A、安装Maven（参考maven安装和使用手册）
Storm深入学习
测试storm
A、安装Maven（参考maven安装和使用手册）
Storm深入学习
测试storm
A、安装Maven（参考maven安装和使用手册）
Storm深入学习
测试storm
•O、提交运行
•拷贝jar包到Storm所在机器上。

编译无误后，在Storm-starter中target目录如下：将storm-starter-0.0.1-SNAPSHOT-jar-with-
dependencies.jar，拷贝到指定的目录下面。

w3cschool-Storm⼊门教程1.什么是stormStorm是Twitter开源的分布式实时⼤数据处理框架，被业界称为实时版Hadoop。

随着越来越多的场景对Hadoop的MapReduce⾼延迟⽆法容忍，⽐如⽹站统计、推荐系统、预警系统、⾦融系统(⾼频交易、股票)等等，⼤数据实时处理解决⽅案（流计算）的应⽤⽇趋⼴泛，⽬前已是分布式技术领域最新爆发点，⽽Storm更是流计算技术中的佼佼者和主流。

按照storm作者的说法，Storm对于实时计算的意义类似于Hadoop对于批处理的意义。

Hadoop提供了map、reduce原语，使我们的批处理程序变得简单和⾼效。

同样，Storm也为实时计算提供了⼀些简单⾼效的原语，⽽且Storm的Trident是基于Storm原语更⾼级的抽象框架，类似于基于Hadoop的Pig框架，让开发更加便利和⾼效。

2.storm应⽤场景推荐系统（实时推荐，根据下单或加⼊购物车推荐相关商品）、⾦融系统、预警系统、⽹站统计（实时销量、流量统计，如淘宝双11效果图）、交通路况实时系统等等。

3.storm的⼀些特性1.适⽤场景⼴泛： storm可以实时处理消息和更新DB，对⼀个数据量进⾏持续的查询并返回客户端（持续计算），对⼀个耗资源的查询作实时并⾏化的处理(分布式⽅法调⽤，即DRPC），storm的这些基础API可以满⾜⼤量的场景。

2. 可伸缩性⾼: Storm的可伸缩性可以让storm每秒可以处理的消息量达到很⾼。

扩展⼀个实时计算任务，你所需要做的就是加机器并且提⾼这个计算任务的并⾏度。

Storm使⽤ZooKeeper来协调集群内的各种配置使得Storm的集群可以很容易的扩展。

3. 保证⽆数据丢失：实时系统必须保证所有的数据被成功的处理。

那些会丢失数据的系统的适⽤场景⾮常窄，⽽storm保证每⼀条消息都会被处理，这⼀点和S4相⽐有巨⼤的反差。

4. 异常健壮： storm集群⾮常容易管理，轮流重启节点不影响应⽤。

银河麒麟服务器操作系统Storm 软件适配手册目录目录 (I)1概述 (2)1.1系统概述 (2)1.2环境概述 (2)1.3STORM 软件简介 (2)1.4STORM 基本概念 (2)1.5STORM 架构 (3)1.5.1任务提交处理流程 (3)1.5.2STORM 中的数据流 (3)1.5.3消息的可靠性保证 (4)2STORM 软件适配 (4)2.1下载STORM 软件 (4)2.2修改环境变量 (5)2.3修改配置文件 (5)2.4启动STORM (5)3STORM 测试用例及使用场景举例 (6)3.1运行STORM 自带测试用例 (6)3.2STORM 使用场景举例 (6)3.2.1运行方法 (6)3.2.2运行结果 (6)1概述1.1系统概述银河麒麟服务器操作系统主要面向军队综合电子信息系统、金融系统以及电力系统等国家关键行业的服务器应用领域，突出高安全性、高可用性、高效数据处理、虚拟化等关键技术优势，针对关键业务构建的丰富高效、安全可靠的功能特性，兼容适配长城、联想、浪潮、华为、曙光等国内主流厂商的服务器整机产品，以及达梦、金仓、神通、南大通用等主要国产数据库和中创、金蝶、东方通等国产中间件，满足虚拟化、云计算和大数据时代，服务器业务对操作系统在性能、安全性及可扩展性等方面的需求，是一款具有高安全、高可用、高可靠、高性能的自主可控服务器操作系统。

1.2环境概述1.3Storm 软件简介Apache Storm 是Twitter 开源的实时数据处理框架，是一个免费开源、分布式、高容错的实时计算系统。

Storm 令持续不断的流计算变得容易，弥补了Hadoop 批处理所不能满足的实时要求。

Storm 经常用于在实时分析、在线机器学习、持续计算、分布式远程调用和ETL 等领域。

Storm 的部署管理非常简单，而且在同类的流式计算工具，Storm 的性能也是非常出众的。

1.4Storm 基本概念storm 中服务器节点分为主节点和从节点，Nimbus 为主节点，Supervisor 为从节点，以及若干组件构成。

安装Storm集群安装Storm集群的步骤概要：1. 安装Zookeeper集群。

2. 安装Nimbus和worker机器下storm的依赖。

3. 下载并解压Storm到Nimbus和worker机器。

4. 添加必要的配置到storm.yaml文件。

5. 使用“storm”脚本启动nimbus、supervisor、ui守护程序。

安装Zookeeper集群Storm使用Zookeeper协调集群。

Zookeeper不是用于传递消息，因此Storm给Zookeeper的负载是非常的低。

对大多数案例，单个节点的Zookeeper集群应该足够了。

如果你想要失效恢复（failover）或者部署大规模的storm集群，你也许想要大规模Zookeeper集群。

1，下载zookeeper，我用的是3.3.32，进入zookeeper/conf的目录，cp一个zoo_sample.cfg,内容改为，更详细的配置，参照/r3.3.3/zookeeperAdmin.html然后dataDir建立一个文件myid在echo 1 >/tmp/zookeeper/myid在echo 2 >/tmp/zookeeper/myid对应zoo.cfg里面的注意一定是数字启动 ./zkServer.sh start测试 ./zkCli.sh -server进入zk的命令行可以测试 create set get ls 等命令Zookeeper部署注意事项：1. zookeeper是快速失败的（fail-fast）系统，如果它遇到任务错误，进程将退出，所以对Zookeeper进行监管是非常关键的。

使用 or 可以达到失效后自动报警和重启服务。

更多细节看。

2. 设置定时任务压缩Zookeeper的数据和处理日志是非常关键的。

Zookeeper后台程序本身不处理这些事情，如果你没有设置定时任务，Zookeeper将很快用完磁盘空间。

Storm介绍周龙鹏一、数据处理过程Storm的术语解释Storm的术语包括Stream、Spout、Bolt、Task、Worker、Stream Grouping和Topology。

Stream是被处理的数据。

Spout是数据源。

Bolt处理数据。

Task是运行于Spout或Bolt中的线程。

Worker是运行这些线程的进程。

Stream Grouping规定了Bolt接收什么东西作为输入数据。

数据可以随机分配（术语为Shuffle），或者根据字段值分配（术语为Fields），或者广播（术语为All），或者总是发给一个Task（术语为Global），也可以不关心该数据（术语为None），或者由自定义逻辑来决定（术语为Direct）。

Topology是由Stream Grouping连接起来的Spout和Bolt节点网络。

在Storm Concepts页面里对这些术语有更详细的描述。

（1）Topologies 用于封装一个实时计算应用程序的逻辑，类似于Hadoop的MapReduce Job（2）Stream 消息流，是一个没有边界的tuple序列，这些tuples会被以一种分布式的方式并行地创建和处理（3）Spouts 消息源，是消息生产者，他会从一个外部源读取数据并向topology 里面面发出消息：tuple（4）Bolts 消息处理者，所有的消息处理逻辑被封装在bolts里面，处理输入的数据流并产生输出的新数据流，可执行过滤，聚合，查询数据库等操作（5）Task 每一个Spout和Bolt会被当作很多task在整个集群里面执行，每一个task对应到一个线程.二、storm集群的组件（topologies）Storm集群非常类似Hadoop集群。

Hadoop上运行的是MapReduce jobs，而Storm运行的是topologies。

Jobs和topologies本身是不同的，其中一个最大的不同就是，Mapreduce job最终会结束，而topology则会持续的处理消息（直到你杀掉它）。