storm入门视频教程2、Storm原理和概念详解

ZooKeeper连接端口 storm使用的本地文件系统目录(必须存在并且storm进程可 读写) Storm集群运行模式([distributed|local]) Local模式下是否使用ZeroMQ作消息系统，如果设置为false 则使用java消息系统。默认为false ZooKeeper中Storm的根目录位置
• Storm 记录级容错原理
在storm的topology中有一个系统级组件，叫做acker。 这个acker的任务就是追踪从spout中流出来的每一个 message id绑定的若干tuple的处理路径，如果在用户设置 的最大超时时间内这些tuple没有被完全处理，那么acker 就会告知spout该消息处理失败 了，相反则会告知spout该 消息处理成功了。在刚才的描述中，我们提到了”记录 tuple的处理路径”，如果曾经尝试过这么做的同学可以仔 细地思考一下 这件事的复杂程度。但是storm中却是使用 了一种非常巧妙的方法做到了。在说明这个方法之前，我 们来复习一个数学定理。
Storm深入学习
• Storm 记录级容错原理
举个例子。在图中，在 spout由message 1绑定的tuple1 和tuple2经过了bolt1和bolt2的处理生成两个新的tuple，并 最终都流向了bolt3。当这个过程完成处理完时，称 message 1被完全处理了。
Storm深入学习
nimbus.supervisor.timeout supervisor的心跳超时时间,一旦超过nimbus会认为该supervisor已死并停 .secs 止为它分发新任务.
unch.secs
nimbus.reassign
task启动时的一个特殊超时设置.在启动后第一次心跳前会使用该值来临 时替代nimbus.task.timeout.secs.

Storm深入学习
• Storm 数据模型(topology)
为了在storm做实时计算，必须创建topology。topology是计算图。 topology中的每个节点包含一个处理逻辑，节点之间的链接表明了数 据如何在节点之间被传输。
运行topology非常直接了当：首先将你的代码和依赖打包为一个 jar，接着运行以下命令即可：
• spouts和bolts实现 spouts负责输出新消息到topology。TestWordSpout输出从列表
m深入学习
• Storm 数据模型(topology)
stream: storm的核心是"stream"。stream是无边界的tuple序列。storm以分布、
可靠的方式为转换一个stream到新的stream提供了基本组件。 storm为stream的转换提供的基本组件是spouts和bolts。spouts和bolt
Storm深入学习
• Storm 数据模型(topology)
此topology包含一个spout和两个bolts。spout输处word，每个bolt 追加"!!!"到输出。node排列成一行:spout输出到第一个bolt，此bolt输 出到第二个bolt。
定义node的代码使用了setSpout和setBolt方法。这些方法接收用 户自定义ID输入，一个包含处理逻辑的对象和node的并行度。包含处 理 逻辑的对象实现了IRichSpout和IRichBolt接口。最后一个参数:node 的并行度，是可选的，它指定了在集群中多少个线程被创建来执行此 组件，如果忽略，storm会为每个Node分配一个线程。
Storm深入学习
Storm深入学习

Storm深入学习
测试storm
A、安装Maven（参考maven安装和使用手册）•接着要修改一下 maven 仓库的存放位置：
找到 maven 下的 conf 下的 settings.xml 配置文件，我的是在D:\Server\maven\conf\settings.xml
Storm深入学习
测试storm
A、安装Maven（参考maven安装和使用手册）
•maven 的仓库默认是放在本地用户的临时文件夹下面的 .m2 文件夹下的 repository 下，我的是在 C:\Users\admcnm\.m2\repository 目录下，
•现在我们来修改将它指定到我们自己的路径下，我现在要将仓库指定到 D:\Repositories\Maven 目录下，只需要将上面注销的本地仓库打开，
Storm深入学习
测试storm
A、安装Maven（参考maven安装和使用手册）
Storm深入学习
测试storm
A、安装Maven（参考maven安装和使用手册）
Storm深入学习
测试storm
A、安装Maven（参考maven安装和使用手册）
Storm深入学习
测试storm
•O、提交运行
•拷贝jar包到Storm所在机器上。

编译无误后，在Storm-starter中target目录如下：将storm-starter-0.0.1-SNAPSHOT-jar-with-
dependencies.jar，拷贝到指定的目录下面。

w3cschool-Storm⼊门教程1.什么是stormStorm是Twitter开源的分布式实时⼤数据处理框架，被业界称为实时版Hadoop。

随着越来越多的场景对Hadoop的MapReduce⾼延迟⽆法容忍，⽐如⽹站统计、推荐系统、预警系统、⾦融系统(⾼频交易、股票)等等，⼤数据实时处理解决⽅案（流计算）的应⽤⽇趋⼴泛，⽬前已是分布式技术领域最新爆发点，⽽Storm更是流计算技术中的佼佼者和主流。

按照storm作者的说法，Storm对于实时计算的意义类似于Hadoop对于批处理的意义。

Hadoop提供了map、reduce原语，使我们的批处理程序变得简单和⾼效。

同样，Storm也为实时计算提供了⼀些简单⾼效的原语，⽽且Storm的Trident是基于Storm原语更⾼级的抽象框架，类似于基于Hadoop的Pig框架，让开发更加便利和⾼效。

2.storm应⽤场景推荐系统（实时推荐，根据下单或加⼊购物车推荐相关商品）、⾦融系统、预警系统、⽹站统计（实时销量、流量统计，如淘宝双11效果图）、交通路况实时系统等等。

3.storm的⼀些特性1.适⽤场景⼴泛： storm可以实时处理消息和更新DB，对⼀个数据量进⾏持续的查询并返回客户端（持续计算），对⼀个耗资源的查询作实时并⾏化的处理(分布式⽅法调⽤，即DRPC），storm的这些基础API可以满⾜⼤量的场景。

2. 可伸缩性⾼: Storm的可伸缩性可以让storm每秒可以处理的消息量达到很⾼。

扩展⼀个实时计算任务，你所需要做的就是加机器并且提⾼这个计算任务的并⾏度。

Storm使⽤ZooKeeper来协调集群内的各种配置使得Storm的集群可以很容易的扩展。

3. 保证⽆数据丢失：实时系统必须保证所有的数据被成功的处理。

那些会丢失数据的系统的适⽤场景⾮常窄，⽽storm保证每⼀条消息都会被处理，这⼀点和S4相⽐有巨⼤的反差。

4. 异常健壮： storm集群⾮常容易管理，轮流重启节点不影响应⽤。