当前位置：文档之家 › storm的用法

storm的用法

  • 格式：docx
  • 大小：37.80 KB
  • 文档页数：3

storm的用法

一、了解Storm大数据处理框架

Storm是一个用于实时流数据处理的分布式计算框架。它由Twitter公司开发，并于2011年发布。作为一个开源项目，Storm主要用于处理实时数据，比如实时分析、实时计算、流式ETL等任务。

二、Storm的基本概念及特点

1. 拓扑（Topology）：拓扑是Storm中最重要的概念之一。它代表了整个计算任务的结构和流程。拓扑由一系列组件组成，包括数据源（Spout）、数据处理节点（Bolt）以及它们之间的连接关系。

2. 数据源（Spout）：Spout负责从外部数据源获取数据，并将其发送给Bolt进行处理。在拓扑中，通常会有一个或多个Spout进行数据输入。

3. 数据处理节点（Bolt）：Bolt是对数据进行实际处理的模块。在Bolt中可以进行各种自定义的操作，如过滤、转换、聚合等，根据业务需求不同而定。

4. 流组（Stream Grouping）：Stream Grouping决定了从一个Bolt到下一个Bolt之间的任务调度方式。Storm提供了多种Stream Grouping策略，包括随机分组、字段分组、全局分组等。

5. 可靠性与容错性：Storm具有高可靠性和容错性的特点。它通过对任务状态进行追踪、失败重试机制和数据备份等方式，确保了整个计算过程的稳定性。

6. 水平扩展：Storm可以很方便地进行水平扩展。通过增加计算节点和调整拓扑结构，可以实现对处理能力的无缝提升。

三、Storm的应用场景 1. 实时分析与计算：Storm适用于需要对大规模实时数据进行即时分析和计算的场景。比如金融领域中的实时交易监控、电商平台中用户行为分析等。

2. 流式ETL：Storm可以实现流式ETL（Extract-Transform-Load）操作，将源数据进行抽取、转换和加载到目标系统中，并实时更新数据。

3. 实时推荐系统：通过结合Storm和机器学习算法，可以构建快速响应的实时推荐系统。例如，在电影推荐中根据用户的实时观看记录和偏好进行个性化推荐。

4. 实时监控与告警：利用Storm能够快速准确地处理大量实时数据，可以构建针对异常检测、预警通知等功能的实时监控系统。

四、使用Storm开发流程

1. 编写Spout组件：首先需要编写Spout组件，实现数据的发送和某些特定处理。

2. 编写Bolt组件：然后编写Bolt组件，实现具体的业务逻辑和处理操作。

3. 定义拓扑结构：在拓扑中定义Spout和Bolt之间的连接关系和数据流向，并选择合适的Stream Grouping策略。

4. 配置集群环境：配置Storm集群环境，并进行相应调优，以满足性能和可靠性要求。

5. 提交拓扑任务：将编写好的代码打包成一个Jar包，并提交到Storm集群中运行。可以通过命令行或管理界面来监控和管理任务状态。

五、Storm相关工具和生态系统

1. Trident：Trident是Storm的一种高级抽象，它提供了类似于SQL语言的查询接口，更加方便进行复杂计算和状态管理。 2. Kafka：Kafka是一种分布式流平台，在使用Storm进行数据处理时，常用Kafka作为消息队列或数据源。

3. Hadoop/HBase：Storm与Hadoop和HBase等大数据相关技术能够很好地配合使用，形成完整而强大的大数据处理系统。

合集下载

the storm 翻译

the storm 翻译

《暴风雨》由凯特肖恩写于1898年7月19日。这篇短文首先在1969年的《凯特肖恩完整作品集》中发表。这个故事发生在19世纪末路易斯安那州弗里德海玫的小店，在卡里克斯塔和博比诺的家旁边。

暴风雨

一

屋外的叶子很平静，连比比也认为将要下雨了。博比诺，习惯于和他的小儿子完全平等的交谈，让儿子注意那些阴暗的乌云，它们伴随着的轰鸣声从西方滚滚而来。他们在的弗里德海玫小店里，就决定呆到暴风雨过去再走。他们坐在门口的2个空桶上。比比只有4岁，但看起来很聪慧。

“妈妈会害怕的，是的。”小比比眨巴着眼睛说着。

“她会关上房门，或者让茜尔维来陪她”。博比诺安慰地回答。

“不会的。茜尔维昨天帮过她了。”比比囔囔着。

博比诺起身到对面的柜台买了一罐卡里克斯塔很喜欢的虾。然后他回到原处，当暴风雨爆发的时候，他拿着罐头虾呆坐着。暴风雨晃动着这木质的小店，又好像要把远处的田地撕扯出巨大的犁沟一样。比比把小手放在爸爸的膝盖上，一点都不害怕。

二

在家里的卡里克斯塔并没有为丈夫和儿子而感到不安。她在边窗下坐着，有力地踩着缝纫机。她很忙碌甚至都没有注意到正临近的暴风雨。她觉得很热，不得不经常停下来擦脸上成串的汗珠。她解开白色外衣在领口处的扣子。天色渐暗，她突然意识到自己所处的情境，赶紧站起来关门关窗。

她想起博比诺星期天的衣服还晾在前面的小走廊里，就赶紧出去抢在下雨之前把它们收进屋里。她踏出门槛的时候，正遇上阿尔塞骑着马进入大门。自从卡里克斯塔结婚了，她就没怎么见过阿尔塞，更别说是单独见面了。她手上拿着博比诺的衣服，楞住了，大雨转瞬间就开始倾盆了。阿尔塞骑着马到一个遮蔽处，鸡都聚集在那里，还有犁和耙堆在角落。

“卡里克斯塔，我可以在你家走廊里避避雨吗？”阿尔塞问。

“进来吧，阿尔塞先生。”

他和她自己的嗓音恍然间使她吃了一惊，她手上抓着博比诺的背心。阿尔塞，爬到门廊上，一把抓下马上要被突然袭来的大风刮走的衣物，包括裤子和比比的编织上衣。阿尔塞表示自己还是呆在外面好了，但事实表明，呆在走廊里和他站在露天里差不多。雨水猛烈地敲打在板条挡板。于是，他进屋了，随手把身后的门关上。雨下的太大了，需要拿东西堵住门缝，防止雨水渗进来。

Storm中文学习手册

Storm中文学习手册

Getting Started with Storm中文版 韩飞 译 Mail : aaron.han.1986@ QQ : 362504281 Blog : /lonelytrooper 写在前面的话：翻译这本书纯因为个人对storm的兴趣，水平有限，希望大家多多指正，我自己也会不断改进其中的内容。 希望这本书能对storm的入门爱好者起到一定的帮助作用。希望此版本仅用作学习交流，不要出现挂在论坛赚积分、甚至赚钱的无耻行为。 2013.9.30 中文版 版权所有 翻版必究

第一章 基础 ..................................................................................................................................... 4 Storm组件 ................................................................................................................................ 5 Storm属性 ................................................................................................................................ 5 第二章 开始 ..................................................................................................................................... 6 操作模式 ................................................................................................................................... 6 本地模式 ........................................................................................................................... 6 远程模式 ........................................................................................................................... 7 Hello World Storm ..................................................................................................................... 7 验证Java安装 .................................................................................................................. 8 创建工程 ........................................................................................................................... 8 建立我们第一个Topology ..................................................................................................... 10 Spout ............................................................................................................................... 10 Bolts ................................................................................................................................ 13 主类 ................................................................................................................................. 17 实践一下 ......................................................................................................................... 19 结论......................................................................................................................................... 20 第三章 Topologies ......................................................................................................................... 20 流分组..................................................................................................................................... 20 Shuffle分组 .................................................................................................................... 21 Fields分组 ...................................................................................................................... 21 All分组 ........................................................................................................................... 21 自定义分组 ..................................................................................................................... 22 Direct分组 ...................................................................................................................... 23 Global分组 ..................................................................................................................... 24 None分组 ....................................................................................................................... 24 LocalCluster versus StormSubmitter ....................................................................................... 24 DPRC Topologies ...................................................................................................................... 25 第四章 Spouts................................................................................................................................ 26 可靠消息 versus不可靠消息 ............................................................................................... 27 获取数据 ................................................................................................................................. 28 直接连接 ......................................................................................................................... 28 队列消息 ......................................................................................................................... 31 DRPC ................................................................................................................................ 33 结论......................................................................................................................................... 33 第五章 Bolts .................................................................................................................................. 34 Bolt生命周期 ......................................................................................................................... 34 Bolt结构 ................................................................................................................................. 34 可靠Bolts versus不可靠Bolts .............................................................................................. 35 多流......................................................................................................................................... 36 多锚定..................................................................................................................................... 36 通过IBasicBolt来自动Ack .................................................................................................... 36 第六章 一个真实的示例 ............................................................................................................... 37 Node.js Web应用 ................................................................................................................... 38 开始Node.js Web应用 .......................................................................................................... 39

TheStorm小说分析

TheStorm小说分析

The Storm

Kate Chopin

I. Plot:

The leaves were so still that even Bibi thought it was going to rain

strongly. Bibi and his father decided to remain at Friedheimer’s store till the

storm had passed. Bibi worried about his mother, Calixta. His father purchased

a can of shrimps which Bibi’s mother likes. Then Bibi laid his little hand on

his father’s knee and was not afraid. His mother, at home, was greatly

occupied in sewing and did not notice the approaching storm until it grew

dark. She saw Alcée Laballière at the gate when she hastened out to gather

clothes.

“May I come and wait on your gallery till the storm is over, Calixta” he

asked. Calixta permitted.

The water beat in upon the boards in driving sheets. So, he went inside,

closing the door after him and put something beneath the door to keep the

storm配置文档

storm配置文档

Twitter Storm配置开发环境

1.实验环境。

集群：本次安装主要使用了4台安装了centos6.4 的服务器。

222.18.159.122 node1 （预备作为master节点）

222.18.159.123 node2 （slave节点）

222.18.159.125 node3 （slave节点）

222.18.159.126 node4 （slave节点）

同时在每个机器上建立相同的用户和节点

在每个机器上均建立liufeng用户,并将用户加入root组（

2.安装zookeeper

（1）在当前目录下建立目录Zookeeper目录，将zookeeper压缩文件放到此目录中，并且解压。

（2）配置zookeeper环境

1>我们为了使对zookeeper的配置只在当前liufeng用户下生效（不影响root和其他用户），我们在当前目录下的.bash_profile文件中添加zookeeper的环境变量。

在.bash_profile文件末尾加入如下内容：

export ZOOKEEPER_HOME=/home/liufeng/Zookeeper/zookeeper-3.3.6

export PATH=$PATH:$ZOOKEEPER/bin

2>执行source .bash_profile使配置生效。

3>进入到zookeeper的conf目录执行如下命令：

cp zoo_sample.cfg zoo.cfg(原因暂时没明白）

（3）在当前目录下建立如下目录

./tmp/zookeeper

./zoolog/zookeeper

至此，单机zookeeper的配置完成。

（4）配置zookeeper集群

进入到zookeeper的conf目录中，修改zoo.cfg文件

1>将zoo.cfg中的dataDir替换成我们自己定义的目录。 dataDir=/home/liufeng/tmp/zookeeper