jstorm分享

topology.enable.classloader: false, classloader is disabled by default. If the jar of the application is conflict with one of jares which JStorm depends on. For example, an application depends on thrift9, but JStorm uses thrift7, then you need to enable this configure item.
# You can get more about cgroup:
# /8s7nexU
supervisor.enable.cgroup: false
### Netty will send multiple messages in one batch
### Setting true will improve throughput, but more latency
# purpose. When it is disabled, the data of timer and histogram metrics
# will not be collected.
# topology.alimonitor.metrics.post: If it is disable, metrics data
# 1. Linux version (>= 2.6.18)
# 2. Have installed cgroup (check the file's existence:/proc/cgroups)
# 3. You should start your supervisor on root

大数据平台数据存储模型分为：数据缓冲层 Data Cache Layer(DCL)、数据明细 层 Data Detail Layer(DDL)、公共数据层(Common)、数据汇总层 Data Summary
Layer(DSL)、数据应用层 Data Application Layer(DAL)、数据分析层(Analysis)、 临时提数层(Temp)。 数据缓冲层(DCL)：存储业务系统或者客户端上报的，经过解码、清洗、转换后 的原始数据，为数据过滤做准备。
了 kafka 生产者协议。有兴趣同学可以去 Github 上看看，另一同事实现的，现 在在 github 上比较活跃，被一些互联网公司应用于线上环境了。 b.后端日志采集接入： FileCollect,考虑到很多线上环境的环境变量不能改动，为减少侵入式，目前是采 用 Go 语言实现文件采集，年后也准备重构这块。 前端，服务端的数据采集整体架构如下图：
从这张图中，可以了解到大数据处理过程可以分为数据源、数据接入、数据清洗、 数据缓存、存储计算、数据服务、数据消费等环节，每个环节都有具有高可用性、
可扩展性等特性，都为下一个节点更好的服务打下基础。整个数据流过程都被数 据质量监控系统监控，数据异常自动预警、告警。 新一代大数据整体技术架构如图：
将大数据计算分为实时计算与离线计算，在整个集群中，奔着能实时计算的，一 定走实时计算流处理，通过实时计算流来提高数据的时效性及数据价值，同时减 轻集群的资源使用率集中现象。 整体架构从下往上解释下每层的作用： 数据实时采集： 主要用于数据源采集服务，从数据流架构图中，可以知道，数据源分为前端日志， 服务端日志，业务系统数据。下面讲解数据是怎么采集接入的。 a.前端日志采集接入： 前端日志采集要求实时，可靠性，高可用性等特性。技术选型时，对开源的数据 采集工具 flume,scribe,chukwa 测试对比，发现基本满足不了我们的业务场景需 求。所以，选择基于 kafka 开发一套数据采集网关，来完成数据采集需求。数据 采集网关的开发过程中走了一些弯路，最后采用 nginx+lua 开发，基于 lua 实现

JStorm—实时流式计算框架⼊门介绍JStorm介绍 JStorm是参考storm基于Java语⾔重写的实时流式计算系统框架，做了很多改进。

如解决了之前的Storm nimbus节点的单点问题。

JStorm类似于Hadoop MapReduce系统，⽤户按照指定的接⼝去实现⼀个任务，任务提交给JStorm进⾏运⾏，且这种运⾏是不间断的，因为如果期间有worker发⽣故障，调度器会分配⼀个新的worker去替换这个故障worker。

从应⽤的⾓度来看，JStorm是⼀种分布式应⽤；从系统框架层⾯来看，JStorm⼜是⼀种类似于Hadoop MapReduce的调度系统；从数据层⾯来看，JStorm⼜是⼀种流式的实时计算⽅案。

JStorm优势1. 易开发性： JStomr接⼝简易，只需按照Spout、Bolt及Topology编程规范进⾏应⽤开发即可；2. 扩展性：可以线性的扩展性能，配置并发数即可；3. 容错性：出现故障worker时，调度器会分配⼀个新的worker去代替；4. 数据精准性：JStorm内置ACK机制，确保数据不丢失。

还可以采⽤事务机制确保进⼀步的精准度；5. 实时性：JStorm不间断运⾏任务，且实时计算。

JStorm应⽤场景1. 实时计算：可实时数据统计，实时监控；2. 消息转移：流处理完消息后，可以定向的将结果存储到其他消息中间件中；3. rpc请求：提交任务就是⼀次rpc请求过程；典型的场景：⽤于⽇志分析，rpc请求提交任务，从收集的⽇志中，统计出特定的数据结果，并将统计后的结果持久化到外部存储中，这是⼀种信息流处理⽅式，可聚合，可分析。

JStorm架构组件介绍UI：JStorm web界⾯。

Nimbus：调度者，是主控制节点，主要功能为提交任务、分配集群任务、集群监控等。

Supervisor：负责接收Nimbus分配的任务，管理⾃⼰的所属Worker进程，supervisor节点是整个集群中实际运⾏的topology节点。

实时云计算平台JStorm简述作者：李礼来源：《科学与信息化》2018年第01期摘要 JStorm与Storm比较，阿里巴巴中间件团队用Java重新实现了Storm的Clojure核心，兼容Storm的接口，解决了Strom的雪崩等问题，JStorm是一个强大的企业级流式计算引擎。

关键词 JStorm；云计算；Storm前言JStorm是一个类似于 Hadoop 的MapReduce的计算系统，它是由Alibaba开源的实时计算模型，它使用Java重写了原生的Storm模型，并且再原来的基础上做了许多改进。

用户只需按照指定的接口实现一个任务，然后将这个任务提交给JStorm系统，JStorm在接受了任务指令后，会无间断运行任务，一旦出现异常导致某个Worker发送故障，调度器立刻会分配一个新的Worker去顶替异常的Worker。

1 JStorm基本概念JStorm有点类似于Hadoop的MR（Map-Reduce），但是区别在于，hadoop的MR，提交到hadoop的MR job，执行完就结束了，进程就退出了，而一个JStorm任务，是7*24小时永远在运行的，除非用户主动kill[1]。

1.1 组件在JStorm的topology中，有两种组件：spout和bolt。

spout代表输入的数据源，这个数据源可以是任意的，比如kafka，DB，HBase，甚至是HDFS等，JStorm从这个数据源中不断地读取数据，然后发送到下游的bolt中进行处理。

bolt代表处理逻辑，bolt收到消息之后，对消息做处理（即执行用户的业务逻辑），处理完以后，既可以将处理后的消息继续发送到下游的bolt，这样会形成一个处理流水线[2]。

1.2 架构与Storm架构类似，包括Nimbus（调度器）、Supervisor（Worker的代理角色，负责Kill 掉Worker和运行Worker）、Worker（Task的容器）、Task（任务的执行者）、ZooKeeper （系统的协调者）等[3]。