大数据课程体系

Storm事物处理
Storm消息可靠性及容错原理
Storm结合消息队列Kafka:消息队列基本概念（Producer、Consume、Topic、Broker等）、消息队列Kafka使用场景、Storm结合Kafka编程API
StormTrident概念
Tride ntstate原理
Tride nt开发实例
zookeeper集群搭建
Storm集群搭建
Storm配置文件配置项讲解
集群搭建常见问题解决
Storm常用组件和编程API：Topology、Spout、Bolt
Storm分组策略（streamgroupings）
使用Strom开发一个WordCount例子
Storm程序本地模式debug、Storm程序远程debug
StormDRPC分布式远程调用）介绍
StormDRP（实战讲解
Storm和Hadoop2.x的整合：StormonYarn
Storm开发实战：Kafka+Storm+Hbase+redis项目实战，以及多个案例
Scala
scala解释器、变量、常用数据类型等scala的条件表达式、输入输出、循环等控制结构scala的函数、默认参数、变长参数等scala的数组、变长数组、多维数组等scala的映射、元组等操作
数据仓库Hive
Hive简介
Hive集群
客户端简介
HiveQL介绍与SQL的比较
数据类型
外部表和分区表
ddl与CLI客户端演示dml与CLI客户端演示select与CLI客户端演示
Operators和functions与CLI客户端演示Hiveserver2与jdbc
用户自定义函数（UDF和UDAF的开发与演示Hive优化
Spark和Hadoop2.x整合：SparkonYarn原理
SparkStreami ng实时计算
SparkStreaming:数据源和DStream无状态transformation与有状态transformation Streami ngWi ndow的操作sparksql编程实战spark的多语言操作
Java基础
JAVA开发基础知识
Eclipse开发环境 多线程技术
Socket网络技术RegularExpressio n
Java反射技术 各种实战设计模式 面向对象设计原则详解
Javacollecti on
Reflect ion
JVM原理与配置、调优
Java设计模式
Linux大纲
Linux的介绍与安装
flumeAVROClient开发flume和kafLeabharlann a的整合Zookeeper开发
Zookeeperjavaapi开发
Zookeeperrmi咼可用分布式集群开发
Zookeeperredis咼可用监控实现
Netty异步io通信框架
Zookeeper实现netty分布式架构的咼可用
kafka
kafka是什么kafka体系结构kafka配置详解kafka的安装
Actio n
Spark计算PageRank
Lin eage
Spark模型简介
Spark缓存策略和容错处理 宽依赖与窄依赖
Spark配置讲解
Spark集群搭建
集群搭建常见问题解决
Spark原理核心组件和常用RDD数据本地性
任务调度
DAGScheduler
TaskScheduler
Spark源码解读 性能调优
VMwareWorkstation虚拟软件安装ubuntu安装
Linux的常用命令
Linux系统进程管理常用命令ps、pkill、top、htop等的使用；
Linux启动流程，运行级别详解，chkconfig详解nano编辑器
Linux权限管理：用户、组
Linux权限管理：文件权限rwx
Linux网络管理：hosts,hostname,ifconfig安装JDK
scala的类，包括bean属性、辅助构造器、主构造器等
scala的对象、单例对象、伴生对象、扩展类、apply方法等
scala的包、弓1入、继承等概念
scala的特质scala的操作符scala的高阶函数scala的集合
scala数据库连接
Spark大数据处理
Spark简介与应用场景
RDD
Tran sformatio n
kafka的存储策略kafka分区特点
kafka的发布与订阅zookeeper协调管理java编程操作kafka scala编程操作kafka flume和kafka的整合
Kafka和storm的整合
Storm
Storm的基本概念
Storm的应用场景
Storm和Hadoop的对比
Storm集群的安装的linux环境准备
Hadoop
Hadoop介绍，发展史，国内外现状，未来
Hadoop核心组成介绍及hdfs、mapreduce体系结构
Hadoop的集群结构
Hadoop独立模式安装与测试
Hadoop启 动与停止
SSH安装与配置
Hadoop伪分布式和完全分布式安装配置
HDFS底层工作原理
HDFSdata node,n ame no d详解
Hdfsshell
Hdfsjavaapi
InputSplit和OutputSplit BlockSize配置
最少副本数配置
MRf乍业流程分析
编写Map per程序 编写Reducer程序
执行Mapreduce过程
Hadoop核心类讲解，RM,NM,NN,DN
YARN调度框架事件分发机制
Hadoop底层IPC原理和RPC
Hadoop的底层googleProtoBuf的协议分析
分布式数据库
Hbase
HBase简介与RDBM的对比 系统架构
HBase上 的Map Reduce
Hbase核心术语介绍
Hbase基本操作
HBaseShell以及演示
Hbase树形表设计
Hbase一对多和多对多表设计
Hbase调优（读、写、设计）
数据迁移工具
Sqoop
Sqoop简介和配置Sqoopshell常见命令
Sqoop导入与导出
Flume分布式
日志框架
flume简介-基础知识flume安装与测试flume部署方式flumesource相关配置及测试flumes ink相关配置及测试flumeselector相关配置与案例分析flumeSi nkProcessors相关配置和案例分析flume In terceptors相关配置和案例分析