大数据项目技术选型初稿
- 格式：doc
- 大小：768.50 KB
- 文档页数：15
.. .
z
目录结构
一、主流架构选用技术
二、Hadoop版本选型方案
三、选用的技术与其他工具的对比
四、大数据相关的技术选型版本确定
五、市场上的hadoop发行版厂商资料
六、具体操作
.. .
z
一、主流架构选用技术：
采集层：flume；sqoop
存储层：包括文件存储层和数据存储层
文件：采用hdfs存储
数据：采用hbase，redis等
模型层：离线处理：mr/yarn;实时流式处理spark streaming(比storm的优势)
分析层：hive
管理层：zookeeper（调度；ha）
.. .
z
二、Hadoop版本选型方案：
Hadoop提供的经典方案：HDP（Hadoop Data Platform）
管理一体化 数据接入
Flume Script SQL Nosql Stream Search In-Memory Others
Sqoop Pig Hive Hbase Storm Solr Spark YARN-Ready
Apps
NFS
--------------------------------------------------------------------------------------------------------
WebHDFS YARN
Falcon
--------------------------------------------------------------------------------------------------------
HDFS
---------------------------------------------------------------------------------------------------------
.. .
z 数据管理
三、选用的技术与其他工具的对比：
选用sqoop的好处：开源，抽取的数据可以直接传至hive，可操作性和可视性高
.. .
z
选用Flume的好处：纯Java开发，框架分明，易于开发，可以直接写hdfs且支持对text和sequence压缩
选用Spark的好处：基于存，适合需要多次迭代计算的算法，在迭代处理计算方面比Hadoop快100倍以上，Spark采用一个统一的技术堆栈解决了云计算大数据的所有核心问题
.. .
z
安全 操作
认证，授权，审计，数据保护 准备，管理，监控
Storage：HDFS Ambari
Resource：YARN Zookeeper
Access：Hive Oozie
Pipeline:Falcon
Cluster:Knox
Hue的好处：多应用平台，便捷的操作流程；自动补全；查询结果表格化图像化
.. .
z
四、大数据相关的技术选型版本确定：
操作系统：CentOS6.X
各个技术版本：（最新，最稳定，bug少）
Hadoop版本：hadoop-2.6.4.tar.gz
此版本是一个相对最新且比较稳定的版本，基数版本可能不稳定，最好选用偶数版本
Zookeeper版本：zookeeper-3.4.8.tar.gz
此版本修复了此前的9个问题，最明显的是在关闭zookeeper时会产生的一个停顿问题。
Flume 版本：apache-flume-1.6.0-bin.tar.gz
Kafka版本：kafka_2.11-0.8.2.2.tgz
/082/documentation.html
.. .
z
Spark版本：spark-1.6.0-bin-hadoop2.6.tgz
此版本能支持Hadoop2.6.x以上的版本且相对稳定版
Sqoop版本：sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz
Hive版本：apache-hive-1.2.1-bin.tar.gz
Hbase版本：hbase-1.1.3-bin.tar.gz
Mahout版本：apache-mahout-distribution-0.11.0.tar.gz
五、市场上的hadoop发行版厂商资料：
版本：除了社区的 Apache Hadoop 外， Cloudera ， Hortonworks ，
MapR ， EMC ， IBM ， Intel ， 华为等都提供了自己的商业版本。
版本 容 特点 网址
Cloudera CDH包括HDFS、YARN、HBase、MapReduce、Hive、Pig、Zookeeper、CDH完全开源，比 Apache
Hadoop 在兼容性，安全性，稳定.cloudera./documentation/archive/cdh
.. .
z Oozie、Mahout、Hue和其他开源工具(包括实时查询引擎——Impala)。 性上有所增强；Cloudera
Manager是集群的软件分发及管理监控平台，可以在几个小时部署好一个hadoop集群，并对集群的节点及服务进行实时监控。标价为每年每个节点4000美元。 /4-x/4-7-1/CDH4-Installation-Guide/cdh4ig_topic_11_4.html
Hortonworks HDP包括HDFS、YARN、HBase、MapReduce、Hive、Pig、HCatalog、Zookeeper、Oozie、Mahout、Hue、Ambari、Tez和Hive的实时版(Stinger)以及其他开源工具。 集成和测试封装；安装方便；管理和监控服务；数据集成服务；元数据服务；高可用性；每10个节点每年为12500美元。拥有大量的Hadoop专家，对Hadoop的发展起到了重要作用，拥有广泛的合作伙伴支持，专供Hadoop；对专有代码的依赖低于Cloudera http://hortonworks./
MapR 包括HDFS、HBase、MapReduce、Hive、Mahout、Oozie、Pig、ZooKeeper、Hue和其他开源工具。还包括直接NFS访问、快照和用于“高可用性”的镜像，有的HBase实现(与Apache API完全兼容)，以及MapR管理控制台。 1.构建一个 HDFS 的私有替代品，这个替代品比当前的开源版本快三倍，自带快照功能，而且支持无
NameNode 单点故障 (SPOF) ，并且在 API 上和开源版兼容，所以可以考虑将其作为替代方案。不再需要单独的 NameNode 机器，https://.mapr./
.. .
z 元数据分散在集群中，也类似数据默认存储三份。
2.也不再需要用网络附加存储
(NAS) 来协助 NameNode 做元数据备份，提高了机器使用率。
3.还有个重要的特点是可以使用
nfs 直接访问 hdfs ，提供了与旧有应用的兼容性。镜像功能也很适合做数据备份，而且支持跨数据中心的镜像，快照功能对于数据的恢复作用明显。
4.每年每个节点4000美元。
5.在性能方面具备优势。
EMC 包括HDFS、MapReduce、Hive、Pig、HBase、Zookeeper、Sqoop、Flume和其他开源工具。 兼容SQL；完全兼容ODBC/JDBC；交互式查询；数据管理；深度分析 .emc./zh-/index.htm?fromGlobalSelector
IBM 基础版包括HDFS、HBase、MapReduce、Hive、Mahout、Oozie、Pig、ZooKeeper、Hue和一些其他开源工具，以及IBM安装程序和数据访问工具的基础版本。企业版增加了复杂的作业管理工具、与主要数据源相互集成的在 平台管理，安全认证，作业调度算法，与 DB2 及 netezza 的集成上做了增强 。兼容性好，同时运行多种Hadoop版本的程序，IBM的服务。 .ibm./us-en/
.. .
z 数据访问层和BigSheets(类似于电子表格的界面，用于在集群中操作数据)
Intel Apache
Hadoop Intel 分发版 主要是强调其能提供全面的 软硬件解决方案设计 ， 针对硬件具有更好的性能优化 ，以及 提供集群管理工具和安装工具简化了
Hadoop 的安装和配置 ，能够提供项目规划到实施各阶段专业的咨询服务，实际中采购 Intel 版本貌似动力不足。 性能好，最先进入中国市场。 http://ark.intel./
华为 Funsionlnsight
Hadoop 基于 Apache Hadoop ，构建
