Hadoop实战-中高级部分之Hadoop 管理
Hadoop RestFul
Hadoop HDFS原理1
Hadoop HDFS原理2
Hadoop作业调优参数调整及原理
Hadoop HA
Hadoop MapReduce高级编程
Hadoop IO
Hadoop MapReduce工作原理
Hadoop 管理
Hadoop 集群安装
Hadoop RPC
第一部分：HDFS管理
命令行工具
?HDFS文件系统检查工具FSCK
?用法：hadoop fsck [ GENERIC_OPTIONS]
?命令选项描述
?-move移动受损文件到/lost+found-delete删除受损文件。
?-openforwrite打印出写打开的文件。
?-files打印出正被检查的文件。
?-blocks打印出块信息报告。
?-locations打印出每个块的位置信息。
?-racks打印出data-node的网络拓扑结构。
?d fsadmin
命令选项描述
-report 报告文件系统的基本信息和统计信息。
-refreshNodes 重新读取hosts和exclude文件，更新允许连到Namenode的或那些需要退出或入编的Datanode的集合。
-finalizeUpgrade 终结HDFS的升级操作。Datanode删除前一个版本的工作目录，之后Namenode也这样做。这个操作完结整个升级过程。
命令选项描述
-metasave filename 保存Namenode的主要数据结构到hadoop.log.dir属性指定的目录下的
1. Namenode收到的Datanode的心跳信号
2. 等待被复制的块
3. 正在被复制的块
4. 等待被删除的块
-setQuota
命令会在这个目录上工作良好，以下情况会报错：
1. N不是一个正整数，或者
2. 用户不是管理员，或者
3. 这个目录不存在或是文件，或者
4. 目录会马上超出新设定的配额。
-upgradeProgress status | details | force 请求当前系统的升级状态，状态的细节，或者强制升级操作进行。
-clrQuota
命令会在这个目录上工作良好，以下情况会报错：
1. 这个目录不存在或是文件，或者
2. 用户不是管理员。
如果目录原来没有配额不会报错。
规划管理HDFS数据
?无论是做为开发者还是管理员了解HDFS目录结构与规划都是很重要的一件事情。?它们可以帮助我们诊断问题
?如何管理HDFS数据也是我们需要研究的课题
?Namenode的目录结构：
${https://www.doczj.com/doc/ec5581642.html,.dir}/current /VERSION
/edits
/fsimage
/fstime
https://www.doczj.com/doc/ec5581642.html,.dir是hdfs-site.xml里配置的若干个目录组成的列表。
?通过设置Sencondary NameNode解决edits log变大问题
?Sencondary Namenode的目录结构：
${fs.checkpoint.dir}/current /VERSION
/edits
/fsimage
/fstime
/previous.checkpoint/VERSION
/edits
/fsimage
/fstime
?fs.checkpoint.dir 属性位于core-site.xml
?previous.checkpoint 存储之前的保存的元数据
?Datanode 的目录结构：
${dfs.data.dir}/current /VERSION
/blk_id
/blk_id.meta
…..
/subdir0
….
?dfs.data.dir 属性位与hdfs-site.xml
?Subdir0 为子文件夹，防止HDFS一个目录下的文件块太多
?通过dfs.datanode.numblocks可以设置多少个块会生成一个子文件夹默认是64
安全模式
?安全模式是Namenode的一个状态，这种状态下，Namenode
1. 不接受对名字空间的更改(只读)
2. 不复制或删除块
?NameNode会在启动时自动进入安全模式，当配置的块最小百分比数满足最小的副本数条件时，会自动离开安全模式。安全模式可以手动进入，但是这样的话也必须手动关闭安全模式
?默认为99.99%
?参数dfs.safemode.threshold.pct 位与hdfs-site.xml
?命令行hadoop dfsadmin -safemode enter | leave | get | wait
访问操作记录日志
?HDFS可以记录文件系统的所有访问请求
?默认情况下该功能是关闭的
?可以通过设置log4j来开启该属性
?https://www.doczj.com/doc/ec5581642.html,.apache.hadoop.fs.FSNamesystem.audit= WARN设置为info
?该请求记录文件会单独存放
数据扫描块
?每一个DataNode都会运行一个数据扫描线程
?扫描线程定期的检查所有数据块以确保修复损坏的块
?周期可以设定
?dfs.datanode.scan.period.hourses 默认是504小时
?在UI部分可以查看检查的情况
?http://datanode：50075/blockScannerReport
?通过指定listblocks参数可以报告最新的状态
?http://datanode:50075/blockScannerReport?Listblocks
第二部分：MapReduce作业管理
命令行工具
?查看Job信息
?hadoop job -list
?杀掉Job
?hadoop job –kill
?指定路径下查看历史日志汇总
?hadoop job -history output-dir
?作业的更多细节
?hadoop job -history all output-dir
?打印map和reduce完成百分比和所有计数器
?hadoop job –status job_id
?杀死任务。被杀死的任务不会不利于失败尝试。
?hadoop jab -kill-task
?使任务失败。被失败的任务会对失败尝试不利。
?hadoop job-fail-task
Hadoop mradmin
命令说明
-refreshServiceAcl 重新装载ACL认证文件
-refreshQueues 刷新任务队列的信息
-refreshUserToGroupsMappings 刷新用户与用户组对应关系
-refreshSuperUserGroupsConfiguration 刷新用户组的配置
-refreshNodes 刷新JobTracker的主机配置信息
UI详细介绍
?UI 有足够的信息，供我们查看Job运行的信息与历史运行记录
?URL
?http://
第三部分：Hadoop安全与权限的管理
?安全认证
?确保用户的身份
?授权
?确保用户的操作只能是在被允许的范围内
?用户
?Hadoop用户
?服务
?NameNode 等
?Hadoop原来的版本安全性比较低。
?Namenode或者J obtracker缺乏安全认证机制
?DataNode缺乏安全授权机制
?Hadoop提供了两种安全机制：Simple和Kerberos
Simple机制
?Simple机制（默认情况，Hadoop采用该机制）是JAAS协议与delegation token整合机制?JAAS是Java 认证和授权服务（Java Authentication and Authorization Service）的缩写，是PAM 框架的Java实现。
Kerberos机制
?Kerberos 提供了这样一种机制，可以认证的密钥放到服务器上，用户在进行操作时，要先到认证服务器上做校验，只有通过，才可以进行相应的操作。
?Hadoop的安全问题
?解决服务器到服务器的认证
?解决client到服务器的认证
?对用户级别上的认证并没有实现
Kerberos概念
?Princal：被认证的个体，有一个名字和口令
?KDC: 是一个网络服务，提供ticket 和临时会话密钥
?Ticket：一个记录，客户用它来向服务器证明自己的身份，包括客户标识、会话密钥、时间戳。
?AS ：认证服务器
?TSG：许可证服务器
Hadoop使用Kerberos好处
?可靠： Hadoop 本身并没有认证功能和创建用户组功能，使用依靠外围的认证系统
?高效：Kerberos使用对称钥匙操作，比SSL的公共密钥快
?操作简单：用户可以方便进行操作，不需要很复杂的指令。比如废除一个用户只需要从Kerbores的KDC 数据库中删除即可。
HDFS安全机制
?Client去NameNode获取访问DataNode的凭证
?获得凭证后，才可以访问相应的数据库
?DataNode在启动时会在NameNode拿来相应的凭证
?客户端访问时，DataNode 会校验相应的凭证
MapReduce安全机制
?作业提交
?所有关于作业的提交或者作业运行状态的追踪均是采用带有Kerberos认证的RPC实现的
?授权用户提交作业时，JobTracker会为之生成一个令牌，该令牌将被作为job的一部分存储到HDFS 上并通过RPC分发给各个TaskTracker，一旦job运行结束，该token失效。
?任务运行
?用户提交作业的每个task均是以用户身份启动的，这样，一个用户的task便不可以向TaskTracker或者其他用户的task发送操作系统信号，最其他用户造成干扰。这要求为每个用户在所有TaskTracker上建一个账号。
?Shuffle
?reduce task对“请求URL”和“当前时间”计算HMAC-SHA1值，并将该值作为请求的一部分发动给TaskTracker，TaskTracker收到后会验证该值的正确性
RPC 安全机制
?用户发送RPC时，会将自己的用户名放在请求信息里
?RPCServer 接受到信息后，RPCServer 会校验授权，如果通过请发送给用户响应
Hadoop权限管理
?用户分组管理
?用户按组为单位组织管理
?可以限制用户使用的资源等内容
?Hadoop 使用Linux的用户与用户组
?作业管理
?作业提交权限控制
?作业运行状态查看权限控制。
?可限定可提交作业的用户
?可限定可查看作业运行状态的用户
?可限定普通用户只能修改自己作业的优先级，kill自己的作业
?高级用户可以控制所有作业。
?这一点很重要，如果没有权限，会造成数据混乱
?主要是通过系统的用户组权限来进行控制
MapReduce权限管理
?MapReduce支持权限管理需使用Fair Scheduler或者Capacity Scheduler
?为MapReduce添加权限管理一共分3步
?配置Fair Scheduler或者Capacity Scheduler
?配置用户管理
?配置作业的ACL
配置权限
?配置Fair Scheduler
?配置用户管理
?配置Queue相关信息
?配置属性在mapre-site.xml
配置Queue的相关信息
属性 https://www.doczj.com/doc/ec5581642.html,s 是 queue 的所有名字，在这一名字中，必须有一个
叫“default”的 queue
?https://www.doczj.com/doc/ec5581642.html,s是queue的所有名字
?必须有一个叫“default”的queue
? mapred.queue.
?mapred.queue.
?每个queue拥有的资源量和其他信息，在其他配置文件里指定
? mapred.queue.
mapred.queue.
用户和用户组之间用空格分开，用户之间用“，”分割，用户组之间用“，”分割，如果queue的属性值中只有用户组，则前面保留一个空格。
配置fair-scheduler.xml
作业管理
?在core-site.xmll中配置以下属性：
?配置${HADOOP_CONF_DIR}/hadoop-policy.xml
?参数格式
?用户名与用户组之间用空格分开
?用户用户之间用“,”
?Tom,cat super,no
属性说明
security.clinet.protocol.acl 控制访问HDFS的权限
security.datanode.protocol.acl 控制datanode到namenode的通信权限security.clinet.datanode.protocol.acl 用户block恢复
https://www.doczj.com/doc/ec5581642.html,node.protocol.acl 控制sencondary namenode与datanode权限security.inter.datanode.protocol.acl
DataNode之前更新时间戳
security.task.umbilical.protocol.acl 控制task与tasktracker通信
security.refresh.policy.protocol.acl 控制更新作业管理配置文件
security.jobsubmission.protocol.acl 控制作业提交等权限
?作业提交时指定Pool来进行提交
?示例
hadoop jar wordcount.jar wordcount -D https://www.doczj.com/doc/ec5581642.html,= your_name input output
第四部分：Hadoop集群的状态监控与管理工具
我们需要监督Hadoop什么
?CPU使用率
?硬盘使用情况
?网络负载
?进程服务是否正常运行
?。。。。
手动每项去查看，非常痛苦的事情，我们需要工具
Ganglia
?Ganglia 是什么
?Ganglia是一个跨平台可扩展的，高性能计算系统下的分布式监控系统，如集群和网格。?可以进行自动的进行信息的收集
?Ganglia 组件
?Gmond
?Gmetad
?Web前端
?Gmetad -服务端
?负责周期性的到各个datasource收集各个cluster的数据，并更新到rrd数据库中?Gmond –客户端
?收集本机的监控数据，发送到其他机器上
?web 浏览界面
?一个基于ＰＨＰ的监控界面，通常和Gmetad安装在同一个节点上
Ganglia优点
?自动收集数据
?图形界面
?数据库rrdtool存储了历史数据
?Gmond 数据存储在内存中，使用开销比较小。
截图
日志监控
?设置日志级别
?在调试过程中非常的有用
?设置方式
?页面
?命令行
?hadoop daemonlog –setlevel jobtrackerhost-50030 packege level ?持久改变
?https://www.doczj.com/doc/ec5581642.html,.apache.hadoop.mapred.JobTracker= level
?获得运行栈的信息
?http://namenode:50070/stacks
云凡教育Hadoop网络培训第二期 开课时间：2014年1月20日 授课方式:YY在线教育+课程视频+资料、笔记+辅导+推荐就业 YY教育平台：20483828 课程咨询：1441562932 大胃 云凡教育Hadoop交流群：306770165 费用： 第二期优惠特价：999元； 授课对象： 对大数据领域有求知欲，想成为其中一员的人员 想深入学习hadoop，而不只是只闻其名的人员 基础技能要求: 具有linux操作一般知识（因为hadoop在linux下跑） 有Java基础(因为hadoop是java写的并且编程也要用java语言) 课程特色 1，以企业实际应用为向导，进行知识点的深入浅出讲解； 2，从零起步，循序渐进，剖析每一个知识； 3，萃取出实际开发中最常用、最实用的内容并以深入浅出的方式把难点化于无形之中 学习安排： Hadoop的起源与生态系统介绍(了解什么是大数据；Google的三篇论文；围绕Hadoop形成的一系列的生态系统；各个子项目简要介绍)
1_Linux系统环境搭建和基本命令使用 针对很多同学对linux命令不熟悉，在课程的学习中，由于命令不熟悉导致很多错误产生，所以特意增加一节linux基础课程，讲解一些常用的命令，对接下来的学习中做好入门准备； 02_Hadoop本地（单机）模式和伪分布式模式安装 本节是最基本的课程，属于入门级别，主要对Hadoop 介绍，集中安装模式，如何在linux上面单机（本地）和伪分布模式安装Hadoop，对HDFS 和MapReduce进行测试和初步认识。 03_HDFS的体系结构、Shell操作、Java API使用和应用案例 本节是对hadoop核心之一——HDFS的讲解。HDFS是所有hadoop操作的基础，属于基本的内容。对本节内容的理解直接影响以后所有课程的学习。在本节学习中，我们会讲述hdfs的体系结构，以及使用shell、java不同方式对hdfs 的操作。在工作中，这两种方式都非常常用。学会了本节内容，就可以自己开发网盘应用了。在本节学习中，我们不仅对理论和操作进行讲解，也会讲解hdfs 的源代码，方便部分学员以后对hadoop源码进行修改。 04_MapReduce入门、框架原理、深入学习和相关MR面试题 本节开始对hadoop核心之一——mapreduce的讲解。mapreduce是hadoop 的核心，是以后各种框架运行的基础，这是必须掌握的。在本次讲解中，掌握mapreduce执行的详细过程，以单词计数为例，讲解mapreduce的详细执行过程。还讲解hadoop的序列化机制和数据类型，并使用自定义类型实现电信日志信息的统计。最后，还要讲解hadoop的RPC机制，这是hadoop运行的基础，通过该节学习，我们就可以明白hadoop是怎么明白的了，就不必糊涂了，本节内容特别重要。 05_Hadoop集群安装管理、NameNode安全模式和Hadoop 1.x串讲复习 hadoop就业主要是两个方向：hadoop工程师和hadoop集群管理员。我们课程主要培养工程师。本节内容是面向集群管理员的，主要讲述集群管理的知
https://www.doczj.com/doc/ec5581642.html, Hadoop+Spark 大数据开发项目实践_光环大数据培训 随着IT技术的飞速发展，各行各业都已在广泛尝试使用大数据技术提供更稳健和优质的服务。目前，医疗IT系统收集了大量极具价值的数据，但这些历史医疗数据并没有发挥出其应有的价值。为此，本文拟利用医院现有的历史数据，挖掘出有价值的基于统计学的医学规则、知识，并基于这些信息构建专业的临床知识库，提供诊断、处方、用药推荐功能，基于强大的关联推荐能力，极大地提高医疗服务质量，减轻医疗人员的工作强度。 二、hadoop&Spark 目前大数据处理领域的框架有很多。 从计算的角度上看，主要有MapReduce框架(属于Hadoop生态系统)和Spark框架。其中Spark是近两年出现的新一代计算框架，基于内存的特性使它在计算效率上大大优于MapReduce框架; 从存储角度来看，当前主要还是在用Hadoop生态环境中的HDFS框架。HDFS的一系列特性使得它非常适合大数据环境下的存储。 1、Hadoop Hadoop不是一个软件，而是一个分布式系统基础架构，是由Apache基金会主持开发的一个开源项目。Hadoop可以使用户在不了解分布式底层实现的情况下，开发分布式程序，从而充分利用电脑集群的威力，实现高速运算和大规模数据存储。Hadoop主要有HDFS、MapReduce、Hbase等子项目组成。 Hadoop是一个能够对大量数据进行分布式处理的软件框架，并且使用可靠、高效、可伸缩的方式进行数据处理。Hadoop假设数据处理和存储会失败，因此系统维护多个工作数据副本，确保能够针对失败的节点重新分布处理。Hadoop通过并行工作，提高数据处理
?项目 ?维基 ?Hadoop 0.18文档 Last Published: 07/01/2009 00:38:20 文档 概述 快速入门 集群搭建 HDFS构架设计 HDFS使用指南 HDFS权限指南 HDFS配额管理指南 命令手册 FS Shell使用指南 DistCp使用指南 Map-Reduce教程 Hadoop本地库 Streaming Hadoop Archives Hadoop On Demand API参考 API Changes 维基 常见问题 邮件列表 发行说明 变更日志 PDF Hadoop快速入门 ?目的 ?先决条件 o支持平台 o所需软件 o安装软件 ?下载 ?运行Hadoop集群的准备工作 ?单机模式的操作方法 ?伪分布式模式的操作方法
o配置 o免密码ssh设置 o执行 ?完全分布式模式的操作方法 目的 这篇文档的目的是帮助你快速完成单机上的Hadoop安装与使用以便你对Hadoop 分布式文件系统(HDFS)和Map-Reduce框架有所体会，比如在HDFS上运行示例程序或简单作业等。 先决条件 支持平台 ?GNU/Linux是产品开发和运行的平台。 Hadoop已在有2000个节点的GNU/Linux主机组成的集群系统上得到验证。 ?Win32平台是作为开发平台支持的。由于分布式操作尚未在Win32平台上充分测试，所以还不作为一个生产平台被支持。 所需软件 Linux和Windows所需软件包括: 1.Java TM1.5.x，必须安装，建议选择Sun公司发行的Java版本。 2.ssh必须安装并且保证sshd一直运行，以便用Hadoop 脚本管理远端 Hadoop守护进程。 Windows下的附加软件需求 1.Cygwin - 提供上述软件之外的shell支持。 安装软件 如果你的集群尚未安装所需软件，你得首先安装它们。 以Ubuntu Linux为例: $ sudo apt-get install ssh $ sudo apt-get install rsync
开始研究一下开源项目hadoop，因为根据本人和业界的一些分析，海量数据的分布式并行处理是趋势，咱不能太落后，虽然开始有点晚，呵呵。首先就是安装和一个入门的小实例的讲解，这个恐怕是我们搞软件开发的，最常见也最有效率地入门一个新鲜玩意的方式了，废话不多说开始吧。 本人是在ubuntu下进行实验的，java和ssh安装就不在这里讲了，这两个是必须要安装的，好了我们进入主题安装hadoop： 1.下载hadoop-0.20.1.tar.gz： https://www.doczj.com/doc/ec5581642.html,/dyn/closer.cgi/hadoop/common/ 解压：$ tar –zvxf hadoop-0.20.1.tar.gz 把Hadoop 的安装路径添加到环/etc/profile 中: export HADOOP_HOME=/home/hexianghui/hadoop-0.20.1 export PATH=$HADOOP_HOME/bin:$PATH 2.配置hadoop hadoop 的主要配置都在hadoop-0.20.1/conf 下。 (1)在conf/hadoop-env.sh 中配置Java 环境(namenode 与datanode 的配置相同)： $ gedit hadoop-env.sh $ export JAVA_HOME=/home/hexianghui/jdk1.6.0_14 3.3)配置conf/core-site.xml, conf/hdfs-site.xml 及conf/mapred-site.xml(简单配置，datanode 的配置相同) core-site.xml:
大数据hadoop面试题-企业项目实战 大数据技术逐渐被企业所重视，其带来的益处其实是可以被无限放大的，要知道，现在的市场都是，得数据者得天下！而数据的获得还是要靠大数据技术的，Hadoop作为大数据技术的一个重要技术点，在面试大数据工程师的时候是肯定要被问及的，千锋小编整理一些关于大数据Hadoop的面试题，预祝每一位大数据工程师都能找到自己理想的工作。 1、在Hadoop中定义的主要公用InputFormat中，默认是哪一个？（A） A、TextInputFormat B、KeyValueInputFormat C、SequenceFileInputFormat 2、下面哪个程序负责HDFS 数据存储？（C） https://www.doczj.com/doc/ec5581642.html,Node B.JobTracker C.DataNode
D.SecondaryNameNode E.tasktracker 3、HDFS 中的block 默认保存几份？（A） A.3 份 B.2 份 C.1 份 D.不确定 4、下列哪个程序通常与NameNode 在一个节点启动？（D） A.SecondaryNameNode B.DataNode C.TaskTracker D.JobTracker 解析：hadoop的集群是基于master/slave模式，namenode和jobtracker 属于master，datanode和tasktracker属于slave，master只有一个，而slave 有多个. SecondaryNameNode内存需求和NameNode在一个数量级上，所以通常secondary NameNode（运行在单独的物理机器上）和NameNode 运行在不同的机器上。 JobTracker对应于NameNode,TaskTracker对应于DataNode. DataNode和NameNode是针对数据存放来而言的.JobTracker和TaskTracker是对于MapReduce执行而言的. mapreduce中几个主要概念，mapreduce 整体上可以分为这么几条执行
Hadoop是一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。简单地说来，Hadoop是一个可以更容易开发和运行处理大规模数据的软件平台。 Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有着高容错性（fault-tolerent）的特点，并且设计用来部署在低廉的（low-cost）硬件上。而且它提供高传输率（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。 搜索了一些WatchStor存储论坛关于hadoop入门的一些资料分享给大家希望对大家有帮助 jackrabbit封装hadoop的设计与实现 https://www.doczj.com/doc/ec5581642.html,/thread-60444-1-1.html 用Hadoop进行分布式数据处理 https://www.doczj.com/doc/ec5581642.html,/thread-60447-1-1.html
Hadoop源代码eclipse编译教程 https://www.doczj.com/doc/ec5581642.html,/thread-60448-1-2.html Hadoop技术讲解 https://www.doczj.com/doc/ec5581642.html,/thread-60449-1-2.html Hadoop权威指南(原版) https://www.doczj.com/doc/ec5581642.html,/thread-60450-1-2.html Hadoop源代码分析完整版 https://www.doczj.com/doc/ec5581642.html,/thread-60451-1-2.html 基于Hadoop的Map_Reduce框架研究报告 https://www.doczj.com/doc/ec5581642.html,/thread-60452-1-2.html Hadoop任务调度 https://www.doczj.com/doc/ec5581642.html,/thread-60453-1-2.html Hadoop使用常见问题以及解决方法 https://www.doczj.com/doc/ec5581642.html,/thread-60454-1-2.html HBase：权威指南
第一章大数据概述 1.互联网的发展分为______个阶段。 A．一 B.三 C.二 D.四 2.下列不属于大数据特点的是（）。 A.种类和来源多样化 B.数据量巨大 C.分析处理速度快 D.价值密度高 3.互联网发展的第_____个时代为智能互联网。 A.3.0 B.4.0 C.1.0 D.2.0 4.关于大数据叙述不正确的一项是（）。 A.大数据=“海量数据”+“复杂类型的数据” B.大数据是指在一定时间对内容抓取、管理和处理的数据集合 C.大数据可以及时有效的分析海量的数据 D.数据包括结构化数据、半结构化数据、结构化数据。 5.下列数据换算正确的一项为（）。 A.1YB=1024EB B.1TB=1024MB C.1PB==1024EB D.1024ZB=1EB 6.结构化数据的表现形式为______。 A.文本 B.视图 C.二维表 D.查询 7.结构化的数据，先有________,再有_________. A.数据结构 B.结构数据 C.内容结构 D.结构内容 8.结构化的数据，先有________,再有_________. A.数据结构 B.结构数据 C.内容结构 D.结构内容 9.软件是大数据的_________。 A.核心 B.部件 C.引擎 D.集合 10.大数据技术不包括( )。 A.数据计算 B.数据存储 C.数据冗余 D.数据采集 11.大数据的特点不包括（）。 A.数量大 B.类型少 C.速度快 D.价值高 第二章Hadoop简介 1.下列对云栈架构层数不正确的一项为________。 A.三层云栈架构 B.四层云栈架构 C.五层云栈架构 D.六层云栈架构 2.下列______不是云计算三层架构的概括。
HadoopHive实战 1内部表 1.1 创建表并加载数据 第一步启动HDFS、YARN和Hive，启动完毕后创建Hive数据库 hive>create database hive; hive>show databases; hive>use hive; 第二步创建内部表 由于Hive使用了类似SQL的语法，所以创建内部表的语句相对SQL只增加了行和字段分隔符。 hive>CREATE TABLE SOGOUQ2(DT STRING,WEBSESSION STRING,WORD STRING,S_SEQ INT,C_SEQ INT,WEBSITE STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' LINES TERMINATED BY '\n' ; 第三步加载数据 数据文件可以从HDFS或者本地操作系统加载到表中，如果加载HDFS文件使用LOAD DATA INPATH，而加载本地操作系统文件使用LOAD DATA LOCAL INPATH命令。HIVE表保存的默认路径在${HIVE_HOME}/conf/hive-site.xml配置文件的hive.metastore.warehouse.dir属性指定，当创建表时会在hive.metastore.warehouse.dir指向的目录下以表名创建一个文件夹，在本演示中表默认指向的是/user/hive/warehouse。 数据文件在本地操作系统将复制到表对应的目录中，而数据文件在HDFS中，数据文件将移
动到表对应的目录中，原来的路径将不存在该文件。在这里使用《Spark编程模型（上）--概念及Shell试验》中在本地操作系统中的搜狗日志数据文件： hive>LOAD DATA LOCAL INPATH '/home/hadoop/upload/sogou/SogouQ2.txt' INTO TABLE SOGOUQ2; 在/user/hive/warehouse/hive.db/sogouq2目录下，可以看到SougouQ2.txt数据文件： 1.2 查询行数 可以用count关键字查询SogouQ2.txt数据行数，查询时会启动MapReduce进行计算，Map 的个数一般和数据分片个数对应，在本查询中有2个Map任务（数据文件有2个Block），1个Reduce任务。 hive>select count(*) from SOGOUQ2;
1.什么是kafka？传统的日志分析系统提供了一种离线处理日志信息的可扩展 方案，若要进行实时处理，通常会有较大延迟。而现有的消息（队列）系统能够很好地处理实时或者近似实时的应用，但未处理的数据通常不会写到磁盘上，这对于 Hadoop 之类（一小时或者一天只处理一部分数据）的离线应用而言可能存在问题。 Kafka 正是为了解决以上问题而设计的，它能够很好地支持离线和在线应用。 2.kafka的基本架构？ 从架构图可以看出，生产者 Producer、缓存代理 Broker 和消费者 Consumer 都可以有多个。 Producer 和 Consumer 实现 Kafka 注册的接口，数据从 Producer 发送到 Broker， Broker 承担一个中间缓存和分发的作用。 Broker 分发注册到系统中的 Consumer。 Broker 的作用类似于缓存，即活跃的数据和离线处理系统之间的缓存。客户端和服务器端的通信是基于简单的、高性能的且与编程语言无关的 TCP 协议。 Kafka 使用 ZooKeeper 作为其分布式协调框架，其动态扩容扩容是通过
ZooKeeper 来实现的。 3.kafka的基本概念？数据发生器（如 Facebook、 Twitter）产生的数据会被单个地运行在其服务器上的 Agent 所收集，之后数据收集器从各个 Agent 上汇集数据，并将采集到的数据存入 HDFS 或者 HBase 中。这个过程涉及以下几个基本概念。（1） Topic：特指 Kafka 处理的消息源的不同分类。（2） Partition： Topic 物理上的分组，一个 Topic 可以分为多个 Partition，每个 Partition 是一个有序的队列。Partition 中的每条消息都会被分配一个有序的 id。（3） Message：消息，是通信的基本单位。每个 Producer 可以向一个 Topic（主题）发布一些消息。（4）Producer：消息和数据生产者。向 Kafka 的一个 Topic 发布消息的过程叫作Producer。（5） Consumer：消息和数据消费者。订阅 Topics 并处理其发布的 消息的过程叫作 Consumer。（6） Broker：缓存代理。 Kafka 集群中的一台或多台服务器统称为 Broker。一台 Kafka 服务器就是一个 Broker。一个集群由多个Broker 组成，一个 Broker 可以容纳多个 Topic。
大数据培训零基础教学Hadoop模式与搭建的相关问题 刚刚结束了大数据Hadoop的相关教学，诚如前辈所言，确实是最重要且最难的一部分课程。在老师事先打好预防针的前提下，可以说是聚精会神，全身关注的完成了这部分知识的学习，当然后期仍然需要投入大量的时间进行巩固性学习和挖掘。大数据培训课上，理论和操作性的知识点很多，尤其在近期学习的Hadoop集群的搭建问题上，小细节，小难点拼频频出现，所以，今天集中总结以下笔记，希望对各位同学有所帮助。ps：以下不涉及完全分布式，只说明单机版和伪分布式。 一、hadoop本地模式和伪分布式模式之间的区别 1.单机(非分布式)模式。这种模式在一台单机上运行，没有分布式文件系统，而是直接读写本地操作系统的文件系统。 2.伪分布式运行模式。这种模式也是在一台单机上运行，但用不同的Java进程模仿分布式运行中的各类结点: (NameNode,DataNode,JobTracker,TaskTracker,SecondaryNameNode)。请注意分布式运行中的这几个结点的区别：从分布式存储的角度来说，集群中的结点由一个NameNode和若干个DataNode组成,另有一个SecondaryNameNode作为NameNode
的备份；从分布式应用的角度来说，集群中的结点由一个JobTracker和若干个TaskTracker 组成，JobTracker负责任务的调度，TaskTracker负责并行执行任务。TaskTracker必须运行在DataNode上，这样便于数据的本地计算。JobTracker和NameNode则无须在同一台机器上。一个机器上，既当namenode，又当datanode,或者说既是jobtracker,又是tasktracker。没有所谓的在多台机器上进行真正的分布式计算，故称为"伪分布式"。二，hadoop本地模式的搭建 1.首先需要一台客户机。 2.安装jdk。 1)首先在客户机根目录root文件夹下建立tools文件夹：root> mkdir tools。 2)用远程连接工具连接客户机，拖拽压缩包到客户机 root/tools/目录下 3) 解压jdk到/etc/local下：tar -zxvf jdk-8u152-linux-x64.tar.gz -C /usr/local/ 3.安装hadoop 1) 拖拽压缩包到客户机root/rools 目录下。 2)解压hadoop到etc/local/下：tar -zxvf hadoop-2.7.2.tar.gz -C /usr/local/。 4.配置环境变量 hadoop> vi /etc/profile export JAVA_HOME=/usr/local/jdk1.8.0_152 export HADOOP_HOME=/usr/local/hadoop-2.7.2/ export CLASSPATH=.；JAVA_HOME/lib/dt.jar；JAVA_HOME/lib/tools.jar export PATH=$JAVA_HOME/bi PATH；HADOOP_HOME/bin；
Windows下使用Hadoop0.20.2实例 1.1 Windows 下使用Hadoop 的环境配置 （1）安装Hadoop 前，首先需要安装Cygwin 首先下载Cygwin(https://www.doczj.com/doc/ec5581642.html,/install.html)，当setup.exe 下载成功后，直接运行，在弹出的“Cygwin Net Release Setup Program”的对话框中直接点击“下一步”，选择“download source”如下： 选择“Install from Internet”，进入下图所示对话框: 设置Cygwin 的安装目录，Install For 选择“All Users”，Default Text File Type 选择“Unix/binary”。“下一步”之后，设置Cygwin 安装包存放目录：
设置“Internet Connection”的方式，选择“Direct Connection”： 之后选择“Download site”： 选择最好选.cn结尾的，若无可以随意选择，若安装失败可多尝试几个。
“下一步”之后，可能会弹出下图的“Setup Alert”对话框，直接“确定”即可。在上图所示的对话框过程中，可能会弹出如下图所示的“Setup Alert”对话框，直接点击“确定”即可。 进入“Select Packages”对话框，必须保证“Net Category”下的“OpenSSL”被安装： 安装中需要选中Net category 中的openssh，如下图所示： 如果还打算在eclipse上编译Hadoop，则还必须安装“Base Category”下的“sed”，如下图所示：
Hadoop一直是我想学习的技术，正巧最近项目组要做电子商城，我就开始研究Hadoop，虽然最后鉴定Hadoop不适用我们的项目，但是我会继续研究下去，技多不压身。《Hadoop基础教程》是我读的第一本Hadoop书籍，当然在线只能试读第一章，不过对Hadoop历史、核心技术和应用场景有了初步了解。 ?Hadoop历史 雏形开始于2002年的Apache的Nutch，Nutch是一个开源Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文搜索和Web爬虫。 随后在2003年Google发表了一篇技术学术论文谷歌文件系统（GFS）。GFS也就是google File System，google公司为了存储海量搜索数据而设计的专用文件系统。 2004年Nutch创始人Doug Cutting基于Google的GFS论文实现了分布式文件存储系统名为NDFS。 2004年Google又发表了一篇技术学术论文MapReduce。MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行分析运算。 2005年Doug Cutting又基于MapReduce，在Nutch搜索引擎实现了该功能。 2006年，Yahoo雇用了Doug Cutting，Doug Cutting将NDFS和MapReduce 升级命名为Hadoop，Yahoo开建了一个独立的团队给Goug Cutting专门研究发展Hadoop。 不得不说Google和Yahoo对Hadoop的贡献功不可没。 ?Hadoop核心
Hadoop的核心就是HDFS和MapReduce，而两者只是理论基础，不是具体可使用的高级应用，Hadoop旗下有很多经典子项目，比如HBase、Hive等，这些都是基于HDFS和MapReduce发展出来的。要想了解Hadoop，就必须知道HDFS和MapReduce 是什么。 HDFS HDFS（Hadoop Distributed File System，Hadoop分布式文件系统），它是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，适合那些有着超大数据集（large data set）的应用程序。 HDFS的设计特点是： 1、大数据文件，非常适合上T级别的大文件或者一堆大数据文件的存储，如果文件只有几个G甚至更小就没啥意思了。 2、文件分块存储，HDFS会将一个完整的大文件平均分块存储到不同计算机上，它的意义在于读取文件时可以同时从多个主机取不同区块的文件，多主机读取比单主机读取效率要高得多得多。 3、流式数据访问，一次写入多次读写，这种模式跟传统文件不同，它不支持动态改变文件内容，而是要求让文件一次写入就不做变化，要变化也只能在文件末添加内容。 4、廉价硬件，HDFS可以应用在普通PC机上，这种机制能够让给一些公司用几十台廉价的计算机就可以撑起一个大数据集群。 5、硬件故障，HDFS认为所有计算机都可能会出问题，为了防止某个主机失效读取不到该主机的块文件，它将同一个文件块副本分配到其它某几个主机上，如果其中一台主机失效，可以迅速找另一块副本取文件。
常见的七种Hadoop和Spark项目案例 如果您的Hadoop项目将有新的突破，那么它必定与下边介绍的七种常见项目很相像。有一句古老的格言是这样说的，如果你向某人提供你的全部支持和金融支持去做一些不同的和创新的事情，他们最终却会做别人正在做的事情。如比较火爆的Hadoop、Spark和Storm，每个人都认为他们正在做一些与这些新的大数据技术相关的事情，但它不需要很长的时间遇到相同的模式。具体的实施可能有所不同，但根据我的经验，它们是最常见的七种项目。 项目一：数据整合 称之为“企业级数据中心”或“数据湖”，这个想法是你有不同的数据源，你想对它们进行数据分析。这类项目包括从所有来源获得数据源（实时或批处理）并且把它们存储在hadoop中。有时，这是成为一个“数据驱动的公司”的第一步；有时，或许你仅仅需要一份漂亮的报告。“企业级数据中心”通常由HDFS文件系统和HIVE或IMPALA中的表组成。未来，HBase和Phoenix在大数据整合方面将大展拳脚，打开一个新的局面，创建出全新的数据美丽新世界。 销售人员喜欢说“读模式”，但事实上，要取得成功，你必须清楚的了解自己的用例将是什么（Hive模式不会看起来与你在企业数据仓库中所做的不一样）。真实的原因是一个数据湖比Teradata和Netezza公司有更强的水平扩展性和低得多的成本。许多人在做前端分析时使用Tabelu和Excel。许多复杂的公司以“数据科学家”用Zeppelin或IPython 笔记本作为前端。 项目二：专业分析 许多数据整合项目实际上是从你特殊的需求和某一数据集系统的分析开始的。这些往往是令人难以置信的特定领域，如在银行领域的流动性风险/蒙特卡罗模拟分析。在过去，这
Hadoop大数据开发实战 教学设计 课程名称：Hadoop大数据开发实战 授课年级：______ ______________ ___ 授课学期：___ ____ ________ ________ 教师姓名：______________ ________
第一课时 （HDFS简介、HDFS存储架构和数据读写流程、HDFS的Shell命 令、Java程序操作HDFS） 回顾内容，引出本课时主题 1.回顾内容，引出本课时的主题 上节学习了Hadoop集群搭建和使用，本节将学习HDFS分布式文件系统的相关知识。Hadoop的核心是HDFS和MapReduce。HDFS由NDFS系统演变而来，主要解决海量大数据存储的问题，也是目前分布式文件系统中应用比较广泛的一个。本章将带领大家深刻理解和运用HDFS系统。 2.明确学习目标 （1）能够了解HDFS （2）能够理解HDFS数据的存储和读取方式 （3）能够掌握HDFS的特点 （4）能够掌握HDFS的存储架构和数据读写流程 （5）能够掌握HDFS的Shell命令 （6）能够掌握Java程序操作HDFS 知识讲解 ?HDFS的概念 HDFS（Hadoop Distributed File System，Hadoop分布式文件系统）是一种通过网络实现文件在多台主机上进行分布式存储的文件系统。分布式存储比普通存储方式节省时间。 例如，现有10台计算机，每台计算机上有1TB的硬盘。如果将Hadoop 安装在这10台计算机上，可以使用HDFS进行分布式的文件存储。相当于登录到一台具有10 TB存储容量的大型机器。而用HDFS分布式的文件存储方式在10台计算机上存储，显然比用普通方式在1台计算机上存储更节省时间，这就如同3个人吃3个苹果比1个人吃3个苹果要快。 1．NameNode NameNode（名称节点）管理文件系统的命名空间。它负责维护文件系统树及树内所有的文件和目录。这些信息以两个文件（命名空间镜像文件和编辑日志文件）的形式永久保存在本地磁盘上。同时NameNode也记录着每个文件中各个块所在的数据节点信息，但它并不永久保存块的位置信息，因为这些信息在系统启动时由数据节点重建。
北京尚学堂提供 Hadoop MapReduce 提供了系统底层细节透明的分布式基础架构。 对于Hadoop的集群来讲，可以分成两大类角色：Master和Salve。一个HDFS集群是由一个NameNode和若干个DataNode组成的。其中NameNode作为主服务器，管理文件系统的命名空间和客户端对文件系统的访问操作；集群中的DataNode管理存储的数据。MapReduce框架是由一个单独运行在主节点上的JobTracker和运行在每个集群从节点的TaskTracker共同组成的。主节点负责调度构成一个作业的所有任务，这些任务分布在不同的从节点上。主节点监控它们的执行情况，并且重新执行之前的失败任务；从节点仅负责由主节点指派的任务。当一个Job被提交时，JobTracker接收到提交作业和配置信息之后，就会将配置信息等分发给从节点，同时调度任务并监控TaskTracker的执行。 从上面的介绍可以看出，HDFS和MapReduce共同组成了Hadoop分布式系统体系结构的核心。HDFS在集群上实现分布式文件系统，MapReduce在集群上实现了分布式计算和任务处理。HDFS在MapReduce任务处理过程中提供了文件操作和存储等支持，MapReduce在HDFS的基础上实现了任务的分发、跟踪、执行等工作，并收集结果，二者相互作用，完成了Hadoop分布式集群的主要任务。 1.2 环境说明
四个节点上均是CentOS6.0系统，并且有一个相同的用户hadoop。Master机器主要配置NameNode和JobTracker的角色，负责总管分布式数据和分解任务的执行；3个Salve机器配置DataNode和TaskTracker的角色，负责分布式数据存储以及任务的执行。其实应该还应该有1个Master机器，用来作为备用，以防止Master服务器宕机，还有一个备用马上启用。后续经验积累一定阶段后补上一台备用Master机器。 1.3 网络配置 Hadoop集群要按照1.2小节表格所示进行配置，我们在"Hadoop集群（第1期）"的CentOS6.0安装过程就按照提前规划好的主机名进行安装和配置。如果实验室后来人在安装系统时，没有配置好，不要紧，没有必要重新安装，在安装完系统之后仍然可以根据后来的规划对机器的主机名进行修改。 下面的例子我们将以Master机器为例，即主机名为"Master.Hadoop"，IP为"192.168.1.2"进行一些主机名配置的相关操作。其他的Slave机器以此为依据进行修改。 1）查看当前机器名称 用下面命令进行显示机器名称，如果跟规划的不一致，要按照下面进行修改。hostname 上图中，用"hostname"查"Master"机器的名字为"Master.Hadoop"，与我们预先规划的一致。 2）修改当前机器名称 假定我们发现我们的机器的主机名不是我们想要的，通过对 "/etc/sysconfig/network"文件修改其中"HOSTNAME"后面的值，改成我们规划的名称。 这个"/etc/sysconfig/network"文件是定义hostname和是否利用网络的不接触网络设备的对系统全体定义的文件。 设定形式：设定值=值 "/etc/sysconfig/network"的设定项目如下： NETWORKING 是否利用网络
基本MapReduce模式计数与求和基本MapReduce模式计数与求和 问题陈述: 有许多文档，每个文档都有一些字段组成。需要计算出每个字段在所有文档中的出现次数或者这些字段的其他什么统计值。例如，给定一个log文件，其中的每条记录都包含一个响应时间，需要计算出平均响应时间。 解决方案: 让我们先从简单的例子入手。在下面的代码片段里，Mapper每遇到指定词就把频次记1，Reducer一个个遍历这些词的集合然后把他们的频次加和。 1.class Mapper 2. method Map(docid id, doc d) 3. for all term t in doc d do 4. Emit(term t, count 1) 5. 6.class Reducer 7. method Reduce(term t, counts [c1, c2,...]) 8. sum = 0 9. for all count c in [c1, c2,...] do 10. sum = sum + c 11. Emit(term t, count sum) 复制代码 这种方法的缺点显而易见，Mapper提交了太多无意义的计数。它完全可以通过先对每个文档中的词进行计数从而减少传递给Reducer的数据量: [size=14.166666030883789px] 1. 1 class Mapper 2. 2 method Map(docid id, doc d) 3. 3 H = new AssociativeArray 4. 4 for all term t in doc d do 5. 5 H{t} = H{t} + 1
《Hadoop大数据开发基础》教学大纲课程名称：Hadoop大数据开发基础 课程类别：必修 适用专业：大数据技术类相关专业 总学时：48学时 总学分：3.0学分 一、课程的性质 本课程是为大数据技术类相关专业学生开设的课程。随着时代的发展，大数据已经成为一个耳熟能详的词汇。与此同时，针对大数据处理的新技术也在不断的开发和运用中，逐渐成为数据处理挖掘行业广泛使用的主流技术之一。Hadoop作为处理大数据的分布式存储和计算框架，得到了国内外大小型企业广泛的应用。Hadoop是一个可以搭建在廉价服务器上的分布式集群系统架构，它具有可用性高、容错性高和可扩展性高等优点。由于它提供了一个开放式的平台，用户可以在完全不了解底层实现细节的情形下，开发适合自身应用的分布式程序。经过十多年的发展，目前Hadoop已经成长为一个全栈式的大数据技术生态圈，并在事实上成为应用最广泛最具有代表性的大数据技术。因此，学习Hadoop技术是从事大数据行业工作所必不可少的一步。 二、课程的任务 通过本课程的学习，使学生学会搭建Hadoop完全分布式集群，掌握HDFS的原理和基础操作，掌握MapReduce原理架构、MapReduce程序的编写。为将来从事大数据挖掘研究工作以及后续课程的学习奠定基础。 三、教学内容及学时安排
四、考核方式 突出学生解决实际问题的能力，加强过程性考核。课程考核的成绩构成= 平时作业（20%）+ 课堂参与（10%）+ 期末考核（70%），期末考试建议采用开卷形式，试题应包括基本概念、基本理论、程序设计、综合应用等部分，题型可采用判断题、选择、简答、应用题等方式。
Hadoop实战项目有哪些？ 作为大数据解决方案中的一种核心技术，而Hadoop项目则是所有大数据人才努力的结果，下面为大家介绍一下Hadoop当中最常见的几个项目。 一：数据整合 称之为“企业级数据中心”或“数据湖”，这个想法是你有不同的数据源，你想对它们进行数据分析。这类项目包括从所有来源获得数据源(实时或批处理)并且把它们存储在hadoop中。有时，这是成为一个“数据驱动的公司”的第一步;有时，或许你仅仅需要一份漂亮的报告。“企业级数据中心”通常由HDFS文件系统和HIVE或IMPALA中的表组成。真实的原因是一个数据湖比Teradata 和Netezza公司有更强的水平扩展性和低得多的成本。许多人在做前端分析时使用Tabelu和Excel。许多复杂的公司以“数据科学家”用Zeppelin或IPython 笔记本作为前端。 二：专业分析 许多数据整合项目实际上是从你特殊的需求和某一数据集系统的分析开始的。这些往往是令人难以置信的特定领域，如在银行领域的流动性风险/蒙特卡
罗模拟分析。在过去，这种专业的分析依赖于过时的，专有的软件包，无法扩大数据的规模经常遭受一个有限的功能集(大部分是因为软件厂商不可能像专业机构那样了解的那么多)。在Hadoop和Spark的世界，看看这些系统大致相同的数据整合系统，但往往有更多的HBase，定制非SQL代码，和更少的数据来源(如果不是唯一的)。他们越来越多地以Spark为基础。 三：Hadoop作为一种服务 在“专业分析”项目的任何大型组织(讽刺的是，一个或两个“数据整理”项目)他们会不可避免地开始感觉“快乐”(即，疼痛)管理几个不同配置的Hadoop 集群，有时从不同的供应商。接下来，他们会说，“也许我们应该整合这些资源池，”而不是大部分时间让大部分节点处于资源闲置状态。它们应该组成云计算，但许多公司经常会因为安全的原因(内部政治和工作保护)不能或不会。这通常意味着很多Docker容器包。 我没有使用它，但最近Bluedata(蓝色数据国际中心)似乎有一个解决方案，这也会吸引小企业缺乏足够的资金来部署Hadoop作为一种服务。 四：流分析 很多人会把这个“流”，但流分析是不同的，从设备流。通常，流分析是一个组织在批处理中的实时版本。以反洗钱和欺诈检测：为什么不在交易的基础上，抓住它发生而不是在一个周期结束?同样的库存管理或其他任何。 在某些情况下，这是一种新的类型的交易系统，分析数据位的位，因为你将它并联到一个分析系统中。这些系统证明自己如Spark或Storm与Hbase作为常用的数据存储。请注意，流分析并不能取代所有形式的分析，对某些你从未考虑过的事情而言，你仍然希望分析历史趋势或看过去的数据。
《Hadoop大数据开发实战》 教学设计 课程名称：Hadoop大数据开发实战 授课年级：______ _______ 授课学期：___ ____ _______ 教师姓名：______________ _
第一课时 （大数据简介、大数据技术的核心需求） 介绍本书，引出本课时主题 1.介绍本书，引出本课时的主题 随着新一代信息技术的迅猛发展和深入应用，数据的规模不断扩大，数据已日益成为土地、资本之后的又一种重要的生产要素，和各个国家和地区争夺的重要资源，谁掌握数据的主动权和主导权，谁就能赢得未来。美国奥巴马政府将数据定义为“未来的新石油”，认为一个国家拥有数据的规模、活性及解释运用的能力将成为综合国力的重要组成部分，对数据的占有和控制将成为陆权、海权、空权之外的另一个国家核心权力。一个全新的概念——大数据开始风靡全球。本节将学习大数据简介和大数据技术的核心需求的现关内容。 2.明确学习目标 （1）能够熟悉大数据的五大特征 （2）能够了解大数据的六大发展趋势 （3）能够了解大数据在电商行业、交通行业、医疗行业的应用 （4）能够理解大数据核心技术需求 知识讲解 ?大数据简介 从前，人们用饲养的马来拉货物。当一匹马拉不动一车货物时，人们不曾想过培育一匹更大更壮的马，而是利用更多的马。同样的，当一台计算机无法进行海量数据计算时，人们也无需去开发一台超级计算机，而应尝试着使用更多计算机。 下面来看一组令人瞠目结舌的数据：2018年11月11日，支付宝总交易额2135亿元，支付宝实时计算处理峰值为17.18亿条／秒，天猫物流订单量超过10亿…… 这场狂欢的背后是金融科技的护航，正是因为阿里巴公司拥有中国首个具有自主知识产权、全球首个应用在金融核心业务的分布式数据库平台OceanBase，海量交易才得以有序地进行。分布式集群具有高性能、高并发、高一致性、高可用性等优势，远远超出单台计算机的能力范畴。 ?大数据的五大特征 大数据（Big Data），是指数据量巨大，无法使用传统工具进行处理的数