Chapter8-厦门大学-林子雨-大数据技术原理与应用-第八章-流计算

典型的大数据应用实例
Kevin Spacey
大数据分析 David Fincher 风靡全球的美剧《纸牌屋》 英国同名小说《纸牌屋》
《大数据技术原理与应用》 厦门大学计算机科学系 林子雨 ziyulin@
典型的大数据应用实例
从谷歌流感趋势看大数据的 应用价值
“谷歌流感趋势”，通过跟踪 搜索词相关数据来判断全美地区 的流感情况
《大数据技术原理与应用》
厦门大学计算机科学系
林子雨
ziyulin@
1.4大数据的应用
• 大数据无处不在，包括金融、汽车、零售、餐饮、电信、能源、政务、 医疗、体育、娱乐等在内的社会各行各业都已经融入了大数据的印迹
《大数据技术原理与应用》
厦门大学计算机科学系
林子雨
ziyulin@
《大数据技术原理与应用》
厦门大学计算机科学系
林子雨
ziyulin@
1.2.3处理速度快
从数据的生成到消耗，时间窗口非常小，可用于生成决策的时间非常少 1秒定律：这一点也是和传统的数据挖掘技术有着本质的不同
《大数据技术原理与应用》
厦门大学计算机科学系
林子雨
ziyulin@
流计算
图计算 查询分析计算
《大数据技术原理与应用》
厦门大学计算机科学系
林子雨
ziyulin@
1.7大数据产业
• 大数据产业是指一切与支撑大数据组织管理和价值发现相关的企业经 济活动的集合
产业链环节 IT基础设施层 包含内容 包括提供硬件、软件、网络等基础设施以及提供咨询、规划和系统集成服务的企业，比如，提供数 据中心解决方案的IBM、惠普和戴尔等，提供存储解决方案的EMC，提供虚拟化管理软件的微软、 思杰、SUN、Redhat等 大数据生态圈里的数据提供者，是生物大数据（生物信息学领域的各类研究机构）、交通大数据（ 交通主管部门）、医疗大数据（各大医院、体检机构）、政务大数据（政府部门）、电商大数据（ 淘宝、天猫、苏宁云商、京东等电商）、社交网络大数据（微、转换、存储和管理等服务的各类企业或产品，比如分布式文件系统（如Hadoop的 HDFS和谷歌的GFS）、ETL工具（Informatica、Datastage、Kettle等）、数据库和数据仓库（Oracle 、MySQL、SQL Server、HBase、GreenPlum等） 包括提供分布式计算、数据挖掘、统计分析等服务的各类企业或产品，比如，分布式计算框架 MapReduce、统计分析软件SPSS和SAS、数据挖掘工具Weka、数据可视化工具Tableau、BI工具（ MicroStrategy、Cognos、BO）等等 包括提供数据分享平台、数据分析平台、数据租售平台等服务的企业能电网等行业应用的企业、机构或政府部门，比如交通主 管部门、各大医疗机构、菜鸟网络、国家电网等

厦门大学林子雨编著《大数据技术原理与应用》教材配套实验实验一：熟悉常用的Linux操作和Hadoop操作一、实验目的Hadoop运行在Linux系统上，因此，需要学习实践一些常用的Linux命令。

.本实验旨在熟悉常用的Linux操作和Hadoop操作，为顺利开展后续其他实验奠定基础。

.二、实验平台●操作系统：Linux（建议Ubuntu16. 04）；●Hadoop版本：2. 7. 1。

.三、实验步骤（一）熟悉常用的Linux操作●cd命令：切换目录（1）切换到目录“/usr/local”（2）切换到当前目录的上一级目录（3）切换到当前登录Linux系统的用户的自己的主文件夹●ls命令：查看文件与目录（4）查看目录“/usr”下的所有文件和目录●mkdir命令：新建目录（5）进入“/tmp”目录，创建一个名为“a”的目录，并查看“/tmp”目录下已经存在哪些目录（6）进入“/tmp”目录，创建目录“a1/a2/a3/a4”●rmdir命令：删除空的目录（7）将上面创建的目录a（在“/tmp”目录下面）删除（8）删除上面创建的目录“a1/a2/a3/a4”（在“/tmp”目录下面），然后查看“/tmp”目录下面存在哪些目录●cp命令：复制文件或目录（9）将当前用户的主文件夹下的文件. bashrc复制到目录“/usr”下，并重命名为bashrc1（10）在目录“/tmp”下新建目录test，再把这个目录复制到“/usr”目录下●mv命令：移动文件与目录，或更名（11）将“/usr”目录下的文件bashrc1移动到“/usr/test”目录下（12）将“/usr”目录下的test目录重命名为test2●rm命令：移除文件或目录（13）将“/usr/test2”目录下的bashrc1文件删除（14）将“/usr”目录下的test2目录删除●cat命令：查看文件内容（15）查看当前用户主文件夹下的. bashrc文件内容●tac命令：反向查看文件内容（16）反向查看当前用户主文件夹下的. bashrc文件的内容●more命令：一页一页翻动查看（17）翻页查看当前用户主文件夹下的. bashrc文件的内容●head命令：取出前面几行（18）查看当前用户主文件夹下. bashrc文件内容前20行（19）查看当前用户主文件夹下. bashrc文件内容，后面50行不显示，只显示前面几行●tail命令：取出后面几行（20）查看当前用户主文件夹下. bashrc文件内容最后20行（21）查看当前用户主文件夹下. bashrc文件内容，并且只列出50行以后的数据●touch命令：修改文件时间或创建新文件（22）在“/tmp”目录下创建一个空文件hello，并查看文件时间（23）修改hello文件，将文件时间整为5天前●chown命令：修改文件所有者权限（24）将hello文件所有者改为root帐号，并查看属性●find命令：文件查找（25）找出主文件夹下文件名为. bashrc的文件●tar命令：压缩命令（26）在根目录“/”下新建文件夹test，然后在根目录“/”下打包成test. tar. gz（27）把上面的test. tar. gz压缩包，解压缩到“/tmp”目录●grep命令：查找字符串（28）从“～/. bashrc”文件中查找字符串'examples'●配置环境变量（29）请在“～/. bashrc”中设置，配置Java环境变量（30）查看JAVA_HOME变量的值（二）熟悉常用的Hadoop操作（31）使用hadoop用户登录Linux系统，启动Hadoop（Hadoop的安装目录为“/usr/local/hadoop”），为hadoop用户在HDFS中创建用户目录“/user/hadoop”（32）接着在HDFS的目录“/user/hadoop”下，创建test文件夹，并查看文件列表（33）将Linux系统本地的“～/. bashrc”文件上传到HDFS的test文件夹中，并查看test （34）将HDFS文件夹test复制到Linux系统本地文件系统的“/usr/local/hadoop”目录下四、实验报告实验二：熟悉常用的HDFS操作一、实验目的●理解HDFS在Hadoop体系结构中的角色；●熟练使用HDFS操作常用的Shell命令；●熟悉HDFS操作常用的Java API。

/post/bigdata-online-course/ 支持手机浏览 随时随地手机看 在线课程视频
扫一扫手机访问在线课程
《大数据技术原理与应用》 厦门大学计算机科学系 林子雨 ziyulin@
附录：主讲教师林子雨简介
主讲教师：林子雨 单位：厦门大学计算机科学系 E-mail: ziyulin@ 个人网页：/linziyu 数据库实验室网站： 扫一扫访问个人主页 林子雨，男，1978年出生，博士（毕业于北京大学），现为厦门大学计算机科学系助理教授（讲师）， 曾任厦门大学信息科学与技术学院院长助理、晋江市发展和改革局副局长。中国高校首个“数字教师” 提出者和建设者，厦门大学数据库实验室负责人，厦门大学云计算与大数据研究中心主要建设者和骨干 成员，2013年度厦门大学奖教金获得者。主要研究方向为数据库、数据仓库、数据挖掘、大数据、云计 算和物联网，并以第一作者身份在《软件学报》《计算机学报》和《计算机研究与发展》等国家重点期 刊以及国际学术会议上发表多篇学术论文。作为项目负责人主持的科研项目包括1项国家自然科学青年基 金项目(No.61303004)、1项福建省自然科学青年基金项目(No.2013J05099)和1项中央高校基本科研业务 费项目(No.2011121049)，同时，作为课题负责人完成了国家发改委城市信息化重大课题、国家物联网重 大应用示范工程区域试点泉州市工作方案、2015泉州市互联网经济调研等课题。编著出版中国高校第一 本系统介绍大数据知识的专业教材《大数据技术原理与应用》并成为畅销书籍，编著并免费网络发布40 余万字中国高校第一本闪存数据库研究专著《闪存数据库概念与技术》；主讲厦门大学计算机系本科生 课程《数据库系统原理》和研究生课程《分布式数据库》《大数据技术基础》。具有丰富的政府和企业 信息化培训经验，曾先后给中国移动通信集团公司、福州马尾区政府、福建省物联网科学研究院、石狮 市物流协会、厦门市物流协会、福建龙岩卷烟厂等多家单位和企业开展信息化培训，累计培训人数达 2000人以上。

属性名称
默认值
相关说明
channels type bind port
threads ssl
keystore keystore-password
– – – – – false
– –
组件类型名需必须是avro
要监听的主机名或IP地址 要监听的服务端口 要生成的工作线程的最大数目 将此设置为true以启用SSL加密，则还必须指定 “keystore”和“keystore-password”
Hive Sink Thrift Sink Null Sink MorphlineSolr Sink Kafka Sink
Logger Sink IRC Sink
HBaseSink ElasticSearch Sink
HTTP Sink
8.1 Flume介绍
Flume Sinks
HDFS Sink将event写入Hadoop分布式文件系统 （HDFS），它目前支持创建文本和序列文件，以及两种类型的 压缩文件，下表为HDFS Sink常用配置属性。
8.1 Flume介绍
Flume运行机制
Flume的核心是把数据从数据源（例如Web服务器）通过数 据 采 集器 （Source）收集过来，再将收集的数据通过 缓 冲 通道 （Channel）汇集到指定的接收器（Sink）。
Flume 以 Agent 为最小的独立运行单位。 一个 Agent 就是一 个 JVM。 单 Agent 由 Source、 Sink 和 Channel 三大组件构成,
属性名称
默认值
channels
–
type
–
filegroups
–
filegroups.<filegroupName>