林子雨大数据技术原理及应用第四章课后作业答案

⼤学⽣mooc⼤数据技术原理与应⽤（林⼦⾬）题库答案作者：解忧书店 JieYouBookshop 第1章⼤数据概述1单选(2分)第三次信息化浪潮的标志是：A.个⼈电脑的普及B.云计算、⼤数据、物联⽹技术的普及C.虚拟现实技术的普及D.互联⽹的普及正确答案：B你选对了2单选(2分)就数据的量级⽽⾔，1PB数据是多少TB？A.2048B.1000C.512D.1024正确答案：D你选对了3单选(2分)以下关于云计算、⼤数据和物联⽹之间的关系，论述错误的是：A.云计算侧重于数据分析B.物联⽹可以借助于云计算实现海量数据的存储C.物联⽹可以借助于⼤数据实现海量数据的分析D.云计算、⼤数据和物联⽹三者紧密相关，相辅相成正确答案：A你选对了4单选(2分)以下哪个不是⼤数据时代新兴的技术：A.SparkB.HadoopC.HBaseD.MySQL正确答案：D你选对了每种⼤数据产品都有特定的应⽤场景，以下哪个产品是⽤于批处理的：A.MapReduceB.DremelC.StormD.Pregel正确答案：A你选对了6单选(2分)每种⼤数据产品都有特定的应⽤场景，以下哪个产品是⽤于流计算的：A.GraphXB.S4C.ImpalaD.Hive正确答案：B你选对了7单选(2分)每种⼤数据产品都有特定的应⽤场景，以下哪个产品是⽤于图计算的：A.PregelB.StormC.CassandraD.Flume正确答案：A你选对了8单选(2分)每种⼤数据产品都有特定的应⽤场景，以下哪个产品是⽤于查询分析计算的：A.HDFSB.S4C.DremelD.MapReduce正确答案：C你选对了9多选(3分)数据产⽣⽅式⼤致经历了三个阶段，包括：A.运营式系统阶段B.感知式系统阶段C.移动互联⽹数据阶段正确答案：ABD你选对了10多选(3分)⼤数据发展的三个阶段是：A.低⾕期B.成熟期C.⼤规模应⽤期D.萌芽期正确答案：BCD你选对了11多选(3分)⼤数据的特性包括：A.价值密度低B.处理速度快C.数据类型繁多D.数据量⼤正确答案：ABCD你选对了12多选(3分)图领奖获得者、著名数据库专家Jim Gray博⼠认为，⼈类⾃古以来在科学研究上先后经历了哪⼏种范式：A.计算科学B.数据密集型科学C.实验科学D.理论科学正确答案：ABCD你选对了13多选(3分)⼤数据带来思维⽅式的三个转变是：A.效率⽽⾮精确B.相关⽽⾮因果C.精确⽽⾮全⾯D.全样⽽⾮抽样正确答案：ABD你选对了14多选(3分)⼤数据主要有哪⼏种计算模式：。

林子雨大数据技术原理及应用课后题答案大数据第一章大数据概述课后题 (1)大数据第二章大数据处理架构Hadoop课后题 (5)大数据第三章Hadoop分布式文件系统课后题 (10)大数据第四章分布式数据库HBase课后题 (16)大数据第五章NoSQl数据库课后题 (22)大数据第六章云数据库课后作题 (28)大数据第七章MapReduce课后题 (34)大数据第八章流计算课后题 (41)大数据第九章图计算课后题 (50)大数据第十章数据可视化课后题 (53)大数据第一章课后题——大数据概述1.试述信息技术发展史上的3次信息化浪潮及其具体内容。

第一次信息化浪潮1980年前后个人计算机开始普及，计算机走入企业和千家万户。

代表企业：Intel，AMD，IBM，苹果，微软，联想，戴尔，惠普等。

第二次信息化浪潮1995年前后进入互联网时代。

代表企业：雅虎，谷歌阿里巴巴，百度，腾讯。

第三次信息浪潮2010年前后，云计算大数据，物联网快速发展，即将涌现一批新的市场标杆企业。

2.试述数据产生方式经历的几个阶段。

经历了三个阶段:运营式系统阶段数据伴随一定的运营活动而产生并记录在数据库。

用户原创内容阶段Web2.0时代。

感知式系统阶段物联网中的设备每时每刻自动产生大量数据。

3.试述大数据的4个基本特征。

数据量大（Volume）据类型繁多（Variety）处理速度快（Velocity）价值密度低（Value）4.试述大数据时代的“数据爆炸”特性。

大数据摩尔定律：人类社会产生的数据一直都在以每年50%的速度增长，即每两年就增加一倍。

5.科学研究经历了那四个阶段？实验比萨斜塔实验理论采用各种数学，几何，物理等理论，构建问题模型和解决方案。

例如：牛一，牛二，牛三定律。

计算设计算法并编写相应程序输入计算机运行。

数据以数据为中心，从数据中发现问题解决问题。

6.试述大数据对思维方式的重要影响。

全样而非抽样效率而非精确相关而非因果7.大数据决策与传统的基于数据仓库的决策有什么区别？数据仓库以关系数据库为基础，在数据类型和数据量方面存在较大限制。

厦门大学林子雨编著《大数据技术原理与应用》教材配套上机练习熟悉MongoDB的基本操作（版本号：2016年3月14日版本）主讲教师：林子雨厦门大学数据库实验室二零一六年三月目录目录1作业题目 (1)2作业目的 (1)3作业性质 (1)4作业考核方法 (1)5作业提交日期与方式 (1)6实验平台 (1)7实验内容和要求 (1)8实验报告 (2)附录1:任课教师介绍 (2)附录2：课程教材介绍 (2)附录3：中国高校大数据课程公共服务平台介绍 (3)厦门大学林子雨编著《大数据技术原理与应用》教材配套上机练习熟悉MongoDB的基本操作上机练习说明主讲教师：林子雨E-mail: ziyulin@ 个人主页：/linziyu1作业题目熟悉MongoDB的基本操作。

2作业目的1. 理解NoSQL数据库和关系型数据库的区别；2. 熟练使用MongoDB操作常用的Shell命令；3作业性质课后作业，必做，作为课堂平时成绩。

4作业考核方法提交上机实验报告，任课老师根据上机实验报告评定成绩。

5作业提交日期与方式林子雨编著《大数据技术原理与应用》教材第五章NoSQL数据库内容结束后的下一周周六晚上9点之前提交。

6实验平台操作系统：LinuxMongoDB版本：3.0以上版本7实验内容和要求1.根据上面给出的表格，用MongoDB设计student学生表格。

a)设计完后，用find指令浏览表的所有数据。

b)查询学号为95002 的所有信息。

给出截图。

c)删除姓名为liuchen的数据d)将学号为95001的年龄改为22岁8 实验报告附录1:任课教师介绍林子雨(1978－),男,博士,厦门大学计算机科学系助理教授,主要研究领域为数据库,实时主动数据仓库,数据挖掘.主讲课程：《大数据技术基础》办公地点：厦门大学海韵园科研2号楼E-mail: ziyulin@个人主页：/linziyu数据库实验室网站： 附录2：课程教材介绍《大数据技术原理与应用——概念、存储、处理、分析与应用》，由厦门大学计算机科学系教师林子雨博士编著，是中国高校第一本系统介绍大数据知识的专业教材。

【最新整理，下载后即可编辑】第一章1.试述信息技术发展史上的3次信息化浪潮及具体内容。

2.试述数据产生方式经历的几个阶段答：运营式系统阶段，用户原创内容阶段，感知式系统阶段。

3.试述大数据的4个基本特征答：数据量大、数据类型繁多、处理速度快和价值密度低。

4.试述大数据时代的“数据爆炸”的特性答：大数据时代的“数据爆炸”的特性是，人类社会产生的数据一致都以每年50%的速度增长，也就是说，每两年增加一倍。

5.数据研究经历了哪4个阶段？答：人类自古以来在科学研究上先后历经了实验、理论、计算、和数据四种范式。

6.试述大数据对思维方式的重要影响答：大数据时代对思维方式的重要影响是三种思维的转变：全样而非抽样，效率而非精确，相关而非因果。

7.大数据决策与传统的基于数据仓库的决策有什么区别答：数据仓库具备批量和周期性的数据加载以及数据变化的实时探测、传播和加载能力，能结合历史数据和实时数据实现查询分析和自动规则触发，从而提供对战略决策和战术决策。

大数据决策可以面向类型繁多的、非结构化的海量数据进行决策分析。

8.举例说明大数据的基本应用答：9.举例说明大数据的关键技术答：批处理计算，流计算，图计算，查询分析计算10.大数据产业包含哪些关键技术。

答：IT基础设施层、数据源层、数据管理层、数据分析层、数据平台层、数据应用层。

11.定义并解释以下术语：云计算、物联网答：云计算：云计算就是实现了通过网络提供可伸缩的、廉价的分布式计算机能力，用户只需要在具备网络接入条件的地方，就可以随时随地获得所需的各种IT资源。

物联网是物物相连的互联网，是互联网的延伸，它利用局部网络或互联网等通信技术把传感器、控制器、机器、人类和物等通过新的方式连在一起，形成人与物、物与物相连，实现信息化和远程管理控制。

12.详细阐述大数据、云计算和物联网三者之间的区别与联系。

第二章1.试述hadoop和谷歌的mapreduce、gfs等技术之间的关系答：Hadoop的核心是分布式文件系统HDFS和MapReduce，HDFS 是谷歌文件系统GFS的开源实现，MapReduces是针对谷歌MapReduce的开源实现。

林子雨大数据技术原理及应用课后题答案大数据第一章大数据概述课后题 (1)大数据第二章大数据处理架构Hadoop课后题 (5)大数据第三章Hadoop分布式文件系统课后题 (10)大数据第四章分布式数据库HBase课后题 (16)大数据第五章NoSQl数据库课后题 (22)大数据第六章云数据库课后作题 (28)大数据第七章MapReduce课后题 (34)大数据第八章流计算课后题 (41)大数据第九章图计算课后题 (50)大数据第十章数据可视化课后题 (53)大数据第一章课后题——大数据概述1.试述信息技术发展史上的3次信息化浪潮及其具体内容。

第一次信息化浪潮1980年前后个人计算机开始普及，计算机走入企业和千家万户。

代表企业：Intel，AMD，IBM，苹果，微软，联想，戴尔，惠普等。

第二次信息化浪潮1995年前后进入互联网时代。

代表企业：雅虎，谷歌阿里巴巴，百度，腾讯。

第三次信息浪潮2010年前后，云计算大数据，物联网快速发展，即将涌现一批新的市场标杆企业。

2.试述数据产生方式经历的几个阶段。

经历了三个阶段:运营式系统阶段数据伴随一定的运营活动而产生并记录在数据库。

用户原创内容阶段Web2.0时代。

感知式系统阶段物联网中的设备每时每刻自动产生大量数据。

3.试述大数据的4个基本特征。

数据量大（Volume）据类型繁多（Variety）处理速度快（Velocity）价值密度低（Value）4.试述大数据时代的“数据爆炸”特性。

大数据摩尔定律：人类社会产生的数据一直都在以每年50%的速度增长，即每两年就增加一倍。

5.科学研究经历了那四个阶段？实验比萨斜塔实验理论采用各种数学，几何，物理等理论，构建问题模型和解决方案。

例如：牛一，牛二，牛三定律。

计算设计算法并编写相应程序输入计算机运行。

数据以数据为中心，从数据中发现问题解决问题。

6.试述大数据对思维方式的重要影响。

全样而非抽样效率而非精确相关而非因果7.大数据决策与传统的基于数据仓库的决策有什么区别？数据仓库以关系数据库为基础，在数据类型和数据量方面存在较大限制。

1. SELECT*FROM Student结果：2. SELECT Sname 姓名,Sage 年龄FROM StudentWHERE Sdept='计算机系'结果：3. SELECT Sno 学号,Cno 课程号,Grade 成绩FROM SCWHERE Grade BETWEEN 70 AND 804. SELECT Sname 姓名,Sage 年龄FROM StudentWHERE Sdept='计算机系'AND Sage>=18 AND Sage<=20 AND Ssex='男'5. SELECT MAX(Grade)最高分数FROM SCWHERE Cno='c01'6. SELECT MAX(Sage)最大年龄,MIN(Sage)最小年龄FROM StudentWHERE Sdept='计算机系'7. SELECT Sdept 系名,COUNT(*)学生人数FROM StudentGROUP BY Sdept8. SELECT Cname 课程名,COUNT(*)选课门数,MAX(Grade)最高分FROM Course,SCGROUP BY Cname9. SELECT Sno 学号,COUNT(*)选课门数,SUM(Grade)总成绩FROM SCGROUP BY SnoORDER BY'选课门数'ASC10. SELECT Sno 学号,SUM(Grade)总成绩FROM SCGROUP BY SnoHAVING SUM(Grade)>20010.CREAT TABLE BOOK（Snobook nchar(6) PRIMARY KEY,Snamebook nvarchar(30) NBOT NULL,Writer char(10) NOT NULL,Time smalldatetime,Price numeric(3,1))CREAT TABLE BOOKSHOP(Snoshop nchar(6) PRIMARY KEY,Snameshop nvarchar(30) NOT NULL,Tel char（8）CHECK(Tel =0 AND Tel <=9),Place nchar(40),Snoemail char(6))CREAT TABLE BOOKSELL（Snobook nchar(6) NOT NULL,Snoshop nchar(6) NOT NULL,Selltime smalltime NOT NULL,Snosell tinyint,PRIMARY KEY (Snobook, Snoshop, Selltime),FOREIGN KEY (Snobook) REFERENCES BOOK(Snobook), FOREIGN KEY (Snoshop) REFERENCES BOOK(BOOKSHOP) )11.ALTER TABLE BOOKADD Nomber intADD CONSTRAINT DF-NomberCHECK (Nomber>1000)12.ALTER TABLE BOOKSHOPDROP COLUMN Tel13.ALTER TABLE BOOKSELLALTER COLUMN Snosell int。

厦门大学林子雨编著《大数据技术原理与应用》教材配套上机练习熟悉常用的HDFS操作（版本号：2016年1月24日版本）主讲教师：林子雨厦门大学数据库实验室二零一六年一月目录目录1作业题目 (1)2作业目的 (1)3作业性质 (1)4作业考核方法 (1)5作业提交日期与方式 (1)6实验平台 (1)7实验内容和要求 (1)8实验报告 (2)附录1:任课教师介绍 (2)附录2：课程教材介绍 (2)附录3：中国高校大数据课程公共服务平台介绍 (4)厦门大学林子雨编著《大数据技术原理与应用》教材配套上机练习熟悉常用的HDFS操作上机练习说明主讲教师：林子雨E-mail: ziyulin@ 个人主页：/linziyu1作业题目熟悉常用的HDFS操作。

2作业目的（1）理解HDFS在Hadoop体系结构中的角色；（2）熟练使用HDFS操作常用的Shell命令；（3）熟悉HDFS操作常用的Java API。

3作业性质课后作业，必做，作为课堂平时成绩。

4作业考核方法提交上机实验报告，任课老师根据上机实验报告评定成绩。

5作业提交日期与方式林子雨编著《大数据技术原理与应用》教材第三章分布式文件系统HDFS内容结束后的下一周周六晚上9点之前提交。

6实验平台操作系统：LinuxHadoop版本：2.6.0或以上版本JDK版本：1.6或以上版本Java IDE：Eclipse7实验内容和要求首先，编程实现以下指定功能，并利用Hadoop提供的Shell命令完成相同任务：（1）向HDFS中上传任意文本文件，如果指定的文件在HDFS中已经存在，由用户指定是追加到原有文件末尾还是覆盖原有的文件；（2）从HDFS中下载指定文件，如果本地文件与要下载的文件名称相同，则自动对下载的文件重命名；（3）将HDFS中指定文件的内容输出到终端中；（4）显示HDFS中指定的文件的读写权限、大小、创建时间、路径等信息；（5） 给定HDFS 中某一个目录，输出该目录下的所有文件的读写权限、大小、创建时间、路径等信息，如果该文件是目录，则递归输出该目录下所有文件相关信息；（6） 提供一个HDFS 内的文件的路径，对该文件进行创建和删除操作。

第一章1.试述信息技术发展史上的3次信息化浪潮及具体容。

2.试述数据产生方式经历的几个阶段答：运营式系统阶段，用户原创容阶段，感知式系统阶段。

3.试述大数据的4个基本特征答：数据量大、数据类型繁多、处理速度快和价值密度低。

4.试述大数据时代的“数据爆炸”的特性答：大数据时代的“数据爆炸”的特性是，人类社会产生的数据一致都以每年50%的速度增长，也就是说，每两年增加一倍。

5.数据研究经历了哪4个阶段？答：人类自古以来在科学研究上先后历经了实验、理论、计算、和数据四种式。

6.试述大数据对思维方式的重要影响答：大数据时代对思维方式的重要影响是三种思维的转变：全样而非抽样，效率而非精确，相关而非因果。

7.大数据决策与传统的基于数据仓库的决策有什么区别答：数据仓库具备批量和周期性的数据加载以及数据变化的实时探测、传播和加载能力，能结合历史数据和实时数据实现查询分析和自动规则触发，从而提供对战略决策和战术决策。

大数据决策可以面向类型繁多的、非结构化的海量数据进行决策分析。

8.举例说明大数据的基本应用答：9.举例说明大数据的关键技术答：批处理计算，流计算，图计算，查询分析计算10.大数据产业包含哪些关键技术。

答：IT基础设施层、数据源层、数据管理层、数据分析层、数据平台层、数据应用层。

11.定义并解释以下术语：云计算、物联网答：云计算：云计算就是实现了通过网络提供可伸缩的、廉价的分布式计算机能力，用户只需要在具备网络接入条件的地方，就可以随时随地获得所需的各种IT资源。

物联网是物物相连的互联网，是互联网的延伸，它利用局部网络或互联网等通信技术把传感器、控制器、机器、人类和物等通过新的方式连在一起，形成人与物、物与物相连，实现信息化和远程管理控制。

12.详细阐述大数据、云计算和物联网三者之间的区别与联系。

第二章1.试述hadoop和谷歌的mapreduce、gfs等技术之间的关系答：Hadoop的核心是分布式文件系统HDFS和MapReduce，HDFS是谷歌文件系统GFS的开源实现，MapReduces是针对谷歌MapReduce的开源实现。

大数据技术原理与应用第四章课后作业黎狸1.试述在Hadoop体系架构中HBase与其他组成部分的相互关系。

HBase利用Hadoop MapReduce来处理HBase中的海量数据，实现高性能计算；利用Zookeeper作为协同服务，实现稳定服务和失败恢复；使用HDFS作为高可靠的底层存储，利用廉价集群提供海量数据存储能力; Sqoop为HBase的底层数据导入功能，Pig 和Hive为HBase提供了高层语言支持，HBase是BigTable的开源实现。

2.请阐述HBase和BigTable的底层技术的对应关系。

3.请阐述HBase和传统关系数据库的区别。

4.HBase有哪些类型的访问接口？HBase提供了Native Java API , HBase Shell , Thrift Gateway , REST GateWay , Pig , Hive 等访问接口。

5.请以实例说明HBase数据模型。

6.分别解释HBase中行键、列键和时间戳的概念。

①行键标识行。

行键可以是任意字符串，行键保存为字节数组。

②列族。

HBase的基本的访问控制单元，需在表创建时就定义好。

③时间戳。

每个单元格都保存着同一份数据的多个版本，这些版本采用时间戳进行索引。

7.请举个实例来阐述HBase的概念视图和物理视图的不同。

8.试述HBase各功能组件及其作用。

①库函数：链接到每个客户端；②一个Master主服务器：主服务器Master主要负责表和Region的管理工作；③③许多个Region服务器：Region服务器是HBase中最核心的模块，负责存储和维护分配给自己的Region，并响应用户的读写请求9.请阐述HBase的数据分区机制。

每个行区间构成一个分区，被称为“Region”,分发到不同的Region服务器上。

10.HBase中的分区是如何定位的？通过构建的映射表的每个条目包含两项内容，一个是Regionde 标识符，另一个是Region服务器标识，这个条目就标识Region和Region服务器之间的对应关系，从而就可以知道某个Region被保存在哪个Region服务器中。

第一章1.试述信息技术发展史上的3次信息化浪潮及具体内容。

2.试述数据产生方式经历的几个阶段答：运营式系统阶段，用户原创内容阶段，感知式系统阶段。

3.试述大数据的4个基本特征答：数据量大、数据类型繁多、处理速度快和价值密度低。

4.试述大数据时代的“数据爆炸”的特性答：大数据时代的“数据爆炸”的特性是，人类社会产生的数据一致都以每年50%的速度增长，也就是说，每两年增加一倍。

5.数据研究经历了哪4个阶段？答：人类自古以来在科学研究上先后历经了实验、理论、计算、和数据四种范式。

6.试述大数据对思维方式的重要影响答：大数据时代对思维方式的重要影响是三种思维的转变：全样而非抽样，效率而非精确，相关而非因果。

7.大数据决策与传统的基于数据仓库的决策有什么区别答：数据仓库具备批量和周期性的数据加载以及数据变化的实时探测、传播和加载能力，能结合历史数据和实时数据实现查询分析和自动规则触发，从而提供对战略决策和战术决策。

大数据决策可以面向类型繁多的、非结构化的海量数据进行决策分析。

8.举例说明大数据的基本应用答：9.举例说明大数据的关键技术答：批处理计算，流计算，图计算，查询分析计算10.大数据产业包含哪些关键技术。

答：基础设施层、数据源层、数据管理层、数据分析层、数据平台层、数据应用层。

11.定义并解释以下术语：云计算、物联网答：云计算：云计算就是实现了通过网络提供可伸缩的、廉价的分布式计算机能力，用户只需要在具备网络接入条件的地方，就可以随时随地获得所需的各种资源。

物联网是物物相连的互联网，是互联网的延伸，它利用局部网络或互联网等通信技术把传感器、控制器、机器、人类和物等通过新的方式连在一起，形成人与物、物与物相连，实现信息化和远程管理控制。

12.详细阐述大数据、云计算和物联网三者之间的区别与联系。

第二章1.试述和谷歌的、等技术之间的关系答：的核心是分布式文件系统和，是谷歌文件系统的开源实现，是针对谷歌的开源实现。

第一章1.试述信息技术发展史上的3次信息化浪潮及具体内容。

2.试述数据产生方式经历的几个阶段答：运营式系统阶段，用户原创内容阶段，感知式系统阶段。

3.试述大数据的4个基本特征答：数据量大、数据类型繁多、处理速度快和价值密度低。

4.试述大数据时代的“数据爆炸”的特性答：大数据时代的“数据爆炸”的特性是，人类社会产生的数据一致都以每年50%的速度增长，也就是说，每两年增加一倍。

5.数据研究经历了哪4个阶段？答：人类自古以来在科学研究上先后历经了实验、理论、计算、和数据四种范式。

6.试述大数据对思维方式的重要影响答：大数据时代对思维方式的重要影响是三种思维的转变：全样而非抽样，效率而非精确，相关而非因果。

7.大数据决策与传统的基于数据仓库的决策有什么区别答：数据仓库具备批量和周期性的数据加载以及数据变化的实时探测、传播和加载能力，能结合历史数据和实时数据实现查询分析和自动规则触发，从而提供对战略决策和战术决策。

大数据决策可以面向类型繁多的、非结构化的海量数据进行决策分析。

8.举例说明大数据的基本应用答：9.举例说明大数据的关键技术答：批处理计算，流计算，图计算，查询分析计算10.大数据产业包含哪些关键技术。

答：IT基础设施层、数据源层、数据管理层、数据分析层、数据平台层、数据应用层。

11.定义并解释以下术语：云计算、物联网答：云计算：云计算就是实现了通过网络提供可伸缩的、廉价的分布式计算机能力，用户只需要在具备网络接入条件的地方，就可以随时随地获得所需的各种IT资源。

物联网是物物相连的互联网，是互联网的延伸，它利用局部网络或互联网等通信技术把传感器、控制器、机器、人类和物等通过新的方式连在一起，形成人与物、物与物相连，实现信息化和远程管理控制。

12.详细阐述大数据、云计算和物联网三者之间的区别与联系。

第二章1.试述hadoop和谷歌的mapreduce、gfs等技术之间的关系答：Hadoop的核心是分布式文件系统HDFS和MapReduce，HDFS是谷歌文件系统GFS的开源实现，MapReduces是针对谷歌MapReduce的开源实现。

厦门大学林子雨编著《大数据技术原理与应用》教材配套机房上机实验指南实验3第四章熟悉常用的HBase操作（版本号：2016年5月14日版本）主讲教师：林子雨厦门大学数据库实验室二零一六年五月目录目录1实验目的 (1)2实验平台 (1)3实验内容和要求 (1)4实验报告 (2)附录1:任课教师介绍 (3)附录2：课程教材介绍 (3)附录3：中国高校大数据课程公共服务平台介绍 (4)厦门大学林子雨编著《大数据技术原理与应用》教材配套机房上机实验指南实验3第四章熟悉常用的HBase操作主讲教师：林子雨E-mail: ziyulin@ 个人主页：/linziyu1实验目的1. 理解HBase在Hadoop体系结构中的角色；2. 熟练使用HBase操作常用的Shell命令；3. 熟悉HBase操作常用的Java API。

2实验平台操作系统：LinuxHadoop版本：2.6.0或以上版本HBase版本：1.1.2或以上版本JDK版本：1.6或以上版本Java IDE：Eclipse3实验内容和要求1.编程实现以下指定功能，并用Hadoop提供的HBase Shell命令完成相同任务：（1）列出HBase所有的表的相关信息，例如表名；（2）在终端打印出指定的表的所有记录数据；（3）向已经创建好的表添加和删除指定的列族或列；（4）清空指定的表的所有记录数据；（5）统计表的行数。

2.现有以下关系型数据库中的表和数据，要求将其转换为适合于HBase存储的表并插入数据：学生表（Student）同时，请编程完成以下指定功能：（1）createTable(String tableName, String[] fields)创建表，参数tableName为表的名称，字符串数组fields为存储记录各个域名称的数组。

要求当HBase已经存在名为tableName的表的时候，先删除原有的表，然后再创建新的表。

（2）addRecord(String tableName, String row, String[] fields, String[] values)向表tableName、行row（用S_Name表示）和字符串数组files指定的单元格中添加对应的数据values。

第4章课后习题答案一、单选题1.在 MapReduce 程序中,map() 函数接收的数据格式是(A. 字符串B. 整型C. LongD. 键值对参考答案：D2.每个 Map 任务都有一个内存缓冲区,默认大小是( ) 。

A. 128 MBB. 64 MBC. 100 MBD. 32 MB参考答案：C3.在 MapTask 的 Combine 阶段,当处理完所有数据时,MapTask 会对所有的临时文件进行一次() 。

A. 分片操作B. 合并操作C. 格式化操作D. 溢写操作参考答案：B4.下列选项中,主要用于决定整个 MapReduce 程序性能高低的阶段是( ) 。

A. MapTaskB. ReduceTaskC. 分片、格式化数据源D. Shuffle参考答案：D二、判断题1. MapReduce 编程模型借鉴了面向过程的编程语言的设计思想。

( )参考答案：错2.在MapReduce 程序进行格式化数据源操作时, 是将划分好的分片格式化为键值对“ < key,value > ” 形式的数据。

( )参考答案：对3.带有倒排索引的文件称为“倒排索引文件”,简称“ 倒排文件” 。

( )参考答案：对4.reduce() 函数会将 map( ) 函数输出的键值对作为输入,将相同 key 值的 value 进行汇总,输出新的键值对。

( )参考答案：对5.MapReduce 通过 TextOutputFormat 组件输出到结果文件中。

( )参考答案：对biner 组件可以让 Map 对 key 进行分区,从而可以根据不同的 key 分发到不同的Reduce 中去处理。

( )参考答案：错7.对于 MapReduce 任务来说,一定需要 Reduce 过程。

( )参考答案：错8.在 MapReduce 程序中,只有 Map 阶段涉及 Shuffle 机制。

( )参考答案：错9.MapReduce 的数据流模型可能只有 Map 过程,由 Map 产生的数据直接被写入 HDFS中。

第一章1.试述信息技术发展史上的3次信息化浪潮及具体内容。

2.试述数据产生方式经历的几个阶段答：运营式系统阶段，用户原创内容阶段，感知式系统阶段。

3.试述大数据的4个基本特征答：数据量大、数据类型繁多、处理速度快和价值密度低。

4.试述大数据时代的“数据爆炸”的特性答：大数据时代的“数据爆炸”的特性是，人类社会产生的数据一致都以每年50%的速度增长，也就是说，每两年增加一倍。

5.数据研究经历了哪4个阶段？答：人类自古以来在科学研究上先后历经了实验、理论、计算、和数据四种范式。

6.试述大数据对思维方式的重要影响答：大数据时代对思维方式的重要影响是三种思维的转变：全样而非抽样，效率而非精确，相关而非因果。

7.大数据决策与传统的基于数据仓库的决策有什么区别答：数据仓库具备批量和周期性的数据加载以及数据变化的实时探测、传播和加载能力，能结合历史数据和实时数据实现查询分析和自动规则触发，从而提供对战略决策和战术决策。

大数据决策可以面向类型繁多的、非结构化的海量数据进行决策分析。

8.举例说明大数据的基本应用答：9.举例说明大数据的关键技术答：批处理计算，流计算，图计算，查询分析计算10.大数据产业包含哪些关键技术。

答：IT基础设施层、数据源层、数据管理层、数据分析层、数据平台层、数据应用层。

11.定义并解释以下术语：云计算、物联网答：云计算：云计算就是实现了通过网络提供可伸缩的、廉价的分布式计算机能力，用户只需要在具备网络接入条件的地方，就可以随时随地获得所需的各种IT资源。

物联网是物物相连的互联网，是互联网的延伸，它利用局部网络或互联网等通信技术把传感器、控制器、机器、人类和物等通过新的方式连在一起，形成人与物、物与物相连，实现信息化和远程管理控制。

12.详细阐述大数据、云计算和物联网三者之间的区别与联系。

第二章1.试述hadoop和谷歌的mapreduce、gfs等技术之间的关系答：Hadoop的核心是分布式文件系统HDFS和MapReduce，HDFS是谷歌文件系统GFS的开源实现，MapReduces是针对谷歌MapReduce的开源实现。

大数据技术与应用习题答案第3-4章3.7 习题一、选择题1. B2. C3. B4. D5. B6. C7. D8. D二、填空题1.在HDFS文件系统读取文件的过程中，客户端通过对输入流调用_read() 方法开始读取数据；写入文件的过程中客户端通过对输出流调用___write()___方法开始写入数据。

2.HDFS全部文件的元数据是存储在NameNode节点的___硬盘______（硬盘/内存），为了解决这个瓶颈，HDFS产生了____HA_____机制。

三、简答题1. 举例说明Hadoop的体系结构。

Hadoop其实是由一系列的软件库组成的框架。

这些软件库也可称作功能模块，它们各自负责了Hadoop的一部分功能，其中最主要的是Common、HDFS和YARN。

Common提供远程调用RPC、序列化机制，HDFS负责数据的存储，YARN则负责统一资源调度和管理等。

2.HDFS中数据副本的存放策略是什么?HDFS默认的副本系数是3,这适用于大多数情况。

副本存放策略是将第一个副本存放在本地机架的节点上,将第二个副本放在同一机架的另一个节点上,将第三个副本放在不同机架的节点上。

这种策略减少了机架间的数据传输,这就提高了写操作的效率。

/doc/880394c6fe00bed5b9f3f90f76c6 6137ef064fe4.html Node和DataNode的功能分别是什么？元数据节点NameNode是管理者，一个Hadoop集群只有一个NameNode节点，是一个通常在HDFS实例中的单独机器上运行的软件。

NameNode主要负责HDFS文件系统的管理工作，具体包括命名空间管理（namespace）和文件block管理。

NameNode决定是否将文件映射到DataNode的复制块上。

对于最常见的3个复制块，第一个复制块存储在同一个机架的不同节点上，最后一个复制块存储在不同机架的某个节点上。

NameNode是HDFS的大脑，它维护着整个文件系统的目录树，及目录树里所有的文件和目录，这些信息以两种文件存储在本地文件中：一种是命名空间镜像，也称为文件系统镜像（file system image，FSImage），即HDFS元数据的完整快照，每次NameNode启动时，默认会加载最新的命名空间镜像，另一种是命名空间镜像的编辑日志（edit log）。

厦门大学林子雨编著《大数据技术原理与应用》教材配套上机练习图计算框架Hama的基础操作实践（版本号：2016年1月18日版本）主讲教师：林子雨厦门大学数据库实验室二零一六年一月（版权所有，请勿用于商业用途）目录1作业题目................................................................................................. 错误！未定义书签。

2作业目的................................................................................................. 错误！未定义书签。

3作业性质................................................................................................. 错误！未定义书签。

4作业考核方法......................................................................................... 错误！未定义书签。

5作业提交日期与方式............................................................................. 错误！未定义书签。

6作业准备................................................................................................. 错误！未定义书签。

6.1、Hama计算框架的安装配置 ...................................................... 错误！未定义书签。

作者：解忧书店 JieYouBookshop 第1章大数据概述1单选(2分)第三次信息化浪潮的标志是：A.个人电脑的普及B.云计算、大数据、物联网技术的普及C.虚拟现实技术的普及D.互联网的普及正确答案：B你选对了2单选(2分)就数据的量级而言，1PB数据是多少TB？A.2048B.1000C.512D.1024正确答案：D你选对了3单选(2分)以下关于云计算、大数据和物联网之间的关系，论述错误的是：A.云计算侧重于数据分析B.物联网可以借助于云计算实现海量数据的存储C.物联网可以借助于大数据实现海量数据的分析D.云计算、大数据和物联网三者紧密相关，相辅相成正确答案：A你选对了4单选(2分)以下哪个不是大数据时代新兴的技术：A.SparkB.HadoopC.HBaseD.MySQL正确答案：D你选对了每种大数据产品都有特定的应用场景，以下哪个产品是用于批处理的：A.MapReduceB.DremelC.StormD.Pregel正确答案：A你选对了6单选(2分)每种大数据产品都有特定的应用场景，以下哪个产品是用于流计算的：A.GraphXB.S4C.ImpalaD.Hive正确答案：B你选对了7单选(2分)每种大数据产品都有特定的应用场景，以下哪个产品是用于图计算的：A.PregelB.StormC.CassandraD.Flume正确答案：A你选对了8单选(2分)每种大数据产品都有特定的应用场景，以下哪个产品是用于查询分析计算的：A.HDFSB.S4C.DremelD.MapReduce正确答案：C你选对了9多选(3分)数据产生方式大致经历了三个阶段，包括：A.运营式系统阶段B.感知式系统阶段C.移动互联网数据阶段正确答案：ABD你选对了10多选(3分)大数据发展的三个阶段是：A.低谷期B.成熟期C.大规模应用期D.萌芽期正确答案：BCD你选对了11多选(3分)大数据的特性包括：A.价值密度低B.处理速度快C.数据类型繁多D.数据量大正确答案：ABCD你选对了12多选(3分)图领奖获得者、著名数据库专家Jim Gray博士认为，人类自古以来在科学研究上先后经历了哪几种范式：A.计算科学B.数据密集型科学C.实验科学D.理论科学正确答案：ABCD你选对了13多选(3分)大数据带来思维方式的三个转变是：A.效率而非精确B.相关而非因果C.精确而非全面D.全样而非抽样正确答案：ABD你选对了14多选(3分)大数据主要有哪几种计算模式：。

大数据技术与应用作业四参考答案在文档最后面一、单项选择题1.以下哪个是Python中的注释符号？（）A. //B. /* */C. #D. --2.Python中，用于定义函数的关键字是（）A. defB.functionC. defineD. func3. 以下哪种数据类型在Python 中是不可变的？（）A. 列表B. 字典C. 元组D. 集合4. 要获取字符串"hello world"的长度，使用以下哪个方法？（）A. len("hello world")B. size("hello world")C. count("hello world")D. length("hello world")5. 在Python 中，以下哪个循环语句会在条件为真时一直执行？（）A. forB. whileC. do-whileD. if6. 以下哪个库常用于Python 爬虫？（）A. numpyB. pandasC. requestsD. matplotlib7. 以下哪个方法可以将Python 列表转换为元组？（）A. list()B. tuple()C. set()D. dict()8. Python 中，用于判断两个值是否相等的运算符是（）A. ==B. =C.!=D. >9. 以下哪个是正确的Python 变量命名？（）A. 1_variableB. variable@1C. my_variableD. *variable10. 在Python 中，打开文件进行读取的模式是（）A. 'w'B. 'r'C. 'a'D. 'x'二、多项选择题11. 以下属于Python 数据结构的有（）A. 列表B. 元组C. 字典D. 集合E. 数组12. Python 中的控制流结构包括（）A. if-elseB. for 循环C. while 循环D. break 语句E. continue 语句13. 以下哪些是Python 面向对象编程的特性？（）A. 类B. 对象C. 继承D. 多态E. 封装14. 在Python 爬虫中，可能用到的技术有（）A. HTTP 请求B. HTML 解析C. 正则表达式D. 数据存储E. 反爬虫策略15. Python 中字符串的操作方法有（）A. 查找B. 替换C. 分割D. 连接E. 大小写转换16. 以下哪些是Python 中的内置函数？（）A. print()B. input()C. range()D. len()E. type()17. 以下关于Python 字典的描述，正确的有（）A. 键必须唯一B. 值可以重复C. 可以通过键获取值D. 可以动态添加元素E. 是无序的数据结构18. 以下哪些库常用于数据处理和分析？（）A. numpyB. pandasC. matplotlibD. sklearnE. seaborn19. 在Python 中，文件操作的方法有（）A. read()B. write()C. close()D. seek()E. flush()20.以下关于Python 爬虫的描述，正确的有（）A. 需遵循网站的使用规则B. 可能面临法律风险C. 要注意反爬虫机制D. 可以获取大量数据E. 常用于数据采集答案：1-5.CACAB 6-10.CBACB 11.ABCD 12.ABCDE 13.ABCDE 14.ABCDE 15.ABCDE 16.ABCDE 17.ABCDE 18.ABD 19.ABCDE 20.ABCDE。