大数据核心技术A卷

岭南师范学院2015 年－ 2016 学年度第二学期

期末考试试题A 卷

(考试时间: 120 分钟)

考试科目： 大数据核心技术

一、单项选择题(每小题 2 分，

共 30 分)

请把答案写在下表中，写在试题后无效。 1. 下面哪个程序负责 HDFS 数据存储。

（C ）

A. NameNode

B. Jobtracker

C. Datanode

D.

secondaryNameNode

2. HDFS 中的 block 默认保

存

几

个

备

份

。

（ A ）

A. 3 份

B. 2

份 A. 32MB B.

64MB

C. 128MB

D.

256MB

4. 下面哪个进程负责

MapReduce 任务调度。

（ B ）

A.

NameNode

B. Jobtracker

C.

TaskTracker D. secondaryNameNode

5. Hadoop1.0默认的调度器

策

略

是

哪

个

。 （ A ）

A. 先进先出调度器

B. 计算能力调度器

C. 公平调度器

D. 优先级调度器

6. Client 端上传文件的

时候下列哪项正确？ （ B ）

A.

数

据

经

过 NameNode 传递给 DataNode

B. Client 端将文件

切分为 Block ，依次上传

C. Client 只上传数

据到一台 DataNode ，然后由 NameNode 负责 Block 复制工作

D. 以上都不正确

7. 在实验集群的master

节点使用jps 命令查看进程时，

终端出现以下哪项能说明

Hadoop 主节点启动成功？

（ D ）

A.

Namenode,

Datanode, TaskTracker

B.

Namenode,

Datanode, secondaryNameNode

C.

Namenode,

Datanode, HMaster

D. Namenode,

JobTracker, secondaryNameNode

8. 若不针对MapReduce 编程模型中的key 和value 值进行特别设置，下列哪一项是

MapReduce 不适宜的运算。

（ D ） A.

Max

B. Min

C.

Count

D. Average

9. MapReduce 编程模型，键值对的key 必须

实现哪个接口？ （ A ） A.

WritableComparable B. Comparable

C.

Writable D. LongWritable

10. 以下哪一项属于非结构化数据。（C ）

A. 企业ERP 数据

B. 财务系统数据

C. 视频监控数据

D. 日志数据

11. HBase

数据库的

BlockCache 缓存的数据块中，

哪一项不一定能提高效率。 （ D ）

A.

–

ROOT-表 B. .META.表

C.

HFile index D. 普通的数据块

12. HBase 是分布式列式存

储系统，记录按什么集中存放。

（ A ）

A.

列

族

B. 列

C.

行

D. 不确定

13. HBase 的Region 组成中，必须要有以下哪一项。 （ B ）

A.

StoreFile

B. MemStore

C.

HFile

D. MetaStore

14. 客户端首次查询HBase 数据库时，首先需要从哪个表开

始查找。 （ B ） A.

.META.

B. –ROOT-

C.

用

户

表

D. 信息表

15、设计分布式数据仓库

hive的数据表时，为取样更高

效，一般可以对表中的连续字段

进行什么操作。

（ A ）

A. 分桶

B. 分区

C. 索引

D. 分表

二、判断题(每题 2 分，共 16 分) 请在下表中填写√或者×，写在

试题后无效。

1. Hadoop 支持数据的随机

读写。（hbase支持，hadoop

不支持）（错）

2. NameNode 负责管理元数

据信息metadata，client

端每次读写请求，它都会

从磁盘中读取或会写入

metadata 信息并反馈给

client 端。（内存中读

取）（错）3. MapReduce 的input

split 一定是一个block。（默认是）（错）

4. MapReduce适于PB级别以上的海量数据在线处理。（离线）（错）

5. 链式MapReduce计算中，

对任意一个MapReduce

作业，Map和Reduce阶

段可以有无限个Mapper，

但Reducer只能有一个。

（对）

6. MapReduce计算过程中，相同的key默认会被发送到同一个reduce task处理。

（对）

7. HBase对于空（NULL）的列，不需要占用存储空间。（没有则空不存储）（对）

8. HBase可以有列，可以没有列族（column family）。（有列族）（错）

三、简答题(每小题 5 分，共 20 分)

1. 简述大数据技术的特点。

答：Volume （大体量）：即可从数百TB 到数十数百PB 、甚至EB 规模。

Variety （多样性）：即大数据包括各种格式和形态的数据。

Velocity （时效性）：即很多大数据需要在一定的时间限度下得到及时处理。

Veracity （准确性）：即处

理的结果要保证一定的准确性。 Value （大价值）：即大数据包含很多深度的价值，大数据分析挖掘和利用带来巨大的商业价值。

2. 启动Hadoop 系统，当使用

bin/start-all.sh 命令启动时，请给出集群各进程启动顺序。 答：启动顺序：

namenode?–>?datanode?->?seco

ndarynamenode?->?resourcemana

ger?->?nodemanager?

3. 简述HBase 的主要技术特点。

答：（1）列式存储 （2）表数据是稀疏的多维映射表

（3）读写的严格一致性 （4）提供很高的数据读写速度

（5）良好的线性可扩展性 （6）提供海量数据 （7）数据会自动分片 （8）对于数据故障，hbase

是有自动的失效检测和恢复能

力。

（9）提供了方便的与HDFS 和MAPREDUCE 集成的能力。 4. Hive 数据仓库中，创建了以下外部表，请给出对应的HQL

查询语句 CREATE EXTERNAL TABLE

sogou_ext (

ts STRING, uid STRING , keyword STRING,

rank INT, order INT,

url STRING,

year INT, month INT, day INT, hour INT

)

COMMENT 'This is the sogou

search data of extend data' ROW FORMAT DELIMITED

FIELDS TERMINATED BY '\t' STORED AS TEXTFILE

（1）给出独立uid 总数的HQL 语句

答

：

select?count(distinct

UID )?from?sogou_ext;

（2）对于keyword ，给

出其频度最高的20个词的

HQL 语句

答：select keyword from

sogou_ext

group

by

keyword order by order

desc limit 20;

四、设计题(每小题 8 分，共 24 分)

1. 100万个字符串，其中有

些是相同的（重复），需要把重

复的全部去掉，保留没有重复的

字符串。请结合MapReduce 编程

模型给出设计思路或核心代码。

P228

Public static class

ProjectionMap extends

Mapper

xt,NullWritable> {

Private int clo;

Project void setup(Context

context)

throws

IOException,InterruptedExce

ption{

Col=context.getConfiguratio

n().getInt(“col ”,0);

}

Public void map(LongWritable

offset,Text line,Context

context){

RelationA record=new

RelationA

(line.toString());

Context.write(newText(recor d.getCol(col)),NullWritable .get());

}

}

REDUCE端实现代码：

Public static class ProjectionRedice extends Reducer

Public void reduce(Text key,Iterable value,Context

context)throws IOException,InterruptedExce ption{

Context.write(key,NullWrita ble.get());

}

2. 倒排索引设计。

有一个文档库，包含有大量的文档，现需要使用MapReduce 编程技术对文档内容建立一个

倒排索引库。要求Reduce最后

输出键值对为<单词, 文件名#

偏移量>，并且前后输出的相同

的key所对应的文件名是字典

序的。如

word1 doc1#200

w ord1 doc2#10

w ord2 doc2#10

假设在map阶段已经获取了当

前split分片的文件名是

String filename。请按要求给

出设计思路或核心代码。

Map(){

String

filename=fileSplit.getPath(

).getName();

String temp=new String();

String

line=value.toString().toLow

erCase();

StringTokenizer iter=new StringTokenizer(line);

For(;itr.hasMoreTokens();){ Temp=iter.nextToken();

If(!stopwords

contains(temp)){

Text word=new Text();

Word.set(temp+”#”+fil

eName);

Context.write(word,new

IntWritable(1));

}

}

}

Reducer{

Private IntWritable result=new IntWritable();

Public void reduce(Text ,key,Iterable values,Context context) throws

IOException,InterruptedExce

ption{

Int sum=0;

For(InWritable

val:values){

Sum+=val.get();

}

Result.set(sum);

Context.write(key,result);

}

}

3. 请在下面程序的下划线中补

充完整程序（共8处）。

public class WordCount {

public static class

TokenizerMapper extends

Mapper<

Object , Text ,

Text,

IntWritable> {

private final static IntWritable one = new IntWritable(1);

private Text word = new Text();

public void map(LongWritable key, Text value, Context context){

StringTokenizer itr = new

StringTokenizer(value.t oString());

while

(itr.hasMoreTokens()) {

word.set(itr.nextToken( ));

context.write(word, one);

}

}

}

public static class IntSumReducer extends

Reducer< Text, IntWritable, Text, IntWritable> {

private

IntWritable result = new IntWritable();

public void reduce( Texy key, Iterable<

IntWritable> values, Context context) {

int sum = 0;

for

(IntWritable val : values) {

sum +=

val.get();

}

result.set(sum);

context.write(key,

result);

}

}

public static void

main(String[] args)

throws Exception {

略……

}

}

五、开放

题(每小

题 10 分，共 10 分)

1. 谈谈对Hadoop系统的组成及其基本工作原理的理解。

1.MapReduce并行计算框架MapReduce并行计算框架是一个并行化程序执行系统。它提供了一个包含Map和Reduce两阶段的并行处理模型和过程，提供一个并行化编程模型和接口，让程序员可以方便快速地编写出大数据并行处理程序。MapReduce以键值对数据输入方式来处理数据，并能自动完成数据的划分和调度管理。在程序执行时，MapReduce并行计算框架将负责调度和分配计算资源，划分和输入输出数据，调度程序的执行，监控程序的执行状态，并负责程序执行时各计算节点的同步以及中间结果的收集整理。MapReduce框架提供了一组完整的供程序员开发MapReduce应用程序的编程接口。

2.分布式文件系统HDFS

HDFS（Hadoop Distributed File System）是一个类似于Google GFS 的开源的分布式文件系统。它提供了一个可扩展、高可靠、高可用的大规模数据分布式存储管理系统，基于物理上分布在各个数据存储节点的本地Linux系统的文件系统，为上层应用程序提供了一个逻辑上成为整体的大规模数据存储文件系统。与GFS类似，HDFS采用多副本（默认为3个副本）数据冗

余存储机制，并提供了有效的数据出错检测和数据恢复机制，大大提高了数据存储的可靠性。

3.分布式数据库管理系统HBase 为了克服HDFS难以管理结构化/半结构化海量数据的缺点，Hadoop 提供了一个大规模分布式数据库管理和查询系统HBase。HBase是一个建立在HDFS之上的分布式数据库，它是一个分布式可扩展的NoSQL数据库，提供了对结构化、半结构化甚至非结构化大数据的实时读写和随机访问能力。HBase 提供了一个基于行、列和时间戳的三维数据管理模型，HBase中每张表的记录数（行数）可以多达几十亿条甚至更多，每条记录可以拥有多达上百万的字段。

4.公共服务模块Common Common是一套为整个Hadoop系统提供底层支撑服务和常用工具的类库和API编程接口，这些底层服务包括Hadoop抽象文件系统FileSystem、远程过程调用RPC、系统配置工具Configuration以及序列化机制。在0.20及以前的版本中，Common包含HDFS、MapReduce 和其他公共的项目内容；从0.21版本开始，HDFS和MapReduce被分离为独立的子项目，其余部分内容构成Hadoop Common。

5.数据序列化系统Avro

Avro是一个数据序列化系统，用于将数据结构或数据对象转换成便

于数据存储和网络传输的格式。Avro提供了丰富的数据结构类型，快速可压缩的二进制数据格式，存储持久性数据的文件集，远程调用RPC和简单动态语言集成等功能。

6.分布式协调服务框架Zookeeper Zookeeper是一个分布式协调服务框架，主要用于解决分布式环境中的一致性问题。Zookeeper主要用于提供分布式应用中经常需要的

系统可靠性维护、数据状态同步、统一命名服务、分布式应用配置项管理等功能。Zookeeper可用来在分布式环境下维护系统运行管理

中的一些数据量不大的重要状态

数据，并提供监测数据状态变化的机制，以此配合其他Hadoop子系统（如HBase、Hama等）或者用户开发的应用系统，解决分布式环境下系统可靠性管理和数据状态维

护等问题。

7.分布式数据仓库处理工具Hive Hive是一个建立在Hadoop之上的数据仓库，用于管理存储于HDFS 或HBase中的结构化/半结构化数

据。它最早由Facebook开发并用于处理并分析大量的用户及日志

数据，2008年Facebook将其贡献给Apache成为Hadoop开源项目。为了便于熟悉SQL的传统数据库使用者使用Hadoop系统进行数据查询分析，Hive允许直接用类似SQL 的HiveQL查询语言作为编程接口编写数据查询分析程序，并提供数据仓库所需要的数据抽取转换、存储管理和查询分析功能，而HiveQL 语句在底层实现时被转换为相应

的MapReduce程序加以执行。

8.数据流处理工具Pig

Pig是一个用来处理大规模数据集的平台，由Yahoo!贡献给Apache 成为开源项目。它简化了使用Hadoop进行数据分析处理的难度，提供一个面向领域的高层抽象语

言Pig Latin，通过该语言，程序员可以将复杂的数据分析任务实

现为Pig操作上的数据流脚本，这些脚本最终执行时将被系统自动

转换为MapReduce任务链，在Hadoop上加以执行。Yahoo!有大量的MapReduce作业是通过Pig实现的。

9.键值对数据库系统Cassandra Cassandra是一套分布式的K-V型的数据库系统，最初由Facebook 开发，用于存储邮箱等比较简单的格式化数据，后Facebook将Cassandra贡献出来成为Hadoop

开源项目。Cassandra以Amazon

专有的完全分布式Dynamo为基础，结合了Google BigTable基于列族（Column Family）的数据模型，提供了一套高度可扩展、最终一致、分布式的结构化键值存储系统。它结合了Dynamo的分布技术和Google的Bigtable数据模型，更好地满足了海量数据存储的需求。同时，Cassandra变更垂直扩展为水平扩展，相比其他典型的键值数据存储模型，Cassandra提供了更为丰富的功能。

10.日志数据处理系统Chukwa Chukwa是一个由Yahoo！贡献的开源的数据收集系统，主要用于日志的收集和数据的监控，并与MapReduce协同处理数据。Chukwa 是一个基于Hadoop的大规模集群监控系统，继承了Hadoop系统的可靠性，具有良好的适应性和扩展性。它使用HDFS来存储数据，使用MapReduce来处理数据，同时还提供灵活强大的辅助工具用以分析、显示、监视数据结果。

11.科学计算基础工具库Hama

Hama是一个基于BSP并行计算模型（Bulk Synchronous Parallel，大同步并行模型）的计算框架，主要提供一套支撑框架和工具，支持大规模科学计算或者具有复杂数

据关联性的图计算。Hama类似Google公司开发的Pregel，Google 利用Pregel来实现图遍历（BFS）、最短路径（SSSP）、PageRank等计算。Hama可以与Hadoop的HDSF

进行完美的整合，利用HDFS对需要运行的任务和数据进行持久化

存储。由于BSP在并行化计算模型上的灵活性，Hama框架可在大规模科学计算和图计算方面得到较多

应用，完成矩阵计算、排序计算、PageRank、BFS等不同的大数据计算和处理任务。

12.数据分析挖掘工具库Mahout Mahout来源于Apache Lucene子项目，其主要目标是创建并提供经典的机器学习和数据挖掘并行化算

法类库，以便减轻需要使用这些算法进行数据分析挖掘的程序员的

编程负担，不需要自己再去实现这些算法。Mahout现在已经包含了聚类、分类、推荐引擎、频繁项集挖掘等广泛使用的机器学习和数据

挖掘算法。此外，它还提供了包含数据输入输出工具，以及与其他数据存储管理系统进行数据集成的

工具和构架。

13.关系数据交换工具Sqoop Sqoop是SQL-to-Hadoop的缩写，是一个在关系数据库与Hadoop平台间进行快速批量数据交换的工具。它可以将一个关系数据库中的数据批量导入Hadoop的HDFS、HBase、Hive中，也可以反过来将Hadoop平台中的数据导入关系数据库中。Sqoop充分利用了Hadoop MapReduce的并行化优点，整个数据交换过程基于MapReduce实现并行化的快速处理。

14.日志数据收集工具Flume Flume是由Cloudera开发维护的一个分布式、高可靠、高可用、适合复杂环境下大规模日志数据采

集的系统。它将数据从产生、传输、处理、输出的过程抽象为数据流，并允许在数据源中定义数据发送方，从而支持收集基于各种不同传输协议的数据，并提供对日志数据进行简单的数据过滤、格式转换等处理能力。输出时，Flume可支持将日志数据写往用户定制的输出

目标。

大数据的核心技术(二)

我们在上一篇文章中给大家介绍了大数据的部分核心技术，分别是数据挖掘和机器学习。在大数据中，数据挖掘和机器学习都是发挥了不同的功能。在这篇文章中我们给大家介绍一下人工智能和其他大数据处理的基础技术，希望这篇文章能能够给大家带来帮助。 首先说说人工智能，AI和大数据是相互促进的关系，一方面，AI基础理论技术的发展为大数据机器学习和数据挖掘提供了更丰富的模型和算法，如近几年的深度学习一系列技术和方法；另一方面，大数据为AI的发展提供了新的动力和燃料，数据规模大了之后，传统机器学习算法面临挑战，要做并行化、要加速要改进。AI的终极目标是机器智能化拟人化，机器能完成和人一样的工作，人脑仅凭几十瓦的功率，能够处理种种复杂的问题，怎样看都是很神奇的事情。虽然机器的计算能力比人类强很多，但人类的理解能力，感性的推断，记忆和幻想，心理学等方面的功能，机器是难以比肩的，所以机器要拟人化很难单从技术角度把人工智能讲清楚。人工智能与机器学习的关系，两者的相当一部分技术、算法都是重合的，深度学习在计算机视觉和思考等领域取得了巨大的成功，但是如果真正的做到仿生，还是比较困难的。 然后就是其它大数据处理基础技术。一般来说，大数据除了之前提到的内容，还有很多的基础技术，大数据基础技术包括计算机科学相关如编程、云计算、分布式计算、系统架构设计等方向，还有机器学习的理论基础包括如算法、数据结构、概率论、代数、矩阵分析、统计

学习、特征工程等方面；商业分析与理解如领域知识管理、产品设计、可视化等技术；数据管理如数据采集、数据预处理、数据库、数据仓库、信息检索、多维分析、分布式存储等技术。这些理论与技术是为大数据的基础管理、机器学习和应用决策等多个方面服务的。只有掌握了这些内容，我们才能够更好的使用大数据为我们发挥更多的功能。 以上的内容就是小编为大家介绍的大数据的核心技术了。大数据的核心技术就是数据挖掘、机器学习、人工智能和其他的大数据处理基础技术，最后感谢大家的阅读。

云计算的五大核心技术

：首页 > 技术文库 > 技术服务 > 信息产业化 > 文章内容:云计算的五大核心技术 云计算的五大核心技术 云计算的五大核心技术 newmaker 云计算系统运用了很多技术，其中以编程模型、数据治理技术、数据存 储技术、虚拟化技术、云计算平台治理技术最为关键。 1)编程模型 MapReduce是Google开发的java、Python、C++编程模型，它是一种简化的分布式编程模型和高效的任务调度模型，用于大规模数据集（大于1TB）的并行运算。严格的编程模型使云计算环境下的编程十分简单。MapReduce 模式的思想是将要执行的题目分解成Map(映射)和Reduce(化简)的方式，先通过Map程序将数据切割成不相关的区块，分配（调度）给大量计算机处理，达到分布式运算的效果，再通过Reduce程序将结果汇整输出。 2) 海量数据分布存储技术 云计算系统由大量服务器组成，同时为大量用户服务，因此云计算系统采用分布式存储的方式存储数据，用冗余存储的方式保证数据的可靠性。云计算系统中广泛使用的数据存储系统是Google的GFS和Hadoop团队开发的GFS 的开源实现HDFS。 GFS即Google文件系统（Google File System），是一个可扩展的分布式文件系统，用于大型的、分布式的、对大量数据进行访问的应用。GFS的设计思想不同于传统的文件系统，是针对大规模数据处理和Google应用特性而设计的。它运行于廉价的普通硬件上，但可以提供容错功能。它可以给大量的用户提供总体性能较高的服务。 一个GFS集群由一个主服务器（master）和大量的块服务器(chunkserver)构成，并被很多客户（Client）访问。主服务器存储文件系统所以的元数据，包括名字空间、访问控制信息、从文件到块的映射以及块确当前位置。它也控制系统范围的活动，如块租约（lease）治理，孤儿块的垃圾收集，块服务器间的块迁移。主服务器定期通过HeartBeat 消息与每一个块服务器通讯，给块服务器传递指令并收集它的状态。GFS中的文件被切分为64MB的块并以冗余存储，每份数据在系统中保存3个以上备份。

大数据核心技术A卷

精心整理 岭南师范学院2015年－2016 学年度第二学期 期末考试试题A 卷 (考试时间:120分钟) 考试科目：大数据核心技术 1.下面哪个程序负责HDFS 数据存储。 （C ） https://www.doczj.com/doc/e615572379.html,Node B.Jobtracker C.Datanode D.secondaryNa meNode 2.HDFS 中的block 默认保存几 个备份。（A ） A.3份 B.2份 C.1份 D.不确定 3.HDFS1.0默认BlockSize 大小是多少。（B ） 5.Hadoop1.0默认的调度器策略是哪个。（A ） A.先进先出调度器 B.计 算能力调度器 C.公平调度器 D.优先级 调度器

精心整理 6.Client端上传文件的时候 下列哪项正确？（B） A.数据经过NameNode传 递给DataNode B.Client端将文件切分 为Block，依次上传 C.Client只上传数据到 一台DataNode，然后由NameNode 负责Block复制工作 D.以上都不正确 7.在实验集群的master节点 使用jps 现以下哪项能说明Hadoop 启动成功？（D） econdaryNameNode https://www.doczj.com/doc/e615572379.html,node,Datanode,H Master https://www.doczj.com/doc/e615572379.html,node,JobTracker ,secondaryNameNode 8.若不针对MapReduce编程 模型中的key和value值进行特别 设置，下列哪一项是MapReduce 不适宜的运算。（D） A.Max B.Min C.Count D.Average 对 10.以下哪一项属于非结构化 C） A.企业ERP数据 B.财务系 统数据 C.视频监控数据 D.日志 数据 11.HBase数据库的 BlockCache缓存的数据块中，哪 一项不一定能提高效率。（D） A.–ROOT-表 B..META.表

大数据核心技术培训

大数据核心技术培训 你学或者不学，大数据依旧在发展；你从事或者不从事，大数据的前景你都应该了解。时代的前进方向，未来的领先技术，作为时代的年轻人，你不知道就真的会被社会所淘汰的。大数据的发展前景怎么样？未来大数据的发展趋势如何? 近年来，科技的快速发展推动了企业在数据生成、储存等多方面的需求增长。所以在企业爆炸式的大数据时代下，剧增了原有数据存的储存压力，所以大数据人才需求量将会与日俱增。所以大数据在未来就业前景一定非常广阔，在此千锋教育带大家了解大数据的发展趋势。 数据分析成为大数据技术的核心 大数据的价值体现在对大规模数据集合的智能处理方面，进而在大规模的数据中获取有用的信息。要想逐步实现这个功能，就必须对数据进行分析和挖掘。而数据的采集、存储、和管理都是数据分析步骤的基础，通过进行数据分析得到的结果，将应用于大数据相关的各个领域。 云数据分析平台将更加完善 近几年来，云计算技术发展迅猛，与此相应的应用范围也越来越宽。云计算的发展为大数据技术的发展提供了一定的数据处理平台和技术支持。云计算为大

数据提供了分布式的计算方法、可以弹性扩展、相对便宜的存储空间和计算资源，这些都是大数据技术发展中十分重要的组成部分。随着云计算技术的不断发展和完善，发展平台的日趋成熟，大数据技术自身将会得到快速提升，数据处理水平也会得到显著提升。 开源软件的发展成为推动大数据发展的新动力 开源软件是在大数据技术发展的过程中不断研发出来的。这些开源软件对各个领域的发展、人们的日常生活具有十分重要的作用。开源软件的发展可以适当的促进商业软件的发展，以此作为推动力，从而更好地服务于应用程序开发工具、应用、服务等各个不同的领域。 由于大数据行业快速发展，人才需求急剧增加。目前，据某招聘网站平台数据，目前大数据人才的供给量远远低于行业人才需求。所以大数据培训应运而生，作为连接人才与企业的窗口，千锋大数据培训成为了为企业提供大数据人才强而有力的保障。 千锋大数据培训讲师经过多年的培训经验，结合学员的学习曲线，设计合理的项目进阶课程，让学员逐渐掌握做项目的方法方式，培训真正的项目经验。不

大数据核心技术A卷精编版

岭南师范学院2015 年－ 2016 学年度第二学期 期末考试试题A卷 (考试时间: 120 分钟) 考试科目：大数据核心技术 一、单项选择题(每小题 2 分，共 30 分) 请把答案写在下表中，写在试题后无效。 1. 下面哪个程序负责 HDFS 数据存储。（C ） A. NameNode B. Jobtracker C. Datanode D. secondaryNameNode 2. HDFS 中的 block 默认保存几个备份。（ A ） A. 3 份 B. 2 份 C. 1 份 D. 不确定 3. HDFS1.0 默认 Block Size大小是多少。（ B ） A. 32MB B. 64MB C. 128MB D. 256MB 4. 下面哪个进程负责 MapReduce 任务调度。（ B ） A. NameNode B. Jobtracker C. TaskTracker D. secondaryNameNode 5. Hadoop1.0默认的调度器策略是哪个。（ A ） A. 先进先出调度器 B. 计算能力调度器 C. 公平调度器 D. 优先级调度器 6. Client 端上传文件的时候下列哪项正确？（ B ） A. 数据经过 NameNode 传递给 DataNode B. Client 端将文件切分为 Block，依次上传 C. Client 只上传数据到一台 DataNode，然后由 NameNode 负责 Block 复制工作 D. 以上都不正确 7. 在实验集群的master节点使用jps命令查看进程时，终端出现以下哪项能说明Hadoop 主节点启动成功？（ D ） A. Namenode, Datanode, TaskTracker B. Namenode, Datanode, secondaryNameNode C. Namenode, Datanode, HMaster D. Namenode, JobTracker, secondaryNameNode 8. 若不针对MapReduce编程模型中的key和value值进行特别设置，下列哪一项是MapReduce不适宜的运算。（ D ） A. Max B. Min C. Count D. Average

大数据的核心技术(一)

我们在之前的文章中提到过，大数据的核心技术就是机器学习、数据挖掘、人工智能以及其 它大数据处理基础技术。在这篇文章中我们给大家详细地介绍一下这些内容，希望这篇文章 能能够给大家带来帮助。 首先说一下机器学习，一般数据分析师都知道，机器学习是大数据处理承上启下的关键技术，机器学习往上是深度学习、人工智能，机器学习往下是数据挖掘和统计学习。机器学习属于 计算机和统计学交叉学科，核心目标是通过函数映射、数据训练、最优化求解、模型评估等 一系列算法实现让计算机拥有对数据进行自动分类和预测的功能。这就需要我们对机器学习 有一个足够的了解。机器学习领域包括很多种类的智能处理算法，分类、聚类、回归、相关 分析等每类下面都有很多算法进行支撑，随着深度学习核心技术的突破性发展，机器学习算 法得以高速扩张。总之大数据处理要智能化，机器学习是核心的核心，深度学习、数据挖掘、商业智能、人工智能，大数据等概念的核心技术就是机器学习，机器学习用于图像处理和识 别就是机器视觉，机器学习用于模拟人类语言就是自然语言处理，机器视觉和自然语言处理 也是支撑人工智能的核心技术，机器学习用于通用的数据分析就是数据挖掘。由于在大数据 条件下图像，语音识别等领域的学习效果显著，有望成为人工智能取得突破的关键性技术， 正因为如此，我们需要重视机器学习。

然后我们说收数据挖掘，数据挖掘是一个较为宽泛的概念，大数据就是从海量数据里面挖掘 有价值有规律的信息同理。数据挖掘核心技术来自于机器学习领域，如深度学习是机器学习 中一类比较火的算法，当然也可以用于数据挖掘。还有传统的商业智能领域也包括数据挖掘，关键是技术能否真正挖掘出有用的信息，然后这些信息可以指导决策。数据挖掘的提法比机 器学习要早，应用范围要广，数据挖掘和机器学习是大数据分析的核心技术，互为支撑，为 大数据处理提供相关模型和算法，而模型和算法是大数据处理的关键，探索式交互式分析、 可视化分析、数据的采集存储和管理等都较少用到学习模型。由此可见，数据挖掘在数据分 析中都是十分重要的事情，更不用说大数据了。 由于篇幅原因我们就给大家介绍了大数据的核心技术的两个，分别是数据挖掘以及机器学习，我们在下一篇文章中给大家介绍更多有用的内容，最后感谢大家的阅读。

从五大行业案例,看大数据的应用逻辑

从五大行业案例，看大数据的应用逻辑本文从一则搞笑的大数据应用案例入手：某超市通过分析一位女顾客的购物数据（包括购物清单，浏览物品，咨询信息，视频监控信息<超市内徘徊区域>等），根据分析结果给该女顾客寄来了孕婴童试用品，这一举动让该女顾客的父亲非常生气，立马致电该超市投诉，因为她女儿还未成年！超市经理立马登门拜访道歉，不过事实是，不久后这位小女孩因遮盖不住隆起的腹部而不得不向父亲告知真相：她真的怀孕了。对于企业而言，大数据有时候就像是一个侦探家，能够拨开重重迷雾，找到问题的本质以及解决方案，而关键在于，你是否真的懂得如何去驾驭它，让它为你服务。 在经历了喊口号、布局深耕之后，大数据应用开始显现出巨大的商业价值，触角已延伸到零售、金融、教育、医疗、体育、制造、影视、政府等各行各业。随着中国企业数据中心数据存储量的快速增长，非结构化数据呈指数级增长，有效地处理和分析结构化数据和非结构化数据中所富含的对企业和政府有价值的信息将带动新的盈利模式、管理模式、创新模式以及思维模式。 在维克托·迈尔·舍恩伯格的《大数据时代》一书中解释，大数据是指不用随机分析法（抽样调查）这样的捷径，而采用所有数据的方法。随着云时代的来临，大数据也吸引了越来越多的关注。大数据是继云计算、物联网之后IT产业又一次颠覆性的技术变革，消费者的网络足迹是互联网基因，网络中的足迹、点击、浏览、留言直接反映消费者的性格、偏好、意愿等，互联网交互大数据就是研究每个用户碎片行为的过程。大数据对于经济发展、企业决策、组织和业务流程，对个人生活方式等都将产生巨大的影响。 大数据作为当下非常火爆的一个词，其价值不言而喻，今天，《互联网周刊》不谈价值，通过聚拢一些实实在在的应用，如电商，传统金融，互联网金融，医疗，制造五大领域的案例，进而衍射出大数据内在的应用逻辑。 “用户画像”直击零售商需求 在如此激烈而又庞大的市场中，电商们迫切想知道的想必就是用户需求。当这个用户登陆网站的瞬间，就能猜出来这个用户今天为何而来，然后从电商的商品库里面把合适的商品找出来并推荐给他，进而展现出符合客户需求的产品都有哪几款。这种服务是消费者想要的，但是谁能帮助电商们做到呢？

工业互联网的九大核心技术

工业互联网的九大核心技术 工业互联网这个话题是由GE公司在2012年率先提出的。这个话题和后来2013年德国提出的工业4.0，可以说搅动了很多企业的神经。 但是这些新的理念并不是空穴来风，它是工业化国家在过去几十年强大的技术积累，以及和互联网结合以后产生的新战略，新的技术布局以及对未来的一种新的愿景。如果我们单从互联网角度去解读这些愿景和战略，我认为是不够的。事实上工业互联网有强大的技术支撑。 在工业互联网领域，我们要想获得持续、稳健的发展，需要具备坚实的技术基础。下面这张图将正在出现的以及未来可能出现的技术要素用结构化的方式展现出来，让大家对工业互联网所形成的技术和系统基础，有一个系统性的了解。

在这个结构当中，最为基础是工业互联网的标准和系统安全体系，不同于已经成熟的商业互联网和人际互联网，工业互联网相关的技术标准还远远没有成形，可以讲不同技术阵营当中的博弈和争夺正在激烈展开。而且系统安全是比较薄弱的环节，这在相当程度上阻碍了工业互联网的开放，和彼此数据的交换。在未来我们可以预见到各个工业化的国家、组织乃至企业，以及科研机构，将围绕标准的设立和系统安全的共识和创建，进行大量的工作。 这些基础性的工作是非常重要的，而且是战略性的。因此我们中国的企业家群体要非常关注这些基础性的工作，要抛弃那些可能假想性的，以及希望快速弯道超车的简单愿望。没有这些基础工作，要实现真正意义上的工业互联，是不可能的。

在此之上还有三个非常关键的技术组件，一个称之为随处可及的超级计算终端。所谓随处可及的超级计算终端，是由传感器、强大的芯片以及因此产生的分布式强大计算能力所带来的，这个是因为芯片技术的普及和IPV6的寻址能力的扩张所带来的。 第二类的组件基础，我们称为软件定义机器。所谓软件定义机器就是强大的、无处不在的超级计算终端，以及我们所使用的工业时代的各种设备的整合以后所出现的一种新的前景。未来硬件虽然重要，但是软件更加重要。硬件作为技术组件，相对软件赋予不同的功能，软件定义硬件和定义机器，将成为未来的大势所趋。 由此产生的数据、模式、方法论和人工智能，将归结在知识工作的自动化领域，这个领域涉及大量新的技术。 在这三个技术组件之上，是关于新型的工业流程。未来的工业流程将突破流程化，或者是离散化的传统定义。随着机器人的深度介入，将使得工业流程和工业生产的过程发生根本性的改变。工业生产将变成真正没有停息的全过程，因为机器人没有疲劳，而且机器人之间将进行深度的交流和自动化处理，使得生产效率突破人类介入方式的瓶颈，达到新的高峰。

大数据核心技术A卷

第1页，共18页 第2页，共18页 任课教师签名： 命题教师签名： 系主任签名： 主管院长签名： 岭南师范学院2015 年－ 2016 学年度第二学期 期末考试试题A 卷 (考试时间: 120 分钟) 考试科目： 大数据核心技术 一、单项选择题(每小题 2 分，共 30 分) 请把答案写在下表中，写在试题后无效。 1. 下面哪个程序负责 HDFS 数据存储。 （C ） A. NameNode B. Jobtracker C. Datanode D. secondaryNameNode 2. HDFS 中的 block 默认保存几个备份。 （ A ） A. 3 份 B. 2 份 C. 1 份 D. 不确定 3. HDFS1.0 默认 Block Size 大小是多少。 （ B ） A. 32MB B. 64MB C. 128MB D. 256MB 4. 下面哪个进程负责 MapReduce 任务调度。 （ B ） A. NameNode B. Jobtracker C. TaskTracker D. secondaryNameNode 5. Hadoop1.0默认的调度器策略是哪个。 （ A ） A. 先进先出调度器 B. 计算能力调度器 C. 公平调度器 D. 优先级调度器 6. Client 端上传文件的时候下列哪项正确？ （ B ） A. 数据经过 NameNode 传递给 DataNode B. Client 端将文件切分为 Block ，依次上传 C. Client 只上传数据到一台 DataNode ，然后由 NameNode 负责 Block 复制工作 D. 以上都不正确 7. 在实验集群的master 节点使用jps 命令查看进程时，终端出现以下哪项能说明Hadoop 主节点启动成功？ （ D ） A. Namenode, Datanode, TaskTracker B. Namenode, Datanode, secondaryNameNode C. Namenode, Datanode, HMaster

大数据核心技术A卷

第1页，共16页 第2页，共16页 任课教师签名： 命题教师签名： 系主任签名： 主管院长签名： 岭南师范学院2015 年－ 2016 学年度第二学期 期末考试试题A 卷 (考试时间: 120 分钟) 考试科目： 大数据核心技术 一、单项选择题(每小题 2 分，共 30 分) 请把答案写在下表中，写在试题后无效。 1. 下面哪个程序负责 HDFS 数据存储。 （C ） A. NameNode B. Jobtracker C. Datanode D. secondaryNameNode 2. HDFS 中的 block 默认保存几个备份。 （ A ） A. 3 份 B. 2 份 C. 1 份 D. 不确定 3. HDFS1.0 默认 Block Size 大小是多少。 （ B ） A. 32MB B. 64MB C. 128MB D. 256MB 4. 下面哪个进程负责 MapReduce 任务调度。 （ B ） A. NameNode B. Jobtracker C. TaskTracker D. secondaryNameNode 5. Hadoop1.0默认的调度器策略是哪个。 （ A ） A. 先进先出调度器 B. 计算能力调度器 C. 公平调度器 D. 优先级调度器 6. Client 端上传文件的时候下列哪项正确？ （ B ） A. 数据经过 NameNode 传递给 DataNode B. Client 端将文件切分为 Block ，依次上传 C. Client 只上传数据到一台 DataNode ，然后由 NameNode 负责 Block 复制工作 D. 以上都不正确 7. 在实验集群的master 节点使用jps 命令查看进程时，终端出现以下哪项能说明Hadoop 主节点启动成功？ （ D ） A. Namenode, Datanode, TaskTracker B. Namenode, Datanode, secondaryNameNode C. Namenode, Datanode, HMaster D. Namenode, JobTracker, secondaryNameNode 8. 若不针对MapReduce 编程模型中的key 和value 值进行特别设置，下列哪一项是MapReduce 不适宜的运算。 （ D ） A. Max B. Min C. Count D. Average

大数据核心技术A卷

岭南师范学院2015 年－2016 学年度第二学期 期末考试试题A卷 (考试时间: 120 分钟) 考试科目：大数据核心技术 一、单项选择题(每小题 2 分，共30 分) 请把答案写在下表中，写在试题后无效。 1. 下面哪个程序负责HDFS 数据存储。（C ） A. NameNode B. Jobtracker C. Datanode D. secondaryNameNode 2. HDFS 中的block 默认保存几个备份。（A ） A. 3 份 B. 2 份 C. 1 份 D. 不确定 3. HDFS1.0 默认Block Size大小是多少。（B ） A. 32MB B. 64MB C. 128MB D. 256MB 4. 下面哪个进程负责MapReduce 任务调度。（B ） A. NameNode B. Jobtracker C. TaskTracker D. secondaryNameNode 5. Hadoop1.0默认的调度器策略是哪个。（A ） A. 先进先出调度器 B. 计算能力调度器 C. 公平调度器 D. 优先级调度器 6. Client 端上传文件的时候下列哪项正确？（ B ） A. 数据经过NameNode 传递给DataNode B. Client 端将文件切分为Block，依次上传 C. Client 只上传数据到一台DataNode，然后由NameNode 负责Block 复制工作 D. 以上都不正确 7. 在实验集群的master节点使用jps命令查看进程时，终端出现以下哪项能说明Hadoop主节点启动成功？（ D ） A. Namenode, Datanode, TaskTracker B. Namenode, Datanode, secondaryNameNode C. Namenode, Datanode, HMaster D. Namenode, JobTracker, secondaryNameNode 8. 若不针对MapReduce编程模型中的key和value值进行特别设置，下列哪一项是MapReduce不适宜的运算。（ D ） A. Max B. Min C. Count D. Average

工智能的五大核心技术

工智能的五大核心技术 计算机视觉、机器学习、自然语言处理、机器人和语音识别是人工智能的五大核心技术。 一、计算机视觉 计算机视觉是指计算机从图像中识别出物体、场景和活动的能力。计算机视觉技术运用由图像处理操作及其他技术所组成的序列，来将图像分析任务分解为便于管理的小块任务。比如，一些技术能够从图像中检测到物体的边缘及纹理，分类技术可被用作确定识别到的特征是否能够代表系统已知的一类物体。 计算机视觉有着广泛的应用，其中包括：医疗成像分析被用来提高疾病预测、诊断和治疗；人脸识别被Facebook 用来自动识别照片里的人物；在安防及监控领域被用来指认嫌疑人；在购物方面，消费者现在可以用智能手机拍摄下产品以获得更多购买选择。 机器视觉作为相关学科，泛指在工业自动化领域的视觉应用。在这些应用里，计算机在高度受限的工厂环境里识别诸如生产零件一类的物体，因此相对于寻求在非受限环境里操作的计算机视觉来说目标更为简单。计算机视觉是一个正在进行中的研究，而机器视觉则是“已经解决的问题”，是系统工程方面的课题而非研究层面的课题。因为应用范围的持续

扩大，某些计算机视觉领域的初创公司自2011年起已经吸引了数亿美元的风投资本。 二、机器学习 机器学习指的是计算机系统无须遵照显式的程序指令，而只依靠数据来提升自身性能的能力。其核心在于，机器学习是从数据中自动发现模式，模式一旦被发现便可用于预测。比如，给予机器学习系统一个关于交易时间、商家、地点、价格及交易是否正当等信用卡交易信息的数据库，系统就会学习到可用来预测信用卡欺诈的模式。处理的交易数据越多，预测就会越准确。 机器学习的应用范围非常广泛，针对那些产生庞大数据的活动，它几乎拥有改进一切性能的潜力。除了欺诈甄别之外，这些活动还包括销售预测、库存管理、石油和天然气勘探，以及公共卫生等。机器学习技术在其他的认知技术领域也扮演着重要角色，比如计算机视觉，它能在海量图像中通过不断训练和改进视觉模型来提高其识别对象的能力。 现如今，机器学习已经成为认知技术中最炙手可热的研究领域之一，在2011~2014年这段时间内就已吸引了近10亿美元的风险投资。谷歌也在2014年斥资4亿美元收购Deepmind这家研究机器学习技术的公司。 三、自然语言处理

大数据开发核心技术是什么

大数据开发核心技术是什么 大数据研究专家维克托·迈尔-舍恩伯格曾经说过：世界的本质是数据。在他看来，认识大数据之前，世界原本就是一个数据时代；认识大数据之后，世界不可避免地分为大数据时代、小数据时代。但我们口中的大数据的和新到底是什么呢？下面就让千锋大数据培训大师来带你走进大数据的核心地带。 有这样一段话：社交网络，让我们越来越多地从数据中观察到人类社会的复杂行为模式。社交网络，为大数据提供了信息汇集、分析的第一手资料。从庞杂的数据背后挖掘、分析用户的行为习惯和喜好，找出更符合用户“口味”的产品和服务，并结合用户需求有针对性地调整和优化自身，就是大数据的价值。那大数据的核心价值到底是什么？ 大数据作为重要的基础性战略资源，核心价值在于应用，在于其赋值和赋能作用，在于对大量数据的分析和挖掘后所带来的决策支撑，能够为我们的生产生活、经营管理、社会治理、民生服务等各方面带来高效、便捷、精准的服务。 从这些特点我们可以看出，如果说大数据的价值就在于如何分析这些繁复的

数据得出预测性结论并最终利用它来实现某种职能、产生某种作用，那么对于这些数据的分析和处理则是商业社会中企业的竞争力所在。 如果从企业决策的角度来看，在任何行业，任何领域，通过推动数据化或大数据演算提升企业决策和企业战略实施的，仍然是人的大脑。唯一的区别是，从前依靠丰富的企业经验和信息整合能力来决策的领导层，如今依靠的是高性能并行的计算机处理技术来处理海量的数据集，分布式的演算出最终的战略决策。利用这样的科技，就可以大大提升领导决策的精准度和效率。而其实大数据的作用已经不仅仅是为各类决策提供帮助，它甚至能够用海量的数据塑造个体，用户分析将不再适用，因为大数据甚至可以塑造用户。 从商业角度来看，从繁杂庞大的数据中挖掘、分析用户的行为习惯和喜好，研发出更符合用户偏好的产品和服务，并结合用户需求有针对性地调整和优化产品，以优化用户体验，最终获得商业利益，就是大数据在商业社会的价值。抛开商业，利用大数据预测可能的灾难，利用大数据分析癌症可能的引发原因并找出治疗方法，都是未来能够惠及人类的事业。 在大数据时代，不再依赖于采样的人们可以获得并分析更多的数据，更清楚地发现样本无法揭示的细节信息，随着计算机处理能力的日益强大，人工智能机器学习系统的不断升级，庞大的数据给人们带来的价值成倍攀升。实验的不断反复、大数据的日渐积累让人类不断发现各种规律，从而能够预测未来。 世界未来，得数据者得天下，大数据人才将是不可多的人才，把握机会成为经典，千锋大数据培训机构欢迎你的加入。

文化自信之三：互联网-与大数据、人工智能与核心技术

文化自信之三：互联网+与大数据、人工智能与核心技术阅读下面的文字，按要求作文。（60分） 材料一：一些购物或新闻app会根据用户的性别、年龄、所在城市、喜好等进行及时的有针对性的推送信息，这些经过加工筛选后的信息显然更全面，准确性、匹配度更高，从而大大方便了用户，提高了效率。 材料二：有用户反映某打车软件，存在“杀熟”现象。同样的行程，iPhone用户比小米用户贵10%。同时，测试的两款手机设置的起点和终点都一样，车型类型一样，也没有新用户补贴，但是级别更的用户费用更贵。 材料三：近日美国媒体披露，一家名为“剑桥分析公司”的数据分析企业，在未经授权的情况下，获取了美国社交媒体“脸书”多达5000万用户的信息，用于设计软件，以预测并影响选民投票。消息一经曝出，舆论一片哗然。

以上文字引发你怎样的思考？请写一篇文章加以阐述。要求：选好角度，明确文体，自拟标题；不脱离材料的容及含义的围；不要套作，不得抄袭；不少于800字。 【时代背景】 “大数据发展日新月异，我们应该审时度势、精心谋划、超前布局、力争主动”。日前，中共中央政治局就实施国家大数据战略进行第二次集体学习。总书记在主持学习时，深刻分析大数据发展现状和趋势，结合我国实际对实施国家大数据战略、加快建设数字中国作出部署要求，为用好大数据、赢得新时代发展的战略主动指明了方向。 随着信息技术和人类生产生活交汇融合，互联网快速普及，全球数据呈现爆发增长、海量集聚的特点。有人感叹：数据是新的石油，是本世纪最为珍贵的财产。作为信息化发展的新阶段，大数据对经济发展、社会秩序、国家治理、人民生活都将产生重大影响。“谁掌握了数据，谁就掌握了主动权”。