岭南师范学院2015 年－ 2016 学年度第二学期
期末考试试题A卷
(考试时间: 120 分钟)
考试科目：大数据核心技术
一、单项选择题(每小题 2 分，共 30 分)
请把答案写在下表中，写在试题后无效。
1. 下面哪个程序负责 HDFS 数据存储。（C ）
A. NameNode
B. Jobtracker
C. Datanode
D. secondaryNameNode
2. HDFS 中的 block 默认保存几个备份。（ A ）
A. 3 份
B. 2 份
C. 1 份
D. 不确定
3. HDFS1.0 默认 Block Size大小是多少。（ B ）
A. 32MB
B. 64MB
C. 128MB
D. 256MB
4. 下面哪个进程负责 MapReduce 任务调度。（ B ）
A. NameNode
B. Jobtracker
C. TaskTracker
D. secondaryNameNode
5. Hadoop1.0默认的调度器策略是哪个。（ A ）
A. 先进先出调度器
B. 计算能力调度器
C. 公平调度器
D. 优先级调度器
6. Client 端上传文件的时候下列哪项正确？（ B ）
A. 数据经过 NameNode 传递给 DataNode
B. Client 端将文件切分为 Block，依次上传
C. Client 只上传数据到一台 DataNode，然后由 NameNode 负责 Block 复制工作
D. 以上都不正确
7. 在实验集群的master节点使用jps命令查看进程时，终端出现以下哪项能说明Hadoop 主节点启动成功？（ D ）
A. Namenode, Datanode, TaskTracker
B. Namenode, Datanode, secondaryNameNode
C. Namenode, Datanode, HMaster
D. Namenode, JobTracker, secondaryNameNode
8. 若不针对MapReduce编程模型中的key和value值进行特别设置，下列哪一项是MapReduce不适宜的运算。（ D ）
A. Max
B. Min
C. Count
D. Average
9. MapReduce编程模型，键值对
A. WritableComparable
B. Comparable
C. Writable
D. LongWritable
10. 以下哪一项属于非结构化数据。（C）
A. 企业ERP数据
B. 财务系统数据
C. 视频监控数据
D. 日志数据
11. HBase数据库的BlockCache缓存的数据块中，哪一项不一定能提高效率。（ D ）
A. –ROOT-表
B. .META.表
C. HFile index
D. 普通的数据块
12. HBase是分布式列式存储系统，记录按什么集中存放。（ A ）
A. 列族
B. 列
C. 行
D. 不确定
13. HBase的Region组成中，必须要有以下哪一项。（ B ）
A. StoreFile
B. MemStore
C. HFile
D. MetaStore
14. 客户端首次查询HBase数据库时，首先需要从哪个表开始查找。（ B ）
A. .META.
B. –ROOT-
C. 用户表
D. 信息表
15、设计分布式数据仓库hive的数据表时，为取样更高效，一般可以对表中的连续字段进行什么操作。（ A ）
A. 分桶
B. 分区
C. 索引
D. 分表
二、判断题(每题 2 分，共 16 分)
请在下表中填写√或者×，写在试题后无效。
1.Hadoop 支持数据的随机读写。（hbase支持，hadoop不支持）（错）
2. NameNode 负责管理元数据信息metadata，client 端每次读写请求，它都会从磁盘中读
取或会写入 metadata 信息并反馈给 client 端。（内存中读取）（错）
3. MapReduce 的 input split 一定是一个 block。（默认是）（错）
4. MapReduce适于PB级别以上的海量数据在线处理。（离线）（错）
5. 链式MapReduce计算中，对任意一个MapReduce作业，Map和Reduce阶段可以有无限个
Mapper，但Reducer只能有一个。（对）
6. MapReduce计算过程中，相同的key默认会被发送到同一个reduce task处理。（对）
7. HBase对于空（NULL）的列，不需要占用存储空间。（没有则空不存储）（对）
8. HBase可以有列，可以没有列族（column family）。（有列族）（错）
三、简答题(每小题 5 分，共 20 分)
1. 简述大数据技术的特点。
答：Volume（大体量）：即可从数百TB到数十数百PB、甚至EB规模。
Variety（多样性）：即大数据包括各种格式和形态的数据。
Velocity（时效性）：即很多大数据需要在一定的时间限度下得到及时处理。
Veracity（准确性）：即处理的结果要保证一定的准确性。
Value（大价值）：即大数据包含很多深度的价值，大数据分析挖掘和利用带来巨大的商业价值。
2. 启动Hadoop系统，当使用bin/start-all.sh命令启动时，请给出集群各进程启动顺序。
答：启动顺序：
namenode –> datanode -> secondarynamenode -> resourcemanager -> nodemanage r
3. 简述HBase的主要技术特点。
答：（1）列式存储
（2）表数据是稀疏的多维映射表
（3）读写的严格一致性
（4）提供很高的数据读写速度
（5）良好的线性可扩展性
（6）提供海量数据
（7）数据会自动分片
（8）对于数据故障，hbase是有自动的失效检测和恢复能力。（9）提供了方便的与HDFS和MAPREDUCE集成的能力。
4. Hive数据仓库中，创建了以下外部表，请给出对应的HQL查询语句
CREATE EXTERNAL TABLE sogou_ext (
ts STRING, uid STRING, keyword STRING,
rank INT, order INT, url STRING,
year INT, month INT, day INT, hour INT
)
COMMENT 'This is the sogou search data of extend data'
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '\t'
STORED AS TEXTFILE
LOCATION '/sogou_ext/20160508';
（1）给出独立uid总数的HQL语句
答：select count(distinct UID) from sogou_ext;
（2）对于keyword，给出其频度最高的20个词的HQL语句
答：select keyword from sogou_ext group by keyword order by order desc limit 20;
四、设计题(每小题 8 分，共 24 分)
1. 100万个字符串，其中有些是相同的（重复），需要把重复的全部去掉，保留没有重复的字符串。请结合MapReduce编程模型给出设计思路或核心代码。
P228
Public static class ProjectionMap extends Mapper
{
Private int clo;
Project void setup(Context context) throws IOException,InterruptedException{
Col=context.getConfiguration().getInt(“col”,0);
}
Public void map(LongWritable offset,Text line,Context context){
RelationA record=new RelationA (line.toString());
Context.write(newText(record.getCol(col)),NullWritable.get());
}
}
REDUCE端实现代码：
Public static class ProjectionRedice extends Reducer
Public void reduce(Text key,Iterable
Context.write(key,NullWritable.get());
}
2. 倒排索引设计。
有一个文档库，包含有大量的文档，现需要使用MapReduce编程技术对文档内容建立一个倒排索引库。要求Reduce最后输出键值对为<单词, 文件名#偏移量>，并且前后输出的相同的key 所对应的文件名是字典序的。如
word1 doc1#200
word1 doc2#10
word2 doc2#10
假设在map阶段已经获取了当前split分片的文件名是 String filename。请按要求给出设计思路或核心代码。
Map(){
String filename=fileSplit.getPath().getName();
String temp=new String();
String line=value.toString().toLowerCase();
StringTokenizer iter=new StringTokenizer(line);
For(;itr.hasMoreTokens();){
Temp=iter.nextToken();
If(!stopwords contains(temp)){
Text word=new Text();
Word.set(temp+”#”+fileName);
Context.write(word,new IntWritable(1));
}
}
}
Reducer{
Private IntWritable result=new IntWritable();
Public void reduce(Text ,key,Iterable
Int sum=0;
For(InWritable val:values){
Sum+=val.get();
}
Result.set(sum);
Context.write(key,result);
}
}
3. 请在下面程序的下划线中补充完整程序（共8处）。
public class WordCount {
public static class TokenizerMapper extends
Mapper< Object, Text , Text, IntWritable> {
private final static IntWritable one = new IntWritable(1);
private Text word = new Text();
public void map(LongWritable key, Text value, Context context){
StringTokenizer itr = new StringTokenizer(value.toString());
while (itr.hasMoreTokens()) {
word.set(itr.nextToken());
context.write(word, one);
}
}
}
public static class IntSumReducer extends
Reducer< Text, IntWritable, Text, IntWritable> { private IntWritable result = new IntWritable();
public void reduce( Texy key, Iterable< IntWritable> values, Context context) {
int sum = 0;
for (IntWritable val : values) {
sum += val.get();
}
result.set(sum);
context.write(key, result);
}
}
public static void main(String[] args) throws Exception {
略……
}
}
五、开放题(每小题 10 分，共 10 分)
1. 谈谈对Hadoop系统的组成及其基本工作原理的理解。
1.MapReduce并行计算框架
MapReduce并行计算框架是一个并行化程序执行系统。它提供了一个包含Map和Reduce两阶段的并行处理模型和过程，提供一个并行化编程模型和接口，让程序员可以方便快速地编写出大数据并行处理程序。MapReduce以键值对数据输入方式来处理数据，并能自动完成数据的划分和调
度管理。在程序执行时，MapReduce并行计算框架将负责调度和分配计算资源，划分和输入输出数据，调度程序的执行，监控程序的执行状态，并负责程序执行时各计算节点的同步以及中间结果的收集整理。MapReduce框架提供了一组完整的供程序员开发MapReduce应用程序的编程接口。
2.分布式文件系统HDFS
HDFS（Hadoop Distributed File System）是一个类似于Google GFS的开源的分布式文件系统。它提供了一个可扩展、高可靠、高可用的大规模数据分布式存储管理系统，基于物理上分布在各个数据存储节点的本地Linux系统的文件系统，为上层应用程序提供了一个逻辑上成为整体的大规模数据存储文件系统。与GFS类似，HDFS采用多副本（默认为3个副本）数据冗余存储机制，并提供了有效的数据出错检测和数据恢复机制，大大提高了数据存储的可靠性。
3.分布式数据库管理系统HBase
为了克服HDFS难以管理结构化/半结构化海量数据的缺点，Hadoop提供了一个大规模分布式数据库管理和查询系统HBase。HBase是一个建立在HDFS之上的分布式数据库，它是一个分布式可扩展的NoSQL数据库，提供了对结构化、半结构化甚至非结构化大数据的实时读写和随机访问能力。HBase提供了一个基于行、列和时间戳的三维数据管理模型，HBase中每张表的记录数（行数）可以多达几十亿条甚至更多，每条记录可以拥有多达上百万的字段。
4.公共服务模块Common
Common是一套为整个Hadoop系统提供底层支撑服务和常用工具的类库和API编程接口，这些底层服务包括Hadoop抽象文件系统FileSystem、远程过程调用RPC、系统配置工具Configuration 以及序列化机制。在0.20及以前的版本中，Common包含HDFS、MapReduce和其他公共的项目内容；从0.21版本开始，HDFS和MapReduce被分离为独立的子项目，其余部分内容构成Hadoop Common。
5.数据序列化系统Avro Avro是一个数据序列化系统，用于将数据结构或数据对象转换成便于数据存储和网络传输的格式。Avro提供了丰富的数据结构类型，快速可压缩的二进制数据格式，存储持久性数据的文件集，远程调用RPC和简单动态语言集成等功能。
6.分布式协调服务框架Zookeeper
Zookeeper是一个分布式协调服务框架，主要用于解决分布式环境中的一致性问题。Zookeeper 主要用于提供分布式应用中经常需要的系统可靠性维护、数据状态同步、统一命名服务、分布式应用配置项管理等功能。Zookeeper可用来在分布式环境下维护系统运行管理中的一些数据量不大的重要状态数据，并提供监测数据状态变化的机制，以此配合其他Hadoop子系统（如HBase、Hama等）或者用户开发的应用系统，解决分布式环境下系统可靠性管理和数据状态维护等问题。
7.分布式数据仓库处理工具Hive
Hive是一个建立在Hadoop之上的数据仓库，用于管理存储于HDFS或HBase中的结构化/半结构化数据。它最早由Facebook开发并用于处理并分析大量的用户及日志数据，2008年Facebook
将其贡献给Apache成为Hadoop开源项目。为了便于熟悉SQL的传统数据库使用者使用Hadoop 系统进行数据查询分析，Hive允许直接用类似SQL的HiveQL查询语言作为编程接口编写数据查询分析程序，并提供数据仓库所需要的数据抽取转换、存储管理和查询分析功能，而HiveQL语句在底层实现时被转换为相应的MapReduce程序加以执行。
8.数据流处理工具Pig
Pig是一个用来处理大规模数据集的平台，由Yahoo!贡献给Apache成为开源项目。它简化了使用Hadoop进行数据分析处理的难度，提供一个面向领域的高层抽象语言Pig Latin，通过该语言，程序员可以将复杂的数据分析任务实现为Pig操作上的数据流脚本，这些脚本最终执行时将被系统自动转换为MapReduce任务链，在Hadoop上加以执行。Yahoo!有大量的MapReduce作业是通过Pig实现的。
9.键值对数据库系统Cassandra
Cassandra是一套分布式的K-V型的数据库系统，最初由Facebook开发，用于存储邮箱等比较简单的格式化数据，后Facebook将Cassandra贡献出来成为Hadoop开源项目。Cassandra以Amazon专有的完全分布式Dynamo为基础，结合了Google BigTable基于列族（Column Family）的数据模型，提供了一套高度可扩展、最终一致、分布式的结构化键值存储系统。它结合了Dynamo 的分布技术和Google的Bigtable数据模型，更好地满足了海量数据存储的需求。同时，Cassandra 变更垂直扩展为水平扩展，相比其他典型的键值数据存储模型，Cassandra提供了更为丰富的功能。
10.日志数据处理系统Chukwa
Chukwa是一个由Yahoo！贡献的开源的数据收集系统，主要用于日志的收集和数据的监控，并与MapReduce协同处理数据。Chukwa是一个基于Hadoop的大规模集群监控系统，继承了Hadoop系统的可靠性，具有良好的适应性和扩展性。它使用HDFS来存储数据，使用MapReduce来处理数据，同时还提供灵活强大的辅助工具用以分析、显示、监视数据结果。
11.科学计算基础工具库Hama
Hama是一个基于BSP并行计算模型（Bulk Synchronous Parallel，大同步并行模型）的计算框架，主要提供一套支撑框架和工具，支持大规模科学计算或者具有复杂数据关联性的图计算。Hama 类似Google公司开发的Pregel，Google利用Pregel来实现图遍历（BFS）、最短路径（SSSP）、PageRank等计算。Hama可以与Hadoop的HDSF进行完美的整合，利用HDFS对需要运行的任务和数据进行持久化存储。由于BSP在并行化计算模型上的灵活性，Hama框架可在大规模科学计算和图计算方面得到较多应用，完成矩阵计算、排序计算、PageRank、BFS等不同的大数据计算和处理任务。
12.数据分析挖掘工具库Mahout
Mahout来源于Apache Lucene子项目，其主要目标是创建并提供经典的机器学习和数据挖掘并行化算法类库，以便减轻需要使用这些算法进行数据分析挖掘的程序员的编程负担，不需要自己再去实现这些算法。Mahout现在已经包含了聚类、分类、推荐引擎、频繁项集挖掘等广泛使用的机器学习和数据挖掘算法。此外，它还提供了包含数据输入输出工具，以及与其他数据存储管理系统进行数据集成的工具和构架。
13.关系数据交换工具Sqoop
Sqoop是SQL-to-Hadoop的缩写，是一个在关系数据库与Hadoop平台间进行快速批量数据交换的工具。它可以将一个关系数据库中的数据批量导入Hadoop的HDFS、HBase、Hive中，也可以反过来将Hadoop平台中的数据导入关系数据库中。Sqoop充分利用了Hadoop MapReduce的并行化优点，整个数据交换过程基于MapReduce实现并行化的快速处理。
14.日志数据收集工具Flume
Flume是由Cloudera开发维护的一个分布式、高可靠、高可用、适合复杂环境下大规模日志数据采集的系统。它将数据从产生、传输、处理、输出的过程抽象为数据流，并允许在数据源中定义数据发送方，从而支持收集基于各种不同传输协议的数据，并提供对日志数据进行简单的数据过滤、格式转换等处理能力。输出时，Flume可支持将日志数据写往用户定制的输出目标。
我们在上一篇文章中给大家介绍了大数据的部分核心技术，分别是数据挖掘和机器学习。在大数据中，数据挖掘和机器学习都是发挥了不同的功能。在这篇文章中我们给大家介绍一下人工智能和其他大数据处理的基础技术，希望这篇文章能能够给大家带来帮助。 首先说说人工智能，AI和大数据是相互促进的关系，一方面，AI基础理论技术的发展为大数据机器学习和数据挖掘提供了更丰富的模型和算法，如近几年的深度学习一系列技术和方法；另一方面，大数据为AI的发展提供了新的动力和燃料，数据规模大了之后，传统机器学习算法面临挑战，要做并行化、要加速要改进。AI的终极目标是机器智能化拟人化，机器能完成和人一样的工作，人脑仅凭几十瓦的功率，能够处理种种复杂的问题，怎样看都是很神奇的事情。虽然机器的计算能力比人类强很多，但人类的理解能力，感性的推断，记忆和幻想，心理学等方面的功能，机器是难以比肩的，所以机器要拟人化很难单从技术角度把人工智能讲清楚。人工智能与机器学习的关系，两者的相当一部分技术、算法都是重合的，深度学习在计算机视觉和思考等领域取得了巨大的成功，但是如果真正的做到仿生，还是比较困难的。 然后就是其它大数据处理基础技术。一般来说，大数据除了之前提到的内容，还有很多的基础技术，大数据基础技术包括计算机科学相关如编程、云计算、分布式计算、系统架构设计等方向，还有机器学习的理论基础包括如算法、数据结构、概率论、代数、矩阵分析、统计
学习、特征工程等方面；商业分析与理解如领域知识管理、产品设计、可视化等技术；数据管理如数据采集、数据预处理、数据库、数据仓库、信息检索、多维分析、分布式存储等技术。这些理论与技术是为大数据的基础管理、机器学习和应用决策等多个方面服务的。只有掌握了这些内容，我们才能够更好的使用大数据为我们发挥更多的功能。 以上的内容就是小编为大家介绍的大数据的核心技术了。大数据的核心技术就是数据挖掘、机器学习、人工智能和其他的大数据处理基础技术，最后感谢大家的阅读。
：首页 > 技术文库 > 技术服务 > 信息产业化 > 文章内容:云计算的五大核心技术 云计算的五大核心技术 云计算的五大核心技术 newmaker 云计算系统运用了很多技术，其中以编程模型、数据治理技术、数据存 储技术、虚拟化技术、云计算平台治理技术最为关键。 1)编程模型 MapReduce是Google开发的java、Python、C++编程模型，它是一种简化的分布式编程模型和高效的任务调度模型，用于大规模数据集（大于1TB）的并行运算。严格的编程模型使云计算环境下的编程十分简单。MapReduce 模式的思想是将要执行的题目分解成Map(映射)和Reduce(化简)的方式，先通过Map程序将数据切割成不相关的区块，分配（调度）给大量计算机处理，达到分布式运算的效果，再通过Reduce程序将结果汇整输出。 2) 海量数据分布存储技术 云计算系统由大量服务器组成，同时为大量用户服务，因此云计算系统采用分布式存储的方式存储数据，用冗余存储的方式保证数据的可靠性。云计算系统中广泛使用的数据存储系统是Google的GFS和Hadoop团队开发的GFS 的开源实现HDFS。 GFS即Google文件系统（Google File System），是一个可扩展的分布式文件系统，用于大型的、分布式的、对大量数据进行访问的应用。GFS的设计思想不同于传统的文件系统，是针对大规模数据处理和Google应用特性而设计的。它运行于廉价的普通硬件上，但可以提供容错功能。它可以给大量的用户提供总体性能较高的服务。 一个GFS集群由一个主服务器（master）和大量的块服务器(chunkserver)构成，并被很多客户（Client）访问。主服务器存储文件系统所以的元数据，包括名字空间、访问控制信息、从文件到块的映射以及块确当前位置。它也控制系统范围的活动，如块租约（lease）治理，孤儿块的垃圾收集，块服务器间的块迁移。主服务器定期通过HeartBeat 消息与每一个块服务器通讯，给块服务器传递指令并收集它的状态。GFS中的文件被切分为64MB的块并以冗余存储，每份数据在系统中保存3个以上备份。
4大数据参考架构和关键技术 4.1大数据参考架构 大数据作为一种新兴技术，目前尚未形成完善、达成共识的技术标准体系。本章结合NIST 和JTC1/SC32的研究成果，结合我们对大数据的理解和分析，提出了大数据参考架构（见图5）。 图5 大数据参考架构图 大数据参考架构总体上可以概括为“一个概念体系，二个价值链维度”。“一个概念体系”是指它为大数据参考架构中使用的概念提供了一个构件层级分类体系,即“角色—活动—功能组件”，用于描述参考架构中的逻辑构件及其关系；“二个价值链维度”分别为“IT价值链”和“信息价值链”，其中“IT价值链”反映的是大数据作为一种新兴的数据应用范式对IT技术产生的新需求所带来的价值，“信息价值链”反映的是大数据作为一种数据科学方法论对数据到知识的处理过程中所实现的信息流价值。这些内涵在大数据参考模型图中得到了体现。 大数据参考架构是一个通用的大数据系统概念模型。它表示了通用的、技术无关的大数据系统的逻辑功能构件及构件之间的互操作接口，可以作为开发各种具体类型大数据应用系统架构的通用技术参考框架。其目标是建立一个开放的大数据技术参考架构，使系统工程师、数据科学家、软件开发人员、数据架构师和高级决策者，能够在可以互操作的大数据生态系统中制定一个解决方案，解决由各种大数据特征融合而带来的需要使用多种方法的问题。它提供了一个通用的大数据应用系统框架，支持各种商业环境，包括紧密集成的企业系统和松散耦合的垂直行业，有助于理解大数据系统如何补充并有别于已有的分析、商业智能、数据库等传统的数据应用系统。
大数据参考架构采用构件层级结构来表达大数据系统的高层概念和通用的构件分类法。从构成上看，大数据参考架构是由一系列在不同概念层级上的逻辑构件组成的。这些逻辑构件被划分为三个层级，从高到低依次为角色、活动和功能组件。最顶层级的逻辑构件是角色，包括系统协调者、数据提供者、大数据应用提供者、大数据框架提供者、数据消费者、安全和隐私、管理。第二层级的逻辑构件是每个角色执行的活动。第三层级的逻辑构件是执行每个活动需要的功能组件。 大数据参考架构图的整体布局按照代表大数据价值链的两个维度来组织，即信息价值链（水平轴）和IT价值链（垂直轴）。在信息价值链维度上，大数据的价值通过数据的收集、预处理、分析、可视化和访问等活动来实现。在IT价值链维度上，大数据价值通过为大数据应用提供存放和运行大数据的网络、基础设施、平台、应用工具以及其他IT服务来实现。大数据应用提供者处在两个维的交叉点上，表明大数据分析及其实施为两个价值链上的大数据利益相关者提供了价值。 五个主要的模型构件代表在每个大数据系统中存在的不同技术角色：系统协调者、数据提供者、大数据应用提供者、大数据框架提供者和数据消费者。另外两个非常重要的模型构件是安全隐私与管理，代表能为大数据系统其他五个主要模型构件提供服务和功能的构件。这两个关键模型构件的功能极其重要，因此也被集成在任何大数据解决方案中。 参考架构可以用于多个大数据系统组成的复杂系统（如堆叠式或链式系统），这样其中一个系统的大数据使用者可以作为另外一个系统的大数据提供者。 参考架构逻辑构件之间的关系用箭头表示，包括三类关系：“数据”、“软件”和“服务使用”。“数据”表明在系统主要构件之间流动的数据，可以是实际数值或引用地址。“软件”表明在大数据处理过程中的支撑软件工具。“服务使用”代表软件程序接口。虽然此参考架构主要用于描述大数据实时运行环境，但也可用于配置阶段。大数据系统中涉及的人工协议和人工交互没有被包含在此参考架构中。 （1）系统协调者 系统协调者角色提供系统必须满足的整体要求，包括政策、治理、架构、资源和业务需求，以及为确保系统符合这些需求而进行的监控和审计活动。系统协调者角色的扮演者包括业务领导、咨询师、数据科学家、信息架构师、软件架构师、安全和隐私架构师、网络架构师等。系统协调者定义和整合所需的数据应用活动到运行的垂直系统中。系统协调者通常会涉及到更多具体角色，由一个或多个角色扮演者管理和协调大数据系统的运行。这些角色扮演者可以是人，软件或二者的结合。系统协调者的功能是配置和管理大数据架构的其他组件，来执行一个或多个工作负载。这些由系统协调者管理的工作负载，在较低层可以是把框架组件分配或调配到个别物理或虚拟节点上，在较高层可以是提供一个图形用户界面来支持连接多个应用程序和组件的工作流规范。系统协调者也可以通过管理角色监控工作负载和系统，以确认每个工作负载都达到了特定的服务质量要求，还可能弹性地分配和提供额外的物理或虚拟资源，以满足由变化/激增的数据或用户/交易数量而带来的工作负载需求。 （2）数据提供者 数据提供者角色为大数据系统提供可用的数据。数据提供者角色的扮演者包括企业、公共代理机构、研究人员和科学家、搜索引擎、Web/FTP和其他应用、网络运营商、终端用户等。在一个大数据系统中，数据提供者的活动通常包括采集数据、持久化数据、对敏感信息进行
精心整理 岭南师范学院2015年－2016 学年度第二学期 期末考试试题A 卷 (考试时间:120分钟) 考试科目：大数据核心技术 1.下面哪个程序负责HDFS 数据存储。 （C ） https://www.doczj.com/doc/3b18121369.html,Node B.Jobtracker C.Datanode D.secondaryNa meNode 2.HDFS 中的block 默认保存几 个备份。（A ） A.3份 B.2份 C.1份 D.不确定 3.HDFS1.0默认BlockSize 大小是多少。（B ） 5.Hadoop1.0默认的调度器策略是哪个。（A ） A.先进先出调度器 B.计 算能力调度器 C.公平调度器 D.优先级 调度器
精心整理 6.Client端上传文件的时候 下列哪项正确？（B） A.数据经过NameNode传 递给DataNode B.Client端将文件切分 为Block，依次上传 C.Client只上传数据到 一台DataNode，然后由NameNode 负责Block复制工作 D.以上都不正确 7.在实验集群的master节点 使用jps 现以下哪项能说明Hadoop 启动成功？（D） econdaryNameNode https://www.doczj.com/doc/3b18121369.html,node,Datanode,H Master https://www.doczj.com/doc/3b18121369.html,node,JobTracker ,secondaryNameNode 8.若不针对MapReduce编程 模型中的key和value值进行特别 设置，下列哪一项是MapReduce 不适宜的运算。（D） A.Max B.Min C.Count D.Average 对 10.以下哪一项属于非结构化 C） A.企业ERP数据 B.财务系 统数据 C.视频监控数据 D.日志 数据 11.HBase数据库的 BlockCache缓存的数据块中，哪 一项不一定能提高效率。（D） A.–ROOT-表 B..META.表
大数据的五大关键技术 大数据技术，就是从各种类型的数据中快速获得有价值信息的技术。大数据领域已经涌现出了大量新的技术，它们成为大数据采集、存储、处理和展现的有力武器。 一、大数据接入 1、大数据接入 已有数据接入、实时数据接入、文件数据接入、消息记录数据接入、文字数据接入、图片数据接入、视屏数据接入 2、大数据接入技术 Kafka、ActiveMQ、ZeroMQ、Flume、Sqoop、Socket(Mina、Netty)、ftp/sftp 二、大数据存储 1、大数据存储 结构化数据存储、半结构化数据存储、非结构化数据存储 2、大数据存储技术 Hdfs、Hbase、Hive、S3、Kudu、MongoDB、Neo4J 、Redis、Alluxio(Tachyon)、Lucene、Solr、ElasticSearch 三、数据分析挖掘 1、大数据分析与挖掘 离线分析、准实时分析、实时分析、图片识别、语音识别、机器学习
2、大数据分析与挖掘技术 MapReduce、Hive、Pig、Spark、Flink、Impala、Kylin、Tez、Akka、Storm、S4、Mahout、MLlib 四、大数据共享交换 1、大数据共享交换 数据接入、数据清洗、转换、脱敏、脱密、数据资产管理、数据导出 2、大数据共享交换技术 Kafka、ActiveMQ、ZeroMQ、Dubbo、Socket(Mina、Netty)、ftp/sftp、RestFul、Web Service 五、大数据展现 1、大数据展现 图化展示（散点图、折线图、柱状图、地图、饼图、雷达图、K线图、箱线图、热力图、关系图、矩形树图、平行坐标、桑基图、漏斗图、仪表盘），文字展示； 2、大数据展现技术 Echarts、Tableau 国家规划大数据产业发展战略，各行各业需要大数据技术支撑指数级的数据增量服务，越来越多的企业逐渐转型于大数据，大数据方面市场需求呈爆发式增长。为了应对大数据人才的缺乏，加米谷大数据培训中心制定了全流程的大数据课程，主要包括Linux、java、CentOS、mysql、HDFS、Hadoop、Hbase、Hive、Kafka、Spark、Storm等。除了在理论方面深入讲解外，还有对应代码实战，全流程学完之后会有实战大数据项目，整体把控学习效果，教学目的旨在提高学员实战能力，真实提升自身大数据能力。
大数据安防中的三种关键技术及五大挑战 1.大数据 在安防行业，随着前端设备分辨率的不断提高、安防系统建设规模的不断扩大以及视频、图片数据存储的时间越来越长，安防大数据问题日益凸显。如何有效对数据进行存储、共享以及应用变得愈加重要。要应用安防大数据，首先要了解安防大数据有何特点。 安防大数据涉及的类型比较多，主要包含结构化、半结构化和非结构化的数据信息。其中结构化数据主要包括报警记录、系统日志、运维数据、摘要分析结构化描述记录以及各种相关的信息数据库，如人口库、六合一系统信息等；半结构化数据如人脸建模数据、指纹记录等；而非结构化数据主要包括视频录像和图片记录，如监控、报警、视频摘要等录像信息和卡口、人脸等图片信息。区别于其他行业大数据特点，安防大数据以非结构化的视频和图片为主，如何对非结构化的数据进行分析、提取、挖掘及处理，对安防行业提出了更多挑战。 大数据 对于安防视频图像数据，传统的处理方式主要靠事后人工查阅来完成，效率极低。面对海量的安防数据，如果继续采用传统方式，不仅效率低下，而且不能达到实战应用目的，偏离了安防系统建设目的。为充分利用安防系统价值，提升对安防大数据的应用能力，大华股份(002236,股吧)从多层次、全方位考虑产品和方案规划，不断提升对于安防有效信息的快速挖掘能力。 要提升安防大数据的处理效率，首先要从智能分析做起，快速过滤无效信息。大华智能分析从多维度、多产品形态来实现。如对于事件检测、行为分析、异常情况报警等，大华前端、存储以及平台系统产品都能够快速实现智能检测，并通知系统对事件进行快速响应，这些产品从某种层面上将安防有效数据的分析分散化，大大加快了整个系统的大数据处理应用速度。此外，大华还推出了基于云存储系统的大数据应用系统，如视频编解码系统、车辆研判系统、以图搜图系统、视频浓缩摘要系统、人脸识别系统以及车型识别系统等等。 大数据安防应用的几种关键技术 1）大数据融合技术 经过十几年的发展，国内安防系统建设基本形成了是以平安城市、智能交通系统为主体，其他行业系统有效完善的发展态势。而“重建设、轻应用”的现况给安防应用提出了更高要求，如何解决这些问题成为当务之急。 为实现数据融合、数据共享，首先要解决存储“分散”问题，大华云存储系统不仅能够实现数据的有效融合与共享，解决系统在硬件设备故障条件下视频数据的正常存储和数据恢复问题，为安防大数据应用分析提供可靠基础。 2）大数据处理技术 安防大数据以半结构化和非结构化数据居多，要实现对安防大数据的分析和信息挖掘，首先要解决数据结构化问题。所谓的数据结构化就是通过某种方式将半结构化和非结构化数据转换为结构化数据。大华通过采用先进的云计算系统对安防非结构化数据进行结构化处理，
大数据关键技术 大数据技术，就就是从各种类型得数据中快速获得有价值信息得技术。大数据领域已经涌现出了大量新得技术，它们成为大数据采集、存储、处理与呈现得有力武器. 大数据处理关键技术一般包括:大数据采集、大数据预处理、大数据存储及管理、大数据分析及挖掘、大数据展现与应用(大数据检索、大数据可视化、大数据应用、大数据安全等)。 一、大数据采集技术 数据就是指通过RFIＤ射频数据、传感器数据、社交网络交互数据及移动互联网数据等方式获得得各种类型得结构化、半结构化（或称之为弱结构化）及非结构化得海量数据，就是大数据知识服务模型得根本.重点要突破分布式高速高可靠数据爬取或采集、高速数据全映像等大数据收集技术;突破高速数据解析、转换与装载等大数据整合技术;设计质量评估模型,开发数据质量技术。 大数据采集一般分为大数据智能感知层：主要包括数据传感体系、网络通信体系、传感适配体系、智能识别体系及软硬件资源接入系统，实现对结构化、半结构化、非结构化得海量数据得智能化识别、定位、跟踪、接入、传输、信号转换、监控、初步处理与管理等。必须着重攻克针对大数据源得智能识别、感知、适配、传输、接入等技术．基础支撑层：提供大数据服务平台所需得虚拟服务器,结构化、半结构化及非结构化数据得数据库及物联网络资源等基础支撑环境。
重点攻克分布式虚拟存储技术,大数据获取、存储、组织、分析与决策操作得可视化接口技术,大数据得网络传输与压缩技术,大数据隐 私保护技术等． 二、大数据预处理技术 主要完成对已接收数据得辨析、抽取、清洗等操作。1)抽取:因获取得数据可能具有多种结构与类型,数据抽取过程可以帮助我们将这些复杂得数据转化为单一得或者便于处理得构型,以达到快速分析处理得目得。2)清洗:对于大数据，并不全就是有价值得,有些数据并不就是我们所关心得内容,而另一些数据则就是完全错误得干扰项，因此要对数据通过过滤“去噪”从而提取出有效数据. 三、大数据存储及管理技术 大数据存储与管理要用存储器把采集到得数据存储起来,建立相 应得数据库,并进行管理与调用。重点解决复杂结构化、半结构化与非结构化大数据管理与处理技术。主要解决大数据得可存储、可表示、可处理、可靠性及有效传输等几个关键问题。开发可靠得分布式文件系统（DFS）、能效优化得存储、计算融入存储、大数据得去冗余及高效低成本得大数据存储技术；突破分布式非关系型大数据管理与处理技术，异构数据得数据融合技术,数据组织技术,研 究大数据建模技术;突破大数据索引技术;突破大数据移动、备份、复制等技术；开发大数据可视化技术. 开发新型数据库技术，数据库分为关系型数据库、非关系型数据库以及数据库缓存系统。其中，非关系型数据库主要指得就是NoSＱ
大数据核心技术培训 你学或者不学，大数据依旧在发展；你从事或者不从事，大数据的前景你都应该了解。时代的前进方向，未来的领先技术，作为时代的年轻人，你不知道就真的会被社会所淘汰的。大数据的发展前景怎么样？未来大数据的发展趋势如何? 近年来，科技的快速发展推动了企业在数据生成、储存等多方面的需求增长。所以在企业爆炸式的大数据时代下，剧增了原有数据存的储存压力，所以大数据人才需求量将会与日俱增。所以大数据在未来就业前景一定非常广阔，在此千锋教育带大家了解大数据的发展趋势。 数据分析成为大数据技术的核心 大数据的价值体现在对大规模数据集合的智能处理方面，进而在大规模的数据中获取有用的信息。要想逐步实现这个功能，就必须对数据进行分析和挖掘。而数据的采集、存储、和管理都是数据分析步骤的基础，通过进行数据分析得到的结果，将应用于大数据相关的各个领域。 云数据分析平台将更加完善 近几年来，云计算技术发展迅猛，与此相应的应用范围也越来越宽。云计算的发展为大数据技术的发展提供了一定的数据处理平台和技术支持。云计算为大
数据提供了分布式的计算方法、可以弹性扩展、相对便宜的存储空间和计算资源，这些都是大数据技术发展中十分重要的组成部分。随着云计算技术的不断发展和完善，发展平台的日趋成熟，大数据技术自身将会得到快速提升，数据处理水平也会得到显著提升。 开源软件的发展成为推动大数据发展的新动力 开源软件是在大数据技术发展的过程中不断研发出来的。这些开源软件对各个领域的发展、人们的日常生活具有十分重要的作用。开源软件的发展可以适当的促进商业软件的发展，以此作为推动力，从而更好地服务于应用程序开发工具、应用、服务等各个不同的领域。 由于大数据行业快速发展，人才需求急剧增加。目前，据某招聘网站平台数据，目前大数据人才的供给量远远低于行业人才需求。所以大数据培训应运而生，作为连接人才与企业的窗口，千锋大数据培训成为了为企业提供大数据人才强而有力的保障。 千锋大数据培训讲师经过多年的培训经验，结合学员的学习曲线，设计合理的项目进阶课程，让学员逐渐掌握做项目的方法方式，培训真正的项目经验。不
岭南师范学院2015 年－ 2016 学年度第二学期 期末考试试题A卷 (考试时间: 120 分钟) 考试科目：大数据核心技术 一、单项选择题(每小题 2 分，共 30 分) 请把答案写在下表中，写在试题后无效。 1. 下面哪个程序负责 HDFS 数据存储。（C ） A. NameNode B. Jobtracker C. Datanode D. secondaryNameNode 2. HDFS 中的 block 默认保存几个备份。（ A ） A. 3 份 B. 2 份 C. 1 份 D. 不确定 3. HDFS1.0 默认 Block Size大小是多少。（ B ） A. 32MB B. 64MB C. 128MB D. 256MB 4. 下面哪个进程负责 MapReduce 任务调度。（ B ） A. NameNode B. Jobtracker C. TaskTracker D. secondaryNameNode 5. Hadoop1.0默认的调度器策略是哪个。（ A ） A. 先进先出调度器 B. 计算能力调度器 C. 公平调度器 D. 优先级调度器 6. Client 端上传文件的时候下列哪项正确？（ B ） A. 数据经过 NameNode 传递给 DataNode B. Client 端将文件切分为 Block，依次上传 C. Client 只上传数据到一台 DataNode，然后由 NameNode 负责 Block 复制工作 D. 以上都不正确 7. 在实验集群的master节点使用jps命令查看进程时，终端出现以下哪项能说明Hadoop 主节点启动成功？（ D ） A. Namenode, Datanode, TaskTracker B. Namenode, Datanode, secondaryNameNode C. Namenode, Datanode, HMaster D. Namenode, JobTracker, secondaryNameNode 8. 若不针对MapReduce编程模型中的key和value值进行特别设置，下列哪一项是MapReduce不适宜的运算。（ D ） A. Max B. Min C. Count D. Average
大数据开启了一个大规模生产、分享和应用数据的时代，它给技术和商业带来了巨大的变化。 麦肯锡研究表明，在医疗、零售和制造业领域，大数据每年可以提高劳动生产率0.5-1个百 分点。 大数据技术，就是从各种类型的数据中快速获得有价值信息的技术。大数据领域已经涌现出 了大量新的技术，它们成为大数据采集、存储、处理和呈现的有力武器。 大数据关键技术 大数据处理关键技术一般包括：大数据采集、大数据预处理、大数据存储及管理、大数据分 析及挖掘、大数据展现和应用（大数据检索、大数据可视化、大数据应用、大数据安全等）。 然而调查显示，未被使用的信息比例高达99.4%，很大程度都是由于高价值的信息无法获取 采集。 如何从大数据中采集出有用的信息已经是大数据发展的关键因素之一。 因此在大数据时代背景下，如何从大数据中采集出有用的信息已经是大数据发展的关键因素 之一，数据采集才是大数据产业的基石。那么什么是大数据采集技术呢？
什么是数据采集？ ?数据采集(DAQ)：又称数据获取，是指从传感器和其它待测设备等模拟和数字被测单元中自动采集信息的过程。 数据分类新一代数据体系中，将传统数据体系中没有考虑过的新数据源进行归纳与分类，可将其分为线上行为数据与内容数据两大类。 ?线上行为数据：页面数据、交互数据、表单数据、会话数据等。 ?内容数据：应用日志、电子文档、机器数据、语音数据、社交媒体数据等。 ?大数据的主要来源： 1）商业数据 2）互联网数据 3）传感器数据
数据采集与大数据采集区别 传统数据采集 1. 来源单一，数据量相对于大数据较小 2. 结构单一 3. 关系数据库和并行数据仓库 大数据的数据采集 1. 来源广泛，数据量巨大 2. 数据类型丰富，包括结构化，半结构化，非结构化 3. 分布式数据库
我们在之前的文章中提到过，大数据的核心技术就是机器学习、数据挖掘、人工智能以及其 它大数据处理基础技术。在这篇文章中我们给大家详细地介绍一下这些内容，希望这篇文章 能能够给大家带来帮助。 首先说一下机器学习，一般数据分析师都知道，机器学习是大数据处理承上启下的关键技术，机器学习往上是深度学习、人工智能，机器学习往下是数据挖掘和统计学习。机器学习属于 计算机和统计学交叉学科，核心目标是通过函数映射、数据训练、最优化求解、模型评估等 一系列算法实现让计算机拥有对数据进行自动分类和预测的功能。这就需要我们对机器学习 有一个足够的了解。机器学习领域包括很多种类的智能处理算法，分类、聚类、回归、相关 分析等每类下面都有很多算法进行支撑，随着深度学习核心技术的突破性发展，机器学习算 法得以高速扩张。总之大数据处理要智能化，机器学习是核心的核心，深度学习、数据挖掘、商业智能、人工智能，大数据等概念的核心技术就是机器学习，机器学习用于图像处理和识 别就是机器视觉，机器学习用于模拟人类语言就是自然语言处理，机器视觉和自然语言处理 也是支撑人工智能的核心技术，机器学习用于通用的数据分析就是数据挖掘。由于在大数据 条件下图像，语音识别等领域的学习效果显著，有望成为人工智能取得突破的关键性技术， 正因为如此，我们需要重视机器学习。
然后我们说收数据挖掘，数据挖掘是一个较为宽泛的概念，大数据就是从海量数据里面挖掘 有价值有规律的信息同理。数据挖掘核心技术来自于机器学习领域，如深度学习是机器学习 中一类比较火的算法，当然也可以用于数据挖掘。还有传统的商业智能领域也包括数据挖掘，关键是技术能否真正挖掘出有用的信息，然后这些信息可以指导决策。数据挖掘的提法比机 器学习要早，应用范围要广，数据挖掘和机器学习是大数据分析的核心技术，互为支撑，为 大数据处理提供相关模型和算法，而模型和算法是大数据处理的关键，探索式交互式分析、 可视化分析、数据的采集存储和管理等都较少用到学习模型。由此可见，数据挖掘在数据分 析中都是十分重要的事情，更不用说大数据了。 由于篇幅原因我们就给大家介绍了大数据的核心技术的两个，分别是数据挖掘以及机器学习，我们在下一篇文章中给大家介绍更多有用的内容，最后感谢大家的阅读。
从五大行业案例，看大数据的应用逻辑本文从一则搞笑的大数据应用案例入手：某超市通过分析一位女顾客的购物数据（包括购物清单，浏览物品，咨询信息，视频监控信息<超市内徘徊区域>等），根据分析结果给该女顾客寄来了孕婴童试用品，这一举动让该女顾客的父亲非常生气，立马致电该超市投诉，因为她女儿还未成年！超市经理立马登门拜访道歉，不过事实是，不久后这位小女孩因遮盖不住隆起的腹部而不得不向父亲告知真相：她真的怀孕了。对于企业而言，大数据有时候就像是一个侦探家，能够拨开重重迷雾，找到问题的本质以及解决方案，而关键在于，你是否真的懂得如何去驾驭它，让它为你服务。 在经历了喊口号、布局深耕之后，大数据应用开始显现出巨大的商业价值，触角已延伸到零售、金融、教育、医疗、体育、制造、影视、政府等各行各业。随着中国企业数据中心数据存储量的快速增长，非结构化数据呈指数级增长，有效地处理和分析结构化数据和非结构化数据中所富含的对企业和政府有价值的信息将带动新的盈利模式、管理模式、创新模式以及思维模式。 在维克托·迈尔·舍恩伯格的《大数据时代》一书中解释，大数据是指不用随机分析法（抽样调查）这样的捷径，而采用所有数据的方法。随着云时代的来临，大数据也吸引了越来越多的关注。大数据是继云计算、物联网之后IT产业又一次颠覆性的技术变革，消费者的网络足迹是互联网基因，网络中的足迹、点击、浏览、留言直接反映消费者的性格、偏好、意愿等，互联网交互大数据就是研究每个用户碎片行为的过程。大数据对于经济发展、企业决策、组织和业务流程，对个人生活方式等都将产生巨大的影响。 大数据作为当下非常火爆的一个词，其价值不言而喻，今天，《互联网周刊》不谈价值，通过聚拢一些实实在在的应用，如电商，传统金融，互联网金融，医疗，制造五大领域的案例，进而衍射出大数据内在的应用逻辑。 “用户画像”直击零售商需求 在如此激烈而又庞大的市场中，电商们迫切想知道的想必就是用户需求。当这个用户登陆网站的瞬间，就能猜出来这个用户今天为何而来，然后从电商的商品库里面把合适的商品找出来并推荐给他，进而展现出符合客户需求的产品都有哪几款。这种服务是消费者想要的，但是谁能帮助电商们做到呢？
工业互联网的九大核心技术 工业互联网这个话题是由GE公司在2012年率先提出的。这个话题和后来2013年德国提出的工业4.0，可以说搅动了很多企业的神经。 但是这些新的理念并不是空穴来风，它是工业化国家在过去几十年强大的技术积累，以及和互联网结合以后产生的新战略，新的技术布局以及对未来的一种新的愿景。如果我们单从互联网角度去解读这些愿景和战略，我认为是不够的。事实上工业互联网有强大的技术支撑。 在工业互联网领域，我们要想获得持续、稳健的发展，需要具备坚实的技术基础。下面这张图将正在出现的以及未来可能出现的技术要素用结构化的方式展现出来，让大家对工业互联网所形成的技术和系统基础，有一个系统性的了解。
在这个结构当中，最为基础是工业互联网的标准和系统安全体系，不同于已经成熟的商业互联网和人际互联网，工业互联网相关的技术标准还远远没有成形，可以讲不同技术阵营当中的博弈和争夺正在激烈展开。而且系统安全是比较薄弱的环节，这在相当程度上阻碍了工业互联网的开放，和彼此数据的交换。在未来我们可以预见到各个工业化的国家、组织乃至企业，以及科研机构，将围绕标准的设立和系统安全的共识和创建，进行大量的工作。 这些基础性的工作是非常重要的，而且是战略性的。因此我们中国的企业家群体要非常关注这些基础性的工作，要抛弃那些可能假想性的，以及希望快速弯道超车的简单愿望。没有这些基础工作，要实现真正意义上的工业互联，是不可能的。
在此之上还有三个非常关键的技术组件，一个称之为随处可及的超级计算终端。所谓随处可及的超级计算终端，是由传感器、强大的芯片以及因此产生的分布式强大计算能力所带来的，这个是因为芯片技术的普及和IPV6的寻址能力的扩张所带来的。 第二类的组件基础，我们称为软件定义机器。所谓软件定义机器就是强大的、无处不在的超级计算终端，以及我们所使用的工业时代的各种设备的整合以后所出现的一种新的前景。未来硬件虽然重要，但是软件更加重要。硬件作为技术组件，相对软件赋予不同的功能，软件定义硬件和定义机器，将成为未来的大势所趋。 由此产生的数据、模式、方法论和人工智能，将归结在知识工作的自动化领域，这个领域涉及大量新的技术。 在这三个技术组件之上，是关于新型的工业流程。未来的工业流程将突破流程化，或者是离散化的传统定义。随着机器人的深度介入，将使得工业流程和工业生产的过程发生根本性的改变。工业生产将变成真正没有停息的全过程，因为机器人没有疲劳，而且机器人之间将进行深度的交流和自动化处理，使得生产效率突破人类介入方式的瓶颈，达到新的高峰。
第1页，共18页 第2页，共18页 任课教师签名： 命题教师签名： 系主任签名： 主管院长签名： 岭南师范学院2015 年－ 2016 学年度第二学期 期末考试试题A 卷 (考试时间: 120 分钟) 考试科目： 大数据核心技术 一、单项选择题(每小题 2 分，共 30 分) 请把答案写在下表中，写在试题后无效。 1. 下面哪个程序负责 HDFS 数据存储。 （C ） A. NameNode B. Jobtracker C. Datanode D. secondaryNameNode 2. HDFS 中的 block 默认保存几个备份。 （ A ） A. 3 份 B. 2 份 C. 1 份 D. 不确定 3. HDFS1.0 默认 Block Size 大小是多少。 （ B ） A. 32MB B. 64MB C. 128MB D. 256MB 4. 下面哪个进程负责 MapReduce 任务调度。 （ B ） A. NameNode B. Jobtracker C. TaskTracker D. secondaryNameNode 5. Hadoop1.0默认的调度器策略是哪个。 （ A ） A. 先进先出调度器 B. 计算能力调度器 C. 公平调度器 D. 优先级调度器 6. Client 端上传文件的时候下列哪项正确？ （ B ） A. 数据经过 NameNode 传递给 DataNode B. Client 端将文件切分为 Block ，依次上传 C. Client 只上传数据到一台 DataNode ，然后由 NameNode 负责 Block 复制工作 D. 以上都不正确 7. 在实验集群的master 节点使用jps 命令查看进程时，终端出现以下哪项能说明Hadoop 主节点启动成功？ （ D ） A. Namenode, Datanode, TaskTracker B. Namenode, Datanode, secondaryNameNode C. Namenode, Datanode, HMaster
第1页，共16页 第2页，共16页 任课教师签名： 命题教师签名： 系主任签名： 主管院长签名： 岭南师范学院2015 年－ 2016 学年度第二学期 期末考试试题A 卷 (考试时间: 120 分钟) 考试科目： 大数据核心技术 一、单项选择题(每小题 2 分，共 30 分) 请把答案写在下表中，写在试题后无效。 1. 下面哪个程序负责 HDFS 数据存储。 （C ） A. NameNode B. Jobtracker C. Datanode D. secondaryNameNode 2. HDFS 中的 block 默认保存几个备份。 （ A ） A. 3 份 B. 2 份 C. 1 份 D. 不确定 3. HDFS1.0 默认 Block Size 大小是多少。 （ B ） A. 32MB B. 64MB C. 128MB D. 256MB 4. 下面哪个进程负责 MapReduce 任务调度。 （ B ） A. NameNode B. Jobtracker C. TaskTracker D. secondaryNameNode 5. Hadoop1.0默认的调度器策略是哪个。 （ A ） A. 先进先出调度器 B. 计算能力调度器 C. 公平调度器 D. 优先级调度器 6. Client 端上传文件的时候下列哪项正确？ （ B ） A. 数据经过 NameNode 传递给 DataNode B. Client 端将文件切分为 Block ，依次上传 C. Client 只上传数据到一台 DataNode ，然后由 NameNode 负责 Block 复制工作 D. 以上都不正确 7. 在实验集群的master 节点使用jps 命令查看进程时，终端出现以下哪项能说明Hadoop 主节点启动成功？ （ D ） A. Namenode, Datanode, TaskTracker B. Namenode, Datanode, secondaryNameNode C. Namenode, Datanode, HMaster D. Namenode, JobTracker, secondaryNameNode 8. 若不针对MapReduce 编程模型中的key 和value 值进行特别设置，下列哪一项是MapReduce 不适宜的运算。 （ D ） A. Max B. Min C. Count D. Average
岭南师范学院2015 年－2016 学年度第二学期 期末考试试题A卷 (考试时间: 120 分钟) 考试科目：大数据核心技术 一、单项选择题(每小题 2 分，共30 分) 请把答案写在下表中，写在试题后无效。 1. 下面哪个程序负责HDFS 数据存储。（C ） A. NameNode B. Jobtracker C. Datanode D. secondaryNameNode 2. HDFS 中的block 默认保存几个备份。（A ） A. 3 份 B. 2 份 C. 1 份 D. 不确定 3. HDFS1.0 默认Block Size大小是多少。（B ） A. 32MB B. 64MB C. 128MB D. 256MB 4. 下面哪个进程负责MapReduce 任务调度。（B ） A. NameNode B. Jobtracker C. TaskTracker D. secondaryNameNode 5. Hadoop1.0默认的调度器策略是哪个。（A ） A. 先进先出调度器 B. 计算能力调度器 C. 公平调度器 D. 优先级调度器 6. Client 端上传文件的时候下列哪项正确？（ B ） A. 数据经过NameNode 传递给DataNode B. Client 端将文件切分为Block，依次上传 C. Client 只上传数据到一台DataNode，然后由NameNode 负责Block 复制工作 D. 以上都不正确 7. 在实验集群的master节点使用jps命令查看进程时，终端出现以下哪项能说明Hadoop主节点启动成功？（ D ） A. Namenode, Datanode, TaskTracker B. Namenode, Datanode, secondaryNameNode C. Namenode, Datanode, HMaster D. Namenode, JobTracker, secondaryNameNode 8. 若不针对MapReduce编程模型中的key和value值进行特别设置，下列哪一项是MapReduce不适宜的运算。（ D ） A. Max B. Min C. Count D. Average
大数据关键技术大数据技术，就是从各种类型的数据中快速获得有价值信息的技术。大数据领域已经涌现出了大量新的技术，它们成为大数据采 集、存储、处理和呈现的有力武器。 大数据处理关键技术一般包括：大数据采集、大数据预处理、大数据存储及管理、大数据分析及挖掘、大数据展现和应用（大数据检索、大数据可视化、大数据应用、大数据安全等）。 一、大数据采集技术 数据是指通过RFID射频数据、传感器数据、社交网络交互数据及移动互联网数据等方式获得的各种类型的结构化、半结构化（或称之为弱结构化）及非结构化的海量数据，是大数据知识服务模型的根本。重点要突破分布式高速高可靠数据爬取或采集、高速数据全映像等大数据收集技术；突破高速数据解析、转换与装载等大 数据整合技术；设计质量评估模型，开发数据质量技术。 大数据采集一般分为大数据智能感知层：主要包括数据传感体系、网络通信体系、传感适配体系、智能识别体系及软硬件资源接入系统，实现对结构化、半结构化、非结构化的海量数据的智能化识别、定位、跟踪、接入、传输、信号转换、监控、初步处理和管理等。必须着重攻克针对大数据源的智能识别、感知、适配、传输、接入等技术。基础支撑层：提供大数据服务平台所需的虚拟服务器，结构化、半结构化及非结构化数据的数据库及物联网络资源等基础支撑环境。重点攻克分布式虚拟存储技术，大数据获取、存储、组织、分析和决
策操作的可视化接口技术，大数据的网络传输与压缩技术，大数据隐私保护技术等。 二、大数据预处理技术 主要完成对已接收数据的辨析、抽取、清洗等操作。1）抽取：因获取的数据可能具有多种结构和类型，数据抽取过程可以帮助我们将这些复杂的数据转化为单一的或者便于处理的构型，以达到快速分析处理的目的。2）清洗：对于大数据，并不全是有价值的，有些数据并不是我们所关心的内容，而另一些数据则是完全错误的干扰项，因此要对数据通过过滤“去噪”从而提取出有效数据。 三、大数据存储及管理技术 大数据存储与管理要用存储器把采集到的数据存储起来，建立相应的数据库，并进行管理和调用。重点解决复杂结构化、半结构化和非结构化大数据管理与处理技术。主要解决大数据的可存储、可表示、可处理、可靠性及有效传输等几个关键问题。开发可靠的分布式文件系统（DFS）、能效优化的存储、计算融入存储、大数据的去冗余及高效低成本的大数据存储技术；突破分布式非关系型大数据管理与处理技术，异构数据的数据融合技术，数据组织技术，研究大数据建模技术；突破大数据索引技术；突破大数据移动、备份、复制等技术；开发大数据可视化技术。 开发新型数据库技术，数据库分为关系型数据库、非关系型数据库以及数据库缓存系统。其中，非关系型数据库主要指的是NoSQL数据库，分为：键值数据库、列存数据库、图存数据库以及文档数据库
工智能的五大核心技术 计算机视觉、机器学习、自然语言处理、机器人和语音识别是人工智能的五大核心技术。 一、计算机视觉 计算机视觉是指计算机从图像中识别出物体、场景和活动的能力。计算机视觉技术运用由图像处理操作及其他技术所组成的序列，来将图像分析任务分解为便于管理的小块任务。比如，一些技术能够从图像中检测到物体的边缘及纹理，分类技术可被用作确定识别到的特征是否能够代表系统已知的一类物体。 计算机视觉有着广泛的应用，其中包括：医疗成像分析被用来提高疾病预测、诊断和治疗；人脸识别被Facebook 用来自动识别照片里的人物；在安防及监控领域被用来指认嫌疑人；在购物方面，消费者现在可以用智能手机拍摄下产品以获得更多购买选择。 机器视觉作为相关学科，泛指在工业自动化领域的视觉应用。在这些应用里，计算机在高度受限的工厂环境里识别诸如生产零件一类的物体，因此相对于寻求在非受限环境里操作的计算机视觉来说目标更为简单。计算机视觉是一个正在进行中的研究，而机器视觉则是“已经解决的问题”，是系统工程方面的课题而非研究层面的课题。因为应用范围的持续
扩大，某些计算机视觉领域的初创公司自2011年起已经吸引了数亿美元的风投资本。 二、机器学习 机器学习指的是计算机系统无须遵照显式的程序指令，而只依靠数据来提升自身性能的能力。其核心在于，机器学习是从数据中自动发现模式，模式一旦被发现便可用于预测。比如，给予机器学习系统一个关于交易时间、商家、地点、价格及交易是否正当等信用卡交易信息的数据库，系统就会学习到可用来预测信用卡欺诈的模式。处理的交易数据越多，预测就会越准确。 机器学习的应用范围非常广泛，针对那些产生庞大数据的活动，它几乎拥有改进一切性能的潜力。除了欺诈甄别之外，这些活动还包括销售预测、库存管理、石油和天然气勘探，以及公共卫生等。机器学习技术在其他的认知技术领域也扮演着重要角色，比如计算机视觉，它能在海量图像中通过不断训练和改进视觉模型来提高其识别对象的能力。 现如今，机器学习已经成为认知技术中最炙手可热的研究领域之一，在2011~2014年这段时间内就已吸引了近10亿美元的风险投资。谷歌也在2014年斥资4亿美元收购Deepmind这家研究机器学习技术的公司。 三、自然语言处理