MapReduce理论篇
2.1 Writable序列化
序列化就是把内存中的对象，转换成字节序列（或其他数据传输协议）以便于存储（持久化）和网络传输。
反序列化就是将收到字节序列（或其他数据传输协议）或者是硬盘的持久化数据，转换成内存中的对象。
Java的序列化是一个重量级序列化框架（Serializable），一个对象被序列化后，会附带很多额外的信息（各种校验信息，header，继承体系等），不便于在网络中高效传输。所以，hadoop自己开发了一套序列化机制（Writable），精简、高效。
2.1.1 常用数据序列化类型
常用的数据类型对应的hadoop数据序列化类型
2.1.2 自定义bean对象实现序列化接口
1）自定义bean对象要想序列化传输，必须实现序列化接口，需要注意以下7项。
（1）必须实现Writable接口
（2）反序列化时，需要反射调用空参构造函数，所以必须有空参构造
（3）重写序列化方法
（4）重写反序列化方法
（5）注意反序列化的顺序和序列化的顺序完全一致
（6）要想把结果显示在文件中，需要重写toString()，且用”\t”分开，方便后续用
（7）如果需要将自定义的bean放在key中传输，则还需要实现comparable接口，因为
mapreduce框中的shuffle过程一定会对key进行排序
详见3.2.1统计每一个手机号耗费的总上行流量、下行流量、总流量（序列化）。
2.2 InputFormat数据切片机制
2.2.1 FileInputFormat切片机制
1）job提交流程源码详解
waitForCompletion()
submit();
// 1建立连接
connect();
// 1）创建提交job的代理
new Cluster(getConfiguration());
// （1）判断是本地yarn还是远程
initialize(jobTrackAddr, conf);
// 2 提交job
submitter.submitJobInternal(Job.this, cluster)
// 1）创建给集群提交数据的Stag路径
Path jobStagingArea = JobSubmissionFiles.getStagingDir(cluster, conf);
// 2）获取jobid ，并创建job路径
JobID jobId = submitClient.getNewJobID();
// 3）拷贝jar包到集群
copyAndConfigureFiles(job, submitJobDir);
rUploader.uploadFiles(job, jobSubmitDir);
// 4）计算切片，生成切片规划文件
writeSplits(job, submitJobDir);
maps = writeNewSplits(job, jobSubmitDir);
input.getSplits(job);
// 5）向Stag路径写xml配置文件
writeConf(conf, submitJobFile);
conf.writeXml(out);
// 6）提交job,返回提交状态
status = submitClient.submitJob(jobId, submitJobDir.toString(), job.getCredentials());
2）FileInputFormat源码解析(input.getSplits(job))
（1）找到你数据存储的目录。
（2）开始遍历处理（规划切片）目录下的每一个文件
（3）遍历第一个文件ss.txt
a）获取文件大小fs.sizeOf(ss.txt);
b）计算切片大小
computeSliteSize(Math.max(minSize,Math.max(maxSize,blocksize)))=blocksize=128M c）默认情况下，切片大小=blocksize
d）开始切，形成第1个切片：ss.txt—0:128M 第2个切片ss.txt—128:256M 第3个切片ss.txt—256M:300M（每次切片时，都要判断切完剩下的部分是否大于块的1.1倍，不大于1.1倍就划分一块切片）
e）将切片信息写到一个切片规划文件中
f）整个切片的核心过程在getSplit()方法中完成。
g）数据切片只是在逻辑上对输入数据进行分片，并不会再磁盘上将其切分成分片进行存储。InputSplit只记录了分片的元数据信息，比如起始位置、长度以及所在的节点列表等。
h）注意：block是HDFS上物理上存储的存储的数据，切片是对数据逻辑上的划分。
（4）提交切片规划文件到yarn上，yarn上的MrAppMaster就可以根据切片规划文件计算开启maptask个数。
3）FileInputFormat中默认的切片机制：
（1）简单地按照文件的内容长度进行切片
（2）切片大小，默认等于block大小
（3）切片时不考虑数据集整体，而是逐个针对每一个文件单独切片
比如待处理数据有两个文件：
经过FileInputFormat的切片机制运算后，形成的切片信息如下：
4）FileInputFormat切片大小的参数配置
（1）通过分析源码，在FileInputFormat中，计算切片大小的逻辑：Math.max(minSize, Math.min(maxSize, blockSize));
切片主要由这几个值来运算决定
mapreduce.input.fileinputformat.split.minsize=1 默认值为1
mapreduce.input.fileinputformat.split.maxsize= Long.MAXValue 默认值Long.MAXValue 因此，默认情况下，切片大小=blocksize。
maxsize（切片最大值）：参数如果调得比blocksize小，则会让切片变小，而且就等于配置的这个参数的值。
minsize （切片最小值）：参数调的比blockSize大，则可以让切片变得比blocksize还大。5）获取切片信息API
2.2.2 CombineTextInputFormat切片机制
关于大量小文件的优化策略
1）默认情况下TextInputformat对任务的切片机制是按文件规划切片，不管文件多小，都会是一个单独的切片，都会交给一个maptask，这样如果有大量小文件，就会产生大量的maptask，处理效率极其低下。
2）优化策略
（1）最好的办法，在数据处理系统的最前端（预处理/采集），将小文件先合并成大文件，再上传到HDFS做后续分析。
（2）补救措施：如果已经是大量小文件在HDFS中了，可以使用另一种InputFormat 来做切片（CombineTextInputFormat），它的切片逻辑跟TextFileInputFormat不同：它可以将多个小文件从逻辑上规划到一个切片中，这样，多个小文件就可以交给一个maptask。
（3）优先满足最小切片大小，不超过最大切片大小
CombineTextInputFormat.setMaxInputSplitSize(job, 4194304);// 4m
CombineTextInputFormat.setMinInputSplitSize(job, 2097152);// 2m
举例：0.5m+1m+0.3m+5m=2m + 4.8m=2m + 4m + 0.8m
3）具体实现步骤
4）案例实操
详见3.1.4 需求4：大量小文件的切片优化（CombineTextInputFormat）。
2.2.3 自定义InputFormat
1）概述
（1）自定义一个InputFormat
（2）改写RecordReader，实现一次读取一个完整文件封装为KV
（3）在输出时使用SequenceFileOutPutFormat输出合并文件
2）案例实操
详见3.5小文件处理（自定义InputFormat）。
2.3 MapTask工作机制
1）问题引出
maptask的并行度决定map阶段的任务处理并发度，进而影响到整个job的处理速度。那么，mapTask并行任务是否越多越好呢？
2）MapTask并行度决定机制
一个job的map阶段MapTask并行度（个数），由客户端提交job时的切片个数决定。3）MapTask工作机制
（1）Read阶段：Map Task通过用户编写的RecordReader，从输入InputSplit中解析出一个个key/value。
（2）Map阶段：该节点主要是将解析出的key/value交给用户编写map()函数处理，并产生一系列新的key/value。
（3）Collect阶段：在用户编写map()函数中，当数据处理完成后，一般会调用OutputCollector.collect()输出结果。在该函数内部，它会将生成的key/value分区（调用Partitioner），并写入一个环形内存缓冲区中。
（4）Spill阶段：即“溢写”，当环形缓冲区满后，MapReduce会将数据写到本地磁盘上，生成一个临时文件。需要注意的是，将数据写入本地磁盘之前，先要对数据进行一次本地排序，并在必要时对数据进行合并、压缩等操作。
溢写阶段详情：
步骤1：利用快速排序算法对缓存区内的数据进行排序，排序方式是，先按照分区编号partition进行排序，然后按照key进行排序。这样，经过排序后，数据以分区为单位聚集在一起，且同一分区内所有数据按照key有序。
步骤2：按照分区编号由小到大依次将每个分区中的数据写入任务工作目录下的临时文件output/spillN.out（N表示当前溢写次数）中。如果用户设置了Combiner，则写入文件之前，对每个分区中的数据进行一次聚集操作。
步骤3：将分区数据的元信息写到内存索引数据结构SpillRecord中，其中每个分区的元信息包括在临时文件中的偏移量、压缩前数据大小和压缩后数据大小。如果当期内存索引大小超过1MB，则将内存索引写到文件output/spillN.out.index中。
（5）Combine阶段：当所有数据处理完成后，MapTask对所有临时文件进行一次合并，以确保最终只会生成一个数据文件。
当所有数据处理完后，MapTask会将所有临时文件合并成一个大文件，并保存到文件output/file.out中，同时生成相应的索引文件output/file.out.index。
在进行文件合并过程中，MapTask以分区为单位进行合并。对于某个分区，它将采用多轮递归合并的方式。每轮合并io.sort.factor（默认100）个文件，并将产生的文件重新加入
待合并列表中，对文件排序后，重复以上过程，直到最终得到一个大文件。
让每个MapTask最终只生成一个数据文件，可避免同时打开大量文件和同时读取大量小文件产生的随机读取带来的开销。
2.4 Shuffle机制
2.4.1 Shuffle机制
Mapreduce确保每个reducer的输入都是按键排序的。系统执行排序的过程（即将map 输出作为输入传给reducer）称为shuffle。
2.4.2 MapReduce工作流程
2）流程详解
上面的流程是整个mapreduce最全工作流程，但是shuffle过程只是从第7步开始到第16步结束，具体shuffle过程详解，如下：
1）maptask收集我们的map()方法输出的kv对，放到内存缓冲区中
2）从内存缓冲区不断溢出本地磁盘文件，可能会溢出多个文件
3）多个溢出文件会被合并成大的溢出文件
4）在溢出过程中，及合并的过程中，都要调用partitoner进行分组和针对key进行排序5）reducetask根据自己的分区号，去各个maptask机器上取相应的结果分区数据
6）reducetask会取到同一个分区的来自不同maptask的结果文件，reducetask会将这些文件再进行合并（归并排序）
7）合并成大文件后，shuffle的过程也就结束了，后面进入reducetask的逻辑运算过程（从文件中取出一个一个的键值对group，调用用户自定义的reduce()方法）
3）注意
Shuffle中的缓冲区大小会影响到mapreduce程序的执行效率，原则上说，缓冲区越大，磁盘io的次数越少，执行速度就越快。
缓冲区的大小可以通过参数调整，参数：io.sort.mb 默认100M
2.4.3 partition分区
0）问题引出：要求将统计结果按照条件输出到不同文件中（分区）。比如：将统计结果按照手机归属地不同省份输出到不同文件中（分区）
1）默认partition分区
默认分区是根据key的hashCode对reduceTasks个数取模得到的。用户没法控制哪个key存储到哪个分区
2）自定义Partitioner步骤
（1）自定义类继承Partitioner，重新getPartition()方法
（2）在job驱动中，设置自定义partitioner：
（3）自定义partition后，要根据自定义partitioner的逻辑设置相应数量的reduce task
3）注意：
如果reduceTask的数量> getPartition的结果数，则会多产生几个空的输出文件part-r-000xx；
如果1 如果reduceTask的数量=1，则不管mapTask端输出多少个分区文件，最终结果都交给这一个reduceTask，最终也就只会产生一个结果文件part-r-00000； 例如：假设自定义分区数为5，则 （1）job.setNumReduceTasks(1);会正常运行，只不过会产生一个输出文件 （2）job.setNumReduceTasks(2);会报错 （3）job.setNumReduceTasks(6);大于5，程序会正常运行，会产生空文件 4）案例实操 详见3.2.2 需求2：将统计结果按照手机归属地不同省份输出到不同文件中（Partitioner）详见3.1.2 需求2：把单词按照ASCII码奇偶分区（Partitioner） 2.4.4 排序 排序是MapReduce框架中最重要的操作之一。Map Task和Reduce Task均会对数据（按照key）进行排序。该操作属于Hadoop的默认行为。任何应用程序中的数据均会被排序，而不管逻辑上是否需要。 对于Map Task，它会将处理的结果暂时放到一个缓冲区中，当缓冲区使用率达到一定阈值后，再对缓冲区中的数据进行一次排序，并将这些有序数据写到磁盘上，而当数据处理完毕后，它会对磁盘上所有文件进行一次合并，以将这些文件合并成一个大的有序文件。 对于Reduce Task，它从每个Map Task上远程拷贝相应的数据文件，如果文件大小超过一定阈值，则放到磁盘上，否则放到内存中。如果磁盘上文件数目达到一定阈值，则进行一 次合并以生成一个更大文件；如果内存中文件大小或者数目超过一定阈值，则进行一次合并后将数据写到磁盘上。当所有数据拷贝完毕后，Reduce Task统一对内存和磁盘上的所有数据进行一次合并。 每个阶段的默认排序 1）排序的分类： （1）部分排序： MapReduce根据输入记录的键对数据集排序。保证输出的每个文件内部排序。 （2）全排序： 如何用Hadoop产生一个全局排序的文件？最简单的方法是使用一个分区。但该方法在处理大型文件时效率极低，因为一台机器必须处理所有输出文件，从而完全丧失了MapReduce所提供的并行架构。 替代方案：首先创建一系列排好序的文件；其次，串联这些文件；最后，生成一个全局排序的文件。主要思路是使用一个分区来描述输出的全局排序。例如：可以为上述文件创建3个分区，在第一分区中，记录的单词首字母a-g，第二分区记录单词首字母h-n, 第三分区记录单词首字母o-z。 （3）辅助排序：（GroupingComparator分组） Mapreduce框架在记录到达reducer之前按键对记录排序，但键所对应的值并没有被排序。甚至在不同的执行轮次中，这些值的排序也不固定，因为它们来自不同的map任务且这些map任务在不同轮次中完成时间各不相同。一般来说，大多数MapReduce程序会避免让reduce函数依赖于值的排序。但是，有时也需要通过特定的方法对键进行排序和分组等以实现对值的排序。 2）自定义排序WritableComparable （1）原理分析 bean对象实现WritableComparable接口重写compareTo方法，就可以实现排序 （2）案例实操 详见3.2.3 需求3：将统计结果按照总流量倒序排序（排序） 2.4.5 GroupingComparator分组 1）对reduce阶段的数据根据某一个或几个字段进行分组。 2）案例实操 详见3.3 求出每一个订单中最贵的商品（GroupingComparator） 2.4.6 Combiner合并 1）combiner是MR程序中Mapper和Reducer之外的一种组件 2）combiner组件的父类就是Reducer 3）combiner和reducer的区别在于运行的位置： Combiner是在每一个maptask所在的节点运行 Reducer是接收全局所有Mapper的输出结果； 4）combiner的意义就是对每一个maptask的输出进行局部汇总，以减小网络传输量 5）自定义Combiner实现步骤： （1）自定义一个combiner继承Reducer，重写reduce方法 （2）在job中设置： 6）combiner能够应用的前提是不能影响最终的业务逻辑，而且，combiner的输出kv应该跟reducer的输入kv类型要对应起来 Mapper 3 5 7 ->(3+5+7)/3=5 2 6 ->(2+6)/2=4 Reducer (3+5+7+2+6)/5=23/5 不等于(5+4)/2=9/2 7）案例实操 详见3.1.3需求3：对每一个maptask的输出局部汇总（Combiner） 2.4.7 数据倾斜&Distributedcache 1）数据倾斜原因 如果是多张表的操作都是在reduce阶段完成，reduce端的处理压力太大，map节点的运算负载则很低，资源利用率不高，且在reduce阶段极易产生数据倾斜。 2）实操案例： 详见3.4.1 需求1：reduce端表合并（数据倾斜） 3）解决方案 在map端缓存多张表，提前处理业务逻辑，这样增加map端业务，减少reduce端数据的压力，尽可能的减少数据倾斜。 4）具体办法：采用distributedcache （1）在mapper的setup阶段，将文件读取到缓存集合中 （2）在驱动函数中加载缓存。 job.addCacheFile(new URI("file:/e:/mapjoincache/pd.txt"));// 缓存普通文件到task运行节点 5）实操案例： 详见3.4.2需求2：map端表合并（Distributedcache） 2.5 ReduceTask工作机制 1）设置ReduceTask reducetask的并行度同样影响整个job的执行并发度和执行效率，但与maptask的并发数由切片数决定不同，Reducetask数量的决定是可以直接手动设置： 2）注意 （1）如果数据分布不均匀，就有可能在reduce阶段产生数据倾斜 （2）reducetask数量并不是任意设置，还要考虑业务逻辑需求，有些情况下，需要计算全局汇总结果，就只能有1个reducetask。 （3）具体多少个reducetask，需要根据集群性能而定。 （4）如果分区数不是1，但是reducetask为1，是否执行分区过程。答案是：不执行分区过程。因为在maptask的源码中，执行分区的前提是先判断reduceNum个数是否大于1。不大于1肯定不执行。 3）实验：测试reducetask多少合适。 （1）实验环境：1个master节点，16个slave节点:CPU:8GHZ,内存:2G （2）实验结论： 表1 改变reduce task （数据量为1GB） 4）ReduceTask工作机制 （1）Copy阶段：ReduceTask从各个MapTask上远程拷贝一片数据，并针对某一片数据，如果其大小超过一定阈值，则写到磁盘上，否则直接放到内存中。 （2）Merge阶段：在远程拷贝数据的同时，ReduceTask启动了两个后台线程对内存和磁盘上的文件进行合并，以防止内存使用过多或磁盘上文件过多。 （3）Sort阶段：按照MapReduce语义，用户编写reduce()函数输入数据是按key进行聚集的一组数据。为了将key相同的数据聚在一起，Hadoop采用了基于排序的策略。由于各个MapTask已经实现对自己的处理结果进行了局部排序，因此，ReduceTask只需对所有数据进行一次归并排序即可。 （4）Reduce阶段：reduce()函数将计算结果写到HDFS上。 2.6 自定义OutputFormat 1）概述 （1）要在一个mapreduce程序中根据数据的不同输出两类结果到不同目录，这类灵活的输出需求可以通过自定义outputformat来实现。 （1）自定义outputformat， （2）改写recordwriter，具体改写输出数据的方法write() 2）实操案例： 详见3.6 修改日志内容及自定义日志输出路径（自定义OutputFormat）。 2.7 MapReduce数据压缩 2.7.1 概述 压缩技术能够有效减少底层存储系统（HDFS）读写字节数。压缩提高了网络带宽和磁盘空间的效率。在Hadood下，尤其是数据规模很大和工作负载密集的情况下，使用数据压缩显得非常重要。在这种情况下，I/O操作和网络数据传输要花大量的时间。还有，Shuffle 与Merge过程同样也面临着巨大的I/O压力。 鉴于磁盘I/O和网络带宽是Hadoop的宝贵资源，数据压缩对于节省资源、最小化磁盘I/O和网络传输非常有帮助。不过，尽管压缩与解压操作的CPU开销不高，其性能的提升和资源的节省并非没有代价。 如果磁盘I/O和网络带宽影响了MapReduce作业性能，在任意MapReduce阶段启用压缩都可以改善端到端处理时间并减少I/O和网络流量。 压缩mapreduce的一种优化策略：通过压缩编码对mapper或者reducer的输出进行压缩，以减少磁盘IO，提高MR程序运行速度（但相应增加了cpu运算负担）注意：压缩特性运用得当能提高性能，但运用不当也可能降低性能 基本原则： （1）运算密集型的job，少用压缩 （2）IO密集型的job，多用压缩 2.7.2 MR支持的压缩编码 为了支持多种压缩/解压缩算法，Hadoop引入了编码/解码器，如下表所示 压缩性能的比较 2.7.3 采用压缩的位置 压缩可以在MapReduce作用的任意阶段启用。 1）输入压缩： 在有大量数据并计划重复处理的情况下，应该考虑对输入进行压缩。然而，你无须显示指定使用的编解码方式。Hadoop自动检查文件扩展名，如果扩展名能够匹配，就会用恰当的编解码方式对文件进行压缩和解压。否则，Hadoop就不会使用任何编解码器。 2）压缩mapper输出： 当map任务输出的中间数据量很大时，应考虑在此阶段采用压缩技术。这能显著改善内部数据Shuffle过程，而Shuffle过程在Hadoop处理过程中是资源消耗最多的环节。如果发现数据量大造成网络传输缓慢，应该考虑使用压缩技术。可用于压缩mapper输出的快速编解码器包括LZO、LZ4或者Snappy。 注：LZO是供Hadoop压缩数据用的通用压缩编解码器。其设计目标是达到与硬盘读取速度相当的压缩速度，因此速度是优先考虑的因素，而不是压缩率。与gzip编解码器相比，它的压缩速度是gzip的5倍，而解压速度是gzip的2倍。同一个文件用LZO压缩后比用gzip压缩后大50%，但比压缩前小25%~50%。这对改善性能非常有利，map阶段完成时间快4倍。 3）压缩reducer输出： 在此阶段启用压缩技术能够减少要存储的数据量，因此降低所需的磁盘空间。当mapreduce作业形成作业链条时，因为第二个作业的输入也已压缩，所以启用压缩同样有效。 2.7.4 压缩配置参数 要在Hadoop中启用压缩，可以配置如下参数（mapred-site.xml文件中）： 2.8 计数器应用 Hadoop为每个作业维护若干内置计数器，以描述多项指标。例如，某些计数器记录已 处理的字节数和记录数，使用户可监控已处理的输入数据量和已产生的输出数据量。 1）API （1）采用枚举的方式统计计数 enum MyCounter{MALFORORMED,NORMAL} //对枚举定义的自定义计数器加1 context.getCounter(MyCounter.MALFORORMED).increment(1); （2）采用计数器组、计数器名称的方式统计 context.getCounter("counterGroup", "countera").increment(1); 组名和计数器名称随便起，但最好有意义。 （3）计数结果在程序运行后的控制台上查看。 2）案例实操 详见3.6 修改日志内容及自定义日志输出路径（自定义OutputFormat）。 2.9 数据清洗 1）概述 在运行Mapreduce程序之前，往往要先对数据进行清洗，清理掉不符合用户要求的数据。清理的过程往往只需要运行mapper程序，不需要运行reduce程序。 2）实操案例 详见3.7 日志清洗（数据清洗）。 2.10 MapReduce与Yarn 2.10.1 Y arn概述 Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而mapreduce等运算程序则相当于运行于操作系统之上的应用程序 2.10.2 Y arn的重要概念 1）Yarn并不清楚用户提交的程序的运行机制 2）Yarn只提供运算资源的调度（用户程序向Yarn申请资源，Yarn就负责分配资源）3）Yarn中的主管角色叫ResourceManager 4）Yarn中具体提供运算资源的角色叫NodeManager 5）这样一来，Yarn其实就与运行的用户程序完全解耦，就意味着Yarn上可以运行各种类型的分布式运算程序（mapreduce只是其中的一种），比如mapreduce、storm程序，spark 程序…… 6）所以，spark、storm等运算框架都可以整合在Yarn上运行，只要他们各自的框架中有符合Yarn规范的资源请求机制即可 7）Yarn就成为一个通用的资源调度平台，从此，企业中以前存在的各种运算集群都可以整合在一个物理集群上，提高资源利用率，方便数据共享 2.10.3 Y arn工作机制 1）Yarn运行机制 2）工作机制详解 （0）Mr程序提交到客户端所在的节点 （1）yarnrunner向Resourcemanager申请一个application。 （2）rm将该应用程序的资源路径返回给yarnrunner （3）该程序将运行所需资源提交到HDFS上 （4）程序资源提交完毕后，申请运行mrAppMaster （5）RM将用户的请求初始化成一个task （6）其中一个NodeManager领取到task任务。 （7）该NodeManager创建容器Container，并产生MRAppmaster （8）Container从HDFS上拷贝资源到本地 （9）MRAppmaster向RM 申请运行maptask容器 （10）RM将运行maptask任务分配给另外两个NodeManager，另两个NodeManager分别领取任务并创建容器。 （11）MR向两个接收到任务的NodeManager发送程序启动脚本，这两个NodeManager 分别启动maptask，maptask对数据分区排序。 （12）MRAppmaster向RM申请2个容器，运行reduce task。 （13）reduce task向maptask获取相应分区的数据。 （14）程序运行完毕后，MR会向RM注销自己。 2.11 作业提交全过程 1）作业提交过程之YARN 2）作业提交过程之MapReduce 3）作业提交过程之读数据 MapReduce海量数据并行处理 复习大纲 Ch. 1. 并行计算技术简介 1.为什么需要并行计算？ 提高计算机性能有哪些基本技术手段 提高字长，流水线微体系结构技术，提高集成度，提升主频 迫切需要发展并行计算技术的主要原因 1)单处理器性能提升达到极限 2)爆炸性增长的大规模数据量 2)超大的计算量/计算复杂度 2.并行计算技术的分类 有哪些主要的并行计算分类方法？ 1)按数据和指令处理结构：弗林(Flynn)分类 2)按并行类型 3)按存储访问构架 4)按系统类型 5)按计算特征 6)按并行程序设计模型/方法 1)按数据和指令处理结构：弗林(Flynn)分类 SISD：单指令单数据流 传统的单处理器串行处理 SIMD：单指令多数据流 向量机，信号处理系统 MISD：多指令单数据流 很少使用 MIMD：多指令多数据流 最常用，TOP500高性能计算机 基本都属于MIMD类型 2)按并行类型分类 位级并行（Bit-Level Parallelism） 指令级并行（ILP：Instruction-Level Parallelism） 线程级并行（Thread-Level Parallelism） 数据级并行：一个大的数据块划分为小块，分别由不同的处理器/线程处理 任务级并行：一个大的计算任务划分为子任务分别由不同的处理器/线程来处理 3)按存储访问结构分类 A.共享内存（Shared Memory) 所有处理器通过总线共享内存 多核处理器，SMP…… 也称为UMA结构(Uniform Memory Access) B. 分布共享存储体系结构 各个处理器有本地存储器 同时再共享一个全局的存储器 C. 分布式内存（Distributed Memory) 各个处理器使用本地独立的存储器 B和C也统称为NUMA结构 (Non-Uniform Memory Access) 4)按系统类型分类 多核/众核并行计算系统MC(Multicore/Manycore) 或Chip-level multiprocessing, CMP 对称多处理系统SMP(Symmetric Multiprocessing) 多个相同类型处理器通过总线连接并共享存储器 大规模并行处理MPP(Massive Parallel Processing) 专用内联网连接一组处理器形成的一个计算系统 集群（Cluster） 网络连接的一组商品计算机构成的计算系统 网格（Grid） 用网络连接远距离分布的一组异构计算机构成的计算系统 5)按并行程序设计模型/方法分类 共享内存变量(Shared Memory Variables) 消息传递方式(Message Passing） MapReduce方式 第一章 数据挖掘定义 技术层面：数据挖掘就是从大量数据中，提取潜在有用的信息和知识的过程。 商业层面：数据挖掘就是一种商业信息处理技术，其主要特点是对大量业务数据进行抽取、转换、分析和建模处理，从中提取辅助商业决策的关键性数据。 数据挖掘任务 预测任务 根据其它属性的值预测特定属性的值，如分类、回归、离群点检测。 描述任务 寻找概括数据中潜在联系的模式，如聚类分析、关联分析、演化分析、序列模式挖掘。 (1) 分类(Classification)分析 分类分析，通过分析示例数据库中的数据为每个类别做出准确的描述或建立分析模型或挖掘出分类规则，然后用此分类规则对其它数据库中的记录进行分类。 分类分析广泛应用于用户行为分析(受众分析)、风险分析、生物科学等。 (2) 聚类(Clustering)分析 “物以类聚，人以群分”。聚类分析技术试图找出数据集中的共性和差异，并将具有共性的对象聚合在相应的类中。聚类可以帮助决定哪些组合更有意义，广泛应用于客户细分、定向营销、信息检索等等。 (3) 回归(Regression )分析 回归分析是确定两种或两种以上变数间相互依赖的定量关系的一种分析方法。其可应用于风险分析、作文自动评分等领域。 (4) 关联(Association)分析 关联分析，发现特征之间的相互依赖关系，通常是从给定的数据集中发现频繁出现的模式知识(又称为关联规则)。关联分析广泛用于市场营销、事务分析等领域。 聚类与分类的主要区别 聚类与分类是容易混淆的两个概念，聚类是一种无指导的观察式学习，没有预先定义的类。而分类问题是有指导的示例式学习，预先定义的类。 数据挖掘过程 数据挖掘和知识发现紧密相连。知识发现是从数据中发现有用知识的整个过程 ?知识发现的主要步骤： ?数据清洗。其作用是清除数据噪声和与挖掘主题明显无关的数据。 ?数据集成。其作用是将来自多数据源中的相关数据组合到一起。 ?数据转换。其作用是将数据转换为易于进行数据挖掘的数据存储形式。 ?数据挖掘。其作用是利用智能方法挖掘数据模式或规律知识。 ?模式评估。其作用是根据一定评估标准从挖掘结果筛选出有意义的相关知识。 ?知识表示。其作用是利用可视化和知识表达技术，向用户展示所挖掘的相关知识 2013教育部-IBM产学合作专业综合改革项目 厦门大学《数据挖掘原理及实践》课程习题 第4章数据仓库与数据的概念描述 1. 数据仓库的定义是什么? 数据仓库有哪些显著特征? 2. 请简述数据概化的过程和基本方法。 3. 假定数据仓库包含三维: time, doctor, patient, 和两个度量: count和charge, 其中charge是医生对病人一次诊治的收费。 (1) 列举三种流行的数据仓库建模模式。 (2) 使用(1) 列举的模式之一, 画出上面的数据仓库的模式图。 (3) 由基本方体[day, doctor, patient]开始, 为列出2004年每位医生的收费总数, 应当执行哪些OLAP操作。 4. 假定BigUniversity的数据仓库包含如下4维: student, course, semester和instructor；2个度量: count和avg_grade。在最低的概念层(例如: 对于给定的学生. 课程. 学期和教师的组合), 度量avg_grade存放学生的实际课程成绩。在较高的概念层, avg_grade存放给定组合的平均成绩。 (1) 该数据仓库画出雪花型模型图。 (2) 由基本方体[student, course, semester, instructor]开始, 为列出BigUniversity 每个学生的CS课程的平均成绩, 应当使用哪些特殊的OLAP操作。 (3) 如果每维有5层(包含all), 如“student 大数据处理平台及可视化架构设计说明书 版本：1.0 变更记录 目录 1 1. 文档介绍 (3) 1.1文档目的 (3) 1.2文档范围 (3) 1.3读者对象 (3) 1.4参考文献 (3) 1.5术语与缩写解释 (3) 2系统概述 (4) 3设计约束 (5) 4设计策略 (6) 5系统总体结构 (7) 5.1大数据集成分析平台系统架构设计 (7) 5.2可视化平台系统架构设计 (11) 6其它 (14) 6.1数据库设计 (14) 6.2系统管理 (14) 6.3日志管理 (14) 1 1. 文档介绍 1.1 文档目的 设计大数据集成分析平台，主要功能是多种数据库及文件数据；访问；采集；解析，清洗，ETL，同时可以编写模型支持后台统计分析算法。 设计数据可视化平台，应用于大数据的可视化和互动操作。 为此，根据“先进实用、稳定可靠”的原则设计本大数据处理平台及可视化平台。 1.2 文档范围 大数据的处理，包括ETL、分析、可视化、使用。 1.3 读者对象 管理人员、开发人员 1.4 参考文献 1.5 术语与缩写解释 2 系统概述 大数据集成分析平台,分为9个层次，主要功能是对多种数据库及网页等数据进行访采集、解析，清洗，整合、ETL，同时编写模型支持后台统计分析算法，提供可信的数据。 设计数据可视化平台 ,分为3个层次，在大数据集成分析平台的基础上实现大实现数据的可视化和互动操作。 3 设计约束 1.系统必须遵循国家软件开发的标准。 2.系统用java开发，采用开源的中间件。 3.系统必须稳定可靠，性能高，满足每天千万次的访问。 4.保证数据的成功抽取、转换、分析，实现高可信和高可用。 数据挖掘（8）：朴素贝叶斯分类算法原理与实践 隔了很久没有写数据挖掘系列的文章了，今天介绍一下朴素贝叶斯分类算法，讲一下基本原理，再以文本分类实践。 一个简单的例子 朴素贝叶斯算法是一个典型的统计学习方法，主要理论基础就是一个贝叶斯公式，贝叶斯公式的基本定义如下： 这个公式虽然看上去简单，但它却能总结历史，预知未来。公式的右边是总结历史，公式的左边是预知未来，如果把Y看出类别，X看出特征，P(Yk|X)就是在已知特征X的情况下求Yk类别的概率，而对P(Yk|X)的计算又全部转化到类别Yk的特征分布上来。举个例子，大学的时候，某男生经常去图书室晚自习，发现他喜欢的那个女生也常去那个自习室，心中窃喜，于是每天买点好吃点在那个自习室蹲点等她来，可是人家女生不一定每天都来，眼看天气渐渐炎热，图书馆又不开空调，如果那个女生没有去自修室，该男生也就不去，每次男生鼓足勇气说：“嘿，你明天还来不？”,“啊，不知道，看情况”。然后该男生每天就把她去自习室与否以及一些其他情况做一下记录，用Y表示该女生是否去自习室，即Y={去，不去}，X是跟去自修室有关联的一系列条件，比如当天上了哪门主课，蹲点统计了一段时间后，该男生打算今天不再蹲点，而是先预测一下她会不会去，现在已经知道了今天上了常微分方法这么主课，于是计算P(Y=去|常微分方 程)与P(Y=不去|常微分方程)，看哪个概率大，如果P(Y=去|常微分方程) >P(Y=不去|常微分方程)，那这个男生不管多热都屁颠屁颠去自习室了，否则不就去自习室受罪了。P(Y=去|常微分方程)的计算可以转为计算以前她去的情况下，那天主课是常微分的概率P(常微分方程|Y=去)，注意公式右边的分母对每个类别（去/不去）都是一样的，所以计算的时候忽略掉分母，这样虽然得到的概率值已经不再是0~1之间，但是其大小还是能选择类别。 后来他发现还有一些其他条件可以挖，比如当天星期几、当天的天气，以及上一次与她在自修室的气氛，统计了一段时间后，该男子一计算，发现不好算了，因为总结历史的公式： 这里n=3，x(1)表示主课，x(2)表示天气，x(3)表示星期几，x(4)表示气氛，Y仍然是{去，不去}，现在主课有8门，天气有晴、雨、阴三种、气氛有A+,A,B+,B，C五种，那么总共需要估计的参数有8*3*7*5*2=1680个，每天只能收集到一条数据，那么等凑齐1 680条数据大学都毕业了，男生打呼不妙，于是做了一个独立性假设，假设这些影响她去自习室的原因是独立互不相关的，于是 有了这个独立假设后，需要估计的参数就变为，(8+3+7+5)*2 = 46个了，而且每天收集的一条数据，可以提供4个参数，这样该男生就预测越来越准了。 数据管理系统企业级数据可视化项目Html5 应用实践 项目经理：李雪莉 组员：申欣邹丽丹陈广宇陈思 班级：大数据&数字新媒体 一、项目背景 随着大数据、云计算和移动互联网技术的不断发展，企业用户对数据可视化的需求日益迫切。用户希望能够随时随地简单直观的了解企业生产经营、绩效考核、关键业务、分支机构的运行情况，即时掌握突发性事件的详细信息，快速反应并作出决策。随着企业信息化的不断推进，企业不断的积累基础信息、生产运行、经营管理、绩效考核、经营分析等以不同形式分布在多个系统或个人电脑文档内的业务数据。如何将大量的数据进行分析整理，以简单、直观、高效的形式提供给管理者作为经营决策的依据是当前企业数据应用的迫切需求。传统的企业数据可视化方案多基于Java Applet、Flash、Silverlight 等浏览器插件技术进行开发，在当前互联网和移动互联网技术高速发展的背景下，Web技术标准也随之高速发展，用户对互联网技术安全性和使用体验的要求越来越高。Java Applet、Flash、Silverlight 等浏览器插件技术因为落后和封闭的技术架构，以及高功耗、高系统 资源占用，已经被微软、谷歌、苹果、火狐等主流操作系统和浏览器厂商逐步放弃，转而不断支持和完善基于HTML5的新一代Web技术标准 对数据进行直观的拖拉操作以及数据筛选等，无需技术背景，人人都能实现数据可视化无论是电子表格，数据库还是 Hadoop 和云服务，都可轻松分析其中的数据。 数据可视化是科学、艺术和设计的结合，当枯燥隐晦的数据被数据科学家们以优雅、简明、直观的视觉方式呈现时，带给人们的不仅仅是一种全新的观察世界的方法，而且往往具备艺术作品般的强大冲击力和说服力。如今数据可视化已经不局限于商业领域，在社会和人文领域的影响力也正在显现。 数据可视化的应用价值，其多样性和表现力吸引了许多从业者，而其创作过程中的每一环节都有强大的专业背景支持。无论是动态还是静态的可视化图形，都为我们搭建了新的桥梁，让我们能洞察世界的究竟、发现形形色色的关系，感受每时每刻围绕在我们身边的信息变化，还能让我们理解其他形式下不易发掘的事物。 二、项目简介 目前，金融机构（银行，保险，基金，证劵等）面临着诸如利率汇率自由化，消费者行为改变，互联网金融崛起等多个挑战。为满足企业的发展需要，要求管理者运用大数据管理以更为科学的手段对企 习题参考答案 第1 章绪论 1.1 数据挖掘处理的对象有哪些？请从实际生活中举出至少三种。 答：数据挖掘处理的对象是某一专业领域中积累的数据，对象既可以来自社会科学,又可以来自自然科学产生的数据,还可以是卫星观测得到的数据。数据形式和结构也各不相同, 可以是传统的关系数据库,可以是面向对象的高级数据库系统,也可以是面向特殊应用的 数据库,如空间数据库、时序数据库、文本数据库和多媒体数据库等,还可以是Web 数据 信息。 实际生活的例子： ①电信行业中利用数据挖掘技术进行客户行为分析，包含客户通话记录、通话时间、所 开通的服务等，据此进行客户群体划分以及客户流失性分析。 ②天文领域中利用决策树等数据挖掘方法对上百万天体数据进行分类与分析，帮助天文 学家发现其他未知星体。 ③制造业中应用数据挖掘技术进行零部件故障诊断、资源优化、生产过程分析等。 ④市场业中应用数据挖掘技术进行市场定位、消费者分析、辅助制定市场营销策略等。 1.2 给出一个例子，说明数据挖掘对商务的成功是至关重要的。该商务需要什么样的数据挖掘功能？它们能够由数据查询处理或简单的统计分析来实现吗？ 答：例如，数据挖掘在电子商务中的客户关系管理起到了非常重要的作用。随着各个电子商务网站的建立，企业纷纷地从“产品导向”转向“客户导向”，如何在保持现有的客户 同时吸引更多的客户、如何在客户群中发现潜在价值，一直都是电子商务企业重要任务。但是，传统的数据分析处理，如数据查询处理或简单的统计分析，只能在数据库中进行 一些简单的数据查询和更新以及一些简单的数据计算操作，却无法从现有的大量数据中 挖掘潜在的价值。而数据挖掘技术却能使用如聚类、关联分析、决策树和神经网络等多 种方法，对数据库中庞大的数据进行挖掘分析，然后可以进行客户细分而提供个性化服务、可以利用挖掘到的历史流失客户的特征来防止客户流失、可以进行产品捆绑推荐等，从而使电子商务更好地进行客户关系管理，提高客户的忠诚度和满意度。 1.3 假定你是Big-University 的软件工程师，任务是设计一个数据挖掘系统，分析学校课程数据库。该数据库包括如下信息：每个学生的姓名、地址和状态(例如，本科生或研究生)、所修课程，以及他们的GPA。描述你要选取的结构，该结构的每个成分的作用是什么？答：任务目的是分析课程数据库，那么首先需要有包含信息的关系型数据库系统，以便查找、提取每个属性的值；在取得数据后，需要有特征选择模块，通过特征选择，找出要分析 的属性；接下来需要一个数据挖掘算法，或者数据挖掘软件，它应该包含像分类、聚类、关联分析这样的分析模块，对选择出来的特征值进行分析处理；在得到结果后，可以用 可视化软件进行显示。 1.4 假定你作为一个数据挖掘顾问，受雇于一家因特网搜索引擎公司。通过特定的例子说明，数据挖掘可以为公司提供哪些帮助，如何使用聚类、分类、关联规则挖掘和离群点检测 等技术为企业服务。 答： (1) 使用聚类发现互联网中的不同群体，用于网络社区发现； 第2 页共27 页 (2) 使用分类对客户进行等级划分，从而实施不同的服务； (3) 使用关联规则发现大型数据集中间存在的关系，用于推荐搜索。如大部分搜索了“广外”的人都会继续搜索“信息学院”，那么在搜索“广外”后会提示是否进进一步搜 索“信息学院”。 大数据平台建设方案 （项目需求与技术方案） 一、项目背景 “十三五”期间，随着我国现代信息技术的蓬勃发展，信息化建设模式发生根本性转变,一场以云计算、大数据、物联网、移动应用等技术为核心的“新 IT”浪潮风起云涌，信息化应用进入一个“新常态”。***（某政府部门）为积极应对“互联网+”和大数据时代的机遇和挑战，适应全省经济社会发展与改革要求，大数据平台应运而生。 大数据平台整合省社会经济发展资源，打造集数据采集、数据处理、监测管理、预测预警、应急指挥、可视化平台于一体的大数据平台，以信息化提升数据化管理与服务能力，及时准确掌握社会经济发展情况，做到“用数据说话、用数据管理、用数据决策、用数据创新”，牢牢把握社会经济发展主动权和话语权。 二、建设目标 大数据平台是顺应目前信息化技术水平发展、服务政府职能改革的架构平台。它的主要目标是强化经济运行监测分析，实现企业信用社会化监督，建立规范化共建共享投资项目管理体系，推进政务数据共享和业务协同，为决策提供及时、准确、可靠的信息依据，提高政务工作的前瞻性和针对性，加大宏观调控力度，促进经济持续健康发 展。 1、制定统一信息资源管理规范，拓宽数据获取渠道，整合业务信息系统数据、企业单位数据和互联网抓取数据，构建汇聚式一体化数据库，为平台打下坚实稳固的数据基础。 2、梳理各相关系统数据资源的关联性，编制数据资源目录，建立信息资源交换管理标准体系，在业务可行性的基础上，实现数据信息共享，推进信息公开，建立跨部门跨领域经济形势分析制度。 3、在大数据分析监测基础上，为政府把握经济发展趋势、预见经济发展潜在问题、辅助经济决策提供基础支撑。 三、建设原则 大数据平台以信息资源整合为重点，以大数据应用为核心，坚持“统筹规划、分步实施，整合资源、协同共享，突出重点、注重实效，深化应用、创新驱动”的原则，全面提升信息化建设水平，促进全省经济持续健康发展。 2011年1月第1期 高教论坛 H igher Education Forum Jan 2011 No 1 数据仓库与数据挖掘 课程教学实践与探索 韦艳艳,张超群 (广西民族大学 数学与计算机科学学院,广西 南宁 530006) 摘要:本文从 数据仓库与数据挖掘 课程的本科教学特点出发,讨论了在授课过程中遇到的一些实际问题,介绍了理论教学环节和实验教学环节的各项内容及侧重点,并给出具体的实验教学方案。 关键词:教学实践;数据仓库;数据挖掘 中图分类号:G642 文献标识码:A 文章编号:1671-9719(2011)01-0094-03 作者简介:韦艳艳(1974-),女,广西贵港人,讲师,主要研究方向为数据挖掘、机器学习。 收稿日期:2010-10-11 一、前言 数据仓库与数据挖掘技术出现于20世纪80年代,90年代有了突飞猛进的发展。这是信息和数据深度处理的必然需要,也是体现信息价值的重要工具。现在, 数据仓库与数据挖掘 作为一门既有理论基础又有实际应用价值的学科,已经成为计算机、信息系统等很多专业本科生的学习内容之一,由此可见这门学科在当今科学中的重要性以及应用的广泛性。 本课程是计算机科学与技术本科生在第三学年开设的选修课程。作为一门前沿性学科,数据仓库与数据挖掘有许多技术和方法是开放式、或仍处于探索阶段的。因此,学生除了掌握基本的概念与方法之外,对该门学科中许多面临的问题、有待拓展的研究方向应有所了解,这样有助于为学生提供对该学科的一个广博且适度的概览,提高自主学习的能力,并为有志于在该领域进行深入研究的学生提供一个学习的机会。 由于该课程原本属于研究生阶段开设的专业课程,教材也大多侧重于介绍体系结构、算法原理、效率分析与改进等理论知识,其中所涉及的内容大多比较深,许多知识都超出了本科生的接受范围;此外,教材对相关理论在实际应用方面的说明也比较少,不利于安排实验教学。因此,要实现 数据仓库与数据挖掘 课程的教学目标,必须在理论教学和实验教学环节综合考虑学时多少、教学条件以及学生的接受情况等因素,灵活地加以选择安排[1-2]。 二、课程的教学内容 本课程的任务主要是从数据库角度出发,全面、系统地介绍数据仓库与数据挖掘的基本概念、基本方法以及该领域的最新进展。通过本课程的学习,使学生对数据仓库与数据挖掘的整体结构、概念和技术有深入的认识和了解,并且熟悉相关算法的基本原理,提高学生分析数据的思维能力与计算能力。 教材方面,我们采用的是清华大学出版社出版,由安淑芝等编著 数据仓库与数据挖掘 ,同时还向学生推荐阅读韩家炜编著的 数据挖掘:概念与技术 ,这是一本得到业内广泛认可的的经典教科书[3]。 该课程理论课时共22学时,各章节授课学时安排如表1所示。 表1 各章节的授课学时 章节学时第一章 绪论2 第二章 数据仓库7 第三章 数据预处理3 第四章 数据挖掘的基础知识2 第五章 数据挖掘的常用算法8 表2 实验教学内容 实验内容课时 数据仓库的基本构造方法及实施联机分析 处理 4 构建N or thwind数据仓库系统4 数据收集及预处理2 各类数据挖掘及分析8 实验课时共18学时,实验内容主要配合教学环节来设置。具体安排如表2所示。 三、理论教学环节 数据仓库与数据挖掘 这门课程所涉及的是多 大数据平台技术要求 1.技术构架需求 采用平台化策略，全面建立先进、安全、可靠、灵活、方便扩展、便于部署、操作简单、易于维护、互联互通、信息共享的软件。 技术构架的基本要求： ?采用多层体系结构，应用软件系统具有相对的独立性，不依赖任何特定的操作系统、特定的数据库系统、特定的中间件应用服务器和特定的硬 件环境，便于系统今后的在不同的系统平台、不同的硬件环境下安装、 部署、升级移植，保证系统具有一定的可伸缩性和可扩展性。 ?实现B（浏览器）/A（应用服务器）/D（数据库服务器）应用模式。 ?采用平台化和构件化技术，实现系统能够根据需要方便地进行扩展。2. 功能指标需求 2.1基础平台 本项目的基础平台包括：元数据管理平台、数据交换平台、应用支撑平台。按照SOA的体系架构，实现对我校数据资源中心的服务化、构件化、定制化管理。 2.1.1元数据管理平台 根据我校的业务需求，制定统一的技术元数据和业务元数据标准，覆盖多种来源统计数据采集、加工、清洗、加载、多维生成、分析利用、发布、归档等各个环节，建立相应的管理维护机制，梳理并加载各种元数据。 具体实施内容包括： ●根据业务特点，制定元数据标准，要满足元数据在口径、分类等方面的 历史变化。 ●支持对元数据的管理，包括：定义、添加、删除、查询和修改等操作， 支持对派生元数据的管理，如派生指标、代码重新组合等，对元数据管 理实行权限控制。 ●通过元数据，实现对各类业务数据的统一管理和利用，包括： ?基础数据管理：建立各类业务数据与元数据的映射关系，实现统一的 数据查询、处理、报表管理。 ?ETL：通过元数据获取ETL规则的描述信息，包括字段映射、数据转 换、数据转换、数据清洗、数据加载规则以及错误处理等。 ?数据仓库：利用元数据实现对数据仓库结构的描述，包括仓库模式、 视图、维、层次结构维度描述、多维查询的描述、立方体（CUBE）的 结构等。 ●元数据版本控制及追溯、操作日志管理。 2.1.2数据交换平台 结合元数据管理模块并完成二次开发，构建统一的数据交换平台。实现统计数据从一套表采集平台，通过数据抽取、清洗和转换等操作，最终加载到数据仓库中，完成整个数据交换过程的配置、管理和监控功能。 具体要求包括： ●支持多种数据格式的数据交换，如关系型数据库：MS-SQLServer、MYSQL、 Oracle、DB2等；文件格式：DBF、Excel、Txt、Cvs等。 ●支持数据交换规则的描述，包括字段映射、数据转换、数据转换、数据 清洗、数据加载规则以及错误处理等。 ●支持数据交换任务的发布与执行监控，如任务的执行计划制定、定期执 行、人工执行、结果反馈、异常监控。 ●支持增量抽取的处理方式，增量加载的处理方式； ●支持元数据的管理，能提供动态的影响分析，能与前端报表系统结合， 分析报表到业务系统的血缘分析关系； ●具有灵活的可编程性、模块化的设计能力，数据处理流程，客户自定义 脚本和函数等具备可重用性； ●支持断点续传及异常数据审核、回滚等交换机制。 硕士研究生实践报告 题目 作者姓名 作者学号 指导教师 学科专业 所在学院 提交日期 一题目要求 我们的项目背景是，可穿戴设备的实时数据分析。1.txt记录的是某一个用户的心跳周期数据，每一个数值表示一次心跳的周期，单位是秒。例如，0.8表示用户当时的心跳间隙是0.8秒。心跳间期按照顺序存储。 1.利用Hadoop的MapReduce框架编写程序，计算出总测量时间和平均心跳间期，即求和 与求平均。请写出程序，并在实验报告中简单描述你的思路。 2.探索Spark的Transformation中的mapPartition，写出示例程序，并思考何时会用到 mapPartition，为什么要用它？ 3.探索Spark的Transformation中的flatMap，写出示例程序，并思考何时会用到它，为什 么要用到它。 4.（选做）SD1和SD2是表征心率变异性的一种指标。结合发给你们的论文，用Java或 者Scala实现SD1和SD2的计算（不用考虑并行化，普通的Java或Scala程序即可）。（选做）假设我们同时监控100个用户的心率，是否能够利用Spark的RDD的特性，并行地计算SD1和SD2?（提示:把每一个用户的心率数据作为RDD里面的一个元素，RDD中不同的元素表示不同用户的心率数据，利用map对每一个用户的心率数据进行并行分析）。请描述设计思路，并尽可能实现一个多用户心率监控的计算程序。 二题目实现 第一题： 本题就是利用Hadoop的MapReduce框架编写程序，计算出总测量时间和平均心跳间期，即求和与求平均，程序代码如下： package ; import ; import ; import ; import ; 山东省政务信息系统整合共享工程大数据管理平台 项目需求和技术方案要求 一、项目概况 （一）建设目标 通过大数据管理平台建设，建立统一的数据资源汇聚、数据治理、数据资源引擎和数据安全管理能力，实现大数据基础设施的集约共用和对全省政务信息资源的统筹管理和数据治理。将现有“逻辑集中、物理分散”数据共享交换方式向数据实体集中存储管理方式转变，建立完善的数据安全管理体系，实现由数据“资源”向数据“资产”的提升。 （二）建设原则 1.开放性 平台应具备良好的开放性，提供开放接口便于和第三方系统对接或者基于该接口构建新的业务。 2.先进性 在设计理念和技术体系等方面需借鉴先进的互联网技术，确保应用系统架构满足未来业务发展需求。 3.扩展性 平台应具备规范的开发接口和高可扩展性，保证未来新的需求提出时可以方便地应用到现有系统中。 4.可维护性 平台应具备良好的维护性，方便今后的扩展应用和运行维护。 5.安全性 平台应具备高安全性，确保系统正常运行的同时防止政府内部数据泄露。 （三）建设周期 2 个月。 （四）采购清单 二、建设内容 2.1数据汇聚系统建设内容 数据汇聚平台支持通过图形化的操作方式，把不同系统来源、不同类型的数据汇聚到大数据平台，能够兼容以SHE( Spark 、Hadoop、ElasticSearch )为首的大数据生态技术栈；并提供基础算子如关联、去重、过滤等完成数据转换。可以通过机器学习实现多人协作开发，提供脚本开发，工作流开发环境，能够针对任务资源实现共享以提升实施效率，可以提供基于消息流和文本的实时采集能力；提供精细化的任务调度管理，便于查看每个任务具体的数据处理情况，实现数据汇聚和加工处理一站式开发管理。 2.1.1 多源数据采集 1)支持离线数据采集，实现对各种主流数据库系统的支持，如Oracle 、DB2、SQL Server 、Sybase 、InfoMix 等主流数据库，MySQ、L PostgreSQL 等开源数据库，达梦、汉高、神通、GBase8t、KingBase 、LibrA 等国产数据库。 2)支持提供触发器、时间戳、全表对比、系统日志分析等多种数据增量采集方式。 3)支持大数据采集，实现HBase 的输入输出转换组件，可连接的数据库类型支持Hadoop Hive ，提供Hadoop HDFS文件拷贝的任务组件。 4)支持实时数据采集，实现基于Flume+Kafka 技术来采集流数据，能够接入HDFS、Hbase 或Storm 消费数据。 5)支持对FTP、SFTP、MONGOD文B件服务器的文件采集，支持包括普通文本、CSV、XML、Excel 等多种格式的文件。 2.1.2 可视化的流程设计 1)支持ETL作业调度流程和转换流程，能够通过图形化界面设计ETL转换过程和作业，支持后台批量运行ETL 转换。 2)支持200 种以上的主流数据处理组件，包括数据文件采集组件，清洗组件，大数据组件等。 3)支持图形化拖拽方式进行任务编排，将多类有顺序或者依赖关系的任务能够串接起来。同时提供任务流的管理能力。 2.1.3 统一的任务调度 1)支持多种任务管理，包括批量采集任务、实时采集任务、数据流任务等，支持多种调 一MapReduce概述 Map/Reduce是一个用于大规模数据处理的分布式计算模型，它最初是由Google工程师设计并实现的，Google已经将它完整的MapReduce论文公开发布了。其中对它的定义是，Map/Reduce是一个编程模型（programming model），是一个用于处理和生成大规模数据集（processing and generating large data sets）的相关的实现。用户定义一个map函数来处理一个key/value对以生成一批中间的key/value对，再定义一个reduce函数将所有这些中间的有着相同key的values合并起来。很多现实世界中的任务都可用这个模型来表达。 二MapReduce工作原理 1 Map-Reduce Map-Reduce框架的运作完全基于 大数据数据中心信息数据管理制度 为进一步加强和规范数据管理，保障数据安全，提高开放共享水平，支撑政府治理能力现代化，制定本制度。 一、数据管理遵循分级管理、安全可控、充分利用的原则，明确数据的采集生产、加工整理、开放共享和管理使用等活动的责任主体，加强能力建设，促进开放共享。 二、数据采集生产、使用、管理活动应当遵守有关法律法规及规章，不得利用科学数据从事危害国家安全、社会公共利益和他人合法权益的活动。 三、贯彻落实国家数据管理政策；建立健全管理政策和制度；指导相关单位加强和规范数据管理。 四、引导督促数据产生者要按照相关标准规范组织开展数据采集生产和加工整理，形成便于使用的数据库，保证数据的准确性和可用性。 五、引导督促相关单位要对数据进行分级分类，明确数据的密级和保密期限、开放条件、开放对象和审核程序等，按要求公布数据开放目录，通过在线下载、系统共享或定制服务等方式向社会开放共享。 六、对于政府决策、公共安全、国防建设、环境保护、防灾减灾、公益性科学研究等需要使用数据的，应当无偿提供；确需收费的，应按照规定程序和非营利原则制定合理的 收费标准，向社会公布并接受监督。对于因经营性活动需要使用数据的，当事人双方应当签订有偿服务合同，明确双方的权利和义务。法律法规有特殊规定的，遵从其规定。 七、涉及国家秘密、国家安全、社会公共利益、商业秘密和个人隐私的数据，不得对外开放共享；确需对外开放的，要对利用目的、用户资质、保密条件等进行审查，并严格控制知悉范围。 八、涉及国家秘密的数据按照国家有关保密规定执行。建立健全涉及国家秘密的数据管理与使用制度，对制作、审核、登记、拷贝、传输、销毁等环节进行严格管理。 九、按照网络安全管理规定，建立网络安全保障体系，采用安全可靠的产品和服务，完善数据管控、属性管理、身份识别、行为追溯、黑名单等管理措施，健全防篡改、防泄露、防攻击、防病毒等安全防护体系。 十、建立应急管理和容灾备份机制，按照要求建立应急管理系统，对重要的数据进行异地备份。 MapReduce理论篇 2.1 Writable序列化 序列化就是把内存中的对象，转换成字节序列（或其他数据传输协议）以便于存储（持久化）和网络传输。 反序列化就是将收到字节序列（或其他数据传输协议）或者是硬盘的持久化数据，转换成内存中的对象。 Java的序列化是一个重量级序列化框架（Serializable），一个对象被序列化后，会附带很多额外的信息（各种校验信息，header，继承体系等），不便于在网络中高效传输。所以，hadoop自己开发了一套序列化机制（Writable），精简、高效。 2.1.1 常用数据序列化类型 常用的数据类型对应的hadoop数据序列化类型 2.1.2 自定义bean对象实现序列化接口 1）自定义bean对象要想序列化传输，必须实现序列化接口，需要注意以下7项。 （1）必须实现Writable接口 （2）反序列化时，需要反射调用空参构造函数，所以必须有空参构造 （3）重写序列化方法 （4）重写反序列化方法 （5）注意反序列化的顺序和序列化的顺序完全一致 （6）要想把结果显示在文件中，需要重写toString()，且用”\t”分开，方便后续用 （7）如果需要将自定义的bean放在key中传输，则还需要实现comparable接口，因为 mapreduce框中的shuffle过程一定会对key进行排序 详见3.2.1统计每一个手机号耗费的总上行流量、下行流量、总流量（序列化）。 2.2 InputFormat数据切片机制 2.2.1 FileInputFormat切片机制 1）job提交流程源码详解 waitForCompletion() submit(); // 1建立连接 connect(); // 1）创建提交job的代理 new Cluster(getConfiguration()); // （1）判断是本地yarn还是远程 initialize(jobTrackAddr, conf); // 2 提交job submitter.submitJobInternal(Job.this, cluster) // 1）创建给集群提交数据的Stag路径 Path jobStagingArea = JobSubmissionFiles.getStagingDir(cluster, conf); // 2）获取jobid ，并创建job路径 JobID jobId = submitClient.getNewJobID(); // 3）拷贝jar包到集群 copyAndConfigureFiles(job, submitJobDir); rUploader.uploadFiles(job, jobSubmitDir); // 4）计算切片，生成切片规划文件 “数”说营销 -----大数据挖掘与营销应用实战培训 【课程目标】 这是一个互联的世界，点与点的数据的交换，线与线的信息的连接。如何理解你所看到的数据？如何探索数据的模式？如何寻找数据间的相关性？如何从你所有的数据中去挖掘商业机会？一切等待思考和解答…… 本课程从实际的市场营销问题出发，构建数据分析与数据挖掘模型，以解决实际的商业问题。并对大数据分析与挖掘技术进行了全面的介绍，通过从大量的市场营销数据中分析潜在的客户特征，挖掘客户行为特点，实现精准营销，帮助市场营销团队深入理解业务运作，支持业务策略制定以及运营决策。 通过本课程的学习，达到如下目的： 1、了解大数据营销内容，掌握大数据在营销中的应用。 2、了解基本的营销理论，并学会基于营销理念来展开大数据分析。 3、熟悉数据挖掘的标准过程，掌握常用的数据挖掘方法。 4、熟悉数据分析及数据挖掘工具，掌握Excel和SPSS软件应用操作。 5、学会选择合适的分析模型来解决相应的营销问题。 【授课时间】 2天时间 【授课对象】 系统支撑、市场营销部、运营分析部相关技术及应用人员。 本课程由浅入深，结合原理主讲软件工具应用，不需要太深的数学知识，但希望掌握数据分析的相关人员。 【学员要求】 1、每个学员自备一台便携机(必须)。 2、便携机中事先安装好Excel 2013版软件。 3、便携机中事先安装好SPSS v19版软件。 注：讲师可以提供14天的试用版本软件及分析数据源。 实战型能落地大数据营销专家-黄俭老师简介： 滨江双创联盟荣誉理事长；上海蓝草企业管理咨询有限公司首席讲师；多家知名企业特聘高级管理顾问。 黄老师多年在企业管理、公司战略规划、市场营销、品牌建设、员工管理、绩效考核、上市公司等等方面有着丰富的实践经验；深刻理解了东西方管理精髓。进入培训教育行业，作为资深培训讲师，在企业内训课、公开课、CEO总裁班等百余家企业和大学课堂讲授战略管理、营销管理、品牌管理等领域专业课程，结合自身的企业实践和理论研究，开发的具有知识产权的一系列新营销课程收到企业和广大学员的欢迎和热烈反馈。听黄老师上课，可以聆听他的职场经历，分享他的成绩，干货多多！课程突出实用性、故事性、新鲜性和幽默性。宽广的知识体系、丰富的管理实践、积极向上、幽默风趣构成了独特的教学培训风格，深受听众欢迎。通过一系列销售案例剖析点评，使销售管理人员掌握一些管理先进理念，分析技巧、提高解决问题的能力。黄老师近期培训的东风汽车-商用车公司，华东医药公司的销售团队在培训后，销售业绩有了20%提升。 擅长领域：战略管理/领导力系列/ 经典营销/新营销/大数据营销 授课风格：采用情景式教学法，运用相关的角色模拟和案例分析诠释授课内容，理论与实战并举，侧重实战，结合视听教材，帮助学员在理论基础与实践应用方面全面提升。广大的学员认为授课风格为：幽默风趣、条理清晰、实战、理论联系实际。 主讲课程： 《电话营销技巧》《杰出的房地产销售》《如何做好一流的客户服务》 《电子商务与网络营销》、《销售流程与技巧》、《大客户营销》、《顾问式销售》、《如何成为成功的房产销售员》、《总经理视角下的营销管理》、《非营销人员的营销管理》、《如何塑造成功的电子商务品牌》，《精准数据营销实战》、《卓越营销的营销策划》、《打造双赢关系营销》、《卓越客户服务及实战》、《海外市场客服及实务》 浅谈大数据平台建立对企业管理的影响随着网络信息化时代在企业管理占比日益增大，数据对传、数据分析、大大拓展了互联网在企业应用管理中的疆界和应用领域，我们正处在一个数据爆炸性增长的"大数据"时代，数据将成为企业的核心资产，在企业决策管理中产生深远影响。既是机遇也是挑战。 1、大数据的建立能够使企业防范风险的能力增强， 在大数据时代来临之前，数据作为特殊“资产”，人们更多的是从历史数据中总结规律，查找上一年度的失误与缺陷。在下一年度工作中进行消缺和提升工作不足。但大数据时代的决策最主要的功能就是预测未来，也就是说从数据的分析中寻找不足与缺陷，以大数据提供的分析为依据及时针对某一方面做出整改。以此来降低企业生产运行分险。如果竞争企业可以对行业市场进行预测对企业自身承载能力进行全面透彻的了解，但自己所在的企业不能，那么企业将会失去未来。企业存在的风险是企业系统不能适应环境变化的风险，在数据时代，这种风险更多地是体现在管理者的日常决策中，体现在企业管理决策要面向需求产品的客户的变化上。 2、企业的管理决策权由原来的被动追求价值向主动增加企业价值转变。 大数据的优点在于引导价值，促使企业价值根据良性化发展，对于企业来说，企业价值体现在其企业管理组织架构中，企业原有组织形式是单一的为企业价值而存在和建立的。在数据时代，企业的组织结构形式必须以实现企业的价值增长基础，提高企业在市场经济 的核心竞争力，也就是说，企业的组织架构的变化必将会诱发企业管理决策和领导者决策的变化，大数据就是建立一条无形的通道在生产者和决策者和市场之间行成多元化的隐性联系。使管理者和决策者参与到产品塑造的过程中去，大数据的建立可以有效地可以有效地避免决策者过度的追随价值带来的被动，从根本上引导管理者和决策者改变传统的决策方式。 3.企业创造价值的方式发生改变 在大数据之前企业已形成了一套成熟的管理方法，但依靠业务驱动以及因果思维形成的管理方法始终无法实现最高的管理水平，这种模式永远是现寻求问题的原因再去寻找解决问题的方法，但在未来，数据驱动模式将代替业务驱动模式，大数据技术可以让企业决策者直接看到解决问题的方法，从而分析问题出现的原因，并帮助决策者做出正确决策，这样及排除了决策者个人主观判断对问题的影响，也让企业决策者的决策思维超越了眼前事实。大数据技术中蕴含着丰富的数据信息资源，它们的科学有效应用能够切实为企业带来巨大的经济产值，产生更多经济收益。因此，要利用好信息资源就要进一步加强大数据技术的完整型，全面性、时效性。大数据信息资源的有效应用离不开先进的数据技术和信息化思维，将传统数据信息方法与大数据技术有机地结合起来，通过将不同数据集进行重组和整合，发挥就数据集所不具有的新功能，从而为企业创造出更多的价值。利用有效的 4、企业的管理决策从单一的中高层管理向员工参与决策转变MapReduce海量数据并行处理总结
数据挖掘原理与实践蒋盛益版期末复习
厦门大学数据挖掘原理及实践课程习题
大数据处理平台构架设计说明书
大数据挖掘(8)：朴素贝叶斯分类算法原理与实践
大大数据管理系统之大大数据可视化设计
数据挖掘原理与实践-蒋盛益-答案
大数据平台建设方案
数据仓库与数据挖掘_课程教学实践与探索
大数据分析平台技术要求
MapReduce实验报告
山东政务信息系统整合共享工程大数据管理平台
MapReduce源码分析完整版
大数据中心信息数据管理制度
大数据之mapreduce理论
“数”说营销----大数据挖掘与营销应用实战(SPSS)
浅谈大数据平台建立对企业管理的影响
相关主题
文本预览