基于GPU加速的大数据分析与挖掘技术研究

Ｍｉｃｒｏｃｏｍｐｕｔｅｒ　Ａｐｐｌｉｃａｔｉｏｎｓ　Ｖｏ１．３３，Ｎｏ．６，２０１７　研究与设计　微型电脑应用２０１７年第３３卷第６期　

文章编号：１００７—７５７Ｘ（２０１７）０６—００６４—０３　

基于Ｓｐａｒｋ平台的大　数据挖掘技术研究　

王殉　

（陕西学前师范学院教学设备与实验室管理处，西安７１００６１）　

摘　要：大数据具备数据量大、富于多样性的特点。因此在大数据分析方面，无论是对处理速度还是实时性都具有较高的要　

求。数据挖掘技术是从海量数据里采用某种建模算法，用来寻找隐藏在数据背后的信息，从而让大数据产生更大的价值。　Ｓｐａｒｋ框架是一个针对超大数据集合的低延迟的集群分布式计算系统。本文基于该框架，对大数据挖掘技术进行了具体研　

究，首先完成了基于Ｙａｒｎ部署上Ｓｐａｒｋ集群搭建，然后提出并实现了并行Ａｐｒｉｏｒｉ算法，该算法成功补充了Ｓｐａｒｋ　ＭＩ　ｌｉｂ分布　

式机器学习库中所缺乏的关联分析问题的分布式算法。　

关键词：大数据；数据挖掘；Ｓｐａｒｋ　

中图分类号：　文献标志码：　

Ｒｅｓｅａｒｃｈ　ｏｎ　Ｔｅｃｈｎｏｌｏｇｙ　ｏｆ　Ｂｉｇ　Ｄａｔａ　Ｍｉｎｉｎｇ　Ｂａｓｅｄ　ｏｎ　Ｓｐａｒｋ　

Ｗａｎｇ　Ｘｕｎ　（Ｓｅｃｔｉｏｎ　ｏｆ　Ｔｅａｃｈｉｎｇ　Ｅｑｕｉｐｍｅｎｔ＆Ｌａｂ　Ｍａｎａｇｅｍｅｎｔ，Ｓｈａａｎｘｉ　Ｘｕｅｑｉａｎ　Ｎｏｒｍａｌ　Ｕｎｉｖｅｒｓｉｔｙ，Ｘｉ’ａｎ　７１００６１，Ｃｈｉｎａ）　

Ａｂｓｔｒａｃｔ：Ｂｅｃａｕｓｅ　ｂｉｇ　ｄａｔａ　ｈａｖｅ　ｔｈｅ　ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ　ｏｆ　ｌａｒｇｅ　ａｍｏｕｎｔ　ｏｆ　ｄａｔａ　ａｎｄ　ｒｉｃｈ　ｄｉｖｅｒｓｉｔｙ，ｉｔ　ｍｕｓｔ　ｂｅ　ｄｅｍａｎｄｉｎｇ　ｌａｒｇｅ　ｄａｔａ　

ａｎａｌｙｓｉｓ　ｂｏｔｈ　ｉｎ　ｐｒｏｃｅｓｓｉｎｇ　ｓｐｅｅｄ　ａｎｄ　ｒｅａｌ—ｔｉｍｅ　ｒｅｑｕｉｒｅｍｅｎｔｓ．Ｄａｔａ　ｍｉｎｉｎｇ　ｔｅｃｈｎｏｌｏｇｙ　ｉｓ　ｔＯ　ｕｓｅ　ｓｏｍｅ　ｍｏｄｅｌｉｎｇ　ａｌｇｏｒｉｔｈｍ　ｆｒｏｍ　

龙源期刊网

基于GPU的在地震成像技术

作者：杨柳 刘铁英

来源：《科技与企业》2013年第24期

1、震成像技术

根据穿透地层的地震波的记录而建造地层界面图像的方法。又称地震层析成像。反射地震成像方法主要应用于石油勘探。在地面记录的未经偏移的反射地震能量（例如共偏移距记录）通常可提供地下构造的强相干图像。尽管是强相干的，但该图像是不正确的，原因在于它受到几种畸变作用的影响，最显著的影响是来自地质界面截断的绕射波和倾斜界面上反射点与地面位置间能量的横向移动。地震成像就是校正这些畸变影响的地震处理手段。20世纪70年代末，地震成像技术才发展为全球地震学的成像技术，由研究人工震源地震波发展到研究天然地震波，进行全球层析成像。早期的地震计算机偏移方法是在古典的偏移方法的基础上提出来的。那些符合波的传播特征的方法取得了成功的。尽管这些方法使用了波前、绕射等地震波传播的惠更斯原理，但是，这也只是概念性的。偏移剖面的质量虽然能够满足最基本的要求，但归位的精度和成像时的波形特征都不是很准确的。因此，在目前研究更有效的地震偏移方法是很迫切需要的。为了更准确地评估地表下岩层的状况，并确定地层地质结构，研究者探索新的相关技术。叠前时间偏移（PSTM）和叠前深度偏移（PSDM）新型地震成像技术。但是这种技术需要大规模的计算量，这种大规模计算就意味着购置与运营成本非常高昂。现在，多核技术已经代替单纯CPU频率的提升而成为计算机性能发展的主流。利用GPU超级计算系统，证明了多尺度离散化并行计算模式的优势和前景。

2、地震偏移技术

在二十世纪六，七十年代以前，地震偏移技术是用手工操作的一种制图技术，它只是用来求得反射点的空间位置，而不去考虑反射波的特点。地震偏移可在叠前做也可在叠后做。

当今对地震数据成像有较大影响的几种代表性的方法两种，Gardner（1985）曾详细论述了所有这些方法；在其论著的再版卷中讨论的大多数方法为叠后偏移。叠前偏移方法远非仅仅是叠后方法的“拓展”，而且涉及到其自身概念上的重大难度。在叠前偏移中这种难度与需要处理两个波场有关，而叠后偏移仅处理单个波场。

处理大量数据的方法

处理大量数据是现代社会中不可避免的任务之一。随着科技的发展和数据的不断增长，我们需要有效地处理这些数据，以从中获取有用的信息和洞察力。本文将介绍一些处理大量数据的方法和技术。

我们可以使用分布式计算框架来处理大规模的数据集。分布式计算框架将数据分成多个小块，并在多个计算节点上同时进行处理。这样可以大大加快处理速度，提高效率。目前比较流行的分布式计算框架有Hadoop和Spark等。它们提供了丰富的API和工具，可以方便地进行数据处理和分析。

我们可以使用数据挖掘技术来发现隐藏在大量数据中的模式和规律。数据挖掘是一种通过分析大量数据，提取其中有用信息的技术。常用的数据挖掘算法包括聚类分析、分类分析和关联规则挖掘等。通过这些算法，我们可以发现数据中的潜在规律，并据此做出决策和预测。

我们可以使用机器学习算法来处理大量数据。机器学习是人工智能的一个重要分支，它通过训练模型从数据中学习，并用学到的知识进行预测和决策。机器学习算法可以自动识别数据中的模式和趋势，从而对未知数据进行预测和分类。常见的机器学习算法有决策树、支持向量机和神经网络等。

我们还可以使用流式处理技术来处理实时数据。流式处理是一种将数据分成连续流进行处理的方式。与批处理不同，流式处理可以实时处理数据，并根据需要做出实时决策和响应。流式处理技术可以应用于各个领域，如社交媒体分析、金融交易监控和物联网数据处理等。

除了以上方法，我们还可以使用图形处理器（GPU）来加速处理大量数据。GPU是一种高性能并行处理器，适用于并行计算和图形渲染。由于其强大的计算能力，GPU可以在处理大规模数据时提供更高的计算效率和吞吐量。许多数据处理和机器学习框架已经支持使用GPU进行加速计算。

为了更好地处理大量数据，我们还可以采用数据压缩和索引技术。数据压缩可以减少数据的存储空间，降低数据传输和处理的成本。索引技术可以加快数据的检索和查询速度，提高数据处理的效率。这些技术在数据库和搜索引擎等领域被广泛应用。

1

基于数据仓库的数据挖掘技术分析研究

摘 要

基于数据仓库的数据挖掘技术是一种对数据仓库中的数据进行深层次的加工和处理的过程,也是一种实现数据仓库决策价值的方法和工具。文中分析了数据仓库、数据挖掘等概念,并结合数据挖掘在实际决策支持系统中的应用,说明了数据挖掘的基本方法、主要过程以及发展方向。

关键词：仓库，储存，数据采集

2

目 录

摘 要 .................................................................. 错误！未定义书签。

目 录 .................................................................................................... 3

引 言 .................................................................................................... 4

1数据仓库及其体系结构 .................................................................. 5

2基于数据仓库的数据挖掘技术

................................................................................................................... 6

3数据挖掘在实际决策支持系统中的应用 ................................. 8

4.结束语

................................................................................................................................. 9