华北科技学院
文献检索课程综合检索实习报告
检索课题（中文）土木工程灾害与数据挖掘研究
检索课题(英文)Civil Engineering Technology Development Disaster Prevention Research and Data Mining
学生姓名沈阳学号201408522438
学院（系）安全工程专业班级
报告完成日期2014.11.25成绩
土木工程灾害防治与数据挖掘技术发展研究1分析研究课题
我国是世界上自然灾害类型多，主要灾害种类有地震、火灾、洪灾、地质灾害、风灾、雷电等。随着城市化的迅速发展，城市噪声、疾病、工业事故、交通事故、建设性破坏等城市灾害也有加重的趋势，且还会不断出现新的灾害源。如超高层建筑、大型公共建筑、地下空间利用、天然气生产和使用、核技术利用中存在的致灾隐患等。可以说，我国防灾减灾的任务非常艰巨。防灾减灾与土木工程有着密切的关系。灾害之所以造成人员伤亡和财产损失，大多与土木工程的破坏有关。因此，土木工程师对防灾减灾负有重大责任。
所谓数据挖掘是指在大量、无序、模糊的数据中挖掘出其中有用的信息的过程，它能实现信息的分类、聚类并进行偏差分析。在这个信息爆炸的时代里，人们获取的信息量是非常惊人的。在软件工程中，软件的开发及管理过程中都会出现大量信息和数据，如何更好地在众多信息中快速找出有用信息成为困扰软件工程的一大问题，因此，对信息数据的挖掘在软件工程中显得更为重要。
本课题的学科分类主要土木（岩石）方面，涉及的知识学科门类比较专指，可以采用限定性关键词结合分类浏览的方式进行检索。
该课题属自然科学领域的一般层次的应用型研究，通常情况下需要首先检索时间跨度为5年左右的文献，再视具体情况回溯5年～10
年。信息类型涉及中外文期刊论文、学位论文、会议论文、专利、标准文献等。
2选择检索数据库
根据检索课题的学科范围和研究的方向性质，结合图书馆资源情况，选用检索数据库：
（1）CNKI中国知网（期刊、博硕）
（2）万方数据知识服务平台（学术期刊、学位论文、会议论文、专利技术、外文文献）
（3）超星数字图书馆（汇雅电子图书）
（4）EBSCO全文数据库
（5）中国知识产权网专利信息服务平台
（6）EPO专利检索系统
（7）中国标准服务网
3确定检索词
（1）中文：工程灾害；数据挖掘；数据仓库；滑坡灾害预测；滑坡；泥石流；煤矿塌陷；溃坝；地震灾害；滚石；地裂缝；砂土液化；防治；处理
（2）英文：Engineering disaster；Data Mining；Data Warehouse；Landslide hazard prediction；Landslide；Mudslides；Mine Subsidence；Dam failure；Earthquake Disaster；Rolling Stones；Ground cracks；Sand liquefaction；Prevention and cure；
treatment；
4制定检索表达式（仅列举部分）
（工程灾害or数据挖掘or数据仓库）and（滑坡灾害预测or or防治or处理）
（Engineering disaster OR Data Mining OR Data Warehouse）AND（Landslide hazard prediction OR Prevention OR treatment）
5检索结果
利用上述数据库，选用主题（关键词）途径，必要时结合分类途径，根据不同检索系统的语法规则，适当调整检索式，并选择合适的检索字段进行检索，如有必要可利用网络搜索引擎google、baidu 等进行补充查找，时间跨度定为10年，对检索结果进行判断，列举筛选出的切题文献记录如下：
1）CNKI中国知网（期刊、博硕）
（1）期刊
检
采用高级检索方式，得到15条记录，经筛选，摘录其中4条。
①牛瑞卿；韩舸；利用数据挖掘的滑坡监测数据处理流程
[J].武汉大学学报(信息科学版),2012,04
摘要:为有效处理海量、多种类的滑坡监测数据,提出了基于数据挖掘的滑坡监测数据处理流程。以白家包滑坡为例,利用k-means算法对监测数据进行定性处理,进而利用Apriori算法分析滑坡形变的诱发因素。实验结果表明,提出的流程能有效地处理滑坡监测数据,并发掘到有助于人们认识滑坡形变及其原因的知识。更多还原
关键词:数据挖掘；滑坡监测；Apriori；k-means；诱因分析；
②王树良；王新洲；曾旭平；等.武汉大学学报(信息科学版[J].滑坡监测数据挖掘视角,2004年07期
摘要:提出了滑坡监测数据挖掘视角,研究了宝塔滑坡监测数据挖掘的视角及其泛层次关系,从宝塔滑坡监测数据中挖掘得到定量、定性和可视化的知识。
关键词:滑坡监测；数据挖掘；空间数据挖掘；
③夏添；唐川；常鸣；成都理工大学环境与土木学院；人民黄河,2012-09
摘要：基于空间数据挖掘技术对滑坡敏感性评价进行研究,利用遥感技术、地形图矢量化和数字高程模型(DEM)生成等方法获取空间数据,建立研究区的滑坡灾害空间数据库,在全面分析滑坡与高程、坡度、坡向等地貌因子的关系后,采用Auto Logistic回归模型和信息统计量模型对研究区进行震后浅层滑坡的敏
感性评价,并对不同的评价方法产生的敏感性评价结果进行了精度分析。结果表明:信息统计量模型的AUC为0.713,Auto Logistic回归模型的AUC为0.836,两个模型可以相互验证,Auto Logistic模型的预测精确度较高。更多还原
关键词：滑坡敏感性评价；空间数据挖掘；遥感技术；ROC 曲线；
④朱传华；胡光道；.基于多维建模的滑坡监测数据挖掘[J].水土保持通报,2010年04期
摘要：安全监测是研究和防治滑坡的重要手段之一,而位移监测又是滑坡监测中一种最常用的监测手段。滑坡位移监测数据的分析一般基于平面文件进行,而本研究则基于数据仓库的概念,深入分析滑坡位移监测时间序列数据,使用建模工具Power Designer建立了滑坡位移监测多维模型,在多维数据集的基础上进行数据挖掘分析。以长江三峡库区白水河滑坡位移监测数据为例,设计了滑坡监测数据多维数据集的维、概念层次和度量等,并在SQL Server2005Analysis Services软件中使用Microsoft时序算法实现数据挖掘,对滑坡位移进行预测分析,得到的预测数据与实测数据误差很小,表明Microsoft时序算法可用于滑坡监测数据的短期预测。
关键词：时间序列；滑坡监测；数据仓库；多维建模；数据挖掘；
（2）博硕
检索过程
检索结果
采用高级检索方式，得到61,245条记录，经筛选，摘录其中2条。
①郑侠；福建省地质灾害调查数据库的数据挖掘与滑坡早期预警模型实现[D].（北京）,中国地质大学,2010，
摘要：滑坡的发育、发展、发生是一个复杂的系统过程,受自然及人为等多种因素制约,在某种控制因素逐渐成熟或多种因素联合作用下,则将产生从静到动、从量到质的形变,从而发生滑坡。影响滑坡形成的主要因素有基础因子和动态因子。基础因子包括地形地貌条件、地层岩性条件、地质构造条件、水文地质条件、水系植被的发育等。动态因子为诱发因素即地震、降雨、人类工程活动等。本文利用数据挖掘技术对“福建省县(市、区)地质灾害调查与区划”数据库进行数据挖掘,对滑坡的致滑因子分别进行描述统计分析和CF概率模型计算,筛选出致滑的关键基础因子敏感性从高到低分别为滑坡所在位置高程、斜坡坡度、土层厚度、土地利用情况和基岩岩性,动态因子为三日累计降雨量。利用二项逻辑回归分析方法训练滑坡灾害判别模型,确定各基础因素在模型中的权重。然后,利用判别模型对“闽东南地区台风暴雨型地质灾害监测预警示范”项目数据库中的高陡边坡进行发生概率判断。
关键词：数据挖掘；滑坡灾害；确定性系数；逻辑回归；预警模型；
②王冠男；基于GPS轨迹和照片轨迹的时空数据挖掘[D].长沙.中南大学,2013
摘要：现代信息技术和位置感知技术迅猛发展,人们能够方便的获得各种移动物体的轨迹数据。通过分析轨迹数据可以获得很多有价值的信息,并且推断出新的知识。许多基于位置推荐的门户网站已经引起了大众和研究者的关注,关于轨迹数据挖掘的研究也逐渐变得炙手可热。轨迹数据时时空数据的重要分支,本文主要研究了基于GPS轨迹以及照片轨迹的时空数据挖掘方法,采用多种统计方法挖掘轨迹之间的相似度、旅游者的行走模式等有价值的信息,通过针对真实数据进行实验,证明了方法在实践中的高效性。本文的研究工作主要包含如下四个方面：1)提出度量GPS轨迹相似度的几何算法(GSAs)。轨迹相似度算法能够提炼移动轨迹之间的相似信息,这些信息在城市道路网、交通和地理信息系统中发挥着很重要的作用。首先提出LAR定义(Length-Angle Ratio),用来简化GPS轨迹并检测其中的重点区域(sig-region);然后按照重点区域将轨迹分段,分别使用向量法和面积法计算轨迹中各段之间的差异性；最后通过综合分析这些差异性得到GPS轨迹的相似度。算法的优势在于三方面,首先,当GPS点缺失时,算法仍然有效；其次,GSAs应用了真实距离,体现了轨迹.
关键词：时空数据挖掘；GPS轨迹；Geo-信息照片轨迹；轨迹相似度；重尾分布；隐半马尔可夫模型；生存分析；
2）万方数据知识服务平台（学术期刊、学位论文、会议论文、专利技术、外文文献）
采用专业检索方式，得到52条记录，经筛选，摘录其中3条。
①葛启发；冯夏庭；岩土力学东北大学资源与土木工程学院,沈阳,110004;中国恩菲工程技术有限公司,北京;东北大学资源与土木工程学院,沈阳,110004;中国科学院武汉岩土力学研究所,岩土力学与工程国家重点实验室,武汉,2008,29(4)
摘要:针对岩爆等级划分问题,考虑了岩爆灾害发生的多种主要影响因素,采用新的数据挖掘方法AdaBoost(即Adaptive Boosting)的组合学习方法,结合流行的人工神经网络BP算法,构建了集成神经网络AdaBoost-ANN(简称AB-ANN)的岩爆等级多分类预测模型.该模型克服了单一弱分类器的不稳定性,提高了分类器精度,实验结果表明,预测的结果与实际值比较吻合,证明了该方法的可行性.
关键词：岩爆；知识脉络；等级分类；知识脉络；数据挖掘；知识脉络；AdaBoost；知识脉络；神经网络；知识脉络
②付华；王雨虹；基于数据挖掘的瓦斯灾害信息融合模型的研
究[D].传感器与微系统,2008,27(1)
摘要:数据挖掘和信息融合是2种功能不同的处理数据的过程,2种方法虽然原理不同,但在功能上可以相互弥补.介绀了基于数据挖掘技术建立信息融合模型的原理和算法,研究了基于模糊粗糙集的数据挖掘算法建立瓦斯灾害信息融合模型的方法,并对所建模型进行误差曲线仿真分析.
关键词：数据挖掘；知识脉络；信息融合；知识脉络；建模；知识脉络；模糊粗糙集；知识脉络；瓦斯灾害；知识脉络
（2）学位论文
检索过程
检索结果
采用高级检索方式，得到77条记录，经筛选，摘录其中1条。
①杨驭东.基于数据挖掘技术的瓦斯涌出量预测方法研[D],内蒙古科技大学,2013
摘要:瓦斯灾害是煤矿的主要灾害之一，不仅会给工作人员的生命安全造成很大的威胁而且还会带来大量的财产损失。做好瓦斯防治工作至关重要，而瓦斯涌出量预测是瓦斯防治中的重要环节，在很大程度上影响着煤矿的安全生产。因此，根据不同的矿井的情况，选择与其适应的瓦斯涌出量预测方法对指导矿井安全作业和制定行之有效的瓦斯灾害治理措施具有十分重要的意义。
本文采用数据挖掘的相关技术与方法，对某矿瓦斯涌出影响因素及涌出量进行分析与预测研究，并利用Poly Analyst与MATLAB软件进行建模与计算。
关键词：数据挖掘；知识脉络；支持向量回归机；知识脉络BP神经；网络知识脉络；瓦斯涌出量；知识脉络预测知识脉络
（3）会议论文
检索过程
利用与检索学位论文同样的高级检索限定，检索会议论文。检索结果
得到5条记录，经筛选，摘录其中1条。
①李守巨；王吉喆；刘迎曦；基于概率神经网络的岩土边坡稳定性预测方法:2006年深部岩石工程与岩土灾害防治测试新技术与应用研讨会{C].昆明：中国岩石力学与工程学会,2007.
摘要:本文基于数据挖掘技术和智能系统,提出应用概率神经网络预测边坡稳定性的数值方法.根据大量边坡稳定或者失稳案例记录的数据库资料,采用数据挖掘方法能够从中提炼出有价值的分类模式.将岩土边坡的力学参数和几何形状作为神经网络的输入训练和测试神经网络.实际应用显示所建立的概率神经网络预测边坡稳定的实用性.与传统的极限平衡分析方法和极大似然估计方法相对比,所提出的概率神经网络具有更高的预测精度.
关键词：边坡稳定分析知识脉络；概率神经网络知识脉络数据挖掘知识脉络；知识脉络
（4）专利技术
检索过程
利用与检索学位论文同样的高级检索限定，检索专利技术。
检索结果
得到3条记录，经筛选，摘录其中1条。
①辽宁工程技术大学.多传感器瓦斯突出预测仪:中国,
CN200520145913.9[P].2007-3-14.
摘要:本实用新型属煤矿安全仪器，特别涉及一种多传感器瓦斯突出预测仪，主要由电源电路(1)、声光报警电路(4)、显示键盘电路(5)、中央处理器电路(6)组成，它还包括传感器电路(2)、检测电路(3)；多传感器瓦斯突出预测仪是一
种对煤矿瓦斯灾害进行多个参数数据采集、特征参数提取、数据融合及综合决策的仪器，采用数据挖掘方法提出煤与瓦斯突出的灾害特征信息，应用信息融合理论，对多个传感器的信息进行融合处理，实现对煤与瓦斯突出灾害的综合评定功能，同时为提高该仪器的可靠性还增加了电磁辐射检测系统，提高了预测的准确率，该预测仪结构简单、体积小、抗干扰性强。
3）超星数字图书馆（汇雅电子图书）
检索过程
4）EBSCO全文数据库
检索过程
5）中国知识产权网专利信息服务平台
检索结果
采用高级检索方式，得到281条记录，经筛选，摘录其中2条。
①中国科学院自动化研究所.一种基于离群数据挖掘的图像显著性检测方法:中国,CN201210569877.3[P].2011-12-25
摘要：本发明公开了一种基于离群数据挖掘的图像显著性检测方法，该方法包括：在图像的多尺度视觉特征空间内分别估计各个像素点的局部分布密度值、加权邻域分布密度值；计算表征图像区域分布差异信息的显著性似然值；采用基于核方法的显著性似然值传播方法来融合图像的视觉特征空间分布信息和二维平面空间分布信息以修正显著性似然值，并输出图像的显著性映射图。
②张永军;杨利娟.一种利用相关系数进行相关性分析的贝叶斯分类数据挖掘方法:中国,CN201410143640.8[P].2004-04-10.
摘要：公开了一种利用相关系数进行相关性分析的贝叶斯分类数据挖掘方法。初步选定一些可能与目标因子具有相关性的预测因子，对预测因子和目标因子进行模型训练，再对训练结果利用相关系数进行相关性分析，如果预测因子和目标因子相关性不大或者不相关，可以立即终止贝叶斯分类算法，不再进行后面的精度评估等步骤，以便用户保留有关预测因子，去掉无关预测因子或者重新选定预测因子；如果预测因子和目标因子相关性很大或者相关时，再在此基础上进行精度评估，评价贝叶斯分类算法的好坏。通过在分类模型的基础上进行相关性判断，不仅可以使分类预测结果更加可靠，而且可以节约资源，提高算法的效率。
6）EPO专利检索系统
检索过程
检索
采用高级检索方式，得到25条记录，经筛选，摘录其中1条。
①重庆机务技术有限公司，CSS定位基站提供多个主要董事会和多个收发器:中国,CN20132694370U[P].2013-11-05.
The utility model discloses a CSS positioning base station provided with multiple main boards and multiple transceivers.The CSS positioning base station includes a first CPU main board,a second CPU main board, a switching module and a plurality of CSS transceivers.The CSS positioning base station is characterized in that M CSS transceivers are connected with the first CPU main board through SPI buses while the rest N CSS transceivers are connected with the second CPU main board through SPI buses;each CSS transceiver is also connected with a CSS antenna; the first CPU main board and the second CPU main board are connected with the switching module through Ethernet interfaces;data exchange between the switching module and the external is realized via the Ethernet interfaces;the first CPU main board and the second CPU main board receive external data through the switching module respectively,process
the data and then output the data to the CSS transceivers connected with the first CPU main board and the second CPU main board.The CSS transceivers process the received data and then transmit through the CSS antennas.According to the utility model,a plurality of ranging anchor points are provided for the CSS wireless positioning terminal.The CSS positioning base station provided with the multiple main boards and the multiple transceivers can be applied to fields such as logistics, transportation,mining,national defense and the like and has a good application prospect.
7）中国标准服务网
检索过程
检索结果
采用高级检索方式，得到14条记录，经筛选，摘录其中1条
①国际标准化组织.ISO/IEC13249-6-2006信息技术.数据库语言.SQL多媒体和应用包.第6部分:数据挖掘:[S].2006-06-11.
数据挖掘 引言 数据挖掘是一门交叉学科，涉及到了机器学习、模式识别、归纳推理、统计学、数据库、高性能计算等多个领域。 所谓的数据挖掘（Data Mining）指的就是从大量的、模糊的、不完全的、随机的数据集合中提取人们感兴趣的知识和信息，提取的对象一般都是人们无法直观的从数据中得出但又有潜在作用的信息。从本质上来说，数据挖掘是在对数据全面了解认识的基础之上进行的一次升华，是对数据的抽象和概括。如果把数据比作矿产资源，那么数据挖掘就是从矿产中提取矿石的过程。与经过数据挖掘之后的数据信息相比，原始的数据信息可以是结构化的，数据库中的数据，也可以是半结构化的，如文本、图像数据。从原始数据中发现知识的方法可以是数学方法也可以是演绎、归纳法。被发现的知识可以用来进行信息管理、查询优化、决策支持等。而数据挖掘是对这一过程的一个综合性应用。
目录 引言 (1) 第一章绪论 (3) 1.1 数据挖掘技术的任务 (3) 1.2 数据挖掘技术的研究现状及发展方向 (3) 第二章数据挖掘理论与相关技术 (5) 2.1数据挖掘的基本流程 (5) 2.2.1 关联规则挖掘 (6) 2.2.2 .Apriori算法：使用候选项集找频繁项集 (7) 2.2.3 .FP-树频集算法 (7) 2.2.4.基于划分的算法 (7) 2.3 聚类分析 (7) 2.3.1 聚类算法的任务 (7) 2.3.3 COBWEB算法 (9) 2.3.4模糊聚类算法 (9) 2.3.5 聚类分析的应用 (10) 第三章数据分析 (11) 第四章结论与心得 (14) 4.1 结果分析 (14) 4.2 问题分析 (14) 4.2.1数据挖掘面临的问题 (14) 4.2.2 实验心得及实验过程中遇到的问题分析 (14) 参考文献 (14)
数据挖掘研究现状及发展趋势摘要：从数据挖掘的定义出发，介绍了数据挖掘的神经网络法、决策树法、遗传算法、粗糙集法、模糊集法和关联规则法等概念及其各自的优缺点；详细总结了国内外数据挖掘的研究现状及研究热点，指出了数据挖掘的发展趋势。 关键词：数据挖掘；挖掘算法；神经网络；决策树；粗糙集；模糊集；研究现状；发展趋势 Abstract：From the definition of data mining，the paper introduced concepts and advantages and disadvantages of neural network algorithm，decision tree algorithm，genetic algorithm，rough set method，fuzzy set method and association rule method of data mining，summarized domestic and international research situation and focus of data mining in details，and pointed out the development trend of data mining. Key words：data mining，algorithm of data mining，neural network，decision tree，rough set，fuzzy set，research situation，development tendency 1引言 随着信息技术的迅猛发展，许多行业如商业、企业、科研机构和政府部门等都积累了海量的、不同形式存储的数据资料[1]。这些海量数据中往往隐含着各种各样有用的信息，仅仅依靠数据库的查询检索机制和统计学方法很难获得这些信息，迫切需要能自动地、智能地将待处理的数据转化为有价值的信息，从而达到为决策服务的目的。在这种情况下，一个新的技术———数据挖掘(Data Mining，DM)技术应运而生[2]。 数据挖掘是一个多学科领域，它融合了数据库技术、人工智能、机器学习、统计学、知识工程、信息检索等最新技术的研究成果，其应用非常广泛。只要是有分析价值的数据库，都可以利用数据挖掘工具来挖掘有用的信息。数据挖掘典型的应用领域包括市场、工业生产、金融、医学、科学研究、工程诊断等。本文主要介绍数据挖掘的主要算法及其各自的优缺点，并对国内外的研究现状及研究热点进行了详细的总结，最后指出其发展趋势及问题所在。 江西理工大学
数据挖掘研究的现状与发展趋势 郑继刚,王边疆 (保山学院数学系,云南保山678000) 影响其空间分布的因素之间的关系;预测型的模 型用来根据给定的一些属性预测某些属性,如分类模 型和回归模型等. 目前,主要在空间数据挖掘的体系结构和挖掘过 程做了大量研究,包括面向对象的空间数据库的数据 挖掘、模糊空间关联规则的挖掘、不确定性挖掘、聚类 挖掘、挖掘空间数据的偏离和演变规则、基于多专题 地图的挖掘、交叉概化、基于时空数据的概化、并行数 据挖掘、统计分析与数据挖掘的协同和遥感影像的挖 掘等,主要采用了基于统计学和概率论、集合论、机器 学习、仿生物学、地球信息学的研究方法. 4.2多媒体数据挖掘 多媒体数据,包括图形、图像、文本、文档、超文 本、声音、视频和音频数据等,数据类型复杂.随着信 息技术的进步,人们所接触的数据形式越来越丰富, 多媒体数据的大量涌现,形成了很多海量的多媒体数 据库[8].这些数据大多是非结构化数据、异构数据, 特征向量通常是数十维甚至数百维,转化为结构数据 和降维成了多媒体数据挖掘的关键技术. 有研究者提出了多媒体数据挖掘的系统原型 ＭＤＭＰ,将多媒体数据的建模表示、存储和检索等多 媒体数据库技术与数据挖掘技术有机地结合在一起, 采用多媒体图像数据的相似性搜索、多维分析、关联 规则挖掘、分类与聚类分析等挖掘方法,广泛地应用 于医学影像诊断分析、卫星图片分析、地下矿藏预测 等各种领域. 4.3时序数据挖掘 时序数据挖掘通过研究信息的时间特性,深入洞 悉事物进化的机制,揭示其内在规律(如波动的周期、 振幅、趋势的种类等),成为获得知识的有效途径.关 键问题是要是寻找一种合适的序列表示方式,基于点 距离和关键点是常用的算法,但都不能完整表示出序 列的动态属性.时序数据挖掘的主要技术有趋势分析 和相似搜索,在宏观的经济预测、市场营销、客流量分 析、太阳黑子数、月降水量、河流流量、股票价格波动 等众多领域得到了应用.
作者简介：韩少锋，男，１９８０年生，中北大学在读硕士研究生。研究方向：人工智能技术。 引言 “人类正被信息淹没，却饥渴于知识．”这是１９８２年 趋势大师ＪｏｈｎＮａｉｓｂｉｔｔ的首部著作《大趋势》（Ｍｅｇａ－ｔｒｅｎｄｓ）中提到的。 随着数据库技术的迅速发展，如何从含有海量信息的数据库中提取更有价值、更直观的信息和知识？人们结合统计学﹑数据库﹑机器学习﹑神经网络﹑模式识别﹑模糊数学﹑粗糙集理论等技术，提出‘数据挖掘’这一新的数据处理技术来解决这一难题。数据挖掘（ＤａｔａＭｉｎｉｎｇ）就是从大量的﹑不完全的﹑有噪声的﹑模糊的﹑随机的数据中，提取隐含在其中的﹑人们事先不知道的﹑但又是潜在的有用的信息和知识的过程。这些数据可以是：结构化的，半结构化的，分布在网络上的异构性数据。数据挖掘在许多领域得到了成功的应用，使数据库技术进入了一个更高级的发展阶段，很多专题会议也把数据挖掘和知识发现列为议题之一。 １数据挖掘技术概述 １．１数据挖掘的概念 数据挖掘的概念有多种描述，最常见的有两种：（１）Ｇ．ＰｉａｔｅｔｓｋｙＳｈａｐｉｏｒ，Ｗ．Ｊ．Ｆｒａｗｌｅｙ数据挖掘定义为：从数据库的大量数据中揭示出隐含的、先进而未知的、潜在有用信息的频繁过程。（２）数据挖掘的广义观点：数据挖掘是从存放在数据库、数据仓库或其他信息库中的大量数据中挖掘有趣知识的过程。数据挖掘的特点有：１）用户需要借助数据挖掘技术从大量的信息中找到感兴趣的信息；２）处理的数据量巨大；３）要求对数据的变化做出及时的响应；４）数据挖掘既要发现潜在的规则，也要管理和维护规则，规则的改变随着新数据的不断更新而更新；５）数据挖掘规则的发现基于统计规律，发现的规则不必适用于全部的数据。 数据挖掘要面对的是巨大的信息来源；通过数据挖 掘，有价值的知识、规则或高层次的信息就能从数据库的相关数据集合中抽取出来，并从不同角度显示，从而使大型数据库作为一个丰富可靠的资源为知识归纳服务。 １．２数据挖掘的简史 从数据库中知识发现（ＫＤＤ）一词首先出现在１９８９ 年举行的第十一届国际联合人工智能学术会议上。目前为止，由美国人工智能协会主办的ＫＤＤ国际研讨会已经召开了８次，规模由原来的专题讨论会发展到国际学术大会，研究重点也从发现方法转向系统应用。１９９９年，亚太地区在北京召开的第三届ＰＡＫＤＤ会议收到１５８篇论文，研讨空前热烈。 目前，数据挖掘技术在零售业的购物篮分析﹑金融风险预测﹑产品质量分析﹑通讯及医疗服务﹑基因工程研究等许多领域得到了成功的应用。 １．３数据挖掘的对象 数据挖掘的对象包含大量数据信息的各种类型数 据库。如关系数据库，面向对象数据库等，文本数据数据源，多媒体数据库，空间数据库，时态数据库，以及 Ｉｎｔｅｒｎｅｔ等类型数据或信息集均可作为数据挖掘的对 象。 １．４数据挖掘的工具 许多软件公司和研究机构，根据商业的实际需要 开发出许多数据挖掘工具。例如：有多种数据操控和转换特点的ＳＡＳＥｎｔｅｒｐｒｉｓｅＭｉｎｅｒ；采用决策树、神经网络和聚类技术综合的数据挖掘工具集－ＩＢＭＩｎｔｅｒｌｌｉｇｅｎｔＭｉｎｅｒ；可以提供多种统计分析、 决策树和回归方法，在Ｔｅｒａｄａｔａ数据库管理系统上原地挖掘的Ｔｅｒａｄａｔａ ＷａｒｅｈｏｕｓｅＭｉｎｅｒ；以及同时具有数据管理和数据概括能力，能够用于多种商业平台的ＳＰＳＳＣｌｅｍｅｎｔｉｎｅ。以上 主流数据挖掘工具都能提供常用的挖掘过程和挖掘模 数据挖掘技术及应用综述 韩少锋 陈立潮 （中北大学计算机科学与技术系 山西 太原 ０３００５１） 【摘要】介绍了数据挖掘技术的背景、概念、流程、数据挖掘算法，并阐述了数据挖掘技术的应用现状。 【关键词】数据挖掘 知识发现 人工智能 数据仓库 【中图分类号】ＴＰ３１１．１３８ 【文献标识码】Ｂ 【文章编号】１００３－７７３Ｘ（２００６）０２－００２３－０２ 第２期（总第８９期）机械管理开发 ２００６年４月Ｎｏ．２（ＳＵＭＮｏ．８９）ＭＥＣＨＡＮＩＣＡＬＭＡＮＡＧＥＭＥＮＴＡＮＤＤＥＶＥＬＯＰＭＥＮＴ Ａｐｒ．２００６ ２３??
第37卷第7期测绘与空间地理信息 GEOMATICS ＆SPATIAL INFOＲMATION TECHNOLOGY Vol．37，No．7收稿日期：2014－01－22 作者简介：马宏斌（1982－），男，甘肃天水人，作战环境学专业博士研究生，主要研究方向为地理空间信息服务。 大数据时代的空间数据挖掘综述 马宏斌1 ，王 柯1，马团学 2（1．信息工程大学地理空间信息学院，河南郑州450000；2．空降兵研究所，湖北孝感432000） 摘 要：随着大数据时代的到来，数据挖掘技术再度受到人们关注。本文回顾了传统空间数据挖掘面临的问题， 介绍了国内外研究中利用大数据处理工具和云计算技术，在空间数据的存储、管理和挖掘算法等方面的做法，并指出了该类研究存在的不足。最后，探讨了空间数据挖掘的发展趋势。关键词：大数据；空间数据挖掘；云计算中图分类号：P208 文献标识码：B 文章编号：1672－5867（2014）07－0019－04 Spatial Data Mining Big Data Era Ｒeview MA Hong －bin 1，WANG Ke 1，MA Tuan －xue 2 （1．Geospatial Information Institute ，Information Engineering University ，Zhengzhou 450000，China ； 2．Airborne Institute ，Xiaogan 432000，China ） Abstract ：In the era of Big Data ，more and more researchers begin to show interest in data mining techniques again．The paper review most unresolved problems left by traditional spatial data mining at first．And ，some progress made by researches using Big Data and Cloud Computing technology is introduced．Also ，their drawbacks are mentioned．Finally ，future trend of spatial data mining is dis-cussed． Key words ：big data ；spatial data mining ；cloud computing 0引言 随着地理空间信息技术的飞速发展，获取数据的手 段和途径都得到极大丰富，传感器的精度得到提高和时空覆盖范围得以扩大，数据量也随之激增。用于采集空间数据的可能是雷达、红外、光电、卫星、多光谱仪、数码相机、成像光谱仪、全站仪、天文望远镜、电视摄像、电子 显微镜、CT 成像等各种宏观与微观传感器或设备，也可能是常规的野外测量、人口普查、土地资源调查、地图扫描、 地图数字化、统计图表等空间数据获取手段，还可能是来自计算机、 网络、GPS ，ＲS 和GIS 等技术应用和分析空间数据。特别是近些年来，个人使用的、携带的各种传感器（重力感应器、电子罗盘、三轴陀螺仪、光线距离感应器、温度传感器、红外线传感器等），具备定位功能电子设备的普及，如智能手机、平板电脑、可穿戴设备（GOOGLE GLASS 和智能手表等），使人们在日常生活中产生了大量具有位置信息的数据。随着志愿者地理信息（Volunteer Geographic Information ）的出现，使这些普通民众也加入到了提供数据者的行列。 以上各种获取手段和途径的汇集，就使每天获取的 数据增长量达到GB 级、 TB 级乃至PB 级。如中国遥感卫星地面站现在保存的对地观测卫星数据资料达260TB ，并以每年15TB 的数据量增长。比如2011年退役的Landsat5卫星在其29年的在轨工作期间，平均每年获取8．6万景影像，每天获取67GB 的观测数据。而2012年发射的资源三号（ZY3）卫星，每天的观测数据获取量可以达到10TB 以上。类似的传感器现在已经大量部署在卫 星、 飞机等飞行平台上，未来10年，全球天空、地空间部署的百万计传感器每天获取的观测数据将超过10PB 。这预示着一个时代的到来，那就是大数据时代。大数据具有 “4V ”特性，即数据体量大（Volume ）、数据来源和类型繁多（Variety ）、数据的真实性难以保证（Veracity ）、数据增加和变化的速度快（Velocity ）。对地观测的系统如图1所示。 在这些数据中，与空间位置相关的数据占了绝大多数。传统的空间知识发现的科研模式在大数据情境下已经不再适用，原因是传统的科研模型不具有普适性且支持的数据量受限， 受到数据传输、存储及时效性需求的制约等。为了从存储在分布方式、虚拟化的数据中心获取信息或知识，这就需要利用强有力的数据分析工具来将
数据挖掘，这是个听起来既神秘，又具有诱惑性的词。就好像要去一片热带沙漠搜寻宝藏，宝藏的诱惑性很强，但是黄沙远处却看不透彻，不知此行是对是错，看到的光亮又是否只是虚幻的海市蜃楼。 所以很多学习数据挖掘的，或是想选择数据挖掘方向的人会在是否踏出第一脚时犹豫不决。 以下，我们就来分析看看数据挖掘的现状及前景。 首先看看百科中数据挖掘的定义：数据挖掘（Data Mining，DM）是目前人工智能和数据库领域研究的热点问题，所谓数据挖掘是指从数据库的大量数据中揭示出隐含的、先前未知的并有潜在价值的信息的非平凡过程。 基于数据挖掘可能产生的巨大价值，我国的各大重点院校都针对数据挖掘开了专业课程以及研究课题，不仅如此，政府以及大型企业也开始重视这一领域，投资人力物力支持数据挖掘项目。 或许这样说还不够直观，那就就数字佐证。 据IDC对欧洲和北美62家采用了商务智能技术的企业的调查分析发现，这些企业的3年平均投资回报率为401%，其中25%的企业的投资回报率超过600%。调查结果还显示，一个企业要想在复杂的环境中获得成功，高层管理者必须能够控制极其复杂的商业结构，若没有详实的事实和数据支持，是很难办到的。因此，随着数据挖掘技术的不断改进和日益成熟，它必将被更多的用户采用，使更多的管理者得到更多的商务智能。 国外如此，那中国呢？ 随着我国信息化的发展，数据的积累及计算机的广泛应用，加上来自外资企业商业智能数据挖掘应用带来的竞争压力，商业智能及数据挖掘也逐渐在中国也形成了一个产业。随着成功案例的增多，不仅仅是金融保险电信等行业或是政府机构，中小企业也逐渐将商业智能应用于业务之中。 信息化时代数据的潜力不容小觑，IT部门一直是企业的核心，而数据挖掘技术更是得到了前所未有的重视和期待。目前我国数据挖掘、商业智能技术的人才培养体系还未健全，而企业对这方面的需求却一直在增长。数据知识发展为核心竞争力是现在及未来必然的形势。因此数据挖掘、商业智能行业的前景还是非常可观的。 所以，请坚定勇敢地踏出迈向数据挖掘的那一步吧，然后扎实地学好所需的知识理论及实践技巧，最后所收获到的，或许比你所期待的还多。
数据挖掘技术在软件工程中的应用研究 发表时间：2018-06-20T10:03:11.023Z 来源：《电力设备》2018年第5期作者：张佳鑫李爱萍 [导读] 摘要：社会发展的信息化水平在不断提高，越来越多的信息资源被相应的数据所替代，而实现这些信息资源充分利用的前提即是对其相应的数据进行管理与分析。 （太原理工大学计算机科学与技术学院山西太原 030024） 摘要：社会发展的信息化水平在不断提高，越来越多的信息资源被相应的数据所替代，而实现这些信息资源充分利用的前提即是对其相应的数据进行管理与分析。数据挖掘技术作为一种新型的网络技术，在软件工程的大数据分析中占据核心地位，有利于提高数据的可靠性与安全性。本文主要分析了数据挖掘技术在软件工程中的应用策略。 关键词：数据挖掘；软件工程；策略；发展 随着信息技术的不断发展，日常生活中人们所接触的信息量越来越多，如何在众多信息量中找到自己有用的信息，成为影响人们工作效率和工作质量的关键因素，而数据挖掘技术的应用则能很好的解决这个问题。所谓数据挖掘是指在大量、无序、模糊的数据中挖掘出其中有用的信息的过程，它能实现信息的分类、聚类并进行偏差分析。数据挖掘技术一般流程为数据预处理、数据挖掘、模式评估与知识表示等等，笔者结合实际经验，分析了数据挖掘技术在软件工程中的应用策略，对数据挖掘技术的发展提出了几点思考。 1数据挖掘技术概述 1.1数据挖掘技术的定义 数据挖掘技术，也成为数据库中的知识发现，发展于上个世纪末，是当前数据库领域内最新的应用研究技术。历经多年的发展，数据挖掘技术已成为当前数据库领域内最为关键的组成部分，但是还没有较为统一的定义。当前数据挖掘技术定义认可度最高的便是由W.J.Frawley等人所提出的，将数据挖掘技术理解为从数据中提炼出更为高效、更为新颖、更具潜在应用价值，并最终可理解模式的非平凡过程中。主要具有如下多方面内容： （1）数据源务必真实、数据量较大、并含噪音，不完全； （2）应用于获取终端用户兴趣较高的未知知识信息； （3）所获取的知识具备有效性、新颖性，且为潜在的； （4）更用于发现特定的问题，对知识量没有过多要求； 综合而言，数据挖掘属于复杂度较高的交叉学科，包括人工智能、模式识别、统计学、数据可视化等等交叉性相对较大的新型学科，未来拥有良好的发展空间。 1.2数据挖掘技术一般流程 一般而言，数据挖掘主要由数据预处理、数据挖掘以及模式评估和知识表示等三阶段组成。具体如下： （1）数据预处理。主要由原始信息获取、数据清洗、数据抽取及数据交换等构成。原始数据获取在于获取发现任务的处理对象，主要按照相应的需求而获取数据。数据清洗目的在于完善原始数据所缺失的数据。数据抽取指将特定的数据源中获取与分析任务相关的数据。数据转换在于规格化数据，以满足特定范围要求。 （2）数据挖掘，第一步便是明确挖掘任务，包括数据分类、数据总结等等，紧接着便是确定挖掘算法，应结合数据实际特点以及具体系统特定需求来确定算法。 （3）模式评估与知识表示。模式用于表示数据挖掘所形成的结果，用特定的兴趣度进行度量，用于识别表示知识的真正有趣模式。在此之中所使用的度量特定值通常由领域专家、用户标准等给出 2数据挖掘技术在软件工程中的应用情况 2.1执行记录 对于执行记录挖掘来说，就是分析程序执行路径，找寻存在于程序中的代码关系，将数据挖掘及时应用到软件工程中就是跟踪相关执行路径，在逆向建模的作用下达到既定目标，其主要作用是维护与验证程序。在执行记录的过程中，主要是插装系统，然后用相关软件接口编程，同时记录相关变量等，最终将收集来的信息整合在一起，构建相应的系统模型。 2.2漏洞检测 在软件工程中利用数据挖掘技术进行漏洞检测，主要是为了及时发现存在于软件开发中的问题，这样就可以尽快将漏洞弥补，对提高软件质量有很好的作用。通常情况下，利用数据挖掘及时检测软件漏洞看，就是先对软件进行系统测试看，同时根据用户需求制定出科学合理的应对措施。然后将各种漏洞数据收集整理在一起，逐一做好数据清理与转换。通过分析这些数据信息能够得知，为做好数据清理工作，就需要将多余数据清理出去，然后对丢失项目进行补充，这样再将数据属性以数值的形式体现出来。其次，要构建合适的数据模型，做好验证与训练。在这一过程中应重视与项目实际的联系，选择与之相匹配的挖掘方式，以便构成测试集，获得相应结果。此外，还要做好漏洞扫描与分类，将所有漏洞整理起来构成漏洞库，然后再次扫描，防止漏洞遗失，最后将通过挖掘得来的数据知识应用到软件测试中。 2.3开源软件 对于开源软件来说，其挖掘环境带有明显的开放性与全面性特征，所以，在管理这样的软件时，就不能使用传统软件的开发方式。一般而言，较为成熟的开源软件，能够详细记录开发中所遇到的错误，同时也包括软件开发者的一些活动，以及软件在市场中的应用情况。对于参与软件开发的人员来说，他们是社会网络的主要创造者，然而，由于开源软件的开放特征较为明显，所以也就让这些参与人员随之发生变化。同时，由于开源软件还带有动态特征，所以就需要重视开源项目的进一步管理，也就是由专业人士管理软件系统，在这项工作中做的最好的莫过于英国牛津大学的Sima系统。 2.4版本信息控制 在版本信息控制应用中，主要是确保项目参与者所使用的档案相同，这样也有利于全面更新。对于软件工程开发来说，通常会用版本控制系统管理与开发软件。同时利用版本信息控制，选择合适的变更历史信息的方法，以便获取不同模块，在这种情况下子系统也可以相互映衬，这对深度挖掘程序变化，做好漏洞检测具有重要作用。随着数据挖掘技术在软件工程中的应用，不仅可以有效减少系统维护资
基于大数据的数据挖掘技术与应用 发表时间：2019-07-17T12:49:19.997Z 来源：《基层建设》2019年第12期作者：汪洋 [导读] 摘要：科技前进的步伐越来越快，数据挖掘与传统行业相结合，在各行各业展现出了十分强大的生命力。 中国联合网络通信有限公司黄石市分公司湖北黄石 435000 摘要：科技前进的步伐越来越快，数据挖掘与传统行业相结合，在各行各业展现出了十分强大的生命力。本文从数据挖掘的基本概念和功能谈起，进一步再分析其在金融和人力资源两个方面的具体运用。 关键词：数据挖掘；大数据；金融；人力资源 一、数据挖掘的概念和功能 （一）数据挖掘概念。数据挖掘是指从庞大繁杂的数据中通过算法搜索隐藏于表面数据背后信息的过程。数据挖掘通常与计算机科学有关，并通过统计、在线分析处理、情报检索、机器学习和模式识别等多种方法来实现上述目标。 （二）数据挖掘的方法和过程。数据挖掘的理论技术一般可分为传统技术和改良技术两支。就传统技术而言，以统计分析为主要代表；就改良技术而言，以决策树理论、类神经网络和规则归纳法等为主要代表。 （三）数据挖掘的主要功能。数据挖掘的功能十分强大，在与各行各业结合之后，都能为各行业带来新的发展契机。一般来说，数据挖掘的功能分为两类：一类是描述性功能，是指对目标数据的属性进行特征描述；另一类是预测性功能，是指对当前数据进行归纳，以进行发展趋势的预测。 二、数据挖掘技术的应用实践 （一）在金融方面的应用。大数据金融以庞大繁杂的数据作为基础，利用如互联网等信息化技术，分析处理对客户的消费数据，将客户及时全面的信息及时地反馈给金融企业，如此一来，使得金融企业给零散化的客户群体提供定制化的服务成为可能。数据挖掘技术在金融领域的表现十分优异，在第三方支付、p2p网络借贷、供应链金融、互联网消费金融等方面均有广泛的运用。 就第三方支付而言，因为其运用场景多样化，使用方便快捷，因而，第三方支付与上下游的交易者联系紧密。当相关数据累积到一定程度时，便可推出更多的增值服务，进一步增加利润来源。在众多增值服务中，近年来，值得一提的是由蚂蚁金服推出的蚂蚁花呗。蚂蚊花呗本质上而言是一款消费信贷产品。蚂蚁花呗利用大数据，以自身的风控模型为基础，结合对消费者在互联网上的各种网购情况、支付习惯、信用风险等的分析结果，对不同的用户根据其近期的消费情况给予不同数额的消费额度。 第三方互联网支付交易规模由于互联网理财等大额交易场景的推动保持高速增长。在2013年，第三方互联网支付交易额仅为6万亿元，但据可靠预测，在2020年，此交易额可到39万亿元。再看第三方移动支付交易额。由于移动支付场景的多样化、用户渗透率越来越高、各种第三方支付企业进军市场等原因，移动交易量不断上升。在2013年，第三方移动支付交易额仅为1万亿元。但据估计，在2020年，第三方移动支付交易额可达144万亿元。 （二）在人力资源管理方面的运用。 （1）数据挖掘与人力资源规划：通过数据挖掘技术，组织管理者可以利用搜集到的每一个员工的组织内外部的信息资料，联系企业的整体战略目标，以事实为依据，制定未来人力资源规划。 （2）数据挖掘与人才的招聘与配置：招聘时，招聘者对于求职者的了解一般都比较肤浅，对于求职者的专业技能掌握情況、工作效率等无法有效进行认知。而新兴的社交网络呈现了—个人各方面的信息，如工作经历、社会关系、工作效率等，从而能助招聘者一臂之力，达到精准的人岗匹配。 （3）数据挖掘与员工的开发：利用数据挖掘，管理者将职业生涯规划建立在员工全方位数据的基础上，如员工的应聘岗位、晋升意愿和期望薪酬等结构化与非结构化的数据信息，从而精准地为员工提供职业培训。 三、注意区分数据挖掘与个人信息侵犯 当今时代，科学技术的不断提高，使得各种数码产品更新换代速度加快，手机、电脑、照相机等电脑产品基本是一年更新换代一次甚至两三次。其中由于手机应用功能随着经济发展而逐渐增加，从原来的按键机发展到如今的触屏手机乃至折叠手机，其功能也从原来的拨打电话、发送短信、彩信功能而增加到如今的视频通话、语音通话以及上网功能。网络的普遍化丰富了人们的生活，使得人们可以便捷广泛的了解、认知自身以外的整个中国乃至整个世界，可以通过网络媒介了解到其他国家的风土民俗、地形地貌，了解自己所喜欢的明星网红的日常喜好，或是通过网络媒介得到想获得的知识、达到一个学习的作用。但网络媒介是一把双刃剑，通过网络世界了解到诸多信息时，也可能因为自己在网络上所说的一句话、所发的一个定位从而导致自身隐私泄露，个人信息被公布在大众眼中。要运用好大数据时代中网络媒体这一把双刃剑，就必须要求到人们提高自我隐私保护意识，规范网络世界中的一言一语。 （一）大数据时代信息量过大导致信息泄露 当今时代是科技不断发展的时代，是大数据时代。在大数据时代里，各种数码产品纷呈展现其自身的广泛性、普遍性，充斥在人类日常生活中。尤其是手机的发展从原始的只能打电话接电话的大哥大，渐渐变成能够发短信、收短信的按键机，为满足人们日常生活中的娱乐要求，在信息传播的同时又增加了照相机、听音乐、玩游戏等等娱乐功能。在科技发展的基础上，为满足人们日常生活中的各种精神需求，仅仅五六年时间内，按键手机逐渐演变成如今的触屏手机、智能手机。如今的手机已不仅是一个只能打电话、接电话的功能机，在满足了人们的基本通讯要求后，增加了上网的功能。如今微博app、微信app、qqapp各种社交app的崛起，使得人们日常生活充满了娱乐性、便捷性、广泛性，所接收的信息不仅来自自身以外的中国各地，而且也可以接触到中国以外其它国家，甚至来自地球以外的各大恒星的知识。如今你将会看到，越来越多的人在超市里、商场中、地铁上、公园里拿起手机刷微博、拍抖音、视频通话、拍照片等等，在大数据时代，由于网络的普遍，人们上一秒在抖音app上传了一段视频、微博上发布了一篇文章、朋友圈发表了几张照片，以网络传播速度快的特点，下一秒这个视频、这篇文章、这些照片就极有可能出现在大众视线中。网络带来便捷性的同时也带来过大的信息量以及一定性的安全隐患，人们通过信息库了解某一样东西的同时，也可能导致自身定位被人知道、自身隐私被泄露出去。 （二）大数据时代侵犯个人信息方法更多 由于科学技术进步速度快，数码产品更新换代的速度也日益加快。当手机硬件设施提高了，相应的各类软件应用层出不穷，给予了人们日常生活中的精神满足，同时也给予了不法分子有机可图的条件。人们隐私安全问题日益堪忧，由于手机等各种数码产品的普遍性，大
第 27 卷第 6 期海洋通报V ol. 27，No.6 2008 年 12 月 MARINE SCIENCE BULLETIN Dec. 2008 海洋数据挖掘技术应用研究 魏红宇1, 2，张峰2，李四海2 ( 1．中国海洋大学，山东青岛 266003；2．国家海洋信息中心，天津 300171 ) 摘 要：在研究中外数据挖掘技术在海洋应用的现状和进展的基础上，结合海洋数据特点及应用需求，提出了海洋数据挖掘技术应 用模式，并介绍了基于计算机技术、数据库技术、GIS 技术的海洋数据挖掘应用系统的主要功能和系统架构。最后通过对赤潮预测 的数据挖掘应用分析，验证了系统应用的科学合理性。 关键词：海洋；数据挖掘；系统应用；赤潮 中图分类号：P717；TP311 文献标识码：A 文章编号：1001-6932(2008)06-0082-0006 数据挖掘( Data Mining ) 技术的概念，产生于 20 世纪 90 年代初，它是指从大量数据中获取有效的、新颖的、潜在有用的、最终可理解的模式的非平凡过程[1]。通俗地讲，数据挖掘就是利用各种分析工具在海量数据中寻找和发现模型和数据间关系的过程，可以利用这些模型和关系对数据的潜在规律做出预测。在实际应用中，数据挖掘概念有两个方面的意思。一方面它有数据提取的含义，即从各种类型的原始数据中精确定位符合各种查询条件的数据集；另一方面，它有数据处理的含义，即利用各种相关的模型和算法，对提取到的数据集进行各种分析处理，从而得到想要的信息和规律。目前，常用的数据挖掘算法主要有聚类分析、回归分析、主成分分析、插值分析、关联分析、神经网络等。 经过多年的海洋调查和资料收集，我国已拥用了大量珍贵的海洋科学数据和相关信息，这些数据包括海洋水文、海洋表面气象、海洋生物、海洋化学、海洋环境质量、海洋地质、海洋地球物理、海洋基础地理、海洋航空与卫星遥感、海洋经济、海洋资源等各个海洋学科领域，数据总量多达千亿字节 [2]。如何有效地利用专家知识及各类统计分析算法、模型，对各学科类型的海洋数据资源进行数据挖掘，从中发现有用信息，分析海洋现象并预测海洋规律，为海洋科学研究和综合管理提供信息决策支持一直是广大海洋科技工作者的重要研究方向。经过多年的不断努力，国内外关于数据挖掘技术在海洋领域的应用研究已经取得了许多实质性进展。如 Wooley B 等人将海洋数据作为数据源开展了分类规则挖掘的研究[3]；Ding Q 针对遥感图像的关联规则挖掘进行了深入研究[4]；冯剑丰研究了国内外的主要赤潮预测方法：单因子指数法、综合指数法、建立赤潮生态仿真模型、运用人工智能技术进行预测等[5]；杨建强探讨了应用人工神经网络原理进行赤潮预报的方法，指出人工神经网络方法在模拟和预测方面优于传统的统计回归模型，具有较强的模拟预测能力及实用性[6]等。由此可见，对于海洋领域的数据挖掘技术研究已经由单纯理论研究进入到应用研究的阶段，并已取得了一些实质性的研究成果。但是，由于海洋数据特征的复杂性及海洋专题应用研究的复杂情况，海洋数据挖掘技术离大规模地业务化应用推广还有一定距离。 1 海洋数据挖掘技术应用需求 对于海洋领域的数据挖掘技术的应用研究较其它领域更为复杂，数据挖掘的成熟应用与业务化推广还存在许多困难，这与海洋数据自身特点的复杂性有关，概括来看，海洋数据大致有以下一些特点： a ) 数据类型复杂多样。海洋数据包括海洋基础环境数据、海洋遥感数据、海洋经济统计数据等几个大类数据。而每个大类数据下又有很多子类。比如：海洋环境数据又分为海洋水文、海洋气象、海洋物理、海洋化学、海洋生物、海洋地质、海洋地形与海洋地球物理等子类，每个子类又可进一步划分。可见，海 收稿日期：2008-05-28 基金项目：国家海洋局 908 专项( 908-03-01-13 )
数据挖掘概念与技术原书第版范明孟小峰绎课 后习题 Document number【SA80SAB-SAA9SYT-SAATC-SA6UT-SA18】
（a）它是又一种广告宣传吗？ （b）它是一种从数据库、统计学、机器学习和模式识别发展而来的技术的简单转换或应用吗？ （c）我们提出了一种观点，说数据挖掘是数据库技术进化的结果。你认为数据挖掘也是机器学习研究进化的结果吗你能基于该学科的发展历史提出这一观点吗针对统计学和模式识别领域，做相同的事。 （d）当把数据挖掘看做知识发现过程时，描述数据挖掘所涉及的步骤。 答：简单地说，数据挖掘其实就是从大量的数据中发现有用的信息，它是从大量数据中挖掘有趣模式和知识的过程。数据挖掘不是一种广告宣传，而是身处在信息时代数据如此庞大的今天，我们对由海量的数据转化为有用信息的迫切需要，所以它是信息技术自然进化的结果，而不是一种广告宣传。 数据挖掘也不是一种从数据库、统计学、机器学习和模式识别发展而来的技术的简单转换或应用，它涉及到了很多领域的技术，比如统计学、机器学习、模式识别、数据库和数据仓库、信息检索、可视化、神经网络、高性能计算、算法以及许多应用领域的大量技术。 数据挖掘起始于20世纪下半叶，是在当时多个学科发展的基础上发展起来的。随着数据库技术的发展应用，数据的积累不断膨胀，导致简单的查询和统计已经无法满足企业的商业需求，所以急需一种新型的技术去获取有用的信息，当时计算机
领域的人工智能也取得了巨大进展，进入了机器学习的阶段，人们就将两者结合起来，用数据库管理系统存储数据，用计算机分析数据，这两者的结合就促就以这一门新兴的学科，所以数据挖掘不是机器学习研究进化的结果，而是结合了机器学。 数据挖掘的步骤包括：（1）数据收集；（2）数据清洗、脱敏；（3）数据存储；（4）数据分析；（5）数据可视化。 1.2数据仓库与数据库有何不同他们有哪相似之处 答：数据库是按照数据结构来组织、和管理数据的仓库，它是以一定方式储存在一起、能为多个用户共享、具有尽可能小的的特点、是与应用程序彼此独立的数据集合。 数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它是单个数据，出于分析性报告和决策支持目的而创建。 不同处：（1）数据库是面向事务的设计，数据仓库是面向主题设计的。 （2）数据库一般存储在线交易数据，数据仓库存储的一般是历史数据。 （3）数据库设计是尽量避免冗余，数据仓库在设计是有意引入冗余。 （4）数据库是为捕获数据而设计，数据仓库是为分析数据而设计。 相似处：两者都是数据的集合。
数据挖掘技术的研究现状及发展方向 陈娜1.2 （1.北京交通大学计算机学院，北京100044；2.石家庄铁路运输学校，河北石家庄050021） 第 !" 电脑与信息技术卷 （ ! ）可视化技术 ［ " ］ 通过直观的图形方式将 信息数据、关联关系以及发展趋势呈现给决策者， 使用最多的方法是直方图、数据立方体、散点图。 其中数据立方体可以通过 #$%& 操作将更多用户 关心的信息反映给用户。 （ ’ ）遗传算法 ［ ( ］ 是一种模拟生物进化过程 的算法，最早由 )*++,-. 于 /0 世纪 (0 年代提出。 它是基于群体的、具有随机和定向搜索特征的迭 代过程，包括 ! 种典型的算子：遗传、交叉、变异和 自然选择。遗传算法作用于一个由问题的多个潜
在解（个体）组成的群体上，并且群体中的每个个体都由一个编码表示，同时个体均需依据问题的 目标函数而被赋予一个适应值。另外，为了应用遗传算法，还需要把数据挖掘任务表达为一种搜索 的问题，以便发挥遗传算法的优势搜索能力。同时可以用遗传算法中的交叉、变异完成数据挖掘中 用于异常数据的处理。 （ "）统计学方法 ［ 1 ］ 在数据库字段项之间存 在着两种关系：函数关系（能用函数公式表示的确定性关系）和相关关系（不能用函数公式表示，但仍是相关确定关系）。对它们的分析采用如下方 法：回归分析、相关分析、主成分分析。主要用于数据挖据的聚类方法中。 （ (）模糊集（23445 678）方法利用模糊集理 论对实际问题进行模糊评判、模糊决策、模糊模式识别和模糊聚类分析。模糊性是客观存在的。系统的复杂性越高，精确化能力就越低，即模糊性就越强，这是 9,.7: 总结出的互克性原理。 / 数据挖掘的算法 （ ;）关联规则中的算法 %<=>*=>算法是一种最具有影响力的挖掘布 尔关联规则频繁项集的算法，该算法是一种称为 主层搜索的迭代方法，它分为两个步骤： ,?通过多趟扫描数据库求解出频繁;@项集的 集合 $ ; ； A?不断的寻找到/@项集$ / … -@项集$ - ，最后 利用频繁项集生成规则。 随后的许多算法都沿用
数据挖掘在中国的现状和发展研究 导读：本文以科学引文索引数据库(SCI)、工程索引数据库(EI)以及清华全文数据库(CNKI)中有关“数据挖掘”研究文章的统计数据为研究基础，对数据挖掘在我国研究的总体趋势、研究热点、研究分支三个方面进行分析和研究。本文分析了数据挖掘在我国的发展，并对进一步发展我国数据挖掘的理论研究和实际应用提出了建议。 关键字：数据挖掘 0 引言 近年来，随着计算机对数据的生成、收集、存贮和处理能力的大大提高，数据量与日俱增，传统的数据分析工具对海量数据的处理力不从心，数据挖掘技术应运而生。 中国科研工作者近几年来积极开展了对数据挖掘的研究，并在理论研究和实际应用上取得了一定的成绩，但是有关数据挖掘的成功应用还比较少。本文通过对中国有关数据挖掘研究文章数量的统计，对数据挖掘在中国发展的现状及发展趋势进行分析和研究，通过分析有关论文的发表，对数据挖掘在中国的理论研究和实际应用提出建议。 1 数据挖掘的应用与研究发展 数据挖掘是指从存放在数据库、数据仓库或其他信息库中的大量数据中挖掘有用知识的过程。数据挖掘是一门新兴的边缘学科，近年来引起了中国学术界和产业界的广泛关注。 数据挖掘出现于20世纪80年代后期，90年代有了突飞猛进的发展。2001年，Gartner Group的一次高级技术调查将数据挖掘和人工智能列为“未来三到五年内将对工业产生深远影响的五大关健技术”之首，并且还将并行处理体系和数据挖掘列为未来五年内投资焦点的十大新兴技术前两位。美国麻省理工学院在2001年1月份的《科技评论》(Technology Review)提出将在未来5年对人类产生重大影响的10大新兴技术，其中第3项就是数据挖掘。 数据挖掘技术已被广泛的应用于各个领域，其中一些典型应用如加州理工学院喷气推进实验室与天文科学家合作开发的SKICAT系统，能够帮助天文学家发现遥远的类星体，是人工智能技术在天文学和空间科学上的第一批成功应用之一；生物学研究中用数据挖掘技术对DNA进行分析利用数据挖掘技术识别顾客的购买行为模式，对客户进行了分析；对银行或商业上经常发生的诈骗行为进行预测IBM公司
万方数据 万方数据 万方数据 万方数据 万方数据 Ｖｏ．ｌ１８．Ｎ．ｏ３管理工程学报２００４年第３期圈回［ｌ４ｊ网［ｌ６ｊ皿［ｌｓｊ［ｌ９ｊ厂．Ｌｌ周生炳，张钱，成栋．于规则面向属性的数据库归纳的无回基溯算法［７软件学报，９，（）６３６８１．１９１７：７一７．９０蒋嵘，李德毅，范建华．数值型
数据的泛概念树的自动生成方法【１计算机学报，０，（）４０４６ｉ．２０２５：一７．０３７一」一一尸十勺，１，刁［７软件学报，０，（）７５７４Ｊ．２０１６：一４．０１３周水庚，周傲类，曹晶．基于数据分区的ＤＳＡＢＣＮ算法【ｌ计Ｊ．算机研究与发展，０，０）１３１９２０３０：一１．０７１５５「一－，，‘ ，郭建生，，赵奕施鹏飞一种有效的用于数据挖掘的动态概念毛国君，椿年．于项目序列集操作的关联规则挖掘算法刘基］ｉ计算机学报，０，（）４７４２Ｉ．２２２４：１一２．０５ＩＬ尸聚类算法［ｌ软件学报，０，（）一９．Ｊ．２１１４：２５１０２５８内、内ｊ「一一Ｊ魏李，宫学庆，钱卫宁，高维空间中的离群点发现〔ｌ软件等．Ｊ．学报，０，３２：８一９．２２１（）２０２００门仁」程岩，黄梯云．粗糙集中定量关联规则的发现及其规则约简的方法研究【〕管理工程学报，０，（）７－７Ｊ２１１３：７．０５３ｅｓＬＦ飞）４俞蓓，王军，叶施仁．基于近邻方法的高维数据可视化聚类方苑森森，程晓青，数量关联规则发现中的聚类方法研究【ｌ计ｉ．法〔７计算机研究与发展，０，（）７４７．Ｊ．２０３６：－０７１２０ｒ．．Ｌ算机学报，０，（）８７８１２０２８：一７．０３６倪志伟，蔡庆生，方瑾．用神经网络来挖掘数据库中的关联规内、〕‘ 一一Ｊ「陈宁，陈安，周龙骥．大规模交易数据库的一种有效聚类算法［７软件学报，０，（）４５４４Ｊ．２１１４：７一８．０２Ｌ则【ｌ系统仿真学报，０，（）６５６７１．２０１６：－．０２８８Ｊ内几６ｌｅｓＥｔＭ，ｒＳｎｅＪＡｇｉｍａｄｌａｏｓｓｔｌｓｒＰｔＫａｄｒｌｒｈｓａｐｃｉｆｐｉｅｅＨ，ｅ．ｔｏｎｐｉｔｎｏａａｒ陆建江．数据库中布尔型及广义模糊型加权关联规则的挖掘ｄａｉ仁ｌＩｉｃｐｒＧｏａｉＤｔＭｎｇａｍｎＺ．ｖｅｈｔｆｅｒｈａｉｎａｔｉｇｎｎｔａｅｏｇｐｃａｉｎｄｒｄＫｏｌｇＤｓｖｒ，ｅｒｏｏｒｈｉＧＳＴｙｒｄｎｗｅｅｃｅＲｓｃＭｎｇｐｓＩ，ｌａｄｉｏｙｅａｈａｎａｏｎＦａｃｓ２０．一３．ｒｎｉ，１１２
从人类文明诞生的那一刻起，数据就伴随我们而生——人类交流信息所用的文字和语言，计量距离或数量使用的记号和图案，观察自然所积累和传承的经验等，都是数据构成的。这些数据在百万年历史长河里，为人类文明的发展进化带来了难以估量的巨大价值。 自从人类发明了纸和笔，创造了数字、文字、几何技术后，数据有了更精确的描述和记录的方法，在此基础上催生出了数字、物理、化学，以及文学、艺术、管理等学科，我们今天所享受的现代文明，都深深的植根于数据技术。 随着互联网时代的大发展，数据记录逐步脱离了纸笔的限制，人类发明了廉价的硅晶半导体所蕴藏的秘密，大量的数据可以按0或1的二进制方式存储半导体材料内，它们的存储能力如此巨大，成本如此低廉，以至于以往被轻易忽略的数据都能被忠实的保存下来：我们每一下轻微的呼吸、每一次心脏的跳动、每一下鼠标的点击，企业里员工的每一次出勤、财务的每一笔账单、客户的每一个评论，包罗万象都能一一记录。 与此同时，数据的概念也在进一步拓宽。传统的数据是指用数字或文字描述的内容，通称为结构化数据，而大数据时代涌现出了大量新型数据的、非结构化的数据。例如人群之间看不见的社交关系（Social Relationships），移动设备发射的GPS位置，网络传播的图像、视频信号，可穿戴设备采集的健康数据等。对这些各种各样的数据的采集、挖掘、运用，也是现代大数据挖掘的重要研究课题。 正在发生的大数据变革，恐怕是人类技术发展中最重要的话题之一，它冲击着许多主要的行业，包括零售业、服务业、电子商务和金融领域等，同时大数据技术也正在彻底的改变我们
的日常生活。如果把数据比作是矿石的话，大数据挖掘技术就是要从矿石中提炼出黄金，并形成各种精致的制成品发挥作用的过程。它既能够通过移动应用和云服务追踪和提升个人的生活品质，也能为现代企业带来更高效和稳健的管理方式。小到个人，大到企业和国家，大数据均是极度重要的一个议题，需要我们真正的深入理解它，因此本文将对大数据挖掘技术给出全景式的介绍，首先给出大数据的背景、原理和概念，然后阐述大数据挖掘的方法和步骤，再讲解大数据在企业应用中的方式和收益，最后分享大数据时代的产业状况，和我们面临的挑战与机遇。 2、大数据技术的背景、概念和意义 2.1大数据的产生背景 大数据热潮诞生的先决条件是计算机存储能力的迅速扩大和成本的一再降低。得益于半导体技术在过去20年里持续快速的发展，今天我们用500元人民币就能轻松买到一块能装得下63万本《红楼梦》的1T 容量的移动硬盘；价值2000元的一块PC硬盘甚至能存储下全世界迄今为止所有的音乐内容。在很多大型互联网公司里，拿一台较好配置的服务器，就可以一举装下美国国家图书馆里所有纸质书的内容——纵观整个人类文明发展史，今天人类拥有了史无前例的海量信息的存储能力，并且这个能力仍然在日新月异的向前发展着。 与此同时，人类创造数据的能力也同样在高速增长。传统社会只有文人墨客、达官显贵才能青史上留下只言片语，而互联网时代里所有人都能轻松成为数据的生产者，例如Facebook 上每月被用户分享500亿条新信息，全球的社交网络每天产生1亿张新照片。能够产生和