高维数据分析方法

·博士论坛·

高维数据降维方法研究

余肖生,周　宁

(武汉大学信息资源研究中心,湖北武汉430072)

摘　要:本文介绍了MDS、Isomap等三种主要的高维数据降维方法,同时对这些降维方法的作用进行了探讨。

关键词:高维数据;降维;MDS;Isomap;LLE

中图分类号:G354 文献标识码:A 文章编号:1007-7634(2007)08-1248-04

ResearchonMethodsofDimensionalityReductioninHigh-dimensionalData

YUXiao-sheng,ZHOUNing

(ResearchCenterforInformationResourcesofWuhanUniversity,Wuhan430072,China)

Abstract:Inthepapertheauthorsintroducethreekeymethodsofdimensionalityreductioninhigh-dimen-sionaldataset,suchasMDS,Isomap.Atthesametimetheauthorsdiscussapplicationsofthosemethods.

Keywords:high-dimensionaldata;dimensionalityreduction;MDS;Isomap;LLE

收稿日期:2006-12-20基金项目:国家自科基金资助项目(70473068)作者简介:余肖生(1973-),男,湖北监利人,博士研究生,从事信息管理与电子商务研究;周　宁(1943-),男,湖北钟祥人,教授,博士生导师,从事信息组织与检索、信息系统工程、电子商务与电子政务研究.1　引 言

随着计算机技术、多媒体技术的发展,在实际应用中经常会碰到高维数据,如文档词频数据、交

易数据及多媒体数据等。随着数据维数的升高,高

维索引结构的性能迅速下降,在低维空间中,我们

ｏ　曩　妻　浅谈高维数据挖掘的现状与方法　李泽安“。　（１南通大学杏林学院江苏南通２２６０１９；２南通大学计算机学院江苏南通２２６０１９）　【摘要】：＆－Ｎ￣ｌｇ掘出现于２０世纪８０年代后期，是数据库研究中一个很有应用价值的领域．随着　大数据出现，高维数据的挖掘成为了热点和难点。本文在介绍传统数据挖掘的基础上，介绍了高维数据　的特点以及目前面临的问题，高维数据挖掘最新研究的情况，并在此基础上进行了总结和展望。　【关键字】：ｇｃ－Ｎ￣ｌｇ掘；高维数据挖掘；稀疏性　１、数据挖掘简介　数据挖掘ｆＤａｔａ　Ｍｉｎｉｎｇ）是在２Ｏ世纪８Ｏ年代被　提出来的，９０年代取得发展，是当今数据库系统及其　应用领域中的一个热点话题。数据挖掘就是从大量　的、不完全的、有噪声的、模糊的、随机的原始数据中，　提取隐含在其中的、新颖的、潜在有用的、并且最终可　理解的模式的非平凡过程，并进行数据分析、数据融　合（Ｄａｔａ　Ｆｕｓｉｏｎ）以及决策支持的过程。　数据挖掘是一门交叉学科，主要包括：数据库技　术、人工智能、模式识别、统计学、信息搜索技术、数据　可视化和高性能计算等。数据挖掘主要分３个阶段：　数据准备、数据挖掘、结果的评价和表达。数据挖掘包　括以下几个基本过程：ｆ１）确定研究目标；（２）数据的收　集与整理；（３）建立合适的数据挖掘模型；（４）分析和　评价模型；（５）知识同化，即将数据挖掘中得到的信息　应用到实际问题提出执行方案。数据挖掘方法通常分　为两类：描述性方法和预测性方法。常用的方法包括：　关联规则、决策树、聚类分析、回归分析、神经网络、预　测估计、时间序列、异常分析、描述和可视化法等。　数据挖掘领域的具有十大经典算法：Ｃ４．５，ｋ—　Ｍｅａｎｓ，ＳＶＭ，Ａｐｒｉｏｒｉ，ＥＭ，ＰａｇｅＲａｎｋ，ＡｄａＢｏｏｓｔ，ｋＮＮ，　Ｎａｉｖｅ　Ｂａｙｅｓ，ａｎｄ　ＣＡＲＴ。常用的数据挖掘常用软件有：　ｃｌｅｍｅｎｔｉｎｅ，Ｒ软件，Ｗｅｋａ软件。　２、高维数据简介　高维数据挖掘是基于高维度的一种数据挖掘，数　据挖掘领域并没有明确定义说维数达到多少称之为　高维数据集，但通常认为当维数增长到使一般的数据　处理明显变得异常困难时，该数据集即可认为是高维　数据集。它和传统的数据挖掘最主要的区别在于它的　高维度。目前高维数据挖掘已成为数据挖掘的重点和　难点。如各种类型的贸易交易数据、Ｗｅｂ文档、基因表　达数据、ＷＥＢ使用数据及多媒体数据等，它们的维度　（属性）通常可以达到成百上千维。　３、高维数据对于数据挖掘产生的影响　在高维空间中，一方面引起基于索引结构的数据　挖掘算法的性能下降，另一方面很多基于全空问距离　函数的挖掘方法也会失效。总的来说高维数据会对传　统意义上的数据挖掘的影响主要存在以下几个方面：　（１）聚类算法　在高维空间中很多情况下距离度量已经失效。　另外在高维空间中索引结构的失效，网格数随维数呈　指数级增长的问题也使得不再有效。　（２）关联规则挖掘　大多数频繁集挖掘算法都是基于特征计数的，当　维数增加，特征的组合也呈指数级的增长，这使得当　维数达到一定量级时不可能再在这个空间中进行搜　索。　（３）异常检测　高维数据具有稀疏性，它的稀疏性使得原来数据　挖掘中对于“异常”检测的方法变得无法操作。　４、研究现状介绍　然后正因为高维数据具有“稀疏性”和“异质性”　特点。解决的方法可以通过降维将数据从高维降到低　维，然后用低维数据的处理办法进行处理。　基于回归分析的方法当中中正则化方法是进行　数据挖掘的最重要方法，其主要的做法就是在目标函　数上增加一个适当的惩罚函数，利用惩罚参数的调　节，使得最终的估计具有自动的稀疏性，从而实现变　本文受南通大学杏林学院自然科学项目资助（２０１２Ｋ１１６和２０１２Ｋ１０８）　（下转第１４７页）　２０１４年第７期　ｌ福建电脑　・９・

多维数据可视化分析的方法与应用

随着互联网和信息技术的发展，数据量爆炸式增长，数据分析已经成为企业决策和个人决策不可或缺的一部分。然而，由于数据量和复杂性的提高，传统的二维数据可视化已经无法满足人们对于数据分析的需求。因此，多维数据可视化分析成为解决这个问题的重要手段。

一、多维数据可视化分析的概念

多维数据可视化分析就是将数据进行高维度的可视化，使得人们能够更直观地感受数据中的相关性和规律。传统的数据可视化只能显示数据的两个方向，而多维数据可视化则可以显示数据在多个维度上的变化。

多维数据可视化的可视化技术种类繁多，包括平行坐标图、散点图矩阵、轮廓图、热力图、雷达图和星形图等。这些图形可以显示数据在多维上的相关性和规律，为数据分析提供更多的信息，进而更好地服务于决策。

二、多维数据可视化分析的方法

1、数据预处理

在进行多维数据可视化分析前，需要对数据进行预处理，清洗掉一些不相关的数据。同时，随着数据维度的提高，数据可视化的消耗会变得越来越大，所以需要使用一些降维方法，如主成分分析(PCA)、不相似性映射(ISOMAP)、流行学习等，将高维数据转化为低维数据，并尽量保留原始数据的信息。

2、选择合适的可视化方法

在选择可视化方法时，需要根据数据的特点和需求来选取合适的图形。例如，平行坐标图适用于线性关系较强的数据，而散点图矩阵适用于快速找出数据中的相关性和规律等。

3、调整可视化参数

在可视化数据时，需要对可视化效果进行调整，使得数据更加清晰和易于理解。例如，可以调整颜色、透明度等可视化参数，以及坐标轴刻度和字体的大小等。

三、多维数据可视化分析的应用

多维数据可视化分析在许多领域都有重要的应用，例如:

1、金融领域

在金融领域中，多维数据可视化分析可以帮助交易员更好地理解市场行情和预测未来趋势。同时，它也可以帮助分析师找出股票和市场指数之间的相关性和规律。

2、医疗领域

在医疗领域中，多维数据可视化分析可以用于药物研发、疾病预测和临床试验等方面。例如，可以使用多维数据可视化分析来确定特定疾病的风险因素和预测某种药物的疗效。

多维组学数据的分析与挖掘方法

随着科技的不断发展，人类对生物大数据的获取能力也随之提高。在这些数据中，不仅包括基因组、转录组、蛋白质组等单一维度的数据，也包括多维度的组学数据。这些数据能够同时反映出生命体系中不同层次的信息，帮助科学家更全面地理解生命的本质。因此，对这些多维组学数据进行合理的分析和挖掘，已成为实现个性化医疗和精准治疗的重要手段。

一、多维组学数据

多维组学数据是指在相同生物体系中，通过多种方法采集到的不同类型生物学信息的数据，包括基因组、转录组、蛋白质组、代谢组和表型等。这些数据可以由不同技术平台获取，如基因芯片、RNA测序、质谱、核磁共振等。多维组学数据的优点是它们能够同时反映不同层次的生物学变化，如基因表达、蛋白质活性、代谢扰动和表型改变等。这些变化与疾病的发生和发展有关，因此，多维组学数据的分析和挖掘被广泛应用于生物医学研究和临床治疗中。

二、多维组学数据分析方法

多维组学数据的分析方法可以分为两大类：数据降维和数据整合。数据降维是指将多维数据降低到较低维度，以达到更好的可视化和处理效果。数据整合则是利用不同数据集之间的相关性，将它们整合起来获得更为全面有效的信息。

1、数据降维

数据降维方法包括主成分分析（PCA）、因子分析（FA）、独立成分分析（ICA）等。其中，PCA是一种统计分析方法，常用于处理高维数据，将数据投影到低维空间上，以便进行可视化和处理。FA则是一种多元统计方法，它可将许多相关变量减少到少数几个无关公因子，以便于进行更复杂的统计分析。ICA则是从多维数据中提取独立成分的方法，常用于信号处理和神经科学研究中。

2、数据整合

数据整合方法有多种，如属性选择、特征提取和集成学习等。属性选择是将一些无关和冗余的属性从原始数据中去除，以提高数据质量和减少计算成本。特征提取是将原始数据转换为具有类别相关性的特征集合，以应对高维数据复杂性的挑战。而集成学习则是将多个模型组合起来共同完成一个任务，从而提高模型的泛化能力和鲁棒性。