机器学习算法分享——《SVD》

随机矩阵奇异值分解算法在机器学习中的应用优化与效果评估随机矩阵奇异值分解（Randomized Singular Value Decomposition，简称RSVD）算法是一种常用的矩阵分解方法，广泛应用于机器学习领域。

本文将探讨该算法在机器学习中的应用优化及效果评估。

一、介绍RSVD算法是基于奇异值分解（Singular Value Decomposition，简称SVD）算法的一种改进方法。

与传统的SVD算法相比，RSVD通过随机选择矩阵的列向量构建一个近似矩阵，然后再对该近似矩阵进行SVD分解，从而在减少计算量的同时，保持了较高的分解精度。

二、应用优化1.计算效率优化传统的SVD算法计算复杂度较高，随着数据规模的增大，计算时间会显著增加。

RSVD算法通过随机选择矩阵的列向量，将原始矩阵的规模缩小，从而减少了计算时间。

此外，RSVD还可以通过调节随机选择的列向量的数量来平衡计算效率和分解精度之间的关系。

2.精度保证优化尽管RSVD算法在计算效率上有较大优势，但在一些场景下可能会对分解精度产生影响。

为了保证结果的精度，可以适当增加随机选择的列向量的数量，提高近似矩阵的质量，从而达到更高的分解精度。

三、效果评估1.算法比较实验为了评估RSVD算法在机器学习中的效果，可以搭建实验环境，对RSVD算法与其他矩阵分解算法进行比较。

实验可以选择一些具有代表性的数据集，如Movielens数据集，通过对比不同算法在预测评分准确度和计算时间上的表现，来评估RSVD算法在推荐系统等应用中的优势。

2.性能对比评估除了算法比较实验外，还可以进行性能对比评估。

通过对比不同规模数据集上RSVD算法的计算时间和内存占用等指标，来分析RSVD算法的可扩展性和适用性。

四、总结RSVD算法作为一种优化的矩阵分解方法，在机器学习领域有着广泛的应用。

通过对矩阵的随机选择和近似构建，RSVD可以在保证一定分解精度的同时，显著提高计算效率。

在奇异值分解算法中提高计算精度的研究奇异值分解（Singular Value Decomposition，简称SVD）是一种常用的矩阵分解方法，广泛应用于数据降维、信号处理、推荐系统等领域。

然而，在实际应用中，由于计算机浮点数精度的限制，SVD算法可能会导致计算结果的精度损失。

因此，提高奇异值分解算法的计算精度成为了一项重要的研究课题。

为了提高SVD算法的计算精度，研究者们提出了多种方法。

其中一种常见的方法是使用迭代算法来近似计算奇异值。

传统的SVD算法需要对大型矩阵进行计算，而迭代算法可以通过多次迭代来逼近矩阵的奇异值。

这种方法不仅可以提高计算精度，还可以减少计算量，加快计算速度。

另一种提高SVD算法计算精度的方法是引入数值稳定性的技术。

在计算过程中，由于矩阵的条件数较大，可能会导致数值不稳定的情况。

为了解决这个问题，研究者们提出了一系列的数值稳定性技术，如正交变换、截断奇异值等。

这些技术可以有效地减小计算误差，提高计算精度。

此外，还有一些研究致力于优化SVD算法的计算过程。

例如，通过并行计算、分布式计算等技术，可以加快SVD算法的计算速度，提高计算效率。

同时，优化算法的计算过程也可以减少计算误差，提高计算精度。

除了上述方法，还有一些其他的研究方向可以用于提高SVD算法的计算精度。

例如，研究者们可以探索新的数值稳定性技术，或者改进现有的算法，以提高计算精度。

此外，还可以结合机器学习、深度学习等领域的方法，来优化SVD算法的计算过程。

总之，在奇异值分解算法中提高计算精度是一项具有挑战性的研究课题。

通过引入迭代算法、数值稳定性技术以及优化算法的计算过程，可以有效地提高SVD算法的计算精度。

未来，我们可以进一步探索新的方法和技术，以应对更加复杂的计算问题，提高奇异值分解算法的计算精度，并将其应用于更广泛的领域。

前言：上一次写了关于PCA与LDA的文章，PCA的实现一般有两种，一种是用特征值分解去实现的，一种是用奇异值分解去实现的。

在上篇文章中便是基于特征值分解的一种解释。

特征值和奇异值在大部分人的印象中，往往是停留在纯粹的数学计算中。

而且线性代数或者矩阵论里面，也很少讲任何跟特征值与奇异值有关的应用背景。

奇异值分解是一个有着很明显的物理意义的一种方法，它可以将一个比较复杂的矩阵用更小更简单的几个子矩阵的相乘来表示，这些小矩阵描述的是矩阵的重要的特性。

就像是描述一个人一样，给别人描述说这个人长得浓眉大眼，方脸，络腮胡，而且带个黑框的眼镜，这样寥寥的几个特征，就让别人脑海里面就有一个较为清楚的认识，实际上，人脸上的特征是有着无数种的，之所以能这么描述，是因为人天生就有着非常好的抽取重要特征的能力，让机器学会抽取重要的特征，SVD是一个重要的方法。

在机器学习领域，有相当多的应用与奇异值都可以扯上关系，比如做feature reduction的PCA，做数据压缩（以图像压缩为代表）的算法，还有做搜索引擎语义层次检索的LSI（Latent Semantic Indexing）另外在这里抱怨一下，之前在百度里面搜索过SVD，出来的结果都是俄罗斯的一种狙击枪（AK47同时代的），是因为穿越火线这个游戏里面有一把狙击枪叫做SVD，而在Google上面搜索的时候，出来的都是奇异值分解（英文资料为主）。

想玩玩战争游戏，玩玩COD不是非常好吗，玩山寨的CS有神马意思啊。

国内的网页中的话语权也被这些没有太多营养的帖子所占据。

真心希望国内的气氛能够更浓一点，搞游戏的人真正是喜欢制作游戏，搞Data Mining的人是真正喜欢挖数据的，都不是仅仅为了混口饭吃，这样谈超越别人才有意义，中文文章中，能踏踏实实谈谈技术的太少了，改变这个状况，从我自己做起吧。

前面说了这么多，本文主要关注奇异值的一些特性，另外还会稍稍提及奇异值的计算，不过本文不准备在如何计算奇异值上展开太多。

SVDSVD++实现推荐算法奇异值分解(Singular Value Decomposition，以下简称SVD)是在机器学习领域⼴泛应⽤的算法，它不仅可以⽤于降维算法中的特征分解，还可以⽤于推荐系统，以及⾃然语⾔处理等领域。

我们⾸先回顾下特征值和特征向量的定义如下：Ax=λx其中A是⼀个n×n 求出特征值和特征向量有什么好处呢？我们可以将矩阵A特征分解。

如果我们求出了矩阵A的nA=WΣW−1其中W是这n ⼀般我们会把W的这n 这样我们的特征分解表达式可以写成A=WΣW T 注意到要进⾏特征分解，矩阵A必须为⽅阵。

那么如果A不是⽅阵，即⾏和列不相同时，我们还可以对矩阵进⾏分解吗？答案是可以，此时我们的SVD登场了。

SVD的定义 SVD也是对矩阵进⾏分解，但是和特征分解不同，SVD并不要求要分解的矩阵为⽅阵。

假设我们的矩阵A是⼀个m×nA=UΣV T 其中U是⼀个m×m 那么我们如何求出SVD分解后的U,Σ,V 如果我们将A的转置和A做矩阵乘法，那么会得到n×n(A T A)vi=λivi 这样我们就可以得到矩阵ATA 如果我们将A和A的转置做矩阵乘法，那么会得到m×m(AA T)ui=λiui 这样我们就可以得到矩阵AAT U和V我们都求出来了，现在就剩下奇异值矩阵Σ 我们注意到:A=UΣV T⇒AV=UΣV T V⇒AV=UΣ⇒Av i=σi u i⇒σi=Av i/u i 这样我们可以求出我们的每个奇异值，进⽽求出奇异值矩阵ΣSVD的⼀些性质　 上⾯⼏节我们对SVD的定义和计算做了详细的描述，似乎看不出我们费这么⼤的⼒⽓做SVD有什么好处。

那么SVD有什么重要的 对于奇异值,它跟我们特征分解中的特征值类似，在奇异值矩阵中也是按照从⼤到⼩排列，⽽且奇异值的减少特别的快，在很多情况下，前10%甚⾄1%的奇异值的和就占了全部的奇异值之和的99%以上的⽐例。

上三角矩阵的奇异值分解解释说明1. 引言1.1 概述在数据分析和机器学习领域，奇异值分解（Singular Value Decomposition, SVD）是一种常用的矩阵分解方法。

它具有很多重要应用，可以用于降维、特征提取、矩阵逆运算等问题的求解。

上三角矩阵是一类特殊的矩阵形式，它具有特定的结构和性质，因此在进行奇异值分解时可以得到更高效和简化的计算方法。

1.2 文章结构本文将首先介绍奇异值分解的概念及其在上三角矩阵中的应用。

接着，我们将详细探讨上三角矩阵的特点，并介绍奇异值分解算法的步骤。

然后，通过实例分析与示范，我们将演示如何生成上三角矩阵并计算其奇异值分解结果，并对结果进行解读与应用讨论。

随后，我们将讨论奇异值分解在机器学习和工程领域中的应用案例与实际场景，并评估其在科学研究中的价值和作用。

最后，我们将总结主要研究结果，并展望未来相关领域的发展趋势。

1.3 目的本文的主要目的是介绍和解释上三角矩阵的奇异值分解方法，并探讨其在不同领域中的应用。

通过深入了解奇异值分解的原理、算法步骤以及实例演示，读者能够更好地理解和应用该方法。

此外，本文还将探讨奇异值分解在机器学习、工程和科学研究等领域中的实际应用价值，并对未来相关领域的发展趋势进行预测与展望。

2. 上三角矩阵的奇异值分解2.1 奇异值分解概念介绍奇异值分解（Singular Value Decomposition，简称SVD）是一种常用的矩阵分解方法，可以将一个矩阵拆解为三个矩阵的乘积，其中第一个矩阵包含了该矩阵的所有特征向量，第二个矩阵是一个对角矩阵，对角线上的元素称为奇异值，并按大小排列。

第三个矩阵包含了原始矩阵的列向量构成。

2.2 上三角矩阵特点上三角矩阵是一种特殊形式的方阵，在对角线以下的元素都为0。

上三角矩阵具有较好的性质，例如在进行奇异值分解时可以简化计算过程。

2.3 奇异值分解算法步骤奇异值分解算法主要包括以下步骤：1) 对给定的上三角矩阵进行转置，得到转置后的下三角矩阵。

奇异值分解（SVD）是一种重要的矩阵分解方法，它在数据分析、图像处理、推荐系统等领域有着广泛的应用。

在本文中，我们将探讨奇异值分解的原理及其在实际应用中的一些案例。

首先，让我们来了解一下奇异值分解的原理。

奇异值分解是将一个矩阵分解为三个矩阵的乘积的过程。

对于一个矩阵A，它的奇异值分解可以表示为A=UΣV^T，其中U和V是正交矩阵，Σ是一个对角矩阵，对角线上的元素称为奇异值。

通过奇异值分解，我们可以将原始矩阵表示为一些基础特征的线性组合，从而能够更好地理解和处理原始数据。

在数据分析领域，奇异值分解被广泛应用于降维和特征提取。

通过对数据矩阵进行奇异值分解，我们可以得到数据的主要特征向量和奇异值，从而可以选择保留最重要的特征，实现数据的降维处理。

这对于高维数据的可视化和分析非常有用。

此外，奇异值分解还可以用于去噪和数据压缩，通过去除奇异值较小的部分，可以实现对数据的有效压缩和去噪处理。

在图像处理领域，奇异值分解也有着重要的应用。

通过对图像矩阵进行奇异值分解，可以实现图像的压缩和去噪处理。

此外，奇异值分解还可以用于图像的特征提取和图像匹配，对于图像识别和图像处理有着重要的意义。

在推荐系统领域，奇异值分解被广泛应用于协同过滤算法。

通过对用户-物品评分矩阵进行奇异值分解，可以得到用户和物品的隐含特征向量，从而可以实现对用户和物品之间的关联关系进行分析和推荐。

奇异值分解在推荐系统中的应用，大大提高了推荐的准确性和效率。

除了上述领域之外，奇异值分解还在信号处理、文本挖掘、自然语言处理等领域有着重要的应用。

通过对大规模数据进行奇异值分解，可以实现对数据的有效分析和处理，为实际应用提供了强大的工具支持。

综上所述，奇异值分解作为一种重要的矩阵分解方法，具有广泛的实际应用价值。

在数据分析、图像处理、推荐系统等领域，奇异值分解都起着不可替代的作用。

随着大数据和人工智能技术的发展，奇异值分解的应用前景将会更加广阔，为实际问题的解决提供更多可能性。

稀疏矩阵svd分解简化算法
稀疏矩阵的SVD（奇异值分解）是一种重要的矩阵分解方法，
用于在矩阵中发现潜在的模式和结构。

在处理稀疏矩阵时，传统的SVD算法可能会面临计算复杂度高和存储空间需求大的问题。

因此，针对稀疏矩阵的SVD分解，通常会采用一些简化算法来提高效率和
降低计算成本。

一种常见的简化算法是截断SVD（Truncated SVD），它通过仅
计算最大的奇异值和对应的奇异向量来近似原始矩阵的SVD分解。

这种方法可以有效地降低计算复杂度，并且适用于处理大规模的稀
疏矩阵。

另外，截断SVD还可以用于降维和特征提取，对于机器学
习和数据分析等领域有着重要的应用价值。

除了截断SVD，还有一些其他简化算法，如随机SVD （Randomized SVD）和迭代SVD（Iterative SVD）。

这些算法通过
引入随机性或迭代优化的方式，来加速稀疏矩阵的SVD分解过程，
同时保持较高的精度。

总的来说，针对稀疏矩阵的SVD分解，简化算法在提高计算效
率和降低存储成本方面发挥着重要作用。

不同的简化算法适用于不
同的场景，可以根据实际需求选择合适的算法来进行稀疏矩阵的SVD分解。

基于SVD算法的智能新闻推荐系统的设计与实现【摘要】本文介绍了基于SVD算法的智能新闻推荐系统的设计与实现。

在分析了研究背景、研究意义和研究目的。

在首先介绍了SVD算法的原理和应用；然后详细讨论了智能新闻推荐系统的设计，包括数据预处理和推荐算法实现；最后对系统性能进行评估。

在总结了研究成果并提出了未来展望，探讨了技术实践意义。

通过本文的研究，可以为提高新闻推荐系统的推荐效果和用户体验提供参考和借鉴。

.【关键词】智能新闻推荐系统、SVD算法、数据预处理、推荐算法实现、系统性能评估、研究背景、研究意义、研究目的、研究总结、未来展望、技术实践意义1. 引言1.1 研究背景随着互联网的快速发展和信息量的爆炸式增长，人们面临着越来越庞大和复杂的信息量。

在这个信息爆炸的时代，如何有效地获取符合自己需求的信息成为了一个亟待解决的问题。

传统的新闻推荐系统往往只是基于用户的浏览历史或者兴趣标签进行推荐，很难做到个性化和精准推荐。

为了解决这一问题，人们开始尝试引入机器学习和数据挖掘技术，构建更加智能的新闻推荐系统。

本研究旨在借助SVD算法，构建一个智能新闻推荐系统，通过对用户浏览行为和新闻内容进行分析，实现个性化推荐，帮助用户快速获取信息，提高信息获取效率和质量。

1.2 研究意义智能新闻推荐系统的研究具有重要的理论和实践意义。

通过对用户的历史行为数据进行分析，可以挖掘用户的兴趣偏好，从而为用户推荐更加符合其需求的新闻内容，提高了用户体验和满意度。

智能推荐系统的应用可以帮助新闻媒体更好地了解用户行为和需求，为新闻内容的生产和推广提供参考。

智能推荐系统还可以促进新闻产业的发展，提升新闻传播效率，促进媒体产业的数字化转型升级。

对基于SVD算法的智能新闻推荐系统进行深入研究，具有重要的现实意义和广阔的应用前景。

1.3 研究目的研究目的是构建基于SVD算法的智能新闻推荐系统，旨在提高用户的阅读体验和信息获取效率。

通过利用SVD算法对用户行为数据和新闻内容进行分解和降维处理，系统能够更准确地理解用户的兴趣和偏好，从而为用户推荐个性化的新闻内容。

机器学习SVD矩阵分解算法，对矩阵做拆分，然后呢？今天是机器学习专题第28篇文章，我们来聊聊SVD算法。

SVD的英文全称是Singular Value Decomposition，翻译过来是奇异值分解。

这其实是一种线性代数算法，用来对矩阵进行拆分。

拆分之后可以提取出关键信息，从而降低原数据的规模。

因此广泛利用在各个领域当中，例如信号处理、金融领域、统计领域。

在机器学习当中也有很多领域用到了这个算法，比如推荐系统、搜索引擎以及数据压缩等等。

SVD简介我们假设原始数据集矩阵D是一个mxn的矩阵，那么利用SVD 算法，我们可以将它分解成三个部分：这三个矩阵当中U是一个m x n的矩阵，∑是一个m x n的对角矩阵，除了对角元素全为0，对角元素为该矩阵的奇异值。

V是一个n x n的矩阵。

U和V都是酉矩阵，即满足U^TU = I, V^T V = I。

也就是它乘上它的转置等于单位对角矩阵。

我们可以看下下图，从直观上感知一下这三个矩阵。

下面我们来简单推导一下SVD的求解过程，看起来很复杂，概念也不少，但是真正求解起来却并不难。

会需要用到矩阵特征值分解的相关概念，如果不熟悉的同学可以先看下线性代数专题相关内容做个回顾：线性代数精华——讲透矩阵的初等变换与矩阵的秩首先，如果我们计算A^TA可以得到一个n x n的方阵。

对于方阵我们可以对它进行特征分解，假设得到特征值是lambda_i，特征向量是v_i，代入特征值的性质可以得到：这样的特征值和特征向量一共会有n个，我们把它所有的特征向量组合在一起，可以得到一个n x n的矩阵V。

它也就是我们SVD分解结果之后的V，所以有些书上会把它叫做右奇异向量。

同理，我们计算AA^T可以得到一个m x m的方阵，我们同样可以对他进行特征值分解，得到一个特征矩阵U。

U应该是一个m x m 的矩阵，也就是SVD公式中的U，我们可以将它称为A的左奇异向量。

U和V都有了，我们只剩下∑还没求出来了。

svd分解方法SVD (Singular Value Decomposition) is a powerful mathematical tool that can be used for various purposes in data analysis, signal processing, and machine learning. SVD分解是一种强大的数学工具，可用于数据分析，信号处理和机器学习等多种用途。

It is a factorization of a matrix into three other matrices, and it has important applications in areas such as image compression, recommendation systems, and dimensionality reduction. 这是将矩阵分解为另外三个矩阵，具有在图像压缩、推荐系统和降维等领域的重要应用。

One of the key benefits of SVD is its ability to reduce matrix dimensionality while preserving important information. SVD的一个关键优点是它能够在保留重要信息的同时减小矩阵的维度。

By retaining only the most relevant features, it can be used to extract underlying patterns and structures from large datasets. 通过仅保留最相关的特征，它可以用来从大型数据集中提取潜在的模式和结构。

This makes it a valuable tool for tasks such as image and audio processing, where reducing the amount of data without losing critical details is essential. 这使其成为图像和音频处理等任务的有价值工具，因为在不丢失关键细节的情况下减少数据量是至关重要的。

svd分解随机数产生的矩阵-回复什么是SVD分解和随机数产生的矩阵，以及它们之间的联系？SVD（奇异值分解）是一种特殊的矩阵分解方法，可以将一个矩阵分解为三个矩阵的乘积，即A = UΣV^T。

其中，U和V是正交矩阵，Σ是对角矩阵。

SVD分解在许多领域中都有重要的应用，包括信号处理、机器学习和数据压缩等。

随机数产生的矩阵是指根据特定规则生成的具有随机性质的矩阵。

通常情况下，这些矩阵的元素是从一个统计分布中独立地随机抽取得到的。

生成随机数矩阵在科学实验、模拟和算法测试等方面具有广泛的应用。

那么，SVD分解和随机数矩阵有什么联系呢？事实上，随机数矩阵可以作为输入矩阵，通过SVD分解得到其奇异值和奇异向量。

而这些奇异值和奇异向量则可以用于分析和描述该随机数矩阵的特性。

具体地说，我们可以通过以下步骤来使用SVD分解随机数矩阵：第一步，生成一个具有随机性质的矩阵。

随机数的生成可以使用各种算法，常见的包括伪随机数生成器和真随机数生成器。

这里我们假设我们已经得到了一个随机数矩阵A。

第二步，对矩阵A进行SVD分解。

这一步的目的是分解矩阵A为三个矩阵的乘积：A = UΣV^T。

其中，U是一个正交矩阵，Σ是一个对角矩阵，V是一个正交矩阵。

分解完成后，我们可以得到A的奇异值和奇异向量。

第三步，分析和描述随机数矩阵的特性。

通过SVD分解后得到的奇异值和奇异向量可以帮助我们了解生成的随机数矩阵的属性。

例如，奇异值的大小可以告诉我们矩阵的独立性和可逆性。

而奇异向量则可以用于描述矩阵的主要方向和主成分。

最后，根据分析结果，我们可以对随机数矩阵进行后续的处理和应用。

例如，如果我们发现矩阵的奇异值分布非常集中，说明这个随机数矩阵可能存在一些特殊的结构。

我们可以进一步研究和利用这个结构，以改进算法或者发现矩阵中的隐藏信息。

总之，SVD分解可以用来分析和描述随机数矩阵的特性。

通过将随机数矩阵分解为奇异值和奇异向量，我们可以获得关于矩阵分布、独立性和可逆性等方面的信息。

[机器学习笔记]奇异值分解SVD简介及其在推荐系统中的简单应⽤本⽂先从⼏何意义上对奇异值分解SVD进⾏简单介绍，然后分析了特征值分解与奇异值分解的区别与联系，最后⽤python实现将SVD应⽤于推荐系统。

1.SVD详解SVD(singular value decomposition)，翻译成中⽂就是奇异值分解。

SVD的⽤处有很多，⽐如：LSA（隐性语义分析）、推荐系统、特征压缩（或称数据降维）。

SVD可以理解为：将⼀个⽐较复杂的矩阵⽤更⼩更简单的3个⼦矩阵的相乘来表⽰，这3个⼩矩阵描述了⼤矩阵重要的特性。

1.1奇异值分解的⼏何意义(因公式输⼊⽐较⿇烦所以采取截图的⽅式)2.SVD应⽤于推荐系统数据集中⾏代表⽤户user，列代表物品item，其中的值代表⽤户对物品的打分。

基于SVD的优势在于：⽤户的评分数据是稀疏矩阵，可以⽤SVD将原始数据映射到低维空间中，然后计算物品item之间的相似度，可以节省计算资源。

整体思路：先找到⽤户没有评分的物品，然后再经过SVD“压缩”后的低维空间中，计算未评分物品与其他物品的相似性，得到⼀个预测打分，再对这些物品的评分从⾼到低进⾏排序，返回前N个物品推荐给⽤户。

具体代码如下，主要分为5部分：第1部分：加载测试数据集；第2部分：定义三种计算相似度的⽅法；第3部分：通过计算奇异值平⽅和的百分⽐来确定将数据降到多少维才合适，返回需要降到的维度；第4部分：在已经降维的数据中，基于SVD对⽤户未打分的物品进⾏评分预测，返回未打分物品的预测评分值；第5部分：产⽣前N个评分值⾼的物品，返回物品编号以及预测评分值。

优势在于：⽤户的评分数据是稀疏矩阵，可以⽤SVD将数据映射到低维空间，然后计算低维空间中的item之间的相似度，对⽤户未评分的item进⾏评分预测，最后将预测评分⾼的item推荐给⽤户。

#coding=utf-8from numpy import *from numpy import linalg as la'''加载测试数据集'''def loadExData():return mat([[0, 0, 0, 0, 0, 4, 0, 0, 0, 0, 5],[0, 0, 0, 3, 0, 4, 0, 0, 0, 0, 3],[0, 0, 0, 0, 4, 0, 0, 1, 0, 4, 0],[3, 3, 4, 0, 0, 0, 0, 2, 2, 0, 0],[5, 4, 5, 0, 0, 0, 0, 5, 5, 0, 0],[0, 0, 0, 0, 5, 0, 1, 0, 0, 5, 0],[4, 3, 4, 0, 0, 0, 0, 5, 5, 0, 1],[0, 0, 0, 4, 0, 4, 0, 0, 0, 0, 4],[0, 0, 0, 2, 0, 2, 5, 0, 0, 1, 2],[0, 0, 0, 0, 5, 0, 0, 0, 0, 4, 0],[1, 0, 0, 0, 0, 0, 0, 1, 2, 0, 0]])'''以下是三种计算相似度的算法，分别是欧式距离、⽪尔逊相关系数和余弦相似度,注意三种计算⽅式的参数inA和inB都是列向量'''def ecludSim(inA,inB):return 1.0/(1.0+la.norm(inA-inB)) #范数的计算⽅法linalg.norm()，这⾥的1/(1+距离)表⽰将相似度的范围放在0与1之间def pearsSim(inA,inB):if len(inA)<3: return 1.0return 0.5+0.5*corrcoef(inA,inB,rowvar=0)[0][1] #⽪尔逊相关系数的计算⽅法corrcoef()，参数rowvar=0表⽰对列求相似度，这⾥的0.5+0.5*corrcoef()是为了将范围归⼀化放到0和1之间def cosSim(inA,inB):num=float(inA.T*inB)denom=la.norm(inA)*la.norm(inB)return 0.5+0.5*(num/denom) #将相似度归⼀到0与1之间'''按照前k个奇异值的平⽅和占总奇异值的平⽅和的百分⽐percentage来确定k的值,后续计算SVD时需要将原始矩阵转换到k维空间'''def sigmaPct(sigma,percentage):sigma2=sigma**2 #对sigma求平⽅sumsgm2=sum(sigma2) #求所有奇异值sigma的平⽅和sumsgm3=0 #sumsgm3是前k个奇异值的平⽅和k=0for i in sigma:sumsgm3+=i**2k+=1if sumsgm3>=sumsgm2*percentage:return k'''函数svdEst()的参数包含：数据矩阵、⽤户编号、物品编号和奇异值占⽐的阈值，数据矩阵的⾏对应⽤户，列对应物品，函数的作⽤是基于item的相似性对⽤户未评过分的物品进⾏预测评分'''def svdEst(dataMat,user,simMeas,item,percentage):n=shape(dataMat)[1]simTotal=0.0;ratSimTotal=0.0u,sigma,vt=la.svd(dataMat)k=sigmaPct(sigma,percentage) #确定了k的值sigmaK=mat(eye(k)*sigma[:k]) #构建对⾓矩阵xformedItems=dataMat.T*u[:,:k]*sigmaK.I #根据k的值将原始数据转换到k维空间(低维),xformedItems表⽰物品(item)在k维空间转换后的值for j in range(n):userRating=dataMat[user,j]if userRating==0 or j==item:continuesimilarity=simMeas(xformedItems[item,:].T,xformedItems[j,:].T) #计算物品item与物品j之间的相似度simTotal+=similarity #对所有相似度求和ratSimTotal+=similarity*userRating #⽤"物品item和物品j的相似度"乘以"⽤户对物品j的评分"，并求和if simTotal==0:return 0else:return ratSimTotal/simTotal #得到对物品item的预测评分'''函数recommend()产⽣预测评分最⾼的N个推荐结果，默认返回5个；参数包括：数据矩阵、⽤户编号、相似度衡量的⽅法、预测评分的⽅法、以及奇异值占⽐的阈值；数据矩阵的⾏对应⽤户，列对应物品，函数的作⽤是基于item的相似性对⽤户未评过分的物品进⾏预测评分；相似度衡量的⽅法默认⽤余弦相似度'''def recommend(dataMat,user,N=5,simMeas=cosSim,estMethod=svdEst,percentage=0.9):unratedItems=nonzero(dataMat[user,:].A==0)[1] #建⽴⼀个⽤户未评分item的列表if len(unratedItems)==0:return'you rated everything'#如果都已经评过分，则退出itemScores=[]for item in unratedItems: #对于每个未评分的item，都计算其预测评分estimatedScore=estMethod(dataMat,user,simMeas,item,percentage)itemScores.append((item,estimatedScore))itemScores=sorted(itemScores,key=lambda x:x[1],reverse=True)#按照item的得分进⾏从⼤到⼩排序return itemScores[:N] #返回前N⼤评分值的item名，及其预测评分值将⽂件命名为svd2.py,在python提⽰符下输⼊：>>>import svd2>>>testdata=svd2.loadExData()>>>svd2.recommend(testdata,1,N=3,percentage=0.8)#对编号为1的⽤户推荐评分较⾼的3件商品Reference:1.Peter Harrington，《机器学习实战》，⼈民邮电出版社，2013。

SVD（奇异值分解）Python实现注：在中分享了SVD原理，但其中只是利⽤了numpy.linalg.svd函数应⽤了它，并没有提到如何⾃⼰编写代码实现它，在这⾥，我再分享⼀下如何⾃已写⼀个SVD函数。

但是这⾥会利⽤到SVD的原理，如果⼤家还不明⽩它的原理，可以去看看，或者⾃⾏百度/google。

数据集：。

1、SVD算法实现1.1 SVD原理简单回顾有⼀个m×n的实数矩阵A，我们可以将它分解成如下的形式A=UΣV T其中U和V均为单位正交阵，即有UU T=I和VV T=I，U称为左奇异矩阵，V称为右奇异矩阵，Σ仅在主对⾓线上有值，我们称它为奇异值，其它元素均为0。

上⾯矩阵的维度分别为U∈R m×m,Σ∈R m×n, V∈R n×n。

正常求上⾯的U,V,Σ不便于求，我们可以利⽤如下性质AA T=UΣV T VΣT U T=UΣΣT U TA T A=VΣT U T UΣV T=VΣTΣV T1.2 SVD算法据1.1⼩节，对式（1-3）和式（1-4）做特征值分解，即可得到奇异值分解的结果。

但是样分开求存在⼀定的问题，由于做特征值分解的时候，特征向量的正负号并不影响结果，⽐如，我们利⽤式（1-3）和（1-4）做特征值分解AA T u i=σi u i or AA T(−u i)=σi(−u i)A T A v i=σi v i or A T A(−v i)=σi(−v i)如果在计算过程取，取上⾯的u i组成左奇异矩阵U，取−v i组成右奇异矩阵V，此时A≠UΣV T。

因此求v i时，要根据u i来求，这样才能保证A=UΣV T。

因此，我们可以得出如下1.1计算SVD的算法。

它主要是先做特性值分解，再根据特征值分解得到的左奇异矩阵U间接地求出部分的右奇异矩阵V′∈R m×n。

输⼊：样本数据输出：左奇异矩阵，奇异值矩阵，右奇异矩阵1. 计算特征值：特征值分解AA T，其中A∈R m×n为原始样本数据AA T=UΣΣT U T得到左奇异矩阵U∈R m×m和奇异值矩阵Σ′∈R m×m2. 间接求部分右奇异矩阵：求V′∈R m×n利⽤A=UΣ′V′可得V′=(UΣ′)−1A=(Σ′)−1U T A3. 返回U,Σ′,V′，分别为左奇异矩阵，奇异值矩阵，右奇异矩阵。

机器学习的9个基础概念和10种基本算法总结1.基础概念：(1) 10折交叉验证：英文名是10-fold cross-validation，用来测试算法的准确性。

是常用的测试方法。

将数据集分成10份。

轮流将其中的9份作为训练数据，1分作为测试数据，进行试验。

每次试验都会得出相应的正确率(或差错率)。

10次的结果的正确率(或差错率)的平均值作为对算法精度的估计，一般还需要进行多次10折交叉验证，在求其平均值，对算法的准确性进行估计。

(2) 极大似然估计：极大似然估计，只是一种概率论在统计学中的应用，它是参数评估的方法之一。

说的已知某个随机样本满足某种概率分布，但是其中具体的参数不清楚，参数估计通过若干次实验，观察其结果，利用结果推出参数的大概值。

极大似然估计是建立在这样的思想上的：已知某个参数能使这个样本出现的概率最大。

我们当然不会再去选择其他其他小概率的样本，所以干脆就把这个参数作为估计的真实值。

(3) 在信息论中，熵表示的是不确定性的量度。

信息论的创始人香农在其著作《通信的数学理论》中提出了建立在概率统计模型上的信息度量。

他把信息定义为”用来消除不确定性的东西“。

熵的定义为信息的期望值。

ps:熵指的是体系的混乱程度，它在控制论，概率论，数论，天体物理，生命科学等领域都有重要的应用，在不同的学科中也有引申出更为具体的定义，是各个领域十分重要的参量。

熵由鲁道夫.克劳修斯提出，并应用在热力学中。

后来在，克劳德.埃尔伍德.香农第一次将熵的概念引入到信息论中来。

(4) 后验概率是信息论的基本概念之一。

在一个通信系统中，在收到某个消息之后，接收端所了解到的该消息发送的概率称为后验证概率。

后验概率是指在得到”结果“的信息后重新修正的概率，如贝叶斯公式中的。

是执果寻因的问题。

后验概率和先验概率有着不可分割的联系，后验的计算要以先验概率为基础，其实说白了后验概率其实就是条件概率。

(5) PCA 主成分分析:优点：降低数据的复杂性，识别最重要的多个特征。

奇异值分解的标准正交基1. 引言1.1 奇异值分解简介奇异值分解（Singular Value Decomposition，简称SVD）是一种广泛应用于数据分析和处理中的线性代数技术。

它将一个矩阵分解为三个矩阵的乘积，其中一个矩阵是一个正交矩阵，另一个矩阵是一个对角矩阵，而最后一个矩阵是另一个正交矩阵的转置。

SVD的应用涵盖了很多领域，例如图像压缩、推荐系统、语音识别等。

在SVD中，矩阵的奇异值代表了矩阵的重要性和方向性。

通过SVD可以对矩阵进行降维和信息提取，从而减少数据的冗余性和提高数据的可解释性。

SVD还可以用于矩阵的逆矩阵计算和矩阵的伪逆计算，从而在求解方程组和优化问题时起到重要作用。

SVD是一种非常强大的工具，能够对数据进行深入的分析和处理，为数据科学和机器学习提供了重要的支持。

在接下来的正文中，我们将详细介绍SVD的数学原理、计算方法、应用领域以及与标准正交基的关系，以及SVD的优缺点。

2. 正文2.1 奇异值分解的数学原理奇异值分解（Singular Value Decomposition，简称SVD）是一种常用的矩阵分解方法，可以将一个矩阵分解为三个矩阵的乘积，即A = UΣV^T。

U和V是正交矩阵，Σ是对角矩阵，对角线上的元素称为奇异值。

奇异值分解的数学原理可以通过以下几个步骤来解释：1. 对于任意一个矩阵A，我们可以将其转置后与自身相乘得到一个方阵A^TA。

然后，我们可以求解该方阵的特征值和特征向量。

2. 接下来，将A^TA的特征向量组成一个正交矩阵V，矩阵V的列向量就是矩阵A的右奇异向量。

5. 将A的奇异值按照降序排列在对角线上得到对角矩阵Σ，这样就完成了矩阵A的奇异值分解。

奇异值分解的数学原理从特征值和特征向量出发，通过对矩阵进行分解，将其表示为正交矩阵的乘积形式，为后续的计算和应用提供了基础。

2.2 奇异值分解的计算方法奇异值分解的计算方法通常涉及到矩阵的特征值分解和奇异值分解的联系。