大数据经典算法PageRank 讲解

深入探讨PageRank（一）：PageRank算法原理入门深入探讨PageRank（一）：PageRank算法原理入门一、PageRank简介大名鼎鼎的PageRank算法是Google排名运算法则（排名公式）的一个非常重要的组成部分，其用于衡量一个网站好坏的标准。

在揉合了诸如Title、Keywords标识等所有其它因素之后，Google利用PageRank来调整网页的排名，使得“等级/重要性”的网页会相对排在前面。

简单来说，Google通过下述几个步骤来实现网页在其搜索结果页面中排名：（1）找到所有与搜索关键词匹配的网页（2）根据页面因素如标题、关键词密度等排列等级（3）计算导入链接的锚文本中关键词（4）通过PageRank得分调整网站排名结果事实上，真正的网站的排名过程并非这么简单，我们会在后面进行详细深入阐述。

PageRank于2001年9月被授予美国专利，专利人是Google创始人之一的拉里.佩奇（Larry Page）。

所以，PageRank里面的Page 并不是指网页，而是指佩奇~PageRank对于网页重要性的级别分为1~10级，10级为满级。

PR值越高说明该网页越受欢迎，也即越重要。

一个PR值为1的网站表明该网站不具备流行度，而PR值为7~10的网站则表明该网站是非常受欢迎的，或者说极其重要。

一般PR值达到4，就算是一相当不错的网站了。

Google把自己网站的PR值设置为10~类似里氏震级，PageRank级别并不是线性增长的，而是按照一种指数刻度，打个比方PageRank4比PageRank3虽然只是高了一级，但却在影响力上高上6~7倍，因此，一个PageRank5的网页和一个PageRank8的网页之间差距会比你可能认为的要大的多。

在讨论之前，先介绍两个概念：导入链接，又称逆向链接，是指链至你网站的站点，也就是我们一般所说的外部链接。

而当你链至另外一个站点，那么这个站点就是你的导出链接，即你向其他网站提供本站的链接。

PageRank算法原理及应用引言互联网对于现代人来说，是不可或缺的一部分。

网络中蕴含的各种信息，对于工作、学习、生活等方面都有着很大的帮助。

但是，互联网的信息量过于庞大，怎么才能将用户需要的信息呈现给他们呢？这就需要搜索引擎的帮助。

而搜索引擎中的PageRank 算法，就是如何给各个网页进行排序的一种方法。

一、PageRank算法原理PageRank算法是由谷歌公司创始人之一拉里·佩奇和谢尔盖·布林共同提出的。

该算法的核心思想是把网页之间的链接看成一种投票制度。

举个例子，如果A网页中有指向B、C、D三个网页的链接，那么我们可以理解为A网页对B、C、D三个网页进行了投票。

同理，如果B、C两个网页又分别有指向A、D两个网页的链接，那么B、C网页对A、D网页也进行了投票。

但是，这个投票制度并不是完全平等的。

如果A网页的排名比B、C、D网页都要高，那么A网页对B、C、D网页的投票效果就要比B、C、D网页对A网页的投票效果更大。

又因为B、C网页同时又对A网页进行了投票，所以其对D网页的投票效果会比A网页的投票效果更大。

PageRank算法正是基于这种投票论证进行的，即如果一个网页被越多的其他网页链接的话，那么这个网页就越重要。

同时，如果链接这个网页的网页还有更高的权重，那么这个网页的权重就会更大。

Pagerank算法是一种迭代算法。

迭代中每个网页的PageRank 值逐渐逼近其真实值。

大致流程如下：1. 给每一个网页初始化PageRank值为12. 每个网页的PageRank值等于其他链接到这个网页的网页的PageRank值乘以这个网页投出去链接的数量除以被链接到的网页的总数再乘以一个0.85的系数，再加上一个概率0.153. 重复执行第二步，直到所有网页的PageRank值收敛二、PageRank算法应用PageRank算法的应用主要体现在搜索引擎排序上。

因为搜索引擎返回的结果一般都是以网页链接的形式呈现的，PageRank算法可以依据链接来判断网页的重要性并进行排序。

PageRank解释方法一1.PageRank的核心思想(1) R(x)表示x的PageRank，B(x)表示所有指向x的网页。

公式(1)的意思是一个网页的重要性等于指向它的所有网页的重要性相加之和。

粗看之下，公式(1)将核心思想准确地表达出来了。

但仔细观察就会发现，公式(1)有一个缺陷：无论J有多少个超链接，只要J指向I，I都将得到与J一样的重要性。

当J有多个超链接时，这个思想就会造成不合理的情况。

例如：一个新开的网站N只有两个指向它的超链接，一个来自著名并且历史悠久的门户网站F，另一个来自不为人知的网站U。

根据公式(1)，就会得到N比F更优质的结论。

这个结论显然不符合人们的常识。

弥补这个缺陷的一个简单方法是当J有多个超链接（假设个数为N），每个链接得到的重要性为R(j)/N。

于是公式(1)就变成公式（2）：（2）N(j)表示j页面的超链接数图2 来自Lawrence Page的文章从图2可以看出，如果要得到N比F更优质的结论，就要求N得到很多重要网站的超链接或者海量不知名网站的超链接。

而这是可接受的。

因此可以认为公式(2)将核心思想准确地表达出来了。

为了得到标准化的计算结果，在公式(2)的基础上增加一个常数C，得到公式(3)：(3)2.计算，实例由公式(3)可知，PageRank是递归定义的。

换句话就是要得到一个页面的PageRank，就要先知道另一些页面的PageRank。

因此需要设置合理的PageRank初始值。

不过，如果有办法得到合理的PageRank初始值，还需要这个算法吗或者说，这个严重依赖于初始值的算法有什么意义吗依赖于合理初始值的PageRank算法是没意义的，那么不依赖于初始值的PageRank算法就是有意义的了。

也就是说，如果存在一种计算方法，使得无论怎样设置初始值，最后都会收敛到同一个值就行了。

要做到这样，就要换一个角度看问题，从线性代数的角度看问题。

将页面看作节点，超链接看作有向边，整个互联网就变成一个有向图了。

PageRank算法1. PageRank算法概述PageRank,即⽹页排名，⼜称⽹页级别、Google左側排名或佩奇排名。

是Google创始⼈拉⾥·佩奇和谢尔盖·布林于1997年构建早期的搜索系统原型时提出的链接分析算法，⾃从Google在商业上获得空前的成功后，该算法也成为其他搜索引擎和学术界⼗分关注的计算模型。

眼下许多重要的链接分析算法都是在PageRank算法基础上衍⽣出来的。

PageRank是Google⽤于⽤来标识⽹页的等级/重要性的⼀种⽅法，是Google⽤来衡量⼀个站点的好坏的唯⼀标准。

在揉合了诸如Title标识和Keywords标识等全部其他因素之后，Google通过PageRank来调整结果，使那些更具“等级/重要性”的⽹页在搜索结果中另站点排名获得提升，从⽽提⾼搜索结果的相关性和质量。

其级别从0到10级，10级为满分。

PR值越⾼说明该⽹页越受欢迎（越重要）。

⽐如：⼀个PR值为1的站点表明这个站点不太具有流⾏度，⽽PR值为7到10则表明这个站点很受欢迎（或者说极其重要）。

⼀般PR值达到4，就算是⼀个不错的站点了。

Google把⾃⼰的站点的PR值定到10，这说明Google这个站点是很受欢迎的，也能够说这个站点很重要。

2. 从⼊链数量到 PageRank在PageRank提出之前，已经有研究者提出利⽤⽹页的⼊链数量来进⾏链接分析计算，这样的⼊链⽅法如果⼀个⽹页的⼊链越多，则该⽹页越重要。

早期的⾮常多搜索引擎也採纳了⼊链数量作为链接分析⽅法，对于搜索引擎效果提升也有较明显的效果。

PageRank除了考虑到⼊链数量的影响，还參考了⽹页质量因素，两者相结合获得了更好的⽹页重要性评价标准。

对于某个互联⽹⽹页A来说，该⽹页PageRank的计算基于下⾯两个基本如果：数量如果：在Web图模型中，如果⼀个页⾯节点接收到的其它⽹页指向的⼊链数量越多，那么这个页⾯越重要。

pagerank算法步骤PageRank算法是一种用于评估网页重要性的算法，是由Google的创始人拉里·佩奇和谢尔盖·布林共同提出的。

它是一种基于链接分析的算法，主要通过计算一个网页的入链数和出链数来判断其重要性。

具体的PageRank算法步骤如下：1. 初始化PageRank值：对于一个网页，初始的PageRank值一般为1/N，其中N为所有网页的总数。

将这些初始值赋予所有的网页。

2. 迭代计算：根据PageRank的计算公式进行迭代计算，直到收敛为止。

PageRank的计算公式如下：PR(A) = (1-d)/N + d * (PR(T1)/C(T1) + PR(T2)/C(T2) + ... + PR(Tn)/C(Tn))其中PR(A)为网页A的PageRank值，d为阻尼系数，一般取值为0.85，N为所有网页的总数，T1、T2、...、Tn为指向网页A的网页，C(T1)、C(T2)、...、C(Tn)分别为这些指向网页A的网页的出链数。

迭代计算每个网页的PageRank值，直到前后两次迭代值的差异小于某个预定的阈值，即达到收敛。

3. 解决网页零入链问题：在计算过程中，可能出现一些网页没有任何其他网页指向它，即零入链问题。

为解决这个问题，可以给这些网页一个初始的PageRank值，并在迭代计算中加入一个平均值部分，使得网页的重要性能够传递给零入链的网页。

以上就是PageRank算法的主要步骤。

实际应用中，还可以对阻尼系数d进行微调，以达到更好的效果。

此外，为了加快迭代计算的速度，可以采用分布式计算的方式进行计算。

参考内容：1. 《The Anatomy of a Large-Scale Hypertextual Web Search Engine》（拉里·佩奇、谢尔盖·布林）：这是PageRank算法的原始论文，详细介绍了算法的思想和具体实现。

论文发表于1998年，是该算法最早的介绍。

大数据的几大经典算法大数据领域中的经典算法有很多，以下是其中几个：1. MapReduce：MapReduce是由Google公司提出的一种用于处理大规模数据集的分布式编程模型。

它将大规模数据集划分为多个小的数据块，并在多个计算节点上并行处理这些数据块，最后将结果进行合并得到最终的结果。

MapReduce可以有效地解决大数据处理中的并行计算和分布式存储问题。

2. PageRank：PageRank是由Google公司创始人之一拉里·佩奇提出的一种用于评估网页重要性的算法。

它通过计算网页之间的链接关系来判断网页的重要程度，从而给每个网页分配一个权重值。

PageRank算法被广泛应用在引擎中，帮助用户找到更有用的网页。

3. K-means：K-means是一种基于聚类的数据分析算法，用于将一组数据划分成多个具有相似特征的类别。

它通过计算每个数据点与聚类中心的距离来确定数据点所属的类别。

K-means算法在大数据分析中经常用于数据挖掘、图像处理和推荐系统等应用。

4. Apriori：Apriori是一种用于挖掘关联规则的经典算法。

关联规则是一种描述数据项之间关系的方法，形如"A→B"，表示在其中一种条件下，项集A的出现可以预测项集B的出现。

Apriori算法通过扫描事务数据库来发现频繁项集，并根据频繁项集生成关联规则。

Apriori算法在市场篮子分析、网络入侵检测和用户行为分析等领域具有广泛应用。

5. SVM（Support Vector Machine）：SVM是一种用于分类和回归分析的机器学习算法。

SVM通过在特征空间中构建一个最优超平面来进行分类，使得不同类别的样本在该超平面上的投影距离尽可能大。

SVM在大数据领域中可以用于图像分类、文本分类和异常检测等任务。

6. LDA（Latent Dirichlet Allocation）：LDA是一种用于主题建模的概率模型。

PageRank解释方法一1.PageRank的核心思想(1)R(x)表示x的PageRank，B(x)表示所有指向x的网页。

公式(1)的意思是一个网页的重要性等于指向它的所有网页的重要性相加之和。

粗看之下，公式(1)将核心思想准确地表达出来了。

但仔细观察就会发现，公式(1)有一个缺陷：无论J有多少个超链接，只要J指向I，I都将得到与J一样的重要性。

当J有多个超链接时，这个思想就会造成不合理的情况。

例如：一个新开的网站N只有两个指向它的超链接，一个来自著名并且历史悠久的门户网站F，另一个来自不为人知的网站U。

根据公式(1)，就会得到N比F更优质的结论。

这个结论显然不符合人们的常识。

弥补这个缺陷的一个简单方法是当J有多个超链接（假设个数为N），每个链接得到的重要性为R(j)/N。

于是公式(1)就变成公式（2）：（2）N(j)表示j页面的超链接数图2 来自Lawrence Page的文章从图2可以看出，如果要得到N比F更优质的结论，就要求N得到很多重要网站的超链接或者海量不知名网站的超链接。

而这是可接受的。

因此可以认为公式(2)将核心思想准确地表达出来了。

为了得到标准化的计算结果，在公式(2)的基础上增加一个常数C，得到公式(3)：(3)2.计算，实例由公式(3)可知，PageRank是递归定义的。

换句话就是要得到一个页面的PageRank，就要先知道另一些页面的PageRank。

因此需要设置合理的PageRank初始值。

不过，如果有办法得到合理的PageRank初始值，还需要这个算法吗？或者说，这个严重依赖于初始值的算法有什么意义吗？依赖于合理初始值的PageRank算法是没意义的，那么不依赖于初始值的PageRank算法就是有意义的了。

也就是说，如果存在一种计算方法，使得无论怎样设置初始值，最后都会收敛到同一个值就行了。

要做到这样，就要换一个角度看问题，从线性代数的角度看问题。

将页面看作节点，超链接看作有向边，整个互联网就变成一个有向图了。

pagerank算法原理PageRank算法是一种网络搜索引擎技术，它最初由Google公司的拉里佩奇和谢尔盖布林于1998年提出。

它结合了评估网页网络信息传播量的统计技术和网络结构分析技术。

PageRank算法背后的基本思想是，如果一个网页具有越多的链接，给它的评分就越高；如果一个网页被越多的链接访问，它的评分也会越高。

因此，PageRank算法可以把页面的质量权重放在内部网页链接的算法中，从而表现出从全局来看网页重要性的比重。

PageRank算法主要包括以下几个步骤：(1)网页链接结构分析，即构建图模型表示Web网页的链接结构。

(2)构建网页排名模型，模型是一个线性方程组，其中系数为网页的链接信息。

(3)计算出网页的PageRank值，根据解析解法计算网页的PageRank值。

(4)检查PageRank值，检查算法的收敛性。

PageRank算法是基于概率图模型和网络流量分析的，可以用于确定网页之间的相关性，依据网页相关性来对网页进行排名。

这种排名与传统搜索引擎所采用的关键字排名算法不同，PageRank算法可以客观计算出网页的质量和重要性，而且不受网页上文字的影响。

PageRank算法的核心思想是，如果一个网页被其他很多网页指向，那么它的重要性就越大，对应的排名也越高。

它不仅能够考虑网页本身的内容和关键字，而且强调了网络中网页之间的关系，使得网页与网页之间的联系更加重要。

PageRank算法首先建立一个图形模型，该模型表示了Web网页之间的关联，比如A网页中链接到B网页的情况，这就相当于A网页将对B网页评分。

接着，在这一模型上，将所有的网页排名结果求解出来，求解的结果即为PageRank值。

PageRank值的确定有助于搜索引擎在返回搜索结果时，依据PageRank值排序，把更有价值的结果优先显示出来，从而提高用户搜索体验。

PageRank算法在Web搜索中的作用无法忽视，它改变了搜索结果的排序方式，使得搜索结果更符合用户的需求，给用户带来了更好的搜索体验，为网络信息生态提供了有效的管理机制。

大数据的经典的四种算法大数据是指数据量巨大、种类繁多且变化速度快的数据集合。

为了高效地处理和分析大数据，需要使用特定的算法。

下面列举了大数据处理中经典的四种算法。

一、MapReduce算法MapReduce是一种分布式计算模型，用于处理大规模数据集。

它由两个阶段组成：Map阶段和Reduce阶段。

在Map阶段，原始数据集被映射为一系列键值对，然后经过分组和排序。

在Reduce阶段，对每个键值对进行聚合和计算，最终得到结果。

MapReduce算法具有良好的可扩展性，可以有效地处理大规模数据。

二、PageRank算法PageRank是一种用于评估网页重要性的算法，广泛应用于搜索引擎中。

它通过分析网页之间的链接关系，计算每个网页的重要性指数。

PageRank算法将网页排名问题转化为一个随机游走问题，通过迭代计算网页的重要性。

这个算法对处理大规模的网页数据非常高效。

三、K-means算法K-means是一种常用的聚类算法，用于将数据分为多个簇。

该算法将数据集划分为k个簇，并将每个数据点分配到最近的簇。

在初始阶段，随机选择k个中心点，然后迭代计算每个数据点与中心点的距离，并更新簇的中心点。

最终得到稳定的簇划分结果。

K-means 算法在大数据处理中具有较高的效率和可扩展性。

四、Apriori算法Apriori算法是一种用于挖掘关联规则的算法，常用于市场篮子分析等场景。

该算法通过扫描数据集，计算项集的支持度，并根据设定的最小支持度阈值，筛选出频繁项集。

然后，根据频繁项集构建关联规则，并计算规则的置信度。

Apriori算法通过迭代逐渐增加项集的大小，从而挖掘出频繁项集和关联规则。

以上四种算法在大数据处理中具有重要的作用。

MapReduce算法可用于分布式处理大规模数据；PageRank算法可用于评估网页的重要性；K-means算法可用于大规模数据的聚类分析；Apriori算法可用于挖掘大规模数据中的关联规则。

大数据的经典的四种算法大数据算法是在大数据环境下为了处理和分析大规模数据而设计的算法。

这些算法通常具有高效性、可伸缩性和准确性，在大数据应用中发挥着重要作用。

下面列举了大数据的四种经典算法。

一、PageRank算法PageRank算法是由谷歌公司创始人之一拉里·佩奇（Larry Page）提出的一种用于评估网页重要性的算法。

PageRank算法通过分析网页之间的链接关系，将每个网页赋予一个权重值，表示该网页的重要程度。

重要的网页具有更高的权重值，从而在搜索引擎结果中排名更高。

PageRank算法的核心思想是基于图的链接结构进行网页排序，是搜索引擎中常用的排序算法之一。

二、k-means算法k-means算法是一种基于距离的聚类算法，用于将数据集划分成k 个不同的簇。

该算法将数据点分配到与其最近的簇中，然后根据每个簇的平均值更新簇的中心点，迭代进行，直到达到收敛条件。

k-means算法的优点是简单、高效，适用于大规模数据集。

它在聚类分析、图像分割和模式识别等领域有广泛应用。

三、Apriori算法Apriori算法是一种用于挖掘关联规则的算法。

关联规则指的是数据集中项之间的相关性。

Apriori算法通过扫描数据集，计算项集的支持度和置信度，从而找到频繁项集和关联规则。

该算法的核心思想是通过逐层扩展频繁项集，从而减少搜索空间，提高算法效率。

Apriori算法在市场篮子分析、推荐系统和广告投放等领域有广泛应用。

四、随机森林算法随机森林算法是一种集成学习算法，通过构建多个决策树并集成它们的结果来进行分类或回归任务。

随机森林算法的核心思想是通过随机选择特征和样本，构建多个决策树，并通过投票或平均等方式集成它们的预测结果，从而提高模型的准确性和泛化能力。

随机森林算法具有较好的抗噪声能力和可解释性，广泛应用于数据挖掘、图像识别和自然语言处理等领域。

五、朴素贝叶斯算法朴素贝叶斯算法是一种基于贝叶斯定理和特征条件独立假设的分类算法。

PageRank算法的定义与来源、以及PageRank算法原理⼀、PageRank算法定义PageRank，⽹页排名，⼜称⽹页级别、Google左侧排名或佩奇排名，是⼀种由根据⽹页之间相互的超链接计算的技术，⽽作为⽹页排名的要素之⼀，以Google公司创办⼈拉⾥·佩奇（Larry Page）之姓来命名。

Google⽤它来体现⽹页的相关性和重要性，在搜索引擎优化操作中是经常被⽤来评估⽹页优化的成效因素之⼀。

Google的创始⼈拉⾥·佩奇和谢尔盖·布林于1998年在斯坦福⼤学发明了这项技术。

PageRank通过⽹络浩瀚的超链接关系来确定⼀个页⾯的等级。

Google把从A页⾯到B页⾯的链接解释为A页⾯给B页⾯投票，Google根据投票来源（甚⾄来源的来源，即链接到A页⾯的页⾯）和投票⽬标的等级来决定新的等级。

简单的说，⼀个⾼等级的页⾯可以使其他低等级页⾯的等级提升。

⼆、PageRank算法来源这个要从搜索引擎的发展讲起。

最早的搜索引擎采⽤的是分类⽬录[^ref_1] 的⽅法，即通过⼈⼯进⾏⽹页分类并整理出⾼质量的⽹站。

那时Yahoo 和国内的 hao123 就是使⽤的这种⽅法。

后来⽹页越来越多，⼈⼯分类已经不现实了。

搜索引擎进⼊了⽂本检索的时代，即计算⽤户查询关键词与⽹页内容的相关程度来返回搜索结果。

这种⽅法突破了数量的限制，但是搜索结果不是很好。

因为总有某些⽹页来回地倒腾某些关键词使⾃⼰的搜索排名靠前。

于是我们的主⾓要登场了。

没错，⾕歌的两位创始⼈，当时还是美国斯坦福⼤学 (Stanford University) 研究⽣的佩奇 (Larry Page) 和布林(Sergey Brin) 开始了对⽹页排序问题的研究。

他们的借鉴了学术界评判学术论⽂重要性的通⽤⽅法，那就是看论⽂的引⽤次数。

由此想到⽹页的重要性也可以根据这种⽅法来评价。

于是PageRank的核⼼思想就诞⽣了[^ref_2]，⾮常简单：1.如果⼀个⽹页被很多其他⽹页链接到的话说明这个⽹页⽐较重要，也就是PageRank值会相对较⾼2.如果⼀个PageRank值很⾼的⽹页链接到⼀个其他的⽹页，那么被链接到的⽹页的PageRank值会相应地因此⽽提⾼三、搜索引擎搜索引擎的功能主要是：根据⽤户输⼊的关键字，返回⽂档的链接结果。