个性化推荐系统算法简介
- 格式：docx
- 大小：22.32 KB
- 文档页数：5
个性化推荐系统算法简介 发布: 2009-11-05 20:09 | 作者: baifendian | 来源: 百分点推荐技术研究中心 [i=s] 本帖最后由 baifendian 于 2009-11-5 20:45 编辑
电子商务推荐系统的主要算法有： （1） 基于关联规则的推荐算法（Association Rule-based Recommendation）
（2） 基于内容的推荐算法 (Content-based Recommendation) 内容过滤主要采用自然语言处理、人工智能、概率统计和机器学习等技术进行过滤。 通过相关特征的属性来定义项目或对象,系统基于用户评价对象的特征学习用户的兴趣,依据用户资料与待预测项目的匹配程度进行推荐，努力向客户推荐与其以前喜欢的产品相似的产品。如新闻组过滤系统News Weeder。 基于内容过滤的系统其优点是简单、有效。其缺点是特征提取的能力有限，过分细化，纯基于内容的推荐系统不能为客户发现新的感兴趣的资源,只能发现和客户已有兴趣相似的资源。这种方法通常被限制在容易分析内容的商品的推荐，而对于一些较难提取出内容的商品，如音乐CD、电影等就不能产生满意的推荐效果。
（3） 协同过滤推荐算法 （Collaborative Filtering Recommendation） 协同过滤是在信息过滤和信息系统中正迅速成为一项很受欢迎的技术。与传统的基于内容过滤直接分析内容进行推荐不同，协同过滤分析用户兴趣，在用户群中找到指定用户的相似（兴趣）用户，综合这些相似用户对某一信息的评价，形成系统对该指定用户对此信息的喜好程度预测。 与传统文本过滤相比，协同过滤有下列优点: 1. 能够过滤难以进行机器自动基于内容分析的信息。如艺术品、音乐; 2. 能够基于一些复杂的，难以表达的概念（信息质量、品位)进行过滤; 3. 推荐的新颖性。 正因为如此，协同过滤在商业应用上也取得了不错的成绩。Amazon，CDNow，MovieFinder，都采用了协同过滤的技术来提高服务质量。 缺点是: 1. 用户对商品的评价非常稀疏，这样基于用户的评价所得到的用户间的相似性可能不准确（即稀疏性问题）; 2.随着用户和商品的增多，系统的性能会越来越低（即可扩展性问题）; 3. 如果从来没有用户对某一商品加以评价，则这个商品就不可能被推荐（即最初评价问题）。因此，现在的电子商务推荐系统都采用了几种技术相结合的推荐技术。
（4） 组合推荐算法 (Hybrid Recommendation) 推荐系统算法总结 http://somemory.com/myblog/?post=12
推荐系统算法总结 作者：阿俊 发布于：2011-11-29 19:08 Tuesday 分类：推荐系统 最近看推荐系统方面的东西也有段日子了，有书，博客，唯独没有看论文。 总感觉论文对于工业界来说用处真的不如学校做课题、论文那么大，只要知道某个算法好不好用以及怎么用就可以了，也不必知道太多的细节和数学推导。但根据一个好的算法，产品部门可以设计出很多很酷的产品，让用户倍感web应用的人性化。
在看书，看大牛们的博客时，学习到了很多算法和思路。现在总结一下：
1、Item based collective filtering 这个算法是cf中的一种，也是当今很多大型网站都在采用的核心算法之一。 对于商城网站（以Amazon为代表，当然也包括京东那种具有搞笑特色的推荐系统在内），影视类推荐，图书类推荐，音乐类推荐系统来说，item的增长速度远不如user的增长速度，而且item之间的相似性远不如user之间的相似性那么敏感，所以可以在离线系统中将item的相似度矩阵计算好，以供线上可以近乎即时地进行推荐。因为这种方法靠的是item之间的相关性进行推荐，所以推荐的item一般都和喜欢的item内容或者特性高度相似，很难推荐出用户潜在喜欢的item，多样性也比较差。
2、user based collective filtering 这个是cf中的另外一种，它的主要特色是可以发现和用户具有同样taste的人，有句俗话叫做观其友知其人，大概也是这个道理吧。 找到用户的相似用户，通过相似用户喜欢的item推荐给该用户。因为用户的相似用户群还是比较敏感的，所以要频繁地计算出用户的相似用户矩阵，这样的话运算量会非常大。而且这个算法往往推荐出来的item很多都是大家都喜欢的比较hot的item，有的时候它提供的结果并不是个性化，反而成了大众化的推荐了。用这种算法的web应用一般都是item更新频繁，比如提供资讯类服务的应用（以“指阅”为代表的），或者笑话类推荐（以“冷笑话精选”为代表的）。当然这种算法的一个中间产物-----用户相似度矩阵是一个很有用的东西，社交类的网站可以利用这个中间产物来为用户提供相同品位的好友推荐。
3、content based 基于内容的推荐，很大程度上是在进行文本挖掘。web应用提供的内容或者爬取的内容在推给用户之前可以做一些挖掘，比如资讯类的应用，将抓取到的资讯，通过文本分析那一套算法提取出每篇资讯的关键词，以及统计频次和逆向文档频率来聚类或者笨一点地话计算出资讯的相似度矩阵，即共同的key words越多，两篇资讯的相似度越高。当你的用户很少很少，你的显式反馈数据非常非常少的时候，你可以根据用户的浏览或者搜索等等各种行为，来给用户进行推荐。再猥琐一点的话，你可以在用户刚刚注册好你的应用的时候，给他一些提问，比如让他输入一些感兴趣的话题啊，或者对以前看过的电影打分什么的。（当然这些电影都是你从各个簇中随机选取的，要足够多样性）这个算法它好就好在，不需要拿到用户--项目的评分矩阵，只需要知道用户喜欢什么，就可以很快速地推荐给用户十分相关的item。这个算法需要每天都要根据你抓取的资讯，不断地计算item之间的相似性。这个算法有个好处在于可以从容应对上面的两个算法其实都很难应对的问题，就是如果你想推出一个新的item，因为没有一个人有对这个new item的评分，所以上述的两个算法不可能推荐新的东西给你，但你可以用基于内容的算法将新的item计算出它属于哪个类，然后时不时地推出你的新item，这点对于商城尤其重要。
4、slope one 推荐系统的最最本质的事情就是把user-item rating矩阵中的空白填好，看穿这个本质以后，你可能会觉得问题一下子简单多了，填格子啊？填格子谁不会啊。因此很多高效加搞笑的算法就出来了。slope one就是其中，说实话，这个算法我自己没有写过，但是看到这个算法怎么实现的，我就觉得应该很好做，而且算起来会很快，但结果肯定不会特别理想。
Slope One的基本概念很简单, 例子1, 用户X, Y和A都对Item1打了分. 同时用户X,Y还对Item2打了分, 用户A对Item2可能会打多少分呢?
User Rating to Item 1 Rating to Item 2 X 5 3 Y 4 3 A 4 ?
根据SlopeOne算法, 应该是:4 - ((5-3) + (4-3))/2 = 2.5. 当然这个只是个算例简单地说明下原理，当user和item都很多的时候，你可以用加权的办法来做。 为什么我会感觉这个算法的效果会不理想呢？ 因为，这个算法总是把你的口味和大众的平均口味作对等，推荐出来的东西很难是非常个性化的。很容易让很多用户的推荐结果趋向一致，也就是大数的平均值，也即大众的平均口味。
5、svd svd的全称是：Singular Value Decomposition，翻译过来是奇异值分解，是一种矩阵分解的方法。其实，这个方法是提取一般实矩阵“特征值”的算法，（这里特征值加引号是因为，特征值是针对方阵来定义的，而一般的m*n的实矩阵是没有特征值的。）其实，矩阵就是一个线性变换的表示方法，因为一个向量乘一个矩阵的结果是一个向量，第一个向量通过线性变换来变成第二个向量。线性变换有许多变换方向，比如你可以对一个图像矩阵做伸缩同时也做平移。那么特征值和特征向量又是什么？一个特征向量就是表示其中的一个变换方向，而对应的特征值则表示这个变换方向对于整个线性变换有多么重要。
书归正传，那么奇异值又是什么？我觉得奇异值就是特征值从方阵往一般实矩阵的一个推广。你将一个m*n的实矩阵和它的转置相乘，就会得到一个方阵，然后对这个方阵做特征值分解，得到的特征值就是所谓的奇异值的平方。我的意思是说，某种意义上，可以讲奇异值和特征值理解为一回事。
那么拿到奇异值又会有什么用呢？拿到奇异值后，我们就可以抓到主要的成分，丢掉次要和非常次要的成分进行分析。也就是说，我们可以对原来的庞大的常常又非常稀疏的矩阵进行降维和分解，而分解后得到的矩阵都是稠密矩阵。最终我们会得到一个表示user特性的矩阵和一个表示item特性的矩阵。拿到这些数据之后，我们就可以进行推荐了，而且也可以很容易地进行聚类分析。
这个算法的好处在于，可以解决rating矩阵的稀疏性问题，同时可以降低矩阵的维度，提高运算速度。但它的缺点是付出的空间代价太大。在做svd分解时，你需要先把一个大的rating矩阵分解成三个大的矩阵，这三个矩阵需要存在计算机内存中，然后才能进行降维。
其实，svd这个方法的思路和PCA（主成分分析法）很像，抓住主要矛盾，忽略次要矛盾。分解降维后的矩阵非常约等于原来的矩阵。
6、聚类算法 这里用到的聚类算法，是用来降低维度以及为并行计算作准备的。 拿到rating矩阵之后，可以通过这些评分将用户自然地聚成几簇，然后用上述的算法对各个簇做推荐算法并行计算，充分地利用好所有计算资源。
