协同过滤算法简介

UserCF算法主要流程：

开始输入K(取k个最近邻居)将据集拆分为测试集test和训练集trainuser计算用户之间的相似性，获得用户相似性矩阵usersim用户相似性矩阵排序，获得排好序的用户相似性矩阵simiUser通过k个最近邻，计算用户对物品兴趣程度的矩阵trainuserItem通过物品兴趣程度，推荐前N个计算召回率、准确率和覆盖率结束

主要全局变量：

const int usersum = 6040; //用户总数

const int itemsum =3952; //项目总数

const int N =10; //为用户推荐前N个物品

int trainuser[usersum][itemsum]={0}; //训练集合user item rate矩阵

int test[usersum][itemsum]={0}; //测试集合user item rate矩阵

struct _simi

{

double value; //相似值

int num; //相似用户号

};

_simi simiUser[usersum][usersum]; //排序后的相似性矩阵

double trainuserItem[usersum][itemsum]={0.0}; // user item 兴趣程度 矩阵

int recommend[usersum][N]={0}; //为每个用户推荐N个物品

拆分数据集函数int SplitData(int m, int k) 主要流程：

将数据集拆分为测试集test和训练集trainuser，其中1/m为测试集,取不同的k<=m-1值 在相同的随即种子下可得到不同的测/训集合

开始打开数据集是否成功打开提示“open datasetfile failed”到达文件末尾NY寻找数据集每条记录对应的用户号usernum和物品号itemnumusernum<=usersumtemnum<=itemsumrand()%m==k1←test[usernum-1][itemnum-1]1←trainuser[usernum-1][itemnum-1]关闭文件结束NYNYYN

基于协同过滤的推荐算法与代码实现

什么是协同过滤？

协同过滤是利用集体智慧的一个典型方法。要理解什么是协同过滤 (Collaborative Filtering, 简称 CF)，首先想一个简单的问题，如果你现在想看个电影，但你不知道具体看哪部，你会怎么做？大部分的人会问问周围的朋友，看看最近有什么好看的电影推荐，而我们一般更倾向于从口味比较类似的朋友那里得到推荐。这就是协同过滤的核心思想。

协同过滤一般是在海量的用户中发掘出一小部分和你品位比较类似的，在协同过滤中，这些用户成为邻居，然后根据他们喜欢的其他东西组织成一个排序的目录作为推荐给你。当然其中有一个核心的问题：

如何确定一个用户是不是和你有相似的品位？

如何将邻居们的喜好组织成一个排序的目录？

简单来说：

1. 和你兴趣合得来的朋友喜欢的，你也很有可能喜欢；

2. 喜欢一件东西A，而另一件东西B 与这件十分相似，就很有可能喜欢B；

3. 大家都比较满意的，人人都追着抢的，我也就很有可能喜欢。

三者均反映在协同过滤的评级（rating）或者群体过滤（social filtering）这种行为特性上。

深入协同过滤的核心

首先，要实现协同过滤，需要一下几个步骤：

1. 收集用户偏好

2. 找到相似的用户或物品

3. 计算推荐

(1)收集用户偏好

要从用户的行为和偏好中发现规律，并基于此给予推荐，如何收集用户的偏好信息成为系统推荐效果最基础的决定因素。用户有很多方式向系统提供自己的偏好信息，而且不同的应用也可能大不相同，下面举例进行介绍：

以上列举的用户行为都是比较通用的，推荐引擎设计人员可以根据自己应用的特点添加特殊的用户行为，并用他们表示用户对物品的喜好。

在一般应用中，我们提取的用户行为一般都多于一种，关于如何组合这些不同的用户行为，基本上有以下两种方式：

将不同的行为分组：一般可以分为“查看”和“购买”等等，然后基于不同的行为，计算不同的用户/物品相似度。类似于当当网或者Amazon 给出的“购买了该图书的人还购买了 ...”，“查看了图书的人还查看了 ...”

龙源期刊网

协同过滤算法的研究

作者：吴经纬

来源：《电脑知识与技术》2019年第03期

摘要：互联网的快速发展，每天都产生了大量的信息，信息过载[1-2]十分严重，解决该问题的常用方法有两个，通过搜索引擎查询自己所需要的信息，这种方式有一个很大的缺点是，很多可能会使得引发人们兴趣的信息被埋沒了，而推荐系统是能很好解决该问题的有效方法，推荐系统常用的方法是协同过滤算法，本文对协同过滤算法常见问题做了一些研究。

关键词：推荐系统;协同过滤 ;个性化

中图分类号：TP311; ; ; ; 文献标识码：A; ; ; ; 文章编号：1009-3044（2019）03-0020-02

1前言

我们所处时代的显著特征是信息大爆炸，每天所产生新的信息量非常惊人，毋庸置疑，身处其中人们跟以前相比更能够找到自己需要的信息，比如想购买的商品，想观看的电影等，然而跟不上信息增长的速度。有些用户喜欢看一些评分高的，还有就是热门的电影，遗憾的是这些电影是非常有限的，而有很多类似的精彩电影未能呈现在用户的眼前，既是资源的一种严重浪费，又没能给用户更好的享受。推荐系统是解决信息过载的很有用的方法，它最大的特点莫过于个性化，根据用户产生的历史数据，进而分析这些数据，挖掘出有用的东西，从而给用户带来更好的体验。时常当我们在亚马逊购物的时候，可能我们买了一本专业书，过一段时间你会发现，跟这本书相似的书籍，该作者的其他作品也可能会出现，还有就是买过这本书的人还买过什么，这方方面面无疑更有可能出现用户想买的商品，极大地提高了用户体验。当我们观看YouTube视频的时候也会发生类似的情况，推荐系统具备发现用户隐藏兴趣的能力，既能给相关公司带来巨大的收入，更能丰富人们的生活。本文主要对协同过滤算法的关键技术做了介绍以及其中的一些问题做了相应的分析。

2 基于用户与物品的协同过滤算法

2020.031Spark计算框架Spark是一个开源的大数据计算引擎框架[1]遥它将编写好的程序分发到各个节点袁并让每个工作节点并行运算自己的任务遥Spark的主要开发语言为Scala袁它与Java十分类似袁但它又具有函数式编程思想袁为开发人员提供更好的编程模型遥Spark吸取了计算框架MapRe鄄duce的许多宝贵经验袁近些年它的性能提升很快袁Spark与MapReduce相比袁在理想状态下它在内存计算的速度比MapReduce要快100倍袁甚至在硬盘上的计算速度也要快10倍以上遥主要是因为Spark拥有弹性数据集RDD袁在执行任务时将中间结果读取到内存里[2]袁不像MapReduce通过对磁盘进行读写来传递里面的结果袁通过充分使用内存资源提升了计算的效率[3]遥2协同过滤推荐算法2.1基于邻域的协同过滤2.1.1基于用户的协同过滤算法基于用户的协同过滤算法渊User-BasedCollabora鄄tiveFiltering袁简称User-CF冤袁是推荐系统中早期的经典算法袁它是基于系统使用者过去留下的活动数据对用户的喜好进行归纳渊评分尧购物尧点赞等冤袁并且对喜好的程度进行度量[4]遥通常情况下袁是基于使用者对物品评价来作为喜好程度袁从而来挖掘和当前使用者相似的邻域对象袁邻域对象的计算一般使用野K-邻居冶算法袁找到K个最相似邻域对象的历史喜好数据中程度最高袁并且当前使用者没有过任何行为的物品袁推荐给当前的使用者遥2.1.2基于物品的协同过滤算法基于物品的协同过滤推荐算法渊Item-BasedCollab鄄orativeFiltering袁简称Item-CF冤袁基于物品的协同过滤推荐在计算时只考虑利用物品本身信息袁并不用从用户的角度考虑问题遥对于物品相似度的度量基于用户对于物品的喜好袁利用该喜好程度发掘相似的物品袁将它推荐给喜好相似物品的用户遥2.1.3相似度算法因为在两种基于邻域的协同过滤推荐算法中都需要计算相似度来确定一定数量的用户或物品近邻袁然后才能进行推荐袁所以需要用到相应的相似度计算方法袁目前主要的相似度计算方法有两种院渊1冤余弦相似度余弦相似度这种评价两者相似性的度量袁依据两向量夹角余弦确定遥具体公式如下院