推荐系统综述
- 格式:ppt
- 大小:2.12 MB
- 文档页数:19
第10卷第1期2021年1月网络新媒体技术Vol.10No.1Jan.2021·前沿与综述·基于深度学习的智能推荐系统综述*王星凯邓浩江盛益强(中国科学院声学研究所国家网络新媒体工程技术研究中心北京100190中国科学院大学北京100049)摘要:随着互联网技术的发展,人们对于网络资源的依赖和需求也在增长,如何为用户推荐其感兴趣的项目成为重要的研究课题,因此推荐系统被提出并应用。
本文首先介绍了传统推荐算法和结合深度学习技术的智能推荐算法,阐述了推荐系统中的关键问题,并介绍了结合深度学习技术解决相应问题的方法,最后分析了基于深度学习的智能推荐系统未来的研究方向。
关键词:推荐算法,深度学习,序列推荐,冷启动,数据稀疏A Review of Intelligent Recommendation System Based on Deep LearningWANG Xingkai ,DENG Haojiang ,SHENG Yiqiang(National Network New Media Engineering Research Center ,Institute of Acoustics ,Chinese Academy of Science ,Beijing ,100190,China ,University of Chinese Academy of Sciences ,Beijing ,100049,China )Abstract :With the development of Internet technology ,the user ’s needs for network resources are also growing.How to recommend i-tems has become an important research topic.The recommendation system has been proposed and applied to solve the problem.First-ly ,this paper introduces the traditional recommendation algorithm and the intelligent recommendation algorithm combined with deep learning technology.Then ,it describes the key problems in the recommendation system.It also introduces methods based on deep learning technology to solve the corresponding problems.Finally ,it analyzes the possible research direction of the intelligent recom-mendation system based on deep learning in the future.Keywords :recommendation algorithm ,deep learning ,sequential recommendatio ,cold -start ,data -sparse本文于2020-06-28收到,2020-09-07收到修改稿。
推荐系统综述【摘要】“信息超载”问题日趋明显,简单的信息检索已经不能满足用户搜索准确信息的需求,推荐系统应运而生。
尽管推荐系统被广泛应用于电子商务中,但是推荐算法还面临较多难题。
文章首先介绍了推荐系统相关概念、算法,然后分析了这些算法的优劣,最后总结了推荐系统需要解决的一些主要问题和研究方向。
【关键词】推荐系统;信息检索;信息超载1.序言网络和计算机技术的高速发展,使信息资源呈几何级速度增长,“信息超载”[1][2]已越趋明显,而且信息资源的存储方式已发生了质的变化,由结构化文本数据到非结构化图片、音频、视频等数据的转变,增加了信息检索的难度,因此如何寻找到准确信息资源的方法显得尤为重要。
当前,信息检索是解决这一问题的主要方法,其能够满足简单的用户需求,没有个性化的服务,有两种检索方式:分类检索、关键词检索。
分类检索是通过对信息的特征分类,让用户寻找需求的目录类别,从而实现信息查询,但是分类检索暴露出较多的问题:(1)交叉学科不断出现增加了项目分类的难度,无法确定项目的类别;(2)项目分类的规则无法统一,使得分类规则差异较大;(3)用户需要反复查找项目分类,耗时耗力[3]。
关键词检索是目前搜索引擎的主流,通过校对预存储信息和关键词,将匹配度高的信息返回给用户界面,查询速度较快,但是关键词检索的查准率低,用户个性化程度低,任何用户搜索的关键词相同,检索出的结果也是相同的,这不能满足用户需求[4]。
但是推荐系统[5][6][7]能够提供这一个性化服务,能够根据用户的特征,推荐满足用户需求的对象,其主要优点是能够主动收集用户的特征资料,通过对用户个性、习惯、偏好的分析,定制的向用户提供其感兴趣的信息,同时能够及时跟踪用户的需求变化,根据变化自动调整信息服务的方式和内容。
2.推荐系统的概念从1990年代开始,推荐系统逐渐被大家进行研究,其内容涉及认知科学、近似理论、信息检索、管理科学等领域。
很多学者对推荐系统进行了广泛的研究,美国学者ReSnick等人率先提出“推荐系统”一词,并通过对一个典型推荐系统的简单描述给出了推荐系统的定义:推荐系统以所有用户的意见作为输入,对用户的意见进行综合,将有价值的意见提供给某一适合的用户,系统的好坏取决于所提供意见与用户需求之间的匹配程度;GroupLens研究小组从电子商务网站的角度对推荐系统进行了定义:推荐系统采用数据分析技术预测用户对项目的偏好值或为用户产生一个top-N推荐列表,帮助用户搜寻出他们愿意购买的电子商务网站的项目;明尼苏达大学Konstan把推荐系统定义为:推荐系统利用群体意见,帮助群体中每名成员识别其最感兴趣或最能满足其需求的产品或信息。
个性化推荐系统研究综述【摘要】个性化推荐系统不仅在社会经济中具有重要的应用价值,而且也是一个非常值得研究的科学问题。
给出个性化推荐系统的定义,国内外研究现状,同时阐述了推荐系统的推荐算法。
最后对个性化推系统做出总结与展望。
【关键词】推荐系统;推荐算法;个性化1.个性化推荐系统1.1个性化推荐系统的概论推荐系统是一种特殊形式的信息过滤系统(Information Filtering),推荐系统通过分析用户的历史兴趣和偏好信息,可以在项目空间中确定用户现在和将来可能会喜欢的项目,进而主动向用户提供相应的项目推荐服务[1]。
传统推荐系统认为推荐系统通过获得用户个人兴趣,根据推荐算法,并对用户进行产品推荐。
事实上,推荐系统不仅局限于单向的信息传递,还可以同时实现面向终端客户和面向企业的双向信息传递。
一个完整的推荐系统由3个部分组成:收集用户信息的行为记录模块,分析用户喜好的模型分析模块和推荐算法模块,其中推荐算法模块是推荐系统中最为核心的部分。
推荐系统把用户模型中兴趣需求信息和推荐对象模型中的特征信息匹配,同时使用相应的推荐算法进行计算筛选,找到用户可能感兴趣的推荐对象,然后推荐给用户。
1.2国内外研究现状推荐系统的研宄开始于上世纪90年代初期,推荐系统大量借鉴了相关领域的研宄成果,在推荐系统的研宄中广泛应用了认知科学、近似理论、信息检索、预测理论、管理科学以及市场建模等多个领域的知识。
随着互联网的普及和电子商务的发展,推荐系统逐渐成为电子商务IT技术的一个重要研究内容,得到了越来越多研究者的关注。
ACM从1999年开始每年召开一次电子商务的研讨会,其中关于电子商务推荐系统的研究文章占据了很大比重。
个性化推荐研究直到20世纪90年代才被作为一个独立的概念提出来。
最近的迅猛发展,来源于Web210技术的成熟。
有了这个技术,用户不再是被动的网页浏览者,而是成为主动参与者[2]。
个性化推荐系统的研究内容和研究方向主要包括:(1)推荐系统的推荐精度和实时性是一对矛盾的研究;(2)推荐质量研究,例如在客户评价数据的极端稀疏性使得推荐系统无法产生有效的推荐,推荐系统的推荐质量难以保证;(3)多种数据多种技术集成性研究;(4)数据挖掘技术在个性化推荐系统中的应用问题,基于Web挖掘的推荐系统得到了越来越多研究者的关注;(5)由于推荐系统需要分析用户购买习惯和兴趣爱好,涉及到用户隐私问题,如何在提供推荐服务的同时有效保护用户隐私值得作进一步深入的研究;(6)关于推荐结果的解释的研究;(7)关于推荐系统规模性的研究等。
基于算法的分类器设计中的推荐系统方法综述随着互联网的快速发展和数据的不断增长,推荐系统在各个领域中发挥着重要的作用。
作为一种基于算法的分类器设计方法,推荐系统能够根据用户的个性化需求,为其提供个性化的推荐结果。
本文将综述基于算法的分类器设计中的推荐系统方法,重点介绍基于协同过滤、基于内容过滤和混合推荐算法三个主要方法的原理和应用。
一、基于协同过滤的推荐系统方法基于协同过滤的推荐系统方法是最经典和常用的推荐算法之一。
其基本原理是通过分析用户之间的相似性或物品之间的相似性,预测用户对于未知物品的喜好程度。
协同过滤可以分为基于用户的协同过滤和基于物品的协同过滤两种方式。
1. 基于用户的协同过滤基于用户的协同过滤方法是通过寻找与目标用户兴趣相似的其他用户,将这些用户喜欢的物品推荐给目标用户。
它的核心思想是“喜欢类似物品的人可能也会喜欢相似的物品”。
其中,常用的算法包括最近邻算法、加权最近邻算法和基于领域的推荐算法等。
2. 基于物品的协同过滤基于物品的协同过滤方法是通过分析物品之间的相似性,为用户推荐他们可能感兴趣的物品。
它的核心思想是“如果用户喜欢物品A,而物品A与物品B相似,那么用户也可能喜欢物品B”。
其中,常用的算法包括基于物品余弦相似度和基于物品相关度矩阵的推荐算法等。
二、基于内容过滤的推荐系统方法基于内容过滤的推荐系统方法是通过分析物品的内容特征,利用用户的历史行为和喜好,为用户推荐与其兴趣相关的物品。
与协同过滤方法相比,基于内容过滤更加注重物品本身的特征,能够满足用户的个性化需求。
基于内容过滤的推荐系统方法包括建立物品-特征矩阵、构建用户-特征矩阵和计算物品之间的相似度等步骤。
通过分析物品的关键词、标签、描述等特征信息,识别用户的兴趣偏好并为其推荐相关的物品。
三、混合推荐算法混合推荐算法是将不同的推荐算法进行组合,以提高推荐效果和覆盖率。
常见的混合推荐算法包括加权融合算法、级联推荐算法和混合推荐模型等。
推荐系统的发展综述推荐系统发展至今,其背后的技术大致可以划分为三类:基于内容的模型,基于协同过滤的模型,以及混合模型。
基于内容的推荐模型主要在于分别建立用户和物品的档案资料,从而计算用户和物品之间的相似度。
物品的档案通常由它的各种属性资料构成,以服装领域为例,可以为价格、品牌、类别、颜色、风格、款式、尺寸等等。
用户的档案可以包括她们的人口统计学资料,也可以是从她们的历史交互过的物品档案中构建,例如,用户经常购买杰克琼斯的服装,说明她比较喜欢这个服装品牌。
建立了用户和物品的档案之后,可以直接计算相似度,也可以把它们当做特征放入机器学习的模型。
基于内容的推荐模型的优点是,只要得到了物品或者用户的档案,就可以处理冷启动的问题:其次,因为档案都是显式的特征,最终的模型有比较好的可解释性。
基于协同过滤的推荐模型是目前学术界研究得最广泛的模型。
它不需要使用用户或者物品的档案资料,只需要收集用户历史的行为记录,发掘其中用户和用户、物品与物品之间潜在的相似性,并基于这种群组的相似性完成推荐。
协同过滤模型可以分为两类:基于邻居的方法和基于模型的方法。
基于邻居的方法的核心在于根据历史的行为记录,构建user一user,或者item一item的相似度矩阵。
常用的相似度计算方法有余弦相似度、皮尔逊相似度等。
基于樸型的推荐中最常用的方法是隐因子樸型。
是这一技术发展的重要里程碑。
在这类模型中,用户和物品都被嵌入到一个低维的向量表示,用户和物品的相关性则体现在它们对应的隐向量的点积关系。
这种方法的优点在于效率高,一旦训练出了模型,用户和物品的关系就能很方便地通过点积计算出来;同时准确度也相比于邻居模型要好。
其缺点也很明显,不能解决冷启动的问题,同时学习出的隐向量不方便解释。
混合模型则是指将多种推荐模型相结合,取长补短,从而得到更好的推荐效果。
工业界常用的模型往往是混合的模型。
这类模型可以是通过各种集成学习的方式组合而来,也可以是一种端到端的樸型,Wide&Deep 等樸型。
推荐系统概述⼀、什么是推荐系统 推荐系统:通过分析⽤户的历史⾏为记录来了解⽤户的喜好,从⽽主动为⽤户推荐其感兴趣的信息,满⾜⽤户的个性化推荐需求 推荐系统是⾃动联系⽤户和物品的⼀种⼯具,和搜索引擎相⽐,推荐系统通过研究⽤户的兴趣偏好,进⾏个性化计算。
推荐系统可发现⽤户的兴趣点,帮助⽤户从海量信息中去发掘⾃⼰潜在的需求⼆、长尾理论 “长尾”⽤来描述电⼦商务⽹站的商业模式和经济模式。
长尾理论:普通产品和冷门产品所共同占据的市场份额可以和那些少数热销产品所占据的市场份额相匹敌甚⾄更⼤ 因此,可以通过发掘长尾商品并推荐给感兴趣的⽤户来提⾼销售额。
这需要通过个性化推荐来实现 推荐系统可以创造全新的商业和经济模式,帮助实现长尾商品的销售。
推荐系统和长尾理论结合,可使得⽤户和商家共赢(⽤于得到感兴趣的商品,商家扩⼤了销售)三、推荐⽅法 推荐系统的本质是建⽴⽤户与物品的联系,根据推荐算法的不同,推荐⽅法包括如下⼏类: 1、专家推荐:⼈⼯推荐,由资深的专业⼈⼠来进⾏物品的筛选和推荐,需要较多的⼈⼒成本 2、基于统计的推荐:基于统计信息的推荐(如热门推荐),易于实现,但对⽤户个性化偏好的描述能⼒较弱 3、基于内容的推荐:通过机器学习的⽅法去描述内容的特征,并基于内容的特征来发现相似的内容 4、协同过滤推荐:利⽤与⽬标⽤户相似的⽤户已有的商品评价信息,来预测⽬标⽤户对特定商品的喜好程度。
是应⽤最早和最为成功的推荐⽅法之⼀。
5、混合推荐:结合多种推荐算法来提升推荐效果四、推荐系统模型 ⼀个完整的推荐系统通常包括3个组成模块:⽤户建模模块、推荐对象建模模块、推荐算法模块: 1、⽤户建模模块:对⽤户进⾏建模,根据⽤户⾏为数据和属性数据来分析⽤户的兴趣和需求 2、推荐对象(物品)建模模块:根据对象数据对推荐对象进⾏建模。
推荐对象即被推荐的物品,包括实物和虚拟物品。
3、推荐算法模块:基于⽤户特征和物品特征,采⽤推荐算法计算得到⽤户可能感兴趣的对象,并根据推荐场景对推荐结果(物品)进⾏⼀定调整,将推荐结果最终展⽰给⽤户五、推荐系统的应⽤ ⽬前推荐系统已⼴泛应⽤于电⼦商务、在线视频、在线⾳乐、社交⽹络等各类⽹站和应⽤中。
推荐系统综述 ◆叶磊 (南昌肮空大学信息工程学院) 【摘要l信息社会需要面对的一个严重的问题是信息过载(Informa一 2.1准确度 ti。 。 rl。 d)。互联网上充斥着大量的信息,如何从这些信息里找 推荐的准确度是评价推荐算法最基本的指标。它衡量的是推 到每个互联网用户感兴趣的信息,并把这些信息推送给用户是推荐荐算法在多大程度上能够准确预测用户对推荐商品的喜欢程度。 系统研究的主要问题。为了解决这一问题,推荐系统需要挖掘用户 目前大部分的关于推荐系统评价指标的研究都是针对推荐准确度 的历史行为.进而对用户兴趣进行建模,并以此为基础预测用户未的。准确度指标主要分为四类,即预测评分准确度、预测评分关联 来的行为。 性、分类准确度和排序准确度。 【关键词】信息过载推荐系统协同过滤基于内容 2.1.1预测评分的准确度
随着互联网的推广和普及,接人互联网的服务器数量和网页 的数目都呈现出爆炸增长的态势。互联网技术的迅速发展使得大 量的信息同时呈现在我们面前,例如,Netflix上有数万部电影,亚 马逊网站上有数百万本书,sourceforge上面有上百亿行的代码收 藏,如此数量众多的信息,如果让用户手工查找自己感兴趣的内 容是非常困难的,因为即使是全部浏览一遍网站的内容也是不太 可能的。 传统的搜索引擎只能将通用的搜索排序结果呈现给所有的用 户,无法针对特定用户的兴趣爱好呈现特定的信息或者搜索结 果.信息的爆炸反而使得信息的利用率大大的降低,这就是一种 被称之为“信息过载”的现象。 而作为提供商,如何让自己的产品信息为用户知晓、受到用户 的欢迎,也是一件非常困难的事情。因此,很多研究人员和公司的 研究机构开发了推荐系统(Recommender System)来解决这一矛盾。 推荐系统的功能就是联系用户和信息,一方面帮助用户发现对自 己有价值的信息,而另一方面让信息能够展现在对它有兴趣的用 户面前,从而实现信息消费者和信息生产者的双赢。 推荐问题从本质上来看就是帮助用户评估它从未看过的产 品。这些产品可以是书籍、电影、网页、宾馆、饭店,甚至包括书法、 绘画、音乐作品等等,是一个从已知到未知的过程。 推荐系统有三个重要的模块:用户建模模块、推荐对象建模模 块、推荐算法模块。 建立用户模型之前,需要考虑以下几个问题:(1)模型的输入 数据,如何获取输入数据;(2)用户的兴趣及需求的变化;(3)建模 的对象;(4)如何建模;(5)模型的输出。 1主要的推荐算法 目前的推荐算法主要包括协同过滤算法、基于内容的推荐算 法、谱分析、基于扩散的方法以及混合推荐算法。 1.1基于协同过滤的技术 协同过滤系统常用的一些技术包括维归约、关联挖掘、聚类和 贝叶斯学习等。协同过滤推荐系统利用了用户的相似性进行推 荐,而基于内容过滤的推荐系统根据商品内容的相似性进行推荐。 1.2基于内容过滤的技术 基于内容的过滤推荐技术特点是,根据用户过去选择项目的 特点,从项目描述、终端数据库里的项目属性关联抽取项目内容特 点,系统为其推荐相似的项目。基于内容的过滤系统最大的缺点 是用户模型的建立过度依赖于用户以前选择和点击的具体项目。 2推荐系统评价指标 如何判定一个推荐系统的优劣是推荐系统发展中非常重要的 问题。推荐系统评价指标具体包括准确度、多样性、新颖性及覆盖 率等。 182 预测评分的准确度衡量的是算法预测的评分和用户的实际评 分的贴近程度。该指标在需要向用户展示预测评分的系统中显得 尤为重要。 2.1.2预测评分关联 预测评分关联是用来衡量预测评分和用户真实评分之间的相 关性的指标,最常见的三种相关性指标分别是Pearson积距相关、 Spearman相关和Kendall’s Tau。 2.1.3分类准确瘦 分类准确度指标衡量的是推荐系统能够正确预测用户喜欢或 者不喜欢某个商品的能力。它特别适用于那些有明确二分喜好的 用户系统。对于有些非二分喜好系统,在使用分类准确度指标进 行评价的时候往往需要设定评分阈值来区分用户的喜好。比如在 5分制系统中,一般认为评分大于3的商品用户是喜欢的,反之认 为用户是不喜欢的。 2.1.4排序准确度 对于有严格排序要求的推荐系统而言,如果用评分准确度、评 分相关性或者是分类准确度等指标来评价此类系统的好坏显然并 不合适。这类系统需要用排序准确度指标来度量算法得到的推荐 序列和用户对商品排序的统一程度。排序准确度对于只注重分类 准确度的系统来说过于敏感,它更适合于需要给用户提供一个推 荐序列的系统。 2.2基于排序加权的指标 现实生活中人们的耐心往往是有限的,一个人不太可能会不 厌其烦地完整的检查推荐列表中的所有商品,所以用户体验的满 意度往往会受到用户喜欢的商品在推荐列表中位置的影响。 2.3覆盖率 覆盖率指标是指算法向用户推荐的商品能覆盖全部商品的比 例,如果一个推荐系统的覆盖率比较低,那么这个系统很可能会由 于其推荐范围的局限性而降低用户的满意度,因为低的覆盖率意 味着用户可选择的商品数量很少。覆盖率尤其适用于那些需要为 用户找出所有感兴趣的商品的系统。 2.4多样性和新颖性 实际应用中,即使准确率比较高的推荐系统也不能保证用户 对其推荐结果满意。一个好的推荐系统应该向用户推荐准确率高 并且又有用的商品。比如,系统推荐了非常流行的商品给用户,虽 然可能使得推荐准确度非常高,但是对于这些信息或者商品,用户 很可能早已从其他渠道得到,这样用户也不会认为这样的推荐是 有价值的。为了弥补基于预测准确度的评价指标的不足,最近相 关学者提出了衡量推荐多样性和新颖性的指标。 随着信息技术的迅速发展和信息内容的日益扩充,“信息过 载”问题越来越严重,给人们带来很大的信息负担。推荐系统被认 为可以有效缓解这一难题,得到学术界和工业界(下转第120页) 浅谈高职学院校园文化与企业文化的结合 ◆游波 (乐山职业技术学院) 【摘要】职教育是以社会需求为导向的就业教育,高职教育的目标化就能有全面地了解,具备企业所需要的职业素养,适应企业的岗 是为社会培养技术应用型专门人才,这就决定了高职校园文化建设位需求。 必须引入企业文化,突出职业教育特征。高职教育引进企业文化是 乐山职业技术学院在和中兴通讯合作办学的移动通信专业, 适应市场经济的必由之路。只有做好了校企合作,企业全面介入校整个人才培养工作主要分成两条主线,其中一条主线是专业技能 园教育,企业文化才能真正走进校园。 的培养,通过专业课程授课来实施;另一条主线是非专业方面的职 【关键词】校园文化企业文化结合 业素质能力培养,通过PQT课程来实施。
推荐系统调研报告及综述一、推荐系统概述1.1 什么是推荐系统推荐系统(Recommender System)的发展已经经历了近20年的时间,但是迄今为止仍没有人试图对推荐系统给出一个精确的定义。
广义上的推荐系统可以理解为是主动向用户推荐物品(Item)的系统,所推荐的物品可以是音乐、书籍、餐厅、活动、股票、数码产品、新闻条目等等,这依赖于具体的应用领域,推荐系统所推荐的物品或者对用户有帮助,或者用户可能感兴趣[1]。
随着电子商务规模的不断扩大,商品数量和种类不断增长,用户对于检索和推荐提出了更高的要求。
由于不同用户在兴趣爱好、关注领域、个人经历等方面的不同,以满足不同用户的不同推荐需求为目的、不同人可以获得不同推荐为重要特征的个性化推荐系统(Personalized Recommender System)应运而生[1]。
目前所说的推荐系统一般指个性化推荐系统。
1.2 推荐系统的发展历史如果追根溯源,推荐系统的初端可以追溯到函数逼近理论、信息检索、预测理论等诸多学科中的一些延伸研究。
推荐系统成为一个相对独立的研究方向一般被认为始自1994年明尼苏达大学GroupLens研究组推出的GroupLens系统[2]。
该系统有两大重要贡献:一是首次提出了基于协同过滤(Collaborative Filtering)来完成推荐任务的思想,二是为推荐问题建立了一个形式化的模型(见1.4)。
基于该模型的协同过滤推荐引领了之后推荐系统在今后十几年的发展方向。
GroupLens所提出的推荐算法实际上就是目前人们时常提及的基于用户的协同过滤推荐算法(User-based Collaborative Filtering Algorithms),虽然论文本身并没有使用这样一个名字。
在之后的十几年中,其它一些著名的协同过滤算法逐渐被提出,主要的有基于物品的协同过滤算法(Item-based Collaborative Filtering Algorithms)[3],基于矩阵分解的协同过滤算法(SVD-based/NMF-based, etc.)等等。