个性化推荐技术综述4-18
- 格式:doc
- 大小:328.00 KB
- 文档页数:12
推荐系统调研报告及综述张永锋清华大学计算机系人工智能研究所zhangyf07@一、推荐系统概述1.1 什么是推荐系统推荐系统(Recommender System)的发展已经经历了近20年的时间,但是迄今为止仍没有人试图对推荐系统给出一个精确的定义。
广义上的推荐系统可以理解为是主动向用户推荐物品(Item)的系统,所推荐的物品可以是音乐、书籍、餐厅、活动、股票、数码产品、新闻条目等等,这依赖于具体的应用领域,推荐系统所推荐的物品或者对用户有帮助,或者用户可能感兴趣[1]。
随着电子商务规模的不断扩大,商品数量和种类不断增长,用户对于检索和推荐提出了更高的要求。
由于不同用户在兴趣爱好、关注领域、个人经历等方面的不同,以满足不同用户的不同推荐需求为目的、不同人可以获得不同推荐为重要特征的个性化推荐系统(Personalized Recommender System)应运而生[1]。
目前所说的推荐系统一般指个性化推荐系统。
1.2 推荐系统的发展历史如果追根溯源,推荐系统的初端可以追溯到函数逼近理论、信息检索、预测理论等诸多学科中的一些延伸研究。
推荐系统成为一个相对独立的研究方向一般被认为始自1994年明尼苏达大学GroupLens研究组推出的GroupLens系统[2]。
该系统有两大重要贡献:一是首次提出了基于协同过滤(Collaborative Filtering)来完成推荐任务的思想,二是为推荐问题建立了一个形式化的模型(见1.4)。
基于该模型的协同过滤推荐引领了之后推荐系统在今后十几年的发展方向。
GroupLens所提出的推荐算法实际上就是目前人们时常提及的基于用户的协同过滤推荐算法(User-based Collaborative Filtering Algorithms),虽然论文本身并没有使用这样一个名字。
在之后的十几年中,其它一些著名的协同过滤算法逐渐被提出,主要的有基于物品的协同过滤算法(Item-based Collaborative Filtering Algorithms)[3],基于矩阵分解的协同过滤算法(SVD-based/NMF-based, etc.)等等。
个性化推荐技术综述作者:胡西谢雅婷来源:《科学与财富》2018年第19期摘要:本文主要介绍的个性化推荐的发展现状,基于对相关专利申请的分析对个性化推荐技术进行了梳理,以产业和科研的关注点结合国际专利分类体系,确定了主要的研究方向和研究对象的分类号分布范围。
从专利文献的视角对个性化推荐的申请情况及未来发展进行了全面的统计分析,介绍了个性化推荐的重点技术分支及其发展历程,从不同的技术分支角度总结了与个性化推荐相关的专利申请趋势。
关键词:个性化,推荐,信息,采集,定制,数据,挖掘。
1个性化推荐的技术概述个性化推荐直到20世纪90年代才被作为一个独立的概念被提出来,至今得到飞速发展。
由于巨大的应用需求,个性化推荐得到了广泛的关注,国内外越来越多的学者开始研究个性化推荐。
个性化推荐是根据用户资料信息、历史行为记录及物品的特征属性来分析用户对物品的偏好而生成个性化推荐列表,为用户提供信息推荐的一种过滤和挖掘技术。
个性化推荐是一个综合众多学科的研究领域,涉及统计分析、信息检索、数据挖掘、机器学习、人工智能、自然语言处理等。
从系统的结构层次上看,可以把个性化推荐分为:信息采集、用户建模、推荐算法和推荐输出。
(1)个性化推荐是建立在用户信息的技术上,因此,信息采集是建立个性化推荐模型的前提和必要条件。
采集数据信息是通过获取用户信息、喜好、特征与兴趣等数据的过程。
(2)为能够准确地反映用户各个方面、动态发展的兴趣爱好,需要为用户建立用户模型。
用户模型的表示提供一种结构化的进行个性化推荐。
(3)推荐算法从根本上决定了个性化推荐系统的类型、性能以及优劣。
推荐算法是根据收集的用户个人信息和对应的用户模型,通过设定算法目标进行学习,并对特定用户计算出推荐结果。
(4)推荐输出是根据推荐算法得到推荐结果,将结果展示通过预测值、结果推荐或是其他方式呈现给用户。
2个性化推荐专利基本情况分析2.1全球专利申请分析2.1.1技术趋势分析对全球历年专利申请的分布进行了统计,个性化推荐大概是从1993年开始有相关专利的申请的,在2006年之前发展十分缓慢,申请量都很少,属于起步阶段,2006年之后,发展速度明显加快,专利申请量逐渐增多,虽然有波动,但总体而言,专利申请量是不断增加的,这也与互联网技术的迅猛发展趋势相吻合。
第41卷第2期2024年2月控制理论与应用Control Theory&ApplicationsV ol.41No.2Feb.2024面向多源异构数据的个性化搜索和推荐算法综述暴琳1,朱志宇1†,孙晓燕2,徐标3(1.江苏科技大学自动化学院,江苏镇江212100;2.中国矿业大学信息与控制工程学院,江苏徐州221116;3.汕头大学工学院,广东汕头515063)摘要:高效精准的个性化搜索、推荐等服务可为人们生产生活带来极大便利,而随着互联网技术的迅猛发展,面向多源异构数据的个性化搜索和推荐任务逐渐变得日趋复杂,也是当前大数据分析及个性化服务领域的研究热点和难点.个性化搜索和推荐算法广泛收集多源异构数据,获取用户偏好信息,利用各类机器学习、深度学习等技术,构建用户兴趣偏好模型,预测用户偏好,推荐满足用户个性化需求和偏好的项目或内容,提升用户的使用体验和网站平台的商业利益.本文介绍面向多源异构数据的个性化搜索问题的数学描述,综述面向多源异构数据的个性化搜索和推荐算法的相关研究工作,包括:传统个性化搜索和推荐算法、融合多源异构数据的个性化搜索和推荐算法以及动态个性化搜索和推荐算法等相关研究现状,整理了算法常用数据集、性能评价指标及评估体系,进一步阐明了目前面向多源异构数据的个性化搜索和推荐方法的实际应用场景及今后研究的发展方向,并讨论了存在的不足及所面临的严峻挑战,期望为相关领域的研究人员提供有益帮助.关键词:个性化搜索;多源异构数据;用户兴趣模型;深度学习引用格式:暴琳,朱志宇,孙晓燕,等.面向多源异构数据的个性化搜索和推荐算法综述.控制理论与应用,2024, 41(2):189–209DOI:10.7641/CTA.2023.20100Review on personalized search and recommendation algorithms formulti-source heterogeneous dataBAO Lin1,ZHU Zhi-yu1†,SUN Xiao-yan2,XU Biao3(1.College of Automation,Jiangsu University of Science and Technology,Zhenjiang Jiangsu212100,China;2.School of Information and Control Engineering,China University of Mining and Technology,Xuzhou Jiangsu221116,China;3.College of Engineering,Shantou University,Shantou Guangdong515063,China)Abstract:Efficient personalized search service can bring great convenience in the production and life.With the rapid development of Internet technology,personalized search and recommendation task tends to become increasingly complex and is a hot research topic in thefield of big data analysis.Personalized search and recommendation algorithms extensively collect user-generated content and obtain users’preference information.By using various machine learning,deep learning and other technologies,these algorithms build user interest preference models,predict users’behaviors,and recommend personalized items.It will improve users’experiences and commercial benefits.This paper introduces the description of the personalized search problem,and reviews the research work on the personalized search and recommendation algorithms for multi-source heterogeneous data.It includes traditional personalized search algorithms,personalized search algorithms with multi-source heterogeneous data and dynamic personalized search algorithms.It sortes out common data sets and evaluation indicators,and clarifies the practical application scenarios and development directions of the personalized search methods for multi-source heterogeneous data.It also discusses the deficiencies and challenges,which is expected to be helpful to researchers in relatedfields.Key words:personalized search;multi-source heterogeneous data;user interest model;deep learningCitation:BAO Lin,ZHU Zhiyu,SUN Xiaoyan,et al.Review on personalized search and recommendation algorithms for multi-source heterogeneous data.Control Theory&Applications,2024,41(2):189–209收稿日期:2022−02−08;录用日期:2023−03−30.†通信作者.E-mail:**************;Tel.:+86511-84401153.本文责任编委:张丽清.国家自然科学基金项目(61671222,61876184),广东省自然科学基金项目(2021A1515011709),广东省数字信号与图像处理技术重点实验室开放基金项目(2021GDDSIPL–06)资助.Supported by the National Natural Science Foundation of China(61671222,61876184),the National Natural Science Foundation of Guangdong Province(2021A1515011709)and the Open Foundation of the Key Laboratory of Digital Signal and Image Processing of Guangdong Province (2021GDDSIPL–06).190控制理论与应用第41卷1引言近年来,随着互联网、大数据等技术的迅猛发展,互联网规模和用户数量呈现急剧增长的态势[1–5].用户作为数据的主动创造者,在网络中进行各种各样的行为和活动,包括:浏览网页、观看时事新闻、接收内容推荐、购物、出行通讯、休闲娱乐等事务,聚集了大量的多源异构用户生成内容(usergenerated contents, UGCs),如:用户画像、用户评分、类别标签、用户行为、文本评论、图像、音频、视频、位置信息、社交知识等,用户之间形成了日益错综复杂的社交网络关联.同时,这些UGCs数据蕴含着丰富的用户偏好信息,具有数量巨大、来源与结构多样化、多模态、稀疏性、无序性、不完整性、动态演化及传播社会性等特点,成为典型的个性化搜索和推荐系统的大数据环境.此外,这些海量多源异构UGCs也是各类互联网平台和移动应用商家获取信息、提高业绩、提升用户满意度和服务质量的重要来源.然而,这些海量信息给用户带来新资讯的同时,也将湮没大量有用信息,增加了用户筛选、甄别、处理信息,并最终做出决策的难度,即带来了“信息过载”问题[6–10].个性化搜索和推荐算法作为一种重要的智能信息过滤手段和服务方式,帮助用户从海量信息中搜寻满足其潜在需求及兴趣偏好的项目或内容(如:商品、音乐、微博、新闻等).同时,利用算法精准确定目标受众,让一些有价值的信息能够触达潜在用户,有效缓解“信息过载”,提升用户的实际使用体验和电子商业平台的经济效益,更好地服务于国计民生,实现供需双赢[11–15].近年来,涌现出了许多电子商务、信息检索、新闻推送、音乐/视频点播等领域的商用个性化搜索和推荐系统,例如:为用户推荐商品的亚马逊、中国电子商务平台淘宝网、电影推荐平台豆瓣网、信息检索平台百度、文章推荐系统GroupLens等,通过将浏览者转化为购买者,增加交叉销售、建立客户忠诚度、增强用户粘性,成功实现经济效益转化.然而,在复杂环境下的个性化搜索和推荐任务中,由于各用户的生活习惯、文化背景等差异较大,且当用户无明确信息需求或搜索意图时,使用传统大范围、无差别的推荐方法,往往无法取得良好的推荐效果,难以满足个性化需求,同时无端耗费了用户获取有用信息的精力及专注力.如何在复杂海量多源异构用户生成数据环境中,深入挖掘用户兴趣偏好,及时跟踪用户偏好,期望通过具体方法自动搜寻情景、项目、用户三者之间的最佳匹配,实现高效而精准的个性化搜索和推荐,提高个性化服务综合质量,从而有效处理现实生产、生活中的工程实际问题.上述内容已成为当前人工智能领域的迫切需求、研究热点及目标.面向多源异构数据的个性化搜索和推荐系统将大数据处理、机器学习、深度学习等技术有机结合,新颖且富有挑战性,具有十分重要的理论研究价值和广阔的实际应用前景,受到学术界和工业界的广泛关注.本文主要介绍面向用户生成内容个性化搜索和推荐任务的相关背景知识,对于面向多源异构数据的个性化搜索和推荐算法及其相关应用研究进行全面综述.主要研究内容框图如图1所示.首先,需明确面向多源异构数据的个性化搜索和推荐任务解决问题的数学描述,理清求解思路和建模方法;其次,对于建模、求解过程中的子任务,依次设计合理的解决方案,如:多源异构数据的特征提取、融合多源异构数据、用户兴趣偏好模型构建等内容;然后,针对不同情况下的实际真实场景,提出高效的个性化搜索和推荐算法.在个性化搜索和推荐系统研究领域已存在许多研究工作,基本沿袭上述研究思路.本文对于面向多源异构数据的个性化搜索和推荐算法相关工作进行了全面而系统的综述,将从多视角、多方面分析、归纳、总结不同领域个性化搜索和推荐方法的关键技术、工程应用及实际效果.本文内容组织结构安排如下:第2节给出面向用户生成内容个性化搜索的数学描述;第3节阐述了个性化搜索和推荐算法的相关工作及研究现状;第4节展示了个性化搜索和推荐算法的常用数据集;第5节说明了算法的性能评价体系及评价指标;第6节讨论了个性化搜索和推荐系统的实际应用场景及未来研究发展方向;最后,第7节总结全文.2面向用户生成内容个性化搜索的数学描述面向UGCs的个性化搜索和推荐任务是在海量动态搜索空间中,深入挖掘多源异构用户生成数据,建立用户兴趣偏好模型,抽取用户偏好,帮助用户搜寻满足其潜在需求和个性化偏好的项目或内容,为用户推荐其感兴趣的个性化项目推荐列表.在个性化搜索过程中,用户需依据认知经验、兴趣偏好等,对于搜索对象进行定性分析、评价和决策,而该过程往往具有渐进性、主观性、模糊性、多样性、不确定性、不一致性、动态演化等复杂特性.因而,这类问题难以建立明确定义的数学模型及目标函数,且用户满意解的界定也是主观且因人而异的,其搜索结果和推荐效果完全由用户偏好主观决定.例如:对于同一任务(如:购买图书、搜索电影等),不同用户的需求和兴趣不同,同一用户不同时间段的需求和兴趣也可能不相同.另外,随着时间推移、环境迁移、信息量增加等多种因素影响,用户潜在需求和兴趣偏好逐渐清晰,甚至可能发生动态变化.因此,面向UGCs的个性化搜索和推荐问题本质上是一类复杂动态定性指标优化问题.面向多源异构UGCs个性化搜索任务的基本框图如图2所示.第2期暴琳等:面向多源异构数据的个性化搜索和推荐算法综述191㔃 Ⲵ⢩ ⢩ 䟿㺘⽪・㶽 Ⓚ Ⲵ⭘ 䏓 ⁑㘳㲁⭘ ㍒オ䰤 ⢩ Ⲵ Ґ䗷〻⭘ њ 䴰≲傡 Ⲵ ⸕䇶 㡚 ḷՈ ⁑Ҿ 䀓 Ⲵ⭘ 㹼Ѫ Ⲵ⢩ о⢩ 㺘⽪Ҿ 〟⾎㓿㖁㔌Ⲵ⭘ 䇴䇪 Ⲵ⢩ 䟿 㺘⽪Ҿ␡ 㖞 㖁㔌Ⲵ丣仁 Ⲵ⢩ ⢩ 㺘⽪Ҿ ⧟⾎㓿㖁㔌Ⲵ 䰤 Ⲵ⢩ о 䟿 㺘⽪Ҿ␡ ҐⲴ㶽 Ⓚ Ⲵ⢩ 䟿 㺘⽪Ҿ Ⓚ Ⲵ⭘ 䏓 ⁑图1面向多源异构数据的个性化搜索和推荐算法及其应用的研究内容框图Fig.1Diagram of personalized search and recommendation algorithms with multi-source heterogeneous data图2对于处理实际面向多源异构UGCs 个性化搜索任务的过程进行了详细展示,将图1概要性、静态性的说明以动态信息流转的方式呈现,更清晰地展现了个性化搜索和推荐过程中数据传导流向和问题求解过程.根据基本框图中各模块功能,面向多源异构UGCs 的个性化搜索任务可分为数据预处理模块、多源异构数据模块和个性化推荐模块.数据预处理模块主要收集互联网中产生的海量数据,并接收用户交互过程中产生的新的用户生成数据及新出现的项目,将这些信息进行初步的数据预处理.多源异构数据模块将上级模块输入的信息分门别类,进行相应的数据向量化表示,这里不同类型的数据处理方法不同,与后续构建的模型息息相关.个性化推荐模块将充分挖掘多源异构UGCs,构建基于多源异构数据的用户兴趣偏好模型,抽取用户偏好,设计面向多源异构数据的个性化搜索和推荐算法,预测用户未来可能的行为模式,并向用户推荐其可能感兴趣的项目或内容,生成项目推荐列表,提交给当前用户.若用户搜索到用户满意解,则交互式个性化搜索过程结束;否则,收集用户对于推荐结果的评价反馈,并进行效用评价.通过模型管理优化调整基于多源异构数据的用户兴趣偏好模型及相应的个性化搜索策略,进一步提高模型预测精度192控制理论与应用第41卷和推荐效果.这里,面向多源异构数据的个性化搜索和推荐问题的目标函数f u(x)定义如下:f u(x),s.t.u∈U,x∈X,(1)其中:U={u1,u2,···,u|U|}是用户集合,|U|表示用户数量;X={x1,x2,···,x|X|}是项目集合(可行解空间),通常X很大且稀疏,|X|表示项目数量,项目(解)x i含有n个决策变量,表示为x i=[x i1x i2···x in];用户u对于项目x的偏好程度为f u(x),其无法用具体数学函数精确量化表示,由用户u的认知经验和兴趣偏好决定,且在个性化搜索过程中可能发生动态变化.亴 ⨶⁑㺘ӂ㚄㖁 Ӕӂ⭏ 亩ⴞ 㦀 㺘Top/䶒 Ⓚ Ⲵњ ㍒ 㦀㇇⌅图2面向多源异构UGCs个性化搜索任务的基本框图Fig.2Diagram of personalized search task with multi-source heterogeneous UGCs个性化搜索算法和推荐算法将在可行域空间搜寻一组满足当前用户潜在需求且其可能感兴趣的项目推荐列表Top N,即N个具有较高f u(x)值的项目集合,进行有效的个性化项目推荐.因此,如何精准描述表达用户偏好的目标函数f u(x),辅助用户在复杂海量信息环境中尽快搜寻到用户满意解,是面向多源异构数据个性化搜索和推荐任务的重点及难点,也是目前人工智能领域亟待解决的难题.3个性化搜索和推荐算法相关工作广泛收集互联网中的用户生成内容和相关项目内容信息,如:用户画像、项目类别标签、项目内容属性、用户历史交互行为记录(包括点击、浏览、评分、收藏、申领优惠券等行为)、用户评论、时间上下文、地理位置、社交网络信息等,这些数据包含了大量的用户兴趣偏好信息.个性化搜索和推荐算法通过分析并深入挖掘含有用户需求及个性化偏好的UGCs信息,建立用户兴趣偏好模型,预测用户对于项目的潜在需求和兴趣偏好,帮助用户尽快搜寻其满意解,提供个性化服务.近年来,个性化推荐系统采用多种用户偏好提取技术、个性化推荐关键技术等,在一定程度上解决了个性化搜索和推荐的实际问题,展现出良好的搜索效率及推荐结果.从不同视角出发,对于个性化搜索和推荐算法的分类方法各有不同,主要包括:基本分类方法、采用各种机器学习技术的方法、利用不同类型用户生成内容的方法以及个性化动态搜索方法等.这些分类方式的分类结果互有重叠和交叉,从不同方面展现了个性化搜索和推荐算法丰富的多面性.这里总结了个性化搜索和推荐算法的分类方法的总体框架如图3所示.图3呈现了个性化搜索和推荐算法的分类方法及其相应的各种个性化搜索和推荐算法,本小节对于相关工作和算法的阐述与总结也将围绕图3展开.其中,基本分类方法将个性化搜索和推荐算法分为基于内容的推荐算法、协同过滤推荐技术和混合推荐算法,已有许多相关综述论文对于这类基本分类方式的内容进行了介绍.因此,本文将着重论述利用机器学习或深度学习的方法、深入挖掘用户生成内容,以及考虑个性化动态搜索过程的个性化搜索和推荐算法.第2期暴琳等:面向多源异构数据的个性化搜索和推荐算法综述193图3个性化搜索和推荐算法分类Fig.3Classification on personalized search and recommen-dation algorithms3.1个性化搜索和推荐算法在实现个性化搜索和推荐任务过程中,面向UGCs 构建用户兴趣偏好模型是核心.当前流行的建模方法包括:多层感知机(multilayer perceptron,MLP)[16–17]、因子分解机(factorization machine,FM)[18–19]、贝叶斯(Bayesian)模型[20–21]、自编码器(autoencoder)[22–23]、深度置信网络(deep belief networks,DBN)[24–25]、卷积神经网络(convolutional neural network,CNN)[26–27]、循环神经网络(recurrent neural network,RNN)[28–29]、图神经网络(graph neural network,GNN)[30–31]等,这些模型都取得了较好的个性化推荐效果.另一方面,从合理利用数据的角度,个性化搜索和推荐算法可分为:考虑用户行为和用户评分、考虑用户隐式反馈信息、基于上下文信息、结合社交网络、融合多源异构数据等方法.上述分类方法是从建立模型和可用数据两方面进行归纳与总结.然而,这些构建用户兴趣模型的算法和利用用户生成内容的方法又是相辅相成、紧密联系的,因此,本节将对这些方法进行有机关联的综述.3.1.1考虑用户行为和用户评分的推荐算法早期推荐技术主要采用协同过滤推荐算法,通过相似性度量衡量不同用户或项目之间的相似性,实现个性化搜索和推荐任务.网络中大量存在的用户交互行为和用户评分数据包含了表达用户兴趣偏好的有用信息.Rendle等人[32]利用源于问题的贝叶斯,分析最大后验估计,提出了贝叶斯个性化排序模型,并给出了协同排序的通用框架及其贝叶斯解释.进一步, Rendle[18]联合支持向量机和因子分解模型,利用因子化参数模拟变量间的交互关系,在稀疏数据中获取交互信息,提出了FM模型.FM模型作为机器学习任务的通用学习框架,模拟任意特征之间的二阶交互,其公式如下:ˆy(x)=ϖ0+n∑i=1ϖi x i+n−1∑i=1n∑j=i+1ϖij x i x j,(2)其中:x i和x j分别表示两个不同的特征取值,n表示样本的特征数目,ϖ0是全局偏置,ϖi是样本权重,ϖij是样本特征组合的权重.后续许多个性化搜索和推荐算法都是基于因子分解机模型框架或者结合深度学习技术进行改进和扩展的.Song等人[33]在已训练全局RankNet模型基础上,通过信息丰富的实例连续训练适应用户特征的RankNet模型,并利用Kullback-Leibler散度、点击熵或启发式评估适应实例的有效性,提出了自适应深度RankNet模型,进行个性化搜索.Miao等人[34]通过局部平滑正则化探索无标签数据的多样结构,采用最小化基于序列集成学习框架的正则化惩罚成对损失目标,提出了半监督正则化推进排序算法.Zhuang等人[35]提出成对约束表示学习的协同排序框架,同时学习用户和项目的隐因子与成对排序损失.He等人[16]提出了神经协同过滤算法,构建双重神经网络模拟用户和项目间的双向交互模式,捕捉嵌入维度之间的高阶关联关系,应用于跨领域推荐.Fu等人[36]预先理解用户与项目的特征,提出了基于深度学习的协同过滤模型.Xue等人[37]考虑项目之间的非线性高阶关系,提出基于项目的深度协同过滤Top N推荐算法.于亚新等人[38]综合考虑用户行为发生时间、活动内容、活动区域等信息,利用潜在狄利克雷配置(latent Dirich-let allocation,LDA)技术建立活动–服务主题模型,提出基于耦合和距离的矩阵分解算法.Lian等人[39]设计端到端的学习工作流,采用多种精馏策略,较好地保留了用户–项目的相关性得分和相对排序,进一步提高表示质量,提出轻量级推荐系统LightRec,具备快速在线推理和经济性内存消耗.田震等人[40]在广义矩阵分解模型的基础上引入隐藏层,利用深层神经网络学习用户和物品之间的高阶交互关系,提出深度矩阵分解推荐算法.Sun等人[41]结合双曲空间和图卷积神经194控制理论与应用第41卷网络,通过边缘排序损失函数进行学习,提出双曲图卷积网络协同过滤.Sun等人[42]提出了场矩阵因子分解机,建模领域信息,并支持修剪交叉项和嵌入向量的特定字段变量维度作为软剪枝,有效提升模型的预测性能和推荐能力.这些个性化搜索和推荐算法计算框架简单,大量使用用户–评分数据,模型训练依赖这些用户生成数据,通常需要更多时间构建并训练模型.然而,在实际应用场景中,由于互联网用户和项目数量、规模很大,用户显式反馈数据量相对较少,有时甚至无法有效获取用户偏好信息.因而,考虑用户行为和用户评分的推荐算法面对高稀疏用户评分数据时,存在数据缺失、稀疏性、冷启动等问题,将严重影响模型的预测性能、搜索质量及推荐效果,导致个性化搜索和推荐算法的综合性能表现不佳.3.1.2考虑用户隐式反馈信息的推荐方法复杂互联网环境下的用户生成内容,包含许多具有明确意图的用户显式评价(如:评分)和大量真实意思表示的用户隐式反馈(如:搜索关键词、浏览、点赞、收藏、分享、观看生活秀、使用优惠卷、购买、评论等行为),这些数据从不同侧面显式或隐式表达了用户个性化兴趣偏好.其中,显式评分方式需要用户对于项目做出明确评价,实现简单、获取直接,明确表达了用户兴趣偏好的选择倾向,但该过程容易引起用户心理疲劳和评价负担,数据收集较为困难,因而其数据稀疏、包含的可用信息有限.隐式反馈数据隐含表达了用户的兴趣偏好,具备获取来源灵活、收集成本低、数据规模大,以及应用场景广泛等优点.若能够充分利用UGCs中的海量用户隐式偏好信息,无疑将对于用户显式偏好信息不充足、数据稀疏性等问题产生积极影响,有益于精准获取用户偏好,保障个性化搜索和推荐过程的顺利推进.考虑用户隐式反馈数据,针对不同用户行为模式,通过辅助判定产生用户对于项目的偏好评定.Kassak 等人[43]利用显式反馈和隐式反馈(如:浏览时间),建立用户兴趣偏好模型.Qiu等人[20]提出贝叶斯个性化排序算法,处理异构隐式反馈信息,增强推荐系统的性能.Zhou等人[44]设计局部激活单元,提出了深度兴趣网络,能够根据历史行为数据自适应地学习用户兴趣表示,应用于Alibaba集团在线展示广告系统.Liu等人[21]考虑隐式偏好数据的不确定性和推荐结果的多样性,提出了基于贝叶斯Mallows模型的个性化推荐算法.Lee等人[45]采用用户对于未评分项目的预偏好概念,识别出用户未评分但可能不感兴趣的项目,选择性地归为低价值项目,并注入用户–项目矩阵中,提出l-注入协同过滤框架,解决推荐系统稀疏性问题.薛峰等人[46]采用深度神经网络建模用户与物品之间的关系,并利用注意力机制,计算在建模用户隐式反馈时历史交互物品的权重,提出基于深度神经网络和加权隐反馈的个性化推荐算法.司亚利等人[47]利用用户签到的活跃度,给出用户不活跃和活跃的隶属度计算方法,并结合时间因素幂律函数和高斯核密度估计,计算用户活跃特征的概率值,提出基于用户签到活跃度特征和时空概率模型的自适应兴趣点推荐方法. Askari等人[22]集成两个变分自编码器,提出了联合变分自编码器,共同学习用户表示和项目表示,重构并预测用户偏好,进行基于隐式反馈的Top N推荐.这些研究成果提供了许多有价值的参考.然而,由于用户可能存在误操作或为赢得奖励而进行转发等行为,而这些隐式反馈信息不能准确反映实际用户偏好.因此,在实际应用过程中,个性化推荐算法对于用户隐式反馈数据质量有一定要求,需检验数据的可靠性. 3.1.3基于上下文信息的推荐模型网络中实体的上下文信息通常用于描述用户或项目的状态,用户兴趣偏好与上下文信息紧密相关.考虑上下文信息,利用深度学习技术面向用户开展个性化搜索和项目推荐.Kim等人[48]整合CNN和概率矩阵分解,捕捉文档的上下文信息,利用积极和消极偏好,提出了鲁棒的文档上下文感知混合模型,称为卷积矩阵分解.Yang等人[49]结合协同过滤和半监督学习,通过连接相邻用户和兴趣点联合学习用户偏好与上下文嵌入,提出通用基于深度神经网络的半监督学习框架,缓解数据稀疏问题.Du等人[50]结合场景特定学习和模型无关的序列元学习,统一到场景特定的顺序元学习框架,通过聚合来自各种预测任务的上下文信息,生成元学习器通用初始模型,利用学习知识有效地适应特定任务,缓解在线推荐过程中的冷启动问题.赖奕安等人[51]建模用户参与活动记录和活动相关上下文信息,利用多关系贝叶斯个性化排序方法学习协同上下文关系,提出基于协同上下文关系学习的同城活动推荐算法.Yang等人[52]基于剩余资源/时间和不同用户情境中奖励分布估计分配探索资源,充分利用上下文特征信息,提出了分层自适应上下文匪徒方法,搜寻最佳个性化推荐结果.Fu等人[53]建立图神经网络,模拟社交关系和协同关系,提出面向社交推荐的双边深度上下文感知调制模型,在高阶关系基础上捕捉朋友信息与项目吸引力.然而,这类方法在项目类别或领域层次上抽取用户偏好,粒度较大,还有进一步提升的空间,进而获得精准推荐结果.此外,在实际运行过程中,深度学习和矩阵分解的单独训练过程较耗时,需考虑合适的组合形式及训练方式,且其实际效果不易整体把握.3.1.4结合社交网络的推荐方法结合社交网络信息的推荐方法具有可靠性高、转。
Software Engineering and Applications 软件工程与应用, 2019, 8(3), 172-178Published Online June 2019 in Hans. /journal/seahttps:///10.12677/sea.2019.83021A Survey of Diversity in PersonalizedRecommendation SystemsShuhao Jiang1,2, Liyi Zhang1,2, Na Zhou11School of Electrical and Information Engineering, Tianjin University, Tianjin2School of Information Engineering, Tianjin University of Commerce, TianjinReceived: June 6th, 2019; accepted: June 21st, 2019; published: June 28th, 2019AbstractDiversity has become one of the main directions of recommendation system research. Improving the diversity of recommendation content is not only an important way to solve the problem of over-fitting, but also a way to improve user’s experience satisfaction. In order to elaborate the work in the field of recommendation diversity, this paper introduces diversity recommendation from three aspects: the definition and evaluation of diversity, the impact of diversity on recom-mendation quality and the development of diversity algorithm.KeywordsPersonalized Recommendation, Diversity, Recommendation Quality, Evaluation个性化推荐系统中的多样性综述姜书浩1,2,张立毅1,2,周娜11天津大学电气自动化与信息工程学院,天津2天津商业大学信息工程学院,天津收稿日期:2019年6月6日;录用日期:2019年6月21日;发布日期:2019年6月28日摘要多样性已成为推荐系统研究的主要方向之一,提高推荐内容的多样性不仅是解决过度拟合问题的重要方法,也是提高用户体验满意度的方法。
个性化推荐系统综述
刘辉;郭梦梦;潘伟强
【期刊名称】《常州大学学报:自然科学版》
【年(卷),期】2017(029)003
【摘要】个性化推荐系统作为处理"信息超载"问题的有效工具,已经得到了广泛的研究与关注。
文中对电子商务环境下的个性化推荐算法进行了归类与综述,总结了现有的各类推荐算法的优缺点与个性化推荐系统性能评价指标;电子商务个性化推荐算法具有良好的发展前景,但仍需有效解决个性化推荐系统中存在的冷启动、数据稀疏与可扩展性等问题。
【总页数】9页(P51-59)
【作者】刘辉;郭梦梦;潘伟强
【作者单位】常州大学商学院,江苏常州213164
【正文语种】中文
【中图分类】TP18
【相关文献】
1.个性化推荐系统综述
2.个性化推荐系统综述
3.个性化推荐系统综述
4.个性化推荐系统综述
5.个性化推荐系统综述
因版权原因,仅展示原文概要,查看原文内容请购买。
推荐系统综述推荐系统综述引言:随着互联网和电子商务的快速发展,推荐系统成为了各个行业中的重要组成部分。
推荐系统通过分析用户的行为和兴趣,为用户提供个性化的推荐,从而提高用户体验和满意度。
本文将综述推荐系统的背景、发展历程、应用领域、算法原理等方面,为读者全面介绍推荐系统的相关知识。
一、背景:随着信息爆炸和信息过载的时代到来,人们面临了获取信息的困境。
传统的信息检索方式往往无法满足用户的个性化需求。
而推荐系统通过对用户行为和兴趣的分析,可以为用户提供个性化的推荐,从而解决了这一问题。
二、推荐系统的发展历程:推荐系统的发展经历了几个重要的阶段。
起初,推荐系统主要采用基于内容的推荐算法,即通过分析物品的内容特征来做出推荐。
然后,协同过滤成为了主流的推荐算法,它通过分析用户的历史行为和其他用户的行为来生成推荐结果。
最近几年,深度学习等技术的兴起使得推荐系统可以更好地提取和利用用户的行为特征,从而进一步提高了推荐的准确度和个性化程度。
三、推荐系统的应用领域:推荐系统广泛应用于各个行业领域。
在电子商务领域,推荐系统可以根据用户的购买历史和浏览行为,为用户推荐相关的商品,提高销售额和用户忠诚度。
在社交媒体领域,推荐系统可以根据用户的兴趣和好友关系,为用户推荐感兴趣的内容和用户。
在音乐和视频领域,推荐系统可以根据用户的偏好和历史播放记录,为用户推荐相关的音乐和视频。
四、推荐系统的算法原理:推荐系统的核心是推荐算法。
推荐算法包括基于内容的推荐算法、协同过滤算法和深度学习算法等。
基于内容的推荐算法通过分析物品的内容特征,为用户推荐与其兴趣相似的物品。
协同过滤算法通过分析用户的历史行为和与其兴趣相似的其他用户的行为,为用户生成推荐结果。
深度学习算法通过建立多层神经网络,提取和利用用户的行为特征,进一步提高了推荐的准确度和个性化程度。
五、推荐系统的挑战与展望:虽然推荐系统取得了很大的进展,但仍然面临一些挑战。
首先,数据稀疏性和冷启动问题限制了推荐系统的效果和覆盖范围。
推荐引擎原理及发展综述摘要:推荐引擎是一种利用机器学习和数据挖掘技术实现的推荐系统,其主要目标是为用户提供个性化的推荐服务。
本文将综述推荐引擎的原理和发展历程,包括推荐引擎的工作流程、常用的算法、评价指标以及在不同领域的应用情况。
最后,对未来推荐引擎的发展趋势进行展望。
关键词:推荐引擎、机器学习、数据挖掘、个性化推荐、评价指标、应用正文:一、引言随着互联网和移动互联网的快速发展,人们越来越依赖于计算机系统和网络技术来获取信息和进行交互。
然而,随着信息量的爆炸式增长,如何有效地为每个用户提供个性化的服务成为了一个难题。
推荐引擎在这个背景下应运而生,它可以根据用户的兴趣、历史行为、社交网络等信息,进行智能的推荐,提高用户的信息获取效率和满意度。
二、推荐引擎的原理推荐引擎的工作流程一般包括数据采集、预处理、推荐模型、评估和反馈等环节。
数据采集:推荐引擎需要大量的数据来训练模型和生成推荐结果,数据来源包括用户行为数据、物品属性数据、用户画像数据、社交网络数据等。
预处理:数据预处理是为了使数据符合模型的要求,包括去重、去噪、归一化、特征提取等。
推荐模型:推荐引擎的核心是推荐模型,目前常用的算法包括协同过滤、基于内容的推荐、深度学习等。
评估:评估推荐引擎的指标包括准确率、召回率、覆盖率、多样性、新颖度等。
反馈:用户对推荐结果的反馈可以对推荐系统进行改进和优化。
三、推荐引擎的发展历程推荐引擎的早期发展主要依靠基于规则的方法和基于内容的推荐方法,随着人工智能和机器学习技术的快速发展,协同过滤成为了推荐引擎的主流方法。
同时,深度学习的广泛应用也为推荐引擎的发展带来了新的机遇和挑战,推荐引擎开始从传统的物品推荐转向更广泛的服务推荐和场景推荐。
在不同领域,推荐引擎的应用场景也越来越多样化,包括电商、社交网络、音乐、视频等领域。
四、推荐引擎的评价指标常用的推荐引擎评价指标包括准确率、召回率、覆盖率、多样性和新颖性等。
准确率是指推荐结果中命中用户真实兴趣的比例;召回率是指推荐系统能够找出用户真实兴趣的比例;覆盖率是指推荐系统能够推荐的物品占总物品数的比例;多样性是指推荐结果之间的差异程度;新颖性是指推荐结果的新奇程度。
个性化推荐系统的文献综述个性化推荐系统在电子商务网站中的应用研究一、引言随着Internet的普及,信息爆炸时代接踵而至,海量的信息同时呈现,使用户难以从中发现自己感兴趣的部分,甚至也使得大量几乎无人问津的信息称为网络总的“暗信息”无法被一般用户获取。
同样,随着电子商务迅猛发展,网站在为用户提供越来越多选择的同时,其结构也变得更加复杂,用户经常会迷失在大量的商品信息空间中,无法顺利找到自己需要的商品。
个性化推荐,被认为是当前解决信息超载问题最有效的工具之一.推荐问题从根本上说就是从用户的角度出发,代替用户去评估其从未看过的产品,使用户不只是被动的网页浏览者,而成为主动参与者。
准确、高效的推荐系统可以挖掘用户的偏好和需求,从而成为发现用户潜在的消费倾向,为其提供个性化服务。
在日趋激烈的竞争环境下,个性化推荐系统已经不仅仅是一种商业营销手断,更重要的是可以增进用户的黏着性。
对文献的综述包括个性化推荐系统的概述、常用的个性化推荐系统算法分析以及个性化推荐系统能够为电子商务网站带来的价值。
二、个性化推荐系统概述个性化推荐系统是指根据用户的兴趣特点和购买行为,向用户推荐用户感兴趣的信息和商品。
它是建立在海量数据挖掘基础上的一种高级商务智能平台,以帮助电子商务网站为其顾客购物提供完全个性化的决策支持和信息服务。
购物网站的推荐系统为客户推荐商品,自动完成个性化选择商品的过程,满足客户的个性化需求,推荐基于:网站最热卖商品、客户所处城市、客户过去的购买行为和购买记录,推测客户将来可能的购买行为。
1995年3月,卡内基?梅隆大学的Robert Armstrong等人在美国人工智能协会首次提出了个性化导航系统Web-Watcher,斯坦福大学的Marko Balabanovic等人在同一次会议上推出了个性化推荐系统LIRA。
同年8月,麻省理工学院的Henry Liberman在国际人工智能联合大会上提出了个性化导航智能体Letizia。
高校图书馆个性化信息服务研究综述随着互联网技术的不断发展,图书馆的服务也逐渐向数字化、个性化的方向发展。
高校图书馆作为学校教育与研究的重要资源中心,其个性化信息服务已经成为高校图书馆发展的方向之一。
本文将对高校图书馆个性化信息服务研究进行综述,并探讨未来发展趋势。
个性化信息服务是指基于用户需求和偏好进行定制化服务的一种服务模式。
在高校图书馆中,个性化信息服务包括但不限于以下几个方面:1. 文献传递服务。
用户在图书馆搜索相关文献时,可以选择个性化的文献传递服务,将符合自己需求的文献传递到自己的邮箱或者个人文献管理系统中,提高文献获取效率。
2. 馆藏查询服务。
用户可以通过高校图书馆提供的馆藏查询服务,在不同场景下查询到自己需要的图书馆馆藏资料。
比如,通过电子资源检索系统查询到具体的数据库或期刊,或者通过在线预约系统查询到馆藏书籍的可借阅情况等。
3. 个性化推荐服务。
高校图书馆可以通过数据分析技术,根据用户的阅读记录、搜索记录等信息为用户提供个性化书目推荐服务。
推荐的书籍可以基于对用户读者类型、阅读兴趣、学科特长等维度进行推荐。
1. 国内研究现状目前,国内高校图书馆个性化信息服务的研究主要集中在以下几个方面:1.1 图书馆用户需求分析图书馆用户需求分析是开展个性化服务的基础。
通过问卷调查、访谈等研究方法探讨高校图书馆用户的需求与使用习惯,以及用户对各种服务模式的认知与接受程度。
1.2 个性化检索算法研究基于数据挖掘技术的个性化检索算法研究,通过对用户阅读行为等信息进行分析,提高文献相关性的判断效率,为用户提供更为个性化的文献推荐服务。
研究成果主要以算法优化、效果评估等方面为主。
1.3 个性化推荐系统开发针对图书馆馆藏资源的信息推荐服务,开发了一些个性化推荐系统。
这些系统主要基于协同过滤、机器学习等算法,通过挖掘大量的用户行为数据,为用户提供符合他们兴趣爱好的文献、数据库等资源推荐。
2.1 个性化信息服务的概念与实践国外研究者首先从概念上对个性化信息服务进行阐释和界定,同时也进行了实践研究,比如通过问卷或者访谈的方式了解用户需求和接受程度,从而在此基础上提供高校图书馆个性化信息服务。
个性化旅游推荐技术研究及发展综述1. 引言1.1 研究背景个性化旅游推荐技术是指利用用户的个性化偏好和行为数据,通过智能算法和技术,为用户提供定制化的旅游推荐服务。
随着互联网和移动互联网的发展,个性化旅游推荐技术逐渐受到人们的关注和重视。
在传统的旅游推荐服务中,通常只能提供一般性的信息,无法满足用户的个性化需求。
个性化旅游推荐技术的研究和应用具有重要的实际意义和市场需求。
个性化旅游推荐技术的背景主要源于旅游市场的快速发展和旅游服务个性化需求的增加。
随着人们生活水平的提高,旅游已经成为人们生活中不可或缺的一部分。
传统的旅游推荐服务往往面临着信息过载、推荐不准确、体验不佳等问题,用户往往需要花费大量的时间和精力去寻找适合自己的旅游线路和活动。
如何通过技术手段提供个性化、精准的旅游推荐服务,已经成为旅游行业亟待解决的问题。
1.2 研究意义个性化旅游推荐技术的研究意义在于为旅行者提供更加个性化、精准的旅游推荐服务,有效提高旅游体验和满意度。
随着旅游业的不断发展和智能化技术的飞速发展,个性化旅游推荐技术成为提升旅游行业竞争力和用户体验的重要利器。
通过个性化推荐,可以根据用户的偏好和兴趣推荐相应的目的地、景点、餐饮和住宿等信息,帮助用户快速定位到最适合自己的旅游线路,节省时间和精力。
个性化旅游推荐技术还可以为旅游行业提供数据支持,帮助企业更好地了解用户需求,优化产品和服务,提升市场竞争力。
研究个性化旅游推荐技术具有重要的实践意义和推广价值,对于促进旅游业的发展和提升用户体验具有积极作用。
2. 正文2.1 个性化旅游推荐技术概述个性化旅游推荐技术是指根据用户的偏好、兴趣、需求以及实际情况,为用户提供定制化的旅游信息和建议的技术。
这种技术通过分析用户的历史行为数据、社交网络数据、地理位置数据等多维信息,通过推荐算法为用户提供个性化的旅游推荐方案,使用户能够更好地选择旅游目的地、交通方式、住宿以及活动计划。
个性化旅游推荐技术的关键在于如何有效地利用大数据和人工智能技术,为用户提供准确、个性化的推荐服务。
推荐系统研究综述推荐系统是当下信息技术领域中备受关注的一个研究方向,它主要应用于电子商务、社交网络、电影音乐推荐等各个领域。
随着互联网和人工智能技术的发展,推荐系统正不断地得到改进和完善。
本文将从推荐系统的基本原理、发展历程、主要技术和未来发展方向等方面进行综述,以期为相关研究和实践提供参考。
一、推荐系统的基本原理推荐系统是基于用户的历史行为数据和物品的属性信息,通过一定的算法模型,为用户提供个性化的推荐结果。
其基本原理是将用户和物品映射到一个特征空间中,然后通过计算用户和物品在特征空间中的相似度或相关度,来进行个性化推荐。
推荐系统一般包括用户建模、物品建模和推荐算法三个部分,其核心问题是如何准确地度量用户和物品之间的关联程度。
用户建模方面,可以通过用户的历史行为数据来捕获用户的兴趣和偏好,如浏览记录、购买记录、评分记录等。
物品建模方面,可以通过物品的属性信息来描述物品的特征,如电影的类型、歌曲的风格等。
推荐算法方面,可以采用协同过滤、内容过滤、深度学习等各种算法模型来实现个性化推荐。
二、推荐系统的发展历程推荐系统的发展历程可以追溯到上世纪90年代初,当时互联网和电子商务开始兴起,人们开始意识到个性化推荐的重要性。
最早的推荐系统是基于内容过滤和协同过滤两种算法模型。
内容过滤是根据物品的内容信息进行推荐,而协同过滤是根据用户的行为数据进行推荐。
这两种算法模型各有优缺点,内容过滤主要受限于特征表示的质量,而协同过滤主要受限于数据稀疏和冷启动问题。
随着互联网和人工智能技术的不断发展,推荐系统开始融合了深度学习、图神经网络、强化学习等最新技术,实现了更加精准的个性化推荐。
推荐系统也逐渐从传统的电子商务领域扩展到了社交网络、在线教育、健康医疗等各个领域,为人们的生活和工作带来了便利。
三、推荐系统的主要技术推荐系统的主要技术包括协同过滤、内容过滤、深度学习、图神经网络、强化学习等。
协同过滤是最常用的推荐算法之一,主要包括基于用户的协同过滤和基于物品的协同过滤两种模型。
《推荐系统综述》篇一一、引言随着互联网的飞速发展,信息过载问题日益严重,如何从海量信息中为个人用户筛选出其感兴趣的内容已成为亟待解决的问题。
为此,推荐系统应运而生,成为了解决信息过载问题的有效工具。
推荐系统利用用户的个人行为、偏好等信息,分析用户的兴趣和需求,为其提供符合其口味的内容推荐。
本文将对推荐系统进行综述,分析其研究现状及未来发展趋势。
二、推荐系统的研究现状推荐系统作为一种重要的信息过滤工具,已经广泛应用于电子商务、社交网络、视频网站等领域。
目前,推荐系统的研究主要集中在以下几个方面:1. 算法研究:推荐系统的核心是算法,目前常见的算法包括协同过滤、内容过滤、深度学习等。
协同过滤通过分析用户的历史行为和偏好,找出与用户兴趣相似的其他用户,为其推荐相似用户喜欢的物品。
内容过滤则是根据物品的内容特征和用户的行为特征进行匹配,为用户推荐符合其需求的物品。
深度学习则通过分析用户的海量行为数据和物品的多元特征,提高推荐的准确性和个性化程度。
2. 模型研究:推荐系统的模型包括基于用户模型的推荐、基于物品模型的推荐以及混合推荐等。
基于用户模型的推荐注重分析用户的历史行为和偏好,从而为用户提供个性化的推荐;基于物品模型的推荐则更注重物品的内容特征和与其他物品的关联性;混合推荐则综合了这两种模型的特点,以提高推荐的准确性和个性化程度。
3. 用户行为分析:为了更好地为用户提供符合其需求和偏好的推荐,研究者在不断探索用户的行为模式和兴趣偏好。
通过对用户的历史行为数据进行分析,了解用户的兴趣、需求、喜好等信息,为推荐系统提供更加精准的推荐依据。
三、推荐系统的技术挑战尽管推荐系统在许多领域取得了显著的成果,但仍面临一些技术挑战:1. 数据稀疏性:对于新用户或新物品,由于缺乏历史数据,推荐系统的准确性会受到影响。
如何解决数据稀疏性问题,提高新用户和新物品的推荐准确性是当前研究的重点。
2. 冷启动问题:对于新加入的物品或服务,由于缺乏用户反馈和行为数据,难以进行有效的推荐。
《对话推荐算法研究综述》篇一一、引言随着互联网技术的飞速发展,信息过载问题日益严重,用户面临着从海量数据中筛选出有用信息的挑战。
为了解决这一问题,推荐系统应运而生。
其中,对话推荐算法作为智能推荐系统的重要组成部分,通过与用户进行自然语言交互,为用户提供个性化的推荐服务。
本文旨在全面综述对话推荐算法的研究现状、关键技术及挑战,以期为相关研究提供参考。
二、对话推荐算法的背景及意义对话推荐算法是以自然语言处理(NLP)和推荐系统技术为基础,结合对话系统的特性,通过与用户进行对话交流,以实现精准的个性化推荐。
其研究意义在于:首先,提高推荐系统的用户体验,使用户能够以更自然、更便捷的方式获取所需信息;其次,通过对话交互,可以更准确地理解用户需求,从而提供更精准的推荐;最后,对话推荐算法为智能推荐系统的发展提供了新的思路和方法。
三、对话推荐算法的关键技术1. 自然语言处理技术自然语言处理技术是对话推荐算法的核心技术之一。
它使系统能够理解用户的自然语言输入,解析用户意图,从而提供相应的推荐。
常用的NLP技术包括分词、词性标注、命名实体识别、依存句法分析等。
2. 推荐算法技术推荐算法技术是提高推荐准确性的关键。
常见的推荐算法包括协同过滤、内容过滤、深度学习等。
在对话推荐中,这些算法可以结合用户的历史行为、兴趣偏好以及对话内容,为用户提供个性化的推荐。
3. 对话管理技术对话管理技术负责协调对话过程中的各个步骤,确保系统能够正确地理解用户意图并作出相应回应。
该技术包括对话状态管理、话题识别、语义理解、回答生成等。
四、对话推荐算法的研究现状目前,国内外学者在对话推荐算法领域取得了许多研究成果。
研究主要集中在以下几个方面:一是提高自然语言处理技术的准确性,以更好地理解用户意图;二是优化推荐算法,以提高推荐的准确性和实时性;三是结合多模态信息,如图像、音频等,丰富推荐内容;四是研究跨领域推荐技术,如将购物、娱乐、旅游等领域的推荐进行融合。
《推荐系统综述》篇一一、引言随着互联网的飞速发展,信息过载问题日益严重,如何从海量信息中为用户筛选出符合其兴趣和需求的内容,成为了互联网行业的重要问题。
推荐系统作为解决这一问题的有效手段,得到了广泛的应用和关注。
本文将对推荐系统的研究进行综述,分析其发展历程、基本原理、主要方法以及应用领域,旨在为后续研究者提供一定的参考。
二、推荐系统的发展历程推荐系统的发展历程大致可划分为三个阶段:基于内容的推荐系统、协同过滤推荐系统和混合推荐系统。
1. 基于内容的推荐系统:早期的推荐系统主要基于内容,通过分析用户的历史行为和偏好,以及物品的属性特征,为用户推荐与其历史兴趣相似的物品。
这种方法具有解释性强、冷启动问题相对较少的优点,但需要大量的人工干预来维护物品的属性信息。
2. 协同过滤推荐系统:随着大数据和机器学习技术的发展,协同过滤成为了推荐系统的主流方法。
协同过滤通过分析用户的行为数据,找出与目标用户兴趣相似的其他用户,然后根据这些相似用户的喜好为目标用户推荐物品。
这种方法无需手动维护物品的属性信息,具有自适应性强的优点,但面临着数据稀疏性和冷启动等问题。
3. 混合推荐系统:为了弥补基于内容和协同过滤推荐系统的不足,研究者们提出了混合推荐系统。
混合推荐系统结合了基于内容和协同过滤的优点,通过将两种方法进行融合,以提高推荐的准确性和用户满意度。
三、推荐系统的主要方法1. 协同过滤:协同过滤是推荐系统的核心方法之一,主要包括基于用户的协同过滤和基于物品的协同过滤。
前者通过寻找与目标用户兴趣相似的其他用户来推荐物品,后者则通过分析物品之间的相似性来为用户推荐物品。
2. 基于内容的推荐:该方法主要通过分析物品的属性信息和用户的历史行为数据来为用户推荐相似的物品。
常用的技术包括文本挖掘、图像识别等。
3. 混合推荐:混合推荐结合了协同过滤和基于内容的推荐的优点,通过将两种方法进行融合,以提高推荐的准确性和用户满意度。
个性化推荐技术综述杨莉云(广东商学院华商学院, 广州 511300)摘要: Internet 的发展在给用户带来丰富信息资源的同时也给用户快速找到自己需要的信息带来了很大的困难,用户迫切需要一种能够根据自身特点组织和调整信息的服务模式,个性化服务应运而生。
本文根据推荐原理的不同分别介绍了基于内容的推荐技术、协同过滤推荐技术、混合推荐技术及其它的推荐技术,分析各种技术的优缺点及适用条件,并对今后个性化推荐技术的研究热点和发展方向进行了展望。
关键词:推荐系统;基于内容的推荐;协同过滤;关联规则0 引言信息技术的发展和互联网的普及使用户更方便地接触到更多的信息,但用户在享受信息技术带来的便利的同时,也遇到了信息“过载”的问题,用户无法从海量的信息中提取自己所需要的信息。
一些搜索引擎通过用户输入关键字可以检索出相关内容,但由于缺乏用户兴趣的知识,会把所有与之相关的信息全部呈现给用户,不能过滤掉用户不感兴趣的信息。
也有一些电子商务网站会有“热点推荐”的功能,但是面向所有用户的非个性化推荐。
用户如何在一个网站上快速而有效地找到自己所需要的项目和信息?个性化推荐系统是解决这一问题的有效途径。
1基于内容的推荐基于内容的推荐起源于信息检索领域,它利用资源和用户兴趣的相似性来过滤信息。
首先分析项目的内容,根据用户评价过的项目建立用户的兴趣模型,即用户描述文件。
根据用户描述文件的不同又可以分为基于向量空间模型的推荐、基于关键词分类的推荐、基于领域分类的推荐和基于潜在语义索引的推荐。
1.1基于向量空间模型的的推荐基于向量空间模型的推荐是基于内容推荐的最常用的方法。
该方法将用户描述文件及项目表示成一个n 维特征向量)},),...(,(),,{(221,n n w t w t w t 。
向量的每一维由一个关键词及其权重组成。
权重可取布尔型和实数值,分别表示了用户是否对某个概念感兴趣及感兴趣的程度[1]。
关键词根据推荐项目的不同可以是项目不同的属性值,对文本项目来说,关键词就是从文档中抽取的单词,权重可以通过TF-IDF 技术计算得到。
对目标用户进行推荐时,将用户描述文件看成目标项目,可采用多种方式(如欧氏距离、余弦相似性、相关相似性等)计算其它项目与目标项目的相似性,按相似性从大到小的顺序将项目输出给用户。
1.2基于关键词分类的推荐Mooney 提出了基于文档特征词分类的预测思想:将推荐看成是项目分类问题。
首先定义一组类(评分),并让用户对一组训练项目进行评价,基于这个评价计算每个关键词属于某个类的条件概率,从而得出用户的特征描述。
然后根据这个特征描述计算推荐候选集中各个项目属于某个类的后验概率。
最后将这个后验概率作为项目的推荐预测并将具有最高得分的推荐提交给用户[2]。
用户的兴趣也是通过关键词来表达,与向量空间模型不同,用户描述文件用特征词-类别矩阵n m X 来表示,m 是特征词个数,n 是类别数,每一个元素j i x ,表示第i 个特征词属于第j 类的条件概率)|(j i c a p ,项目通过特征词来表达,没有项目描述文件。
这种方法的假设条件是,所有的项目都可以通过特征词集合中的特征词来表达,每个特征词出现的概率依赖于项目类别而独立于其它特征词。
对给定的项目V ,每一个类别的后验概率可以通过如下的贝叶斯规则进行计算:∏==||1)|()()()|(I i ji j j c a p I p c p I c p 其中i a 为项目的第i 个特征词,||I 是项目中特征词的数量。
前验概率)(I p 可以被忽略,因为对于任何一个给定的项目其是一个常量。
其中的参数按以下方式进行估算:目标用户对每一个训练项目item 都给予一个评价,于是先验概率)(j c p 可通过下式计算:||||||||1||)(Exam ples C Exam ples Exam ples item c p j j ++= 其中j item 表示被给予评价j r =的所有项目。
设Keywords 表示所有训练项目中的所有不同的特征词,||Examples表示训练集中的项目数,对于每一个的类别j c ,n 表示所有属于该类的的训练项目中的不同特征词的总数,对Keywords 中的每一个特征词i a ,k n 表示该词语在所有属于该类别的训练项目中的次数,则条件概率)|(j i c a p 可以通过下式来计算:||||||1||)|(Exam ples Keywords n Exam ples n c a p k j i ++= 这些参数都通过Laplace 估算进行“平滑”以避免对没有出现在有限训练样本中的特征词的零概率估算。
文档分类完成后,根据后验概率最高的类目决定项目的预期评价。
岑咏华认为这种评价不科学,预期评价应该是所有类目后验概率的数学期望[3]。
最后,将预期评价较高的前K 个项目作为推荐呈现给用户。
1.3基于领域分类的推荐为了更好地区别用户兴趣之间的差异,曾春等提出了一种基于概率模型的文本推荐方法,把用户兴趣文件表示为用户对不同领域感兴趣的概率,先建立一个领域分类模型,然后计算所有文档和用户在这个分类模型上的概率分布,用该概率分布来表达文档和用户兴趣[4]。
假定领域类型的集合为},...,,{21n c c c C =,其中n 是领域个数,j c 表示第j 个领域,用户描述文件表示为一个条件概率的矢量:)}|(),...,|(),|({21u c p u c p u c p u n =,文档和用户兴趣的表达是一致的:)}|(),...,|(),|({21d c p d c p d c p d n =。
文档d 对领域j c 的后验概率为)()()|()|(d p c p c d p d c p j j j =其中,∑==n j j j c p c d p d p 1)()|()(,文档集中全部文档数中的文档数j j c c p =)(假定文档的所有特征都独立出现,则)|(j c d p 可以表示为文档所有特征条件概率的乘积:∏∈dt j j c t p c d p )|()|(=假定),(t c n j n(cj,t)表示特征t 在类j c 中出现的次数,)(j c n 为j c 中全部特征出现的次数之和,||v 表示文档集中全部不同特征的数目,根据Lidstome 连续定律,对一正数λ,)|(j c t p 的估计值为:||)(),()|(v c n t c n c t p j j j λλ++=最后计算文档d 推荐给用户u 的概率:∑=n j j j j c p d c p u c p u p d u p 1)()|()|()()|(==这种方法不仅可以体现用户兴趣的多样性,而且由于用户感兴趣领域的个数远小于关键词的个数,算法的运算速度也得到了提高。
基于向量空间模型的推荐和基于领域分类的推荐用户描述文件都用向量空间来表示,只是每一维的含义不同,计算方法也不同。
第二种方法的用户描述文件用关键词-类别矩阵来表示。
方法二和方法三在计算文档的类别时都用到了朴素贝叶斯规则。
虽然三种方法各不相同,但有一共同点:都直接或间接用关键词表达用户兴趣,由于同义词和多义词的存在,用关键词表达用户兴趣使得推荐结果难免有些偏颇。
潜在主义索引(Latent Semantic Indexing ,LSI )是基于向量空间模型的补充和扩展,最初应用于文本信息检索领域,有效地解决了同义词和多义词的问题[5]。
1.4潜在语义索引潜在语义索引(LSI )是一种概念检索方法,通过分析大量的文本集,自动生成关键字-概念,文档-概念之间的映射规则。
该方法试图解决单纯词形匹配方法中的同义词和多义词问题,应用该方法对英文文献进行检索的查准率比传统的词形匹配算法高出10%-30%[6]。
LSI 方法对索引项文档矩阵X 进行奇异值分解(Singular Value Decomposition,即SVD ),降维后的矩阵表达了索引项与文档之间的潜在主义关系。
在LSI 模型中,索引项和文档的关系由索引项-文档矩阵d t X ⨯来表示.其中矩阵d t X ⨯的行向量(d 维)表示t 个不同的索引项,列微量(t 维)表示文档集中d 个不同的文档。
矩阵中非0元素ij x 表示索引项i 在文档j 中出现的次数,通常用索引项加权的方法来表示。
对任意索引项-文档矩阵d t X ⨯都有T d t D S T X ⨯⨯=⨯。
其中T 由d t X ⨯的左奇异向量构成,D 由d t X ⨯的右奇异向量构成,),...,,(21d diag S σσσ=,且σ1≥ σ2≥…≥σd ≥0,i σ为矩阵d t X ⨯的奇异值。
取降维因子k ,令k 满足贡献率不等式:11k i d i aiai==∑∑≥θ,θ为包含原始信息的阈值。
贡献率不等式是参考因子分析的相应概念提出的用于衡量k 维空间因子对于整个空间的表示程度[7]。
k 值过小会使一些有用的信息丢失,k 过大则会使运算量加大,根据不同的文本集和处理要求,最佳的k 值也不尽相同。
SVD 降维后的d t X ⨯表示为d t X ⨯=k t T ⨯×k k S ⨯×d k T D ⨯。
k t T ⨯×k k S ⨯是k t ⨯阶矩阵,其t 个行向量分别对应t 个索引向量,将索引向量由d 维降为k 维;k d D ⨯×k k S ⨯是k d ⨯阶矩阵,其d 个行向量分别对应d 个文档向量,将文档向量由t 维降为k 维。
k 维中的每一维对应一个伪概念。
根据k d D ⨯×k k S ⨯矩阵,我们可以计算不同文档向量之间的相似性,找出目标文档的前N 个邻居列表,然后根据该列表中各用户感兴趣的比例确定该文档的接收对象。
基于内容的推荐优点是直接、简单,推荐结果易于解释。
但也有一定的局限:①仅适用于产品特征容易抽取的领域,在另外一些领域如电影、音乐、餐厅等项目特征不易被一组关键词来清晰描述时,基于内容的推荐就显得无能为力,即便是在文档领域,关键词也仅反映了文档内容的一部分,一般情况下还会有其它一些因素影响用户的评价,如文档的质量,下载所需时间,视觉效果(有无图像等)。
所以不能从用户的评价中准确得到用户的兴趣信息。
②只能推荐与用户已有偏好相似的项目,不能为用户发现新的感兴趣项目。
2.协同过滤推荐目前研究最多也是应用最成熟的个性化推荐技术,是与基于内容的推荐完全不同的一种推荐方法,不是推荐与用户过去偏好相似的项目,而是根据其他用户的偏好信息产生推荐。
通过分析用户评价信息(评分)把有相似需求或品味的用户联系起来,用户之间共享对项目的观点和评价,这样就可以更好地做出选择。
Typestry 是最早提出来的协同过滤推荐系统,用于过滤电子邮件,推荐电子新闻,由于其要求用户手工输入查询条件,不牵涉到用户间的相似性计算,严格来讲,它只是一个信息检索系统,只是对检索结果根据其它用户的反馈进行筛选[8]。