推荐系统评价指标综述PPT课件

.
分类准确度
从高到低依次将”Score”值作为阈值threshold,当测试 样本属于正样本的概率大于或等于这个threshold时， 我们认为它为正样本，否则为负样本。
AUC指标仅用一个数值就表征了推荐算法的整体表现， 而且它涵盖了所有不同推荐列表长度的表现。但是 AUC指标没有考虑具体排序位置的影响，导致在ROC 曲线面积相同的情况下很难比较算法好坏，所以它 的适用范围也受到了一些限制
多种推荐算法
信息过滤，为满足用户需求推荐个性化推荐。协同过滤算法、基于内容的推荐算法、 混合推荐算法。。。
孰优孰劣
如何有效、客观评价推荐系统的效能，从实验室到实际应用的转换。
.4ຫໍສະໝຸດ 研究背景.评价方法
在线评价
设计在线用户实验，根据用户在线实时反馈或事后问卷调查等结果来衡量推荐系统的表现 A/B测试 高额成本
推荐系统评价指标综述
汇报人：李烽
.
文献来源： 朱郁筱,吕琳媛. 推荐系统评价指标综述[J]. 电子科技大学学报,2012,02:163-175.
.
研究背景
信息过载
多种推荐算法
孰优孰劣
.
3
研究背景
信息过载
Web2.0时代，每个人既是信息接收者，也是信息创造者。信息数量庞大但质量参差 不齐，造成信息过载。
.
排序准确度
.
基于排序加权的指标
.
基于排序加权的指标
目前半衰期效用指标的使用仍然是有很大的局限性： 首先参数的选取尚未有统一的标准。 用户的浏览概率与商品在推荐列表中的位置呈指数递减这一假设并不是在所有系统中 都适用。
.
覆盖率
覆盖率指算法向用户推荐的商品能覆盖全部商品的比例。

为避免重复，首先应进行全面系统的检索， 了解针对同一临床问题的系统评价是否已存在或 正在进行。
如果现有系统评价已过时或质量差，可以考虑 进行更新或重新做一个新的系统评价。
在确立题目时，应围绕研究问题明确5个 要素（PICOS）：
（1）研究对象的类型，包括疾病类型及诊断标准， 研究人群的特征和场所等
二、怎样生产系统评价
4个阶段
9个步骤
第一阶段：确定系统评价题目 第二阶段：制订系统评价方案 第三阶段：完成系统评价全文 第四阶段：更新系统评价
1.确定题目 2.撰写系统评价研究方案 3.检索文献 4. 筛选文献 5. 评价文献质量 6.提取数据 7.分析和报告结果 8.解释结果，撰写报告 9.更新系统评价
可能有明确的研究问题， 但通常无研究假设 通常未尝试找到所有文献
通常未说明纳入研究的原因 通常未考虑研究方法或研究 质量的差异 通常不区别研究的方法学质量
（二）系统评价产生的原因
1.应对信息时代的挑战
每年约有200万篇生物医学文献发表在2万 多种生物医学杂志上。
系统评价去粗取精、去伪存真
2.及时转化和应用研究成果
根据临床问题不同分为病因、诊断、治疗、预后、 卫生经济评价等方面的系统分析。
根据纳入原始研究类型不同分为临床试验和观察性 研究的系统评价。
根据进行系统评价时纳入原始研究的方式和数据 类型，分为前瞻性、回顾性、累积性和单个病例资料 的系统评价。
根据资料分析时是否采用统计学方法，可分为定性 和定量的系统评价。
传统文献综述往往涉及某一问题的多个方面，也可 涉及某一方面的问题。
系统评价集中研究某一具体临床问题的某一方面， 具有相当深度。
系统评价和传统文献综述的比较

PPT课件
推荐系统的任务
➢ 联系用户和信息（物品）
帮助用户发现对自己有价值的信息 让信息能够展现在对它感兴趣的用户面前
图2 推荐系统的基本任务是联系用户和物品，解决信息过载的问题
PPT课件
推荐系统是如何工作的
➢ 以看电影为例
向朋友咨询。这种方式在推荐系统中称为社会化推荐，即让好 友给自己推荐物品。
错论文。 3.推荐的论文和我的研究兴趣是相关的，但我并不喜欢。 4.不知道为什么会推荐这些论文，它们和我的兴趣丝毫
没有关系。
PPT课件
➢ 在线系统中，用户满意度主要通过一些对用户行为的 统计得到
电子商务网站中，用户如果购买了推荐的商品，就表示他们在 一定程度上满意，可以利用购买率度量用户的满意度
PPT课件
PPT课件
个性化推荐系统的应用
➢ 在网站中的主要作用是通过分析大量用户行为日志，给不 同用户提供不同的个性化页面展示，来提高网站的点击率 和转化率。
➢ 所有的推荐系统应用都是由前台的展示页面(UI)、后台的 日志系统(数据)以及推荐算法系统（算法）3部分构成的。
➢ 应用领域
电子商务（亚马逊） 电影和视频网站（Netflix） 个性化音乐网络电台 社交网络（Facebook） 个性化阅读（Google Reader） 基于位置的服务 个性化邮件和广告
PPT课件
➢ 用户的兴趣和需求会随着时间和情景发生变化，用户 建模时要考虑到用户长期兴趣偏好和短期兴趣偏好， 还要考虑兴趣的变化，目前很多研究关注了用户的长 期兴趣，建立了静态模型，用户兴趣更新的动态模型 也受到了很多关注，短期兴趣的关注还比较少
➢ 建模的对象有单用户建模和群组建模之分
单用户建模针对单个用户进行建模，比如基于内容的推荐 群组建模是针对群体用户进行建模，比如协同推荐

（4）社会性指标。包括社会福利、社会节约、综合发展、就业 机会，污染、生态环境等。
（5）资源性指标。如工程项目中的物资、人力、能源、水源、 土地条件等。
（6）时间性指标。如工程进度、时间节约、试制周期等。上述6 个方面是指一般可能要求考虑的指标大类，不可一概而论，视 具体评价对象而定。
图5-1交通运输系统的评价指标体系
方案越多，问题就越复杂，方案更难取舍。
评价人员的价值观的不同；
评价指标及评价尺度随着时间而变化和发展
如对城市交通系统进行评价。原来只是从 交通工具的动力等技术方面以及交通路线 的建设费用和日常经营费用等经济方面进 行评价。近年来，除进行上述方面的评价 外，还要求从交通工具的方便性、舒适性、 安全性、美观性等使用方面，从环境保护、 能源政策等国家利益方面进行评价。
步 （3）评价指标要成系统。评价指标要包括系统目标所涉及
骤
的一切方面，而且对定性问题要有恰当的评价指标，以
与
保证评价不出现片面性。
原 则
（4）评价指标符合国家方针政策。评价指标必须与国家 的方针、政策、法令的要求相一 致。
2021
15
评价指标体系内容
（1）政策性指标。包括政府的方针、政策、法令，以及法律约 束和发展规划等方面的要求，这对国防和国计民生方面的重大 项目或大型系统尤为重要。
2021
12
（4）评价函数的确定
评价函数就是使评价数量化的一种模型 评价函数的有效性将直接影响到系统评价的
有效性 评价函数应该在系统评价人员之间进行充分
的讨论
2021
13
（5）评价值的确定
评价尺度的确定 各大类及单项评价指标的权重确定 各指标综合评价值的计算
（6）综合评价