目录
第一章绪论 (1)
1.1研究背景和意义 (1)
1.2国内外研究现状 (2)
1.3论文的研究内容 (4)
1.4本文的结构组织 (5)
第二章新闻推荐系统综述 (6)
2.1新闻推荐系统简介 (6)
2.2相关技术 (7)
2.2.1 Hadoop分布式系统介绍 (7)
2.2.2 Mahout推荐引擎 (8)
2.3新闻推荐算法介绍 (10)
2.3.1 协同过滤推荐算法 (10)
2.3.2 其他主要推荐算法 (17)
2.3.3 混合推荐算法 (18)
2.4新闻推荐系统问题研究 (19)
2.4.1 数据稀疏性与冷启动问题 (19)
2.4.2 可扩展性问题 (20)
2.5新闻推荐系统的评测指标 (20)
2.6本章小结 (21)
第三章系统需求分析与设计 (22)
3.1系统需求分析 (22)
3.1.1 功能分析 (22)
3.1.2 开发环境 (22)
3.2数据集与数据预处理 (23)
3.3系统总体设计 (25)
3.3.1 系统总体架构 (25)
3.3.2 模块设计 (27)
3.4本章小结 (30)
第四章基于用户社交网络的最短距离聚类算法 (31)
4.1引言 (31)
4.2算法概述 (32)
4.2.1社交网络模型介绍 (32)
4.2.2 SDCA算法的基本定义 (32)
4.2.3 SDCA算法的流程 (33)
4.3实验分析 (34)
4.3.1实验数据集 (34)
4.3.2实验结果与分析 (35)
4.4本章小结 (37)
第五章个性化新闻推荐系统的实现 (38)
5.1系统的实现 (38)
5.1.1 用户聚类实现 (38)
5.1.2 登录页面实现 (39)
5.1.3 数据库实现 (40)
5.1.4 Hadoop集群搭建 (42)
5.1.5 推荐结果展示 (42)
5.2推荐结果评测 (43)
5.3本章小结 (44)
第六章总结与展望 (45)
6.1工作总结 (45)
6.2工作展望 (45)
参考文献 (47)
发表论文和科研情况 (50)
致谢 (51)
第一章绪论
第一章绪论
1.1研究背景和意义
全球信息化和互联网技术的快速发展使人们接触的信息量有了质的飞跃。人们在网上能够获取任何需要的信息。但是，随着网络信息量的增加与人们对信息精准化的要求越来越高，“信息过载[1]”的问题显得愈发突出。如何在海量信息中定位出有用信息，是每个使用互联网的用户所遇到的难题。而对于信息发布的商家来说，如何让自己的信息能够展露锋芒，脱颖而出，获得实际效益也是十分头疼的问题。
为解决“信息过载”问题，研究人员与工程师们提出了许多解决方案，最为典型的就是信息分类与搜索引擎。信息分类是门户网站将信息资源进行整合，在编辑与发布的同时将信息进行二次加工与归档，为用户提供一个相对分类明确、可靠、专业的信息获取途径。另一种是目前最为主流的搜索引擎，搜索引擎是目前最为高效的信息获取方法，作为用户进入互联网的大门，用户只需要输入目标信息的几个关联词，即可经过搜索引擎技术获得所需要的信息。但是即使如搜索引擎，也满足不了所有的场景，一种情况下是用户没有带着明确目的与关键词来浏览互联网信息。这个时候搜索引擎接收不到相应的关键词，也就无法为用户提供相应的信息。另外搜索引擎也没有考虑到不同用户的不同需求，做不到对用户进行个性化推荐。因此，我们需要一种能够“推测”用户喜好，能够在用户不提供任何输入信息的情况下，主动为用户提供其感兴趣信息的技术。推荐系统就是在这种背景下诞生的。推荐系统目前被广泛用于电子商务网站，新闻门户网站等等，当用户登录这些网站时，网站后台服务器可以通过一整套推荐技术分析用户的兴趣爱好，将分析的结果进行整合，然后友好的展示给用户。如果用户对推荐结果满意，便会做出相应的点击行为，后台对这些历史点击数据进行收集再分析再推荐，如此形成一个良性循环。因此推荐系统能够帮助快速发现感兴趣和高质量的信息，提升用户对互联网的体验，增加用户使用网站的时间与频次，最终提高用户对网站的依赖性，同时用户也得到了自己想要的信息，达到了双赢的结果。
目前，个性化推荐系统在电子商务领域已经取得巨大的成功，得到了广泛的推广。在新闻领域，个性化的问题同样十分重要。目前每天发布的新闻数量已经十分庞大，而且新闻有十分鲜明的兴趣针对性与时效性，推荐的新闻是否符合用户的兴趣点，直接决定了这个新闻门户对用户的吸引力。新闻往往分为时效性很强的时政性新闻与专业性的个性化新闻等。在对用户进行推荐时，这两方面都需要考虑。因此，新闻推荐系统有别于传统的电子商务推荐系统，需要深入的开发与研究。目前在新闻推荐领域商业化运作比较成功的有今日头条，网易新闻等。
1