下载文档原格式
厦门大学林子雨编著《大数据技术原理与应用》教材配套上机练习图计算框架Hama的基础操作实践（版本号：2016年1月18日版本）主讲教师：林子雨厦门大学数据库实验室二零一六年一月（版权所有，请勿用于商业用途）目录目录1作业题目 (1)2作业目的 (1)3作业性质 (1)4作业考核方法 (1)5作业提交日期与方式 (1)6作业准备 (1)6.1、Hama计算框架的安装配置 (1)6.2、用Hama计算模型实现寻找最大独立集问题算法 (3)7作业内容 (9)8实验报告 (9)附录1:任课教师介绍 (9)附录2：课程教材介绍 (10)《大数据技术原理与应用》图计算框架Hama基础操作实践上机练习说明主讲教师：林子雨E-mail: ziyulin@ 个人主页：/linziyu1作业题目图计算框架Hama基础操作实践。
2作业目的旨在让学生了解Pregel图计算模型，并学会用Pregel的开源实现Hama实现一些基本操作。
3作业性质课后作业，必做，作为课堂平时成绩。
4作业考核方法提交上机实验报告，任课老师根据上机实验报告评定成绩。
5作业提交日期与方式图计算章节内容结束后的下一周周六晚上9点之前提交。
6作业准备请阅读厦门大学林子雨编著的大数据专业教材《大数据技术原理与应用》（官网：/post/bigdata/），了解图计算的概念与意义。
6.1、Hama计算框架的安装配置A pache Hama是Google Pregel的开源实现，与Hadoop适合于分布式大数据处理不同，Hama主要用于分布式的矩阵、graph、网络算法的计算。
简单说，Hama是在HDFS 上实现的BSP(Bulk Synchronous Parallel)计算框架，弥补Hadoop在计算能力上的不足。
（1）. 安装好合适版本的jdk和hadoop，并且进行测试，保证他们能用。
（2）. 下载hama安装文件，从/downloads.html处下载合适的版本，我当时下的是0.6.4版本的。
大数据技术之大数据概论在当今数字化的时代，大数据已经成为了一个热门的话题。
它不仅改变了我们的生活方式，也对企业的运营和决策产生了深远的影响。
那么，究竟什么是大数据？它又有哪些特点和应用呢？大数据，简单来说，就是指规模极其庞大的数据集合。
这些数据的规模大到传统的数据处理技术和工具无法有效地进行处理和分析。
它不仅仅是数量上的巨大，还包括数据的多样性、高速性和价值性。
先来说说大数据的“大”。
以往，我们可能认为几千条、几万条数据就算是比较多了，但在大数据的概念中，数据的规模常常是以 PB（拍字节）、EB（艾字节）甚至 ZB（泽字节）来计算的。
想象一下，一个PB 的数据量就相当于大约 2 亿部高清电影的大小。
如此海量的数据，如果没有先进的技术和工具，处理起来简直是天方夜谭。
除了规模大，大数据的多样性也是其重要特点之一。
数据的来源多种多样，可能来自社交媒体、传感器、电子商务网站、金融交易记录等等。
而且这些数据的类型也各不相同，有结构化的数据，比如数据库中的表格；也有非结构化的数据，像是文本、图像、音频和视频。
这种多样性使得大数据的处理和分析变得更加复杂，但同时也蕴含着更丰富的信息和价值。
高速性是大数据的另一个关键特征。
在当今的数字化世界中，数据的产生速度非常快。
例如，社交媒体上每秒都有大量的新消息发布，物联网中的传感器也在不断地实时传输数据。
对于这些高速产生的数据，如果不能及时进行处理和分析，就可能错过重要的信息和机会。
然而，大数据的真正价值不在于其规模和速度，而在于从这些海量、多样和高速的数据中挖掘出有意义的信息和知识。
通过对大数据的分析，企业可以更好地了解消费者的需求和行为，从而优化产品和服务；政府可以更有效地制定政策和提供公共服务；医疗机构可以更精准地进行疾病诊断和治疗方案的制定。
以电商行业为例，通过对用户的购买历史、浏览行为、评价等大数据的分析，电商平台可以为用户提供个性化的推荐。
如果你经常购买运动装备，平台可能会给你推荐更多相关的新产品；如果你在浏览某个商品时停留时间较长但最终没有购买，平台可能会推测你对该商品有一定的兴趣但可能存在某些顾虑，然后通过推送相关的优惠信息来促使你下单。
大数据技术之大数据概论大数据技术是指在海量数据的处理、管理、存储和分析方面，使用大规模集群和分布式计算的技术方法。
随着互联网的不断发展和智能设备的广泛应用，大数据产生量呈指数级增长，传统的数据处理方式已经无法满足需求，因此大数据技术应运而生。
1.海量性：传统的数据处理方式无法有效处理海量的数据，而大数据技术可以在短时间内处理海量级的数据，提供更快速、更高效的数据分析和应用。
2.多样性：大数据包括结构化数据、半结构化数据和非结构化数据，如传感器监测数据、社交媒体数据、图像数据等，大数据技术可以处理各种不同类型和格式的数据。
3.实时性：随着物联网的发展，数据产生速度越来越快，实时性要求越来越高。
大数据技术可以在实时或准实时的情况下对数据进行处理和分析。
4.不确定性：大数据中存在着大量的噪声和不确定性，大数据技术可以处理这些不确定性，提取有价值的信息和知识。
1.分布式计算：通过将任务分解为多个子任务，并在分布式的计算机集群上进行计算，实现对大数据的高效处理和分析。
2. 数据存储：大数据处理需要具备高容量、高性能、高可靠性的存储系统，如分布式文件系统（HDFS）和分布式数据库（HBase）等。
3.数据挖掘：通过使用机器学习、统计学和模式识别等技术，从大数据中提取有用的信息和知识。
4.数据可视化：将大数据以图表、图形等形式可视化，便于用户理解和分析数据，通过可视化可以更好地发现数据中的规律和趋势。
5.大数据分析：通过使用大数据技术和分析模型，对数据进行深入挖掘和分析，提供更准确的预测和决策支持。
大数据技术在各个领域都有广泛的应用，如金融、医疗、物流、能源、互联网等。
在金融领域，大数据技术可以帮助银行进行风险评估和信用评级，提高金融服务的效率和质量；在医疗领域，大数据技术可以用于医疗图像的分析和诊断，帮助提供更准确的医疗服务；在能源领域，大数据技术可以帮助优化能源生产和消费，提高能源利用效率。
然而，随着大数据技术的发展，也带来了一系列的挑战和问题。
大数据技术原理与应用第三版核心知识点一、大数据概述1. 大数据定义大数据是指规模巨大、种类繁多的数据集合，这些数据量大到传统数据处理工具无法处理。
2. 大数据特点- 五V特点：大数据具有Volume（大量）、Velocity（高速）、Variety（多样）、Value（价值）、Veracity（真实性）五个特点。
- 非结构化数据：大部分大数据都是非结构化数据，需要通过特定的技术进行处理和分析。
二、大数据技术基础1. 分布式存储- Hadoop分布式文件系统HDFS：将大数据存储在多个节点上，提高了数据的可靠性和并行处理能力。
2. 分布式计算- MapReduce计算模型：将数据分片并行处理，提高了数据处理的速度和效率。
3. 数据清洗和预处理- 数据清洗：去除噪音数据、填补缺失值、处理异常值等。
- 数据预处理：将数据转换成可供分析的格式，如规范化、归一化等。
三、大数据存储技术1. NoSQL数据库- HBase：面向列的分布式数据库，适用于大规模结构化数据存储。
- MongoDB：面向文档的数据库，适用于存储半结构化数据。
2. 大数据文件格式- Parquet、ORC等列式存储格式：适用于大规模数据存储和分析，能够减少I/O操作。
四、大数据处理技术1. 数据挖掘- 聚类分析、分类分析、关联规则挖掘、异常检测等。
2. 机器学习- 逻辑回归、决策树、支持向量机、神经网络等机器学习算法在大数据中的应用。
3. 实时流式处理- Storm、Flink等实时流式处理框架，在大数据实时处理中的应用。
4. 图计算- 图数据库、图计算框架如Neo4j、GraphX等在大数据图计算中的应用。
五、大数据分析与应用1. 数据可视化- Tableau、Power BI等工具的应用，将大数据分析结果直观展现。
2. 业务智能- 利用大数据分析结果进行商业决策和趋势预测。
3. 个性化推荐系统- 利用用户行为数据进行个性化推荐，提升用户体验。
大数据技术概论一、什么是大数据技术？1.1 定义大数据技术指的是用于处理和分析大规模数据集的技术和工具集合。
它涉及到数据的收集、存储、处理和分析等多个方面，通过运用各种大数据技术，人们可以从庞大的数据中获取有价值的信息并进行深入的分析。
1.2 大数据技术的重要性大数据技术在当今信息化社会中显得尤为重要。
随着互联网的普及和数字化生活的加速发展，产生的数据量呈现爆发式增长趋势。
传统的数据处理方式已经无法胜任海量数据的处理任务，因此需要借助大数据技术来解决这一难题。
同时，大数据技术也为企业和组织带来了许多新的商机和竞争优势，因此被广泛应用于各个领域。
二、大数据技术的背景和发展历程2.1 大数据的背景大数据的概念最早出现于20世纪90年代，当时被认为是和超级计算机相关的一种技术。
随着互联网技术的飞速发展和社交网络的兴起，大规模数据的产生和积累成为可能，人们开始关注如何利用这些数据创造价值。
于是，大数据技术应运而生。
2.2 大数据技术发展的里程碑1.2003年，Google推出了MapReduce和Google File System（GFS）两个重要的分布式计算和存储框架，为大数据技术的发展奠定了基础。
2.2008年，Hadoop项目成立，成为大数据技术的代表性开源软件，通过其分布式计算框架和分布式文件系统，实现了大规模数据的存储和处理。
3.2009年，Apache Spark项目启动，该项目提供了一个快速、通用的大数据处理引擎，逐渐成为大数据领域的热门工具。
4.2011年，IBM推出了Watson计算机，该计算机通过大数据技术实现了自然语言处理和机器学习等功能，赢得了人类智力竞赛Jeopardy！的冠军。
三、大数据技术的基本原理和核心技术3.1 大数据技术的基本原理大数据技术的基本原理包括数据采集、数据存储、数据处理和数据分析等几个方面。
首先，需要通过各种传感器、物联网设备等方式采集数据；然后，将数据存储到分布式文件系统或者数据库中；接下来，使用分布式计算框架对数据进行处理和分析；最后，通过各种数据挖掘和机器学习算法，从数据中发现有价值的信息。
大数据分析中的图算法与图数据库技术在当今信息爆炸的时代，大数据已经成为各行各业的一个热门话题。
传统的数据存储和处理方法已经无法满足人们对数据快速分析和查找的需求。
因此，图算法和图数据库技术应运而生，为大数据分析提供了更为高效和便捷的解决方案。
一、图算法在大数据分析中的应用图算法是一种用来解决网络关系和图结构数据中问题的数学算法。
在大数据分析中，图算法可以帮助用户揭示数据之间的关联性和模式，从而推测未来的趋势和发展方向。
例如，社交网络分析就是图算法在大数据中的一个重要应用领域。
通过对用户之间的关系网络进行建模和分析，可以帮助企业更好地理解用户的行为和需求，从而调整产品策略和营销方案。
另外，图算法还可以应用于推荐系统和风险管理领域。
通过对用户的行为数据进行建模和分析，可以为用户提供个性化的推荐服务，提高用户体验和满意度。
而在风险管理领域，图算法可以帮助企业分析潜在的风险因素，提前做好风险预警和防范措施，保障企业的稳健经营。
二、图数据库技术在大数据分析中的应用图数据库是一种专门用来存储和查询图结构数据的数据库。
与传统的关系型数据库相比，图数据库更适合存储具有复杂关系的数据，并且能够提供更快速和准确的查询结果。
在大数据分析中，图数据库技术可以帮助用户更好地管理和利用海量图结构数据，发掘数据背后的价值和潜力。
例如，在金融行业，图数据库技术可以帮助银行和证券公司更好地理解客户的资产配置和交易行为，及时发现潜在的欺诈行为和风险因素，从而保护客户的资产和利益。
而在医疗健康领域，图数据库技术可以帮助医疗机构更好地管理和分析患者的病历和诊断信息，提高医疗服务的效率和质量。
三、图算法与图数据库技术的发展趋势随着技术的不断进步和应用领域的不断扩大，图算法和图数据库技术在大数据分析中的应用前景越来越广阔。
未来，这两种技术将更加深入地应用于社交网络分析、推荐系统、风险管理、医疗健康等领域，为用户提供更精准和个性化的数据服务，推动行业的创新和发展。
