当前位置：文档之家 › mahout

mahout

  • 格式：doc
  • 大小：18.92 KB
  • 文档页数：20

mahoutmahout目录preface1 使用kmeans算法实例2 mahout杂记3 mahout聚类算法4 mahout运行bayes(贝叶斯)算法preface运行自带的例子来进行测试第1章使用kmeans算法实例(1)/ml/databases/synthetic_control /synthetic_control.data点击链接,下载数据集synthetic_control.data。

将数据集synthetic_control.data放到MAHOUT_HOME目录下面，（注意：这里一定要放到此目录下，否则会异常报错）(2)启动Hadoophadoop@master:~$ start-all.sh(3)创建测试目录testdata（这里的目录的名字只能是testdata)hadoop@master:~$ hadoop dfs -mkdir testdata (创建后的路径为:/user/hadoop/testdata)(4)并把数据导入到这个tastdata目录中hadoop@master:~$ hadoop fs -put/home/hadoop/mahout/mahout-distribution-0.7/synthetic_c ontrol.data testdata(5)使用kmeans算法hadoop@master:~$ hadoop jar$MAHOUT_HOME/mahout-examples-0.7-job.jarorg.apache.mahout.clustering.syntheticcontrol.kmeans.Jo b(方法有：kmeans canopy fuzzykmeans dirichlet meanshift) (6)查看运行结果。

依次运行下列命令: (运行结果保存在:/user/hadoop/output)hadoop@master:~$ hadoop dfs -ls outputhadoop@master:~$ hadoop dfs -get output$MAHOUT_HOME/examples (从hdfs上下载到本地) hadoop@master:~$ cd$MAHOUT_HOME/examples/outputhadoop@master:~/mahout/mahout-distribution-0.7/exampl es/output$ ls如果看到以下结果，那么算法运行成功，你的安装也就成功了：canopies clusters-1 clusters-3 clusters-5clusters-7 pointsclusters-0 clusters-2 clusters-4 clusters-6 data(这些文件都是sequenceFile的方式，直接打开会出现乱码！)(7)对测试结果进行分析：<1>数据类型分析:<a>clusteredPoints：存放的是最后聚类的结果，将cluster-id和documents-id都展示出来了，用mahout seqdumper读clusteredPoints结果的key-value类型是(IntWritable,WeightedVectorWritable)<b>clusters-N：是第N次聚类的结果，其中n为某类的样本数目，c为各类各属性的中心，r为各类属性的半径。

clusters-N结果类型是(Text,Cluster)<c>data：存放的是原始数据，这个文件夹下的文件可以用mahout vectordump来读取，原始数据是向量形式的，其它的都只能用mahout seqdumper来读取，向量文件也可以用mahout seqdumper来读取，只是用vectordump读取出来的是数字结果，没有对应的key，用seqdumper读出来的可以看到key，即对应的url，而value读出来的是一个类描述，而不是数组向量<2>命令类型分析:mahout seqdumper：将SequenceFile文件转成可读的文本形式，对应的源文件是org.apache.mahout.utils.SequenceFileDumper.java mahout vectordump：将向量文件转成可读的文本形式，对应的源文件是org.apache.mahout.utils.vectors.VectorDumper.java mahout clusterdump：分析最后聚类的输出结果，对应的源文件是org.apache.mahout.utils.clustering.ClusterDumper.java<3>实际命令如下(-i <hdfs上的路径> -o <本地路径>)：hadoop@master:~$ mahout seqdumper -i/user/hadoop/output/clusteredPoints/part-m-00000 -o/home/hadoop/data/result_points.txthadoop@master:~$ mahout vectordump -i/user/hadoop/output/data/part-m-00000 -o/home/hadoop/data/result_data.txthadoop@master:~$ mahout seqdumper -i/user/hadoop/output/clusters-2/part-r-00000 -o/home/hadoop/data/result_clusters2.txthadoop@master:~$ mahout clusterdump --input/user/hadoop/output/clusters-0 --pointsDir/user/hadoop/output/clusteredPoints --output/home/hadoop/data/result_clusters0.txt(这个命令会将每一类的点列出来，input指向的目录存放的是某类有几个点和该类的质心点及半径，即clusters-N目录，pointsDir指向的是所有输入点归于哪一类，即clusteredPoints目录，两者联合起来，就可以列举出属于同一类的所有点)(注意input指向的目录，要是最后一次迭代的结果目录，最后一次迭代的结果才是最终的结果)第2章mahout杂记(1)SequenceFile介绍SequeceFile是Hadoop API提供的一种二进制文件支持。

这种二进制文件直接将<key, value>对序列化到文件中。

一般对小文件可以使用这种文件合并，即将文件名作为key，文件内容作为value序列化到大文件中。

这种文件格式有以下好处：支持压缩，且可定制为基于Record或Block压缩（Block 级压缩性能较优）本地化任务支持：因为文件可以被切分，因此MapReduce任务时数据的本地化情况应该是非常好的。

难度低：因为是Hadoop框架提供的API，业务逻辑侧的修改比较简单。

坏处是需要一个合并文件的过程，且合并后的文件将不方便查看。

(2)mahout与SequenceFile首先简单说明下，mahout下处理的文件必须是SequenceFile格式的，所以需要把txtfile转换成sequenceFile。

SequenceFile是hadoop中的一个类，允许我们向文件中写入二进制的键值对，具体介绍请看eyjian写的/viewthread.php?tid=144&hi ghlight=sequencefile输入命令(--input和--output的路径必须一样):<1>把txt文本文件转换成sequenceFilehadoop@master:~$ mahout seqdirectory --input /test/--output /test/ --charset UTF-8结果可以看到：在test目录下多了1个文件(chunk-0)，这就是我们要的SequenceFile格式文件问题：在我的测试中并没有用到这个命令？？？？？？？？？？<2>将SequenceFile文件转成文本形式:hadoop@master:~$ mahout seqdumper -s /test/chunk-0 -o test.txt注意1：mahout-0,5中-s：表示输入文件路径，mahout-0.8中-i：表示输入文件路径。

输入路径是指HDFS上的路径注意2：输出路径test.txt----存放在/home/hadoop中，也就是本地路径(3)mahout中的测试数据下载数据源：/databases/里面有大量经典数据提供下载(4)maven编译mahout的源文件下载mahout-0.7的源文件(src文件:mahout-distribution-0.7-src.tar.gz)：//mahout/0.7/ 解压，我放在/home/hadoop/mahout-src下，<1>进入mahout-0.7源文件目录：cd$MAHOUT_HOME，<2>编译mahout源文件的命令：mvn install 或mvn install -Dmaven.test.skip=true注意1：因为maven是编译mahout的源文件，所以要下载mahout-distribution-0.7-src.tar.gz版本，如果下载的是mahout-distribution-0.7.tar.gz版本，在mahout的安装目录下执行命令：mvn install时，会提示错误，找不到pom.xml。

注意2：使用mvn install：会比较慢，因为测试过程会比较慢，而且容易失败！！注意3：使用mvn install -Dmaven.test.skip=true：Maven 提供了跳过单元测试的能力，只需要使用Surefire 插件的skip 参数。

在命令行，只要简单的给任何目标添加maven.test.skip 属性就能跳过测试第3章mahout聚类算法(1)kmeans算法简介同一聚类中的对象相似度较高，而不同聚类中的对象相似度较小。

合集下载

大数据理论考试(试卷编号162)

大数据理论考试(试卷编号162)

大数据理论考试(试卷编号162)说明：答案和解析在试卷最后1.[单选题]当构建一个神经网络进行图片的语义分割时，通常采用下面哪种顺序（）。

A)先用卷积神经网络处理输入，再用反卷积神经网络得到输出B)先用反卷积神经网络处理输入，再用卷积神经网络得到输出C)不能确2.[单选题]（）是从（多条）信息中发现的共性规律、模式、模型、理论、方法。

A)信息B)数据C)知识D)智慧3.[单选题]开发Maxcompute的用户自定义标量函数，主要是实现其中的（）方法。

A)evaluateB)mainC)iterateD)process4.[单选题]Spark的集群管理模式不包含（）。

A)Standalone模式B)Message模式C)YARN模式D)Mesos模式5.[单选题]大数据计算服务（MaxCompute，原ODPS ）中的用户表dim_user是一张非分区表，另外有一部分新增用户的数据存在user_delta表中，两张表的结构相同，为了在dim_user表中得到全量的用户数据，可以采用（）方式A)select* from user_delta、into dim_userB)insert into dim_user select* from user_delta union all select*from dim_userC)insert overwrite table dim_user select*from user_deltaD)insert into table dim_user select* from user_delta6.[单选题]Python使用（）符号标示注释。

A)&B)*C)#7.[单选题]在选择神经网络的深度时，下面那些参数需要考虑（）1神经网络的类型(如MLP,CNN)2输入数据3计算能力(硬件和软件能力决定)4学习速率5映射的输出函数A)1,2,4,5B)2,3,4,5C)都需要考虑D)1,3,4,8.[单选题]常用的数据归约方法可以分为（）。

mahout介绍

mahout介绍

Mahout
讲师：陈博
介绍Mahout
• 一个来自Apache的、开源的、JAVA的机器学习软件库 • 当所处理的数据规模远大于单机处理能力时成为一种可选的机
器学习工具，建立在Apache的Hadoop分布式计算项目之上
官网： /
机器学习
• 机器学习理论主要是设计和分析一些让计算机可以自动学习的 算法。
• 机器学习算法是一类从数据中自动分析获得规律，并利用规律 对未知数据进行预测的算法。
• 监督学习 分类（做出单一决策） 推荐（选择许多可能，并对其进行排序）
• 无监督学习聚类
Mahout单机推荐程序
• M2eclipse插件 /technology/m2e/releases
• 简单的基于用户的Mahout推荐程序
• 评估一个推荐程序
• 评估查准率与查全率 查准率（精度）：top推荐中间有“好”结果的比例 查全率（召回率）：“好”结果出现在top推荐中的比例
Mahout作业
• 把单机Mahout程序在eclipse中运行起来
新概念第四册课文翻译及学习笔记【Lesson40、41、42】

新概念第四册课文翻译及学习笔记【Lesson40、41、42】

【导语】新概念英语作为⼀套世界闻名的英语教程，以其全新的教学理念，有趣的课⽂内容和全⾯的技能训练，深受⼴⼤英语学习者的欢迎和喜爱。

为了⽅便同学们的学习，⽆忧考为⼤家整理了⾯的新概念第四册课⽂翻译及学习笔记，希望为⼤家的新概念英语学习提供帮助!Lesson40 【课⽂】 First listen and then answer the following question. 听录⾳，然后回答以下问题。

What false impression does an ocean wave convey to the observer? Waves are the children of the struggle between ocean and atmosphere, the ongoing signatures of infinity. Rays from the sun excite and energize the atmosphere of the earth, awakening it to flow, to movement, to rhythm, to life. The wind then speaks the message of the sun to the sea and the sea transmits it on through waves -- an ancient, exquisite, powerful message. These ocean waves are among the earth's most complicated natural phenomena. The basic features include a crest (the highest point of the wave), a trough (the lowest point), a height (the vertical distance from the trough to the crest), a wave length (the horizontal distance between two wave crests), and a period (which is the time it takes a wave crest to travel one wave length). Although an ocean wave gives the impression of a wall of water moving in your direction, in actuality waves move through the water leaving the water about where it was. If the water was moving with the wave, the ocean and everything on it would be racing in to the shore with obviously catastrophic results. An ocean wave passing through deep water causes a particle on the surface to move in a roughly circular orbit, drawing the particle first towards the advancing wave, then up into the wave, then forward with it and then -- as the wave leaves the particles behind -- back to its starting point again. From both maturity to death, a wave is subject to the same laws as any other 'living' thing. For a time it assumes a miraculous individuality that, in the end, is reabsorbed into the great ocean of life. The undulating waves of the open sea are generated by three natural causes: wind, earth movements or tremors, and the gravitational pull of the moon and the sun. Once waves have been generated, gravity is the force that drives them in a continual attempt to restore the ocean surface to a flat plain. from World Magazine (BBC Enterprises) 【New words and expressions ⽣词和短语】 signature n. 签名，标记 infinity n. ⽆穷 ray n. 光线 energize v. 给与...能量 rhythm n. 节奏 transmit v. 传送 exquisite adj. ⾼雅的 phenomena n. 现象 crest n. 浪峰 trough n. 波⾕ vertical adj. 垂直的 horizontal adj. ⽔平的 actuality n. 现实 catastrophic adj. ⼤灾难的 particle n. 微粒 maturity n. 成熟 undulate v. 波动，形成波浪 tremor n. 震颤 gravitational adj. 地⼼吸⼒的　【课⽂注释】 1.transmit vt. ①传达 例句：Gypsies frequently transmit recipes orally within the family. 吉普赛⼈经常以⼝头形式把秘⽅世代相传。

大数据挖掘背景及工具

大数据挖掘背景及工具

– 目标是创建一些可伸缩的数据挖掘算法，供开发人 员在 Apache 在许可下免费使用。 – Mahout 包含许多实现，包括集群、分类、CF 和进 化程序。 – 此外，通过使用 Apache Hadoop 库，Mahout 可以有 效地扩展到云中。
背景知识
• Mahout的意思是大象的饲养者及驱赶者。
• 图示为文章用词中的幂律关系
– 也称为长尾效应
多处数据都满足幂律
• • • • 1) Web图当中节点的度 2) 商品的销量 3) Web网站的大小 4) Zipf定律
大数据挖掘工具Mahout
• Mahout 是 Apache Software Foundation (ASF) 开发的一个开源项目
2) 相似项
• 有时数据看上去像一系列集合，这时的目 标是，寻找那些共同元素比例较高的集合 对。
– 由于顾客大都对许多不同的商品感兴趣，寻 找兴趣相似的那部分顾客，并根据这些关联 对数据进行表示的做法会更有用。 – 为向顾客推荐感兴趣的商品，Amazon先寻找 与他相似的顾客群，并把其中大部分人购买 过的商品也推荐给他，该过程称为协同过滤
– Mahout 这个名称来源于Hadoop徽标上的大象 – Mahout利用Hadoop来实现可伸缩性和容错性。
Mahout 的历史
• Mahout 项目是由 Apache Lucene（开源搜索）社区 中，对数据挖掘感兴趣的一些成员发起的
– 希望建立一个可靠、文档翔实、可伸缩的项目，在 其中实现一些常见的，用于集群和分类的数据挖掘 算法。 – 此后在发展中，又并入了更多广泛的数据挖掘方法
分类
• 分类技术用于决定一个事物，是不是属于一 种类型、类目，或者该事物是不是含有某些 属性。