Hadoop在电信大数据平台的研究与设计

……………………Ｍ　Ｎ０嘲ｙ０ｆＴＥ　ＭｕＮ　Ｎｓ　本文将以Ｈａｄｏｏｐ技术架构为基础，探讨如何改　进Ｈａｄｏｏｐ的缺陷，研究和设计一个适用于电信数据　平台的Ｈａｄｏｏｐ云计算系统。　

２　Ｈａｄｏｏｐ技术框架　Ｈａｄｏｏｐ平台基础架构主要包括两个最重要的　部分：并行计算框架Ｍａｐ／Ｒｅｄｕｃｅ和Ｈａｄｏｏｐ分布式　文件系统（ＨＤＦＳ：Ｈａｄｏｏｐ　Ｄｉｓｔｒｉｂｕｔｅｄ　Ｆｉｌｅ　Ｓｙｓｔｅｍ）。　目前，大家比较熟悉的分布式文件系统应该是　网络文件系统（ＮＦＳ），ＨＤＦＳ与ＮＦＳ在许多层面上　都不同，尤其是在扩展性和处理性能上。ＨＤＦＳ是由　一个ＮａｍｅＮｏｄｅ的控制节点，多个ＤａｔａＮｏｄｅ的数据　节点组成的　。ＨＤＦＳ这种单一ＮａｍｅＮｏｄｅ节点设计　大大缩减了文件系统的结构。　ＨＤＦＳ的主节点只有一个，基于主从结构，负责　保存记录和追踪系统内的所有文件信息。ＮａｍｅＮｏｄｅ　是ＨＤＦＳ的主节点，ＮａｍｅＮｅｄｅ并不存储真正的文件　数据信息，它只存储文件的元数据信息。真正用于数　据信息存储的是从节点ＤａｔａＮｏｄｅ，内容以数据块　（ｂｌｏｃｋ）为单位进行存储，每个ｂｌｏｃｋ一般为６４　ＭＢ。　ＮａｍｅＮｏｄｅ用于管理ＨＤＦＳ的名字空间，并控制对文　件和目录的读写访问。数据被分散到各个ＤａｔａＮｏｄｅ　上，并将相关的映射关系记录下来。ＤａｔａＮｅｄｅ除负　责存储数据，还满足客户端的读写请求。　Ｍａｐ／Ｒｅｄｕｃｅ可以理解为是一个框架或库，这个　框架是用来编写处理并行分布式数据程序的。同　ＨＤＦＳ一样，Ｍａｐ／Ｒｅｄｕｃｅ的架构也是基于主，从架　构。Ｍａｐ／Ｒｅｄｕｃｅ“主机”是一个特殊的节点，负责协调　多个工作节点之间的活动。Ｍａｐ／Ｒｅｄｕｃｅ主要的工作　原理如下：　（１）“Ｍａｐ”过程主要包括：被处理的输入数据输　送到“主机”，“主机”接收到输入数据后，这些数据被　分成更小的ｂｌｏｃｋ。然后，多个工作节点再并行处理　所有这些被分散的ｂｌｏｃｋ，这一步被称为“Ｍａｐ”。　（２）“Ｒｅｄｕｃｅ”过程主要包括：所有的工作节点将　运算处理后的结果返回给“主机”，“主机”接收到这　些结果后，聚集这些结果，并行计算出最终的结果。　３单名字节点优化问题　传统的Ｈａｄｏｏｐ系统具有较高的数据存储能力，　但也具有一些局限性，主要表现在传统的Ｈａｄｏｏｐ结　构中只有一个单独的主节点ＮａｍｅＮｏｄｅ（名字节点）　连接多个从ＤａｔａＮｏｄｅ节点（数据节点），这种数据架　构存在单名字节点瓶颈问题。传统的Ｈａｄｏｏｐ数据结　构可以简单的理解为第一层是ＮａｍｅＮｅｄｅ节点层，　第二层是由多个从ＤａｔａＮｏｄｅ节点的数据节点。　针对传统Ｈａｄｏｏｐ架构中存在单名字节点瓶颈　问题，具体的优化措施如下所述。　优化的Ｈａｄｏｏｐ架构把节点分成三层：第一层是　ＳｕｐｅｒＮｏｄｅ节点层，第二层是由多个ＮａｍｅＮｅｄｅ组成　的名字节点层，第三层是由ＤａｔａＮｏｄｅ组成的数据节　点层。　ＳｕｐｅｒＮｏｄｅ位于最高一层结构，控制着集群中所　有的名字节点ＮａｍｅＮｏｄｅ。第二层相当于一个　ＮａｍｅＮｏｄｅ名字节点池，池中的名字节点管理着第三　层的数据节点ＤａｔａＮｅｄｅ。第三层是数据节点层　ＤａｍＮｏｄｅ，属于最低层，它是由磁盘等存储设备组成　的存储池，通过虚拟化技术构建一个虚拟机（ＶＭ），　每个ＶＭ都相当于建立一个文件子系统，这个文件　自系统运行了一个传统的Ｈａｄｏｏｐ数据节点线程。　

４小文件存储优化问题　在基于ＨＤＦＳ的架构中，主要存在的问题是小　文件支持不理想。ＨＤＦＳ是以流的方式进行读写，主　要是为了处理大文件（百兆级别以上的），它并不适　合大量小文件（默认为小于６４　ＭＢ）的存储。　在基于ＨＤＦＳ构建的架构中，存储大量小文件　

……墨ｏ！！　曼　曼　一　璧坚　９　……………………一Ｍ粼　Ｎ０啪ＹｏｆＴ　洲０Ｎｓ　５．２　Ｈａｄｏｏｐ系统集群与单机对比　通过使用不同数量级的话单数据（默认数据块　大小为６４　ＭＢ）对系统进行测试并和单机在处理性　能等方面进行对比，对比结果如图４所示。　

１０ＧＢ　ｌ５ＧＢ　２０ＧＢ　●单机执行时间（ｓ）＿ｈａｄｏｏｐ系境集群执行时间（ｓ）　

图４　Ｈａｄｏｏｐ与单机对比实验　

由图４可以得出如下结论：在数据量从１０　ＧＢ　增加到２０　ＧＢ时，单机的处理时间大幅增加。当数据　量等于２０　ＧＢ时，单机的处理时间是Ｈａｄｏｏｐ系统集　群时间的８倍，Ｈａｄｏｏｐ的优越性开始显现出来。　

５．３内存使用量测试　在小文件数量为１　０００个，４　０００个，１０　０００个　时，分别记录原ＨＤＦＳ内存使用量（ＫＢ）、改进的　ＨＤＦＳ内存使用量（ＫＢ）。对比测试结果如图５所示。　

摹位：ＫＢ　８（Ｘ）０　７（Ｘ）ｏ　６（Ｘ）０　５Ⅸ１０　４Ｏ０（Ｉ　３ＯＯＯ　２０‘）０　１０（）０　Ｏ　

／　／　／　／　．　／——一一　

，　二———　

１０００个４０ｏｏ个　１０（Ｏ０个　一愿ＨＤＦＳ内存使用薰（ＫＢ）　＋改进的ＨＤＦＳ内存使用量（ＫＢ）　

图５内存使用量测试　

从图５可以看出，改进的ＨＤＦ￥在存储相同数　量的小文件时，消耗的内存均小于原ＨＤＦＳ，改进的　ＨＤＦＳ能够有效地节约内存。　

５．４访问效率测试　在小文件数量为１　０００个，４　０００个，１０　０００个　时，分别记录使用原ＨＤＦＳ小文件总访问时间（秒），　改进的ＨＤＦＳ小文件总访问时间（秒）。从图６可以　看出，改进的ＨＤＦＳ在访问相同数量的小文件时，消　耗的时间均小于原ＨＤＦＳ方式，改进的ＨＤＦＳ能够　显著的小文件的访问效率。　

／　／　

／　／　／　／　●　—　●一　

１０００个４０００十　１００００个　一藤ＨＤＦＳ，Ｊ，文件芯访问时哪（炒）・改进的ＨＤＰＳ，］＇文件芯访问时阁（秽）　

图６访问效率测试　

５．５成本对比　采用Ｈａｄｏｏｐ系统集群的投资成本和传统ＩＴ架　构的投资成本分别如表１和表２所示。　由表１、表２可以看出，采用Ｈａｄｏｏｐ的系统平　台与传统ＩＴ架构相比，能节约８５％的左右成本。　

６结语　针对传统数据分析方法面对海量电信数据存在　处理效率不高、分析效率低下等问题，本文采用Ｘ８６　架构的ＰＣ服务器和Ｈａｄｏｏｐ开源架构，研究和设计　了一种适合电信领域的Ｈａｄｏｏｐ大数据平台。通过实　验数据对比表明，本文采用的方法是有效、可行的，　为下一步研究Ｈａｄｏｏｐ在海量电信数据分析方面做　出了指引和支撑。　圈　

参考文献　［１】１　ＭＩＬＯＪＩＣＩＣ　Ｄ，ＷＯＬＳＫＩ　Ｒ．Ｅｕｃａｌｙｐｔｕｓ：ｄｅｌｉｖｅｒｉｎｇ　ａ　ｐｒｉｖａｔｅ　ｃｌｏｕｄ［Ｊ］．　Ｃｏｍｐｕｔｅｒ．２０１　１，４４（４）：１０２－１０４．　［２１　ＤＥＡＮ　Ｊ，ＧＨＥＭＡ　ＷＡＴ　Ｓ．ＭａｐＲｅｄｕｃｅ：ａ　ｆｌｅｘｉｂｌｅ　ｄａｔａ　

……　生　里曼塑一　璧竖。　‘技术专囊………………………・　一　ｅａｔｉｔ－ｕ　Ｉ＿自，！岛Ｉ　

表１　Ｈａｄｏｏｐ系统集群的投资成本表　单价　总价　名称　配置　数量　（万元）　（万元）　

ＤＬ３８０　Ｇｅｎ８　１２核／１６　ＧＢ内存／２　ＴＢ存储空间　６　４　２４　操作系统　Ｒｅｄｈａｔ　６　１　６　系统软件　Ｈａｄｏｏｐ，开源软件　１　Ｏ　Ｏ　中间件　Ｔｏｍｃａｔ，开源软件　１　Ｏ　０　合计　３０　

表２传统ＩＴ架构的投资成本表　名称　配置　数量　单价（万元）　总价（万元）　ＨＰ　ＲＸ９８００小机　１６　ＣＰＵ／１　２８　ＧＢ内存　２　８０　１６Ｏ　存储　１０　Ｔ　ＨＰ　ＥＷ旧４００　１０　２　２０　数据库软件　ＯＲＡＣＬＥ　１Ｏｇ　１　３０　３０　合计　２１０　

ｐｒｏｃｅｓｓｉｎｇ　ｔｏｏｌ［Ｊ］．Ｃｏｍｍｕｎ　ＡＣＭ，２０１０，５３（１）：７２－７７．　【３］Ｈａｄｏｏｐ　ａｐａｃｈｅ文档．Ｈａｄｏｏｐ分布式文件系统：架构和　设计【ＥＢ／ＯＬ］．ｈｕｐ：／／Ｉ－Ｉａｄｏｏｐ．ａｐａｃｈｅ．ｏｒｇ／ｃｏｍｍｏｒｄｄｏｃｓ／ｒＯ．１８．２／ｃｎ／ｈｄｆｓ＿ｄ　ｅｓｉｇｎ．ｈｔｍｌ，２００９．　

作者简介　陈丹：中讯邮电咨询设计院有限公司成都分公司工程师，主要从事　联通信息化等相关咨询设计工作。　郭先会：四川成都三零凯天通信实业有限公司工程师，主要从事　ＩＰ，ｒｖ、多媒体通信等相关研发工作。　

（上接第１１页）　的公司，在大数据和云计算平台的应用、改进和设计　上面优势明显，在大数据和云计算发展方面领先于　其他行业。我国大数据和云计算发展晚于英美等发　达国家，但是近年来我国政府和ＢＡＴ等互联网公司　力推大数据和云计算发展，给我国的大数据和云计　算平台的发展和应用奠定了良好的基础。我国的互　联网等公司应走在前头，不断提高对大数据和云计　算应用需求的理解，不断提高自己的技术实力，学习　国际领先的技术，并不断根据自己的实际情况，基于　Ｈａｄｏｏｐ和Ｓｐａｒｋ开发适合于我们使用的大数据／云　计算应用。　圃　

Ｃｌｏｕｄ　Ｃｏｍｐｕｔｉｎｇ　Ｐｒｏｇｒａｍ　［ＥＷＯＬ］．２０１０－１　１－５．ｈｔｔｐ：／／ｗｗｗ．ｎｉｓｔ．　ｇｏｖ／ｉｔｌ／ｃｌｏｕｄ／．　【３】Ｄｅａｎ　Ｊ，Ｇｈｅｍａｗａｔ　Ｓ．ＭａｐＲｅｄｕｃｅ：ｓｉｍｐｌｉｆｉｅｄ　ｄａｔａ　ｐｒｏｃｅｓｓｉｎｇ　ｏｎ　ｌａｒｇｅ　ｃｌｕｓｔｅｔｓ叨．Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ　ｏｆ　ｔｈｅ　ＡＣＭ，２０ｏ８，５１（１）：１０７－１　１３．　［４］Ｂｏｒｔｈａｋｕｒ　Ｄ．Ｔｈｅ　Ｈａｄｏｏｐ　ｄｉｓｔｒｉｂｕｔｅｄ　ｆｉｌｅ　ｓｙｓｔｅｍ：Ａｒｃｈｉｔｅｃｔｕｒｅ　ａｎｄ　ｄｅｓｉｇｎ【ＥＢ／ＯＬ］．２００７－１１．ｈｔｔｐ：／／ｈｅｄｏｐ．ａｐａｃｈｅ．ｏｒｇ／ｄｏｃｓ／ｒＯ．１８．３／ｈｄｆｓ＿ｄｅ＿　ｓｉｇｎ．ｈｔｍ１．　［５】Ｈａｍｓｔｒａ　Ｍ，Ｚａｈａｒｉａ　Ｍ　ａｎｄ　Ｋａｒａｕ　Ｈ．ＬｅａⅡｌｉｎｇ　Ｓｐａｒｋ：Ｌｉｇｈｔｎｉｎｇ－Ｆａｓｔ　Ｂｉｇ　Ｄａｔａ　Ａｎａｌｙｔｉｃｓ［Ｍ］．Ｏ。Ｒｅｉｌｌｙ　Ｍｅｄｉａ，２０１４．　【６】管天云，侯春华．大数据技术在智能管道海量数据分析与挖掘中　的应用［Ｊ】．现代电信科技，２０１４（Ｚ１）：７１—７９．　【７】Ｚｈｏｕ　Ｍ．Ｔｔｍｂａｏ　ｄｉｓｔｒｉｂｕｔｅｄ　ｄａｔａ　ｐｒｏｃｅｓｓｉｎｇ　ｐｒａｃｔｉｃｅ【Ｒ】．Ｈｅｄｏｏｐ　ｉｎ　Ｃｈｉｎａ　２０１０，２０１０．　［８］８　Ｚｈｕ　Ｈ．Ｒｕｎｎｉｎｇ　Ｈａｄｏｏｐ　Ｊｏｂｓ　ｏｎ　Ｔｙｐｈｏｏｎ　Ｓｙｓｔｅｍ【Ｒ】．Ｈａｄｏｏｐ　ｉｎ　Ｃｈｉｎａ　２０１１，２０１１．　

作者简介　郭敏杰：毕业于北京邮电大学信息与通信工程学院信号与信息处理　参考文献　专业，工学博士，现就职于工信部电信研究院通信信息研究所，主要