海量小文件存储系统的研究与实现

ａｃｃｅｓｓ
ｏｆ ｌａｒｇｅ ｆｉｌｅｓ ａｎｄ ｓｕｆｆｅｒｓ ｐｅｒｆｏｒｍａｎｃｅ ｐｅｎａｌｔｙ
ｗｈｉｌｅ ｍａｎａｇｉｎｇ ｍａｓｓｉｖｅ ｓｍａｌｌ ｆｉｌｅｓ． Ｔｈｉｓ ｐａｐｅｒ ｉｓ ｂａｓｅｄ
ｏｎ
Ｐｉｃｔｕｒｅ Ｒｅｔｒｉｅｖａｌ Ｓｙｓｔｅｍ ａｎｄ Ｚｈｏｎｇｈｕａｚｉｋｕ
Ｐｒｏｊｅｃｔ，
ｂｏｔｈ ｏｆ ｔｈｅｍ ｓｈｏｕｌｄ ｄｅａｌ ｗｉｔｈ ｃｈｏｏｓｅ
ｔｏ
ｓｍａｌｌ
ｆｉｌｅｓ．Ａｃｃｏｒｄｉｎｇ ｔｏ ｔｈｅ
ｐｒｏｊｅｃｔ
ｏｎ
ｎｅｅｄｓ，ｗｅ
ＨＤＦＳ．Ｂｙ
ｂｕｉｌｄ
ａ
Ｍａｓｓｉｖｅ Ｓｍａｌｌ Ｆｉｌｅｓ
Ｓｔｏｒａｇｅ Ｓｙｓｔｅｍ ｂａｓｅｄ
ｒｅａｓｏｎ
ａｎａｌｙｚｉｎｇ ｔｈｅ ｓｔｒｕｃｔｕｒｅ ｏｆ ＨＤＦＳ，ｗｅ ｆｉｎｄ ｔｈｅ
虢璐咿龋践
日期：劢侈、岁
随着ｗｅｂ２．０技术的普及和飞速发展，互联网数据出现了爆炸性的增长。 为有效存储和管理如此大规模的数据，诸多研究机构和公司都提出了各自的 数据存储方案。其中影响最大的莫过于开源的ＨＤＦＳ（Ｈａｄｏｏｐ Ｄｉｓｔｒｉｂｕｔｅｄ Ｆｉｌｅ Ｓｙｓｔｅｍ），其已经在学术界和工业界得到了广泛应用。但是，ＨＤＦＳ的优势 在于存储超大文件，对于海量小文件的支持很不理想。 结合图片检索系统和“中华字库工程＂项目，本文研究如何基于ＨＤＦＳ 搭建海量小文件存储系统。通过分析ＨＤＦＳ的结构特点，找到其对海量小文 件支持不理想的原因，并提出一种解决ＨＤＦＳ海量小文件存取的方法ＨＩＦＭ
关键字：ＨＤＦＳ小文件ＨＩＦＭ分层索引
索引预加载数据预取
Ａｂｓｔｒａｃｔ
Ｗｉｔｈ
ｔｈｅ ｐｏｐｕｌａｒｉｔｙ ａｎｄ ｒａｐｉｄ ｄｅｖｅｌｏｐｍｅｎｔ ｏｆ ｗｅｂ２．０，ｔｈｅ ｓｃａｌｅ ｏｆ ｄａｔａ
ｇｒｏｗｓ ｅｘｐｌｏｓｉｖｅｌｙ．Ｉｎ ｏｒｄｅｒ ｔｏ ｓｔｏｒａｇｅ ａｎｄ ｍａｎａｇｅ ｔｈｅ ｈｕｇｅ ａｍｏｕｎｔｓ ｏｆ
关于论文使用授权的说明
本人完全了解中国科学院软件研究所有关保留、使用学位论文的 规定，即：中国科学院软件研究所有权保留送交论文的复印件，允许 论文被查阅和借阅；中国科学院软件研究所可以公布论文的全部或部 分内容，可以采用影印、缩印或其它复制手段保存论文。 （保密的论文在解密后应遵守此规定）
丛垒曼墨鲤星曼磐曼丛重ｉ！盟墅Ｑ￡垒ｇＩＩｅ ＳＹＩ墨鲤堡
Ｂｙ
Ｃｈｕｎｍｉｎｇ Ｚｈａｎｇ
Ａ Ｄｉｓｓｅｒｔａｔｉｏｎ Ｓｕｂｍｉｔｔｅｄ ｔｏ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｃｈｉｎｅｓｅ Ａｃａｄｅｍｙ ｏｆ Ｓｃｉｅｎｃｅｓ Ｉｎ ｐａｒｔｉａｌ ｆｕｌｆｉｌｌｍｅｎｔ ｏｆ ｔｈｅ ｒｅｑｕｉｒｅｍｅｎｔ Ｆｏｒ ｔｈｅ ｄｅｇｒｅｅ ｏｆ
Ｍａｓｔｅｒ
ｏｆ Ｃｏｍｐｕｔｅｒ Ａｐｐｌｉｃａｔｉｏｎ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ
Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｓｏｆｔｗａｒｅ Ｃｈｉｎｅｓｅ Ａｃａｄｅｍｙ ｏｆ Ｓｃｉｅｎｃｅｓ
Ｍａｙ，２０１３
独创性声明
本人声明所呈交的论文是我个人在导师指导下进行的研究工作 及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方 外，论文中不包含其他人已经发表或撰写过的研究成果。与我一同工 作的同志对本研究所做的任何贡献均己在论文中作了明确的说明。
（Ｈｉｅｒａｒｃｈｙ Ｉｎｄｅｘ Ｆｉｌｅ Ｍｅｒｇｉｎｇ）。
ＨＩＦＭ是一种基于小文件合并的方法，主要包括以下五个方面的内容。 第一，ＨＩＦＭ方法通过将小文件合并为大文件，减少系统中存储文件的数目， 达到降低ＮａｍｅＮｏｄｅ内存开销的目的。第二，ＨＩＦＭ方法在合并的过程中会 生成两个层次的索引文件，并采用集中存储和分布式存储相结合的方式管理 索引文件。第三，ＨＩＦＭ方法将索引文件预加载到内存中，减少磁盘Ｉ／Ｏ的 次数，提高小文件随机读取的效率。第四，对于未满的大文件，ＨＩＦＭ支持 其内容的动态追加。因此，当存储少量小文件时，可以将其追加到某个未满 的大文件中，进一步减少ＮａｍｅＮｏｄｅ的内存开销。第五，ＨＩＦＭ提供数据预 取的机制，优化小文件顺序读取的效率。 基于ＨＩＦＭ方法和ＨＤＦＳ实现一套海量小文件存储系统，并对系统的性 能进行测试与分析。实验结果表明，与原始ＨＤＦＳ、Ｈａｄｏｏｐ Ａｒｃｈｉｖｅ和ＨＢａｓｅ 相比，ＨＩＦＭ方法能够有效降低ＮａｍｅＮｏｄｅ的内存开销，缩短小文件的存 储时间，并显著提升小文件随机读取和顺序读取的性能。其中随机读取的时 间延迟保持在２０ｍｓ左右，完全满足在线小文件读取服务的应用需求。
ｅｆｆｅｃｔｉｖｅｌｙ，ｍａｎｙ ｒｅｓｅａｒｃｈ ｉｎｓｔｉｔｕｔｉｏｎｓ ａｎｄ ｃｏｍｐａｎｉｅｓ ｐｒｏｐｏｓｅ ｔｈｅｉｒ ｓｏｌｕｔｉｏｎ．Ｂｕｔ ｍｏｓｔ ｏｆ ｔｈｅ ｉｍｐａｃｔ ｃｏｍｅｓ ｉｎ ｔｈｅ Ｈａｄｏｏｐ Ｄｉｓｔｒｉｂｕｔｅｄ Ｆｉｌｅ Ｓｙｓｔｅｍ，ｉｔ ｈａｓ ｂｅｅｎ ｗｉｄｅｌｙ ｕｓｅｄ ｉｎ ａｃａｄｅｍｉａ ａｎｄ ｐｏｌｙｍｅｒ ｉｎｄｕｓｔｒｙ．Ｈｏｗｅｖｅｒ’ＨＤＦＳ ｉｓ ｐｒｉｍａｒｉｌｙ ｄｅｓｉｇｎｅｄ ｆｏｒ ｓｔｒｅａｍｉｎｇ
ｗｈｙ ｉｔ ｄｏｅｓ ｎｏｔ ｓｕｐｐｏｒｔ
ｍａｓｓｉｖｅ ｓｍａｌｌ ｆｉｌｅｓ．Ｉｎ ｔｈｉｓ ｐａｐｅｒ，ａｎ ａｐｐｒｏａｃｈ ｃａｌｌｅｄ Ｆｉｌｅ
ＨＩＦＭ（Ｈｉｅｒａｒｃｈｙ
Ｉｎｄｅｘ
Ｍｅｒｇｉｎｇ）ｉｓ
Ｏｉｌ
ｐｒｏｐｏｓｅｄ ｔｏ ｉｍｐｒｏｖｅ ｔｈｅ ｅｆｆｉｃｉｅｎｃｙ ｏｆ ｓｔｏｒｉｎｇ ａｎｄ ａｃｃｅｓｓｉｎｇ
密级：
国
中国科学院大学
Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｃｈｉｎｅｓｅ Ａｃａｄｅｍｙ ｏｆ Ｓｃｉｅｎｃｅｓ
硕士学位论文
作者姓名： 指导教师：
韭查明 茵建武 直级王猩垣
２０１３年５月
至篷曼宝垒Ｅ￡塾垒坠亟！虫卫！￡磐竺坠！垒堕Ｑ坠Ｑ！
－＿■■＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿■■＿＿＿＿＿＿＿＿＿＿＿＿＿＿●■＿●■■●■■＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿●■●■■■一■＿●■●■■■■■＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿一