基于Hadoop的校园云存储系统的研究

的 Ｎ ｍ ｓａｅ ａ ｅｐｃ 管理 １作 ， 主要 包括 关 闭 、 打开 和 重命 名 数 据 文 件 和 目录等 操 作 ， 同时 负 责 建立 Ｂｏｋ和 ｌｃ
Ｄ ｔＮ ｄ ａ ｏ ｅ节点 的映射 关 系 。客 户机 的读 写 需 求是 由 Ｄ ｔＮ ｄ 点 响 应 完成 的 ， 时 Ｄ ｔ ｏ ｅ节 点 在 ａ ａ ｏ ｅ节 ａ 同 ａａ ｄ Ｎ
收 稿 日期 ：０ ２０ —６ ２ １－５１
基 金 项 目 ： 龙 江 省 留 学 国 科学 研 究 基 金 资助 项 目（ Ｃ ０ ９ １ ） 黑 Ｌ ２０ Ｃ １
作者简介 ： 高新成 （ ９９ ） 男 ， １７ 一 ， 黑龙江 省木 兰县人 ， 东北石油大学讲师 ， 博士生 ， 主要研究方向为云计算 、 分布式计 算 ； 王 莉利 （９ ９ ） 女 ， １７ ， 黑龙江省大庆市 人， 东北 石油 大学讲 师 ， 要研究方 向为计算机 网络通信 。 ＝ Ｅ
２１ ０ ２年 ８月
陕西理工 学院学报 （自然科 学版 ）
Ｊ ｕｎ ｌ ｆ ｈ ａ ｘ Ｕ ｉ ｒｉ ｆ ｅ ｈ ｏ ｇ （ ａ ｒｌ ｃｅ ｃ ｄｔ ｎ ｏ ｒａ ｏ ａｎ ｉ ｎｖ ｓ ｙｏ Ｔ ｃ ｎ ｌ ｙ Ｎ ｔ ａ Ｓ ｉｎ ｅＥ ｉｏ ） Ｓ ｅ ｔ ｏ ｕ ｉ
பைடு நூலகம்
Ａｕ ２ ２ ｇ． ０１
第２ ８卷第 ４期
Ｖ ０． ８ Ｎｏ ４ １２ ．
［ 文章 编号 ］ ６ ３— ９ ４ ２ １ ）４— ０ ０— ６ １７ ２ ４ （０ ２ ０ ０ ３ ０
基 于 Ｈ ｄｏ 校 园云存 储 系 统 的研 究 ａｏｐ的
高新成 王莉 利 ，
（． １东北石油大学 现代教育技术 中心 ，黑龙江 大庆 １３ １ ； ６３ ８ ２ 东北石油大学 计算机与信息技术学院 ，黑龙江 大庆 １３ １ ） ． ６３ ８
ｌ 相 关 技 术 介 绍
１１ Ｈ Ｆ ． Ｄ Ｓ系统 架 构
Ｈ Ｆ 【３（ ａ ｏｐＤ ｓ ｉｕ ｄＦｌ Ｓｓ ｍ） 一 个 运 行在 普 通 硬 件 之 上 的分 布 式 文 件 系 统 。ＨＤ Ｓ Ｄ Ｓ２ ｉ Ｈ ｄ ｏ ｉｒ ｔ ｉ ｙｔ 是 ， ｔｂ ｅ ｅ ｅ Ｆ
系统 采用 Ｍ ｓ ｒ Ｓａｅ 框 架 ， 个 Ｈ Ｆ ａｔ ／ ｌｖ ｅ 一 Ｄ Ｓ集群 系统 是 由一 个 Ｍａｔｒ 多个 Ｓａｅ构成 。前 者 叫做名 字 ｓ 和 ｅ ｌｖ
Ｈ Ｆ Ｄ Ｓ系统 中文件 的 目录结 构独立 存储 在 Ｎ ｍ Ｎ ｄ ａ ｅ ｏｅ上 ， 于 具体 的文 件数 据 来 说 ， 个 文件 数 据 对 一
其实被拆分成若干 Ｂｏｋ 这些 Ｂ ｃ 冗余存储在 Ｄ ｔ ｏｅ ｌ ， ｃ ｌｋ ｏ ａ Ｎ ｄ 集合数据里。Ｎ ｍ Ｎ ｄ 负责执行文件系统 ａ ａ ｅ ｏｅ
第 ４期
高新成 ， 王莉利
基 于 Ｈ ｄｏ ａｏｐ的校园云存 储系统的研究
Ｎ ｍｅ ｏｅ的统 一指 挥下 进行 Ｂｏｋ的创建 、 除和 复制 等操作 。 ａ Ｎｄ ｌ ｃ 删
１ ２ Ｍａ Ｒ ｄ ｃ 编 程模 型 ． ｐ ｅｕｅ
ＭａＲ ｄｃ 是一种 编程 模型 ， 云计 算 的核 心 计 算 模 式 ， 于 大 规 模 数 据 集 的并 行 运 算 。Ｍ — ｐ ｅｕｅ 是 用 ａ ｐ ｅｕｅ借用 了 函数式 编程 的思想 ， Ｒｄｃ 把海 量数 据集 的常 见操 作抽 象 为 Ｍ ｐ 映 射 ） Ｒ ｄｃ （ 简 ） 种 ａ（ 和 ｅｕｅ 化 两 集合 操 作 ， 大简 化 了程 序员 编写 分布 式并 行计算 程 序 的难 度 。ＭａＲ ｄｃ 数 据处理 流程 如 图 １所示 。 大 ｐ ｅｕｅ
［ 关
键
词 ］ Ｈ ｄｏ ； ＭａＲ ｄｃ ； 云计 算 ； 分 布 式计算 ； 存储 模 型 ａｏｐ ｐ ｅｕｅ ［ 文献标 识码 ］ Ａ
［ 图分类 号 ］ Ｆ３ ３０ １ 中 Ｐ９ ．７
随着计 算机 网络技 术 的快速 发展 ， 高校 对信 息化 的要 求 越来 越 高 ， 要处 理 的数据 量也 不 断增 大 。 需 如何 存储 和管理 在教 学和科 研过 程 中遇到 的海 量数 据 ， 为一个 研 究 热 点 。云计 算 是 一 种基 于 因特 网 成
的超 级计算 模式 ， 它把 计算 任务分 配 给大量 计算 机构 成 的资源 池ｔ ， 能够 使应 用 系统根 据需 求获得 相 应
的计算 能 力 、 存储 窄 问和软 件服 务 。本文 在 云计算 核 心技 术 Ｈ ｄｏ 架 构基 础 上 ， 计 并 实现 了校 园 ａ ｏｐ 设 海 量数 据 存储 系统 。该 系统 的服务器 使用 Ｌｎ ｘ 作 系统 ， ｉｕ 操 采用 Ｍａ Ｒ ｄ ｃ 编 程算 法实 现 并行 处 理 ， ｐ ｅｕ ｅ 不 仅 町以满 足埘海 量数 据快 速处理 的要 求 ， 而且对 硬件 配置 要求 不高 ， 以充分 利用 现有 的硬 件 资源 。 可
［ 摘
要 ］ 针对 海量数 据 的存储 问题 ， 传统 方 法一般 是 通过 购 置更 多数 量 的服 务 器 来提 升 计
算和 存储 能力 ， 在硬 件成 本 高 ， 存 存储 效 率低 等缺 点 。通 过对 Ｈａｏ ｐ框 架和 Ｍａ Ｒ ｄ ｃ 程 ｄｏ ｐ ｅ ｕ ｅ编 模 型 等云计 算核 心技 术 的分析 和研 究 ， 出了一种 基 于 Ｈ ｄ ｏ 架 的海 量 数据 存 储 模 型 ， 提 ａ ｏｐ框 并 在 此模 型 的基础 上 ， 计并 实现 了基 于 Ｈａｏｐ的 校 园云 存储 系统 。 经过 实验验 证 ， 系统 有 设 ｄｏ 该 效地 解决 了在校 园办公 、 学和 科研过 程 中遇到 的海 量数 据 存储 管理 问题 ， 有 开发 成 本低 、 教 具 处理速 度较 快 、 行稳 定 、 运 易于扩展 等特 点。
节点 （ ａ Ｎ ｄ ） 是一 个 中心服务 器 负责元 数据 的管 理 工作 ， Ｎ ｍｅ ｏ ｅ ， 主要 包 括 文件 系 统 的名 字 空 间 管理 和 客 户机 对 文件 的访 问操作 。后者 叫做 数据 节点 （ ａａ ｏ ｅ ， Ｄ ｔＮ ｄ ） 在集 群 系统 中一 般 一 个 节点 是 由一 个 Ｄ ｔＮ ａ — ａ ｏｅ构成 的 ， ｄ 主要 负责对 节点 上它们 附带 的存储 进 行管理 。