Hadoop

算， 这类 计算 对 于不 同数 据 集 的计 算 是相 对独 立 的 ， 相 互之 间依 赖关 系少 ， 并 行 粒度 大 ， 属 于数据 密集 型
计算 。数据 密集 型计算 的计 算量 与 输入 数据 量成 正 比， 而选 用 的数 据 的 多少 会 对 研 究 结 果 的准 确 性 和 适 用 范 围 产 生影 响［ ２ ］ ， 但 是选 用 的数 据 越 多则 所 需 的计算 量也 就越 大 。一 些研 究 受制 于计 算量 太 大而 未 能开 展 ， 如 地 面 气 象 资 料 质 量 控 制 中 的 空 间 检
块 默认有 ３个 备份 分布 到集 群 内不 同的机器 上 。存 储 ＨＤ Ｆ Ｓ块 的分 布信 息 等 ＨＤ Ｆ Ｓ文 件 元 数 据 的 节 点为 Ｎａ ｍｅ ｎ ｏ ｄ ｅ节点 ， 存储 ＨＤ Ｆ Ｓ文件 内容 数 据 的
难 以应 对 Ｅ ｌ 益增长的数据 ， 对 气 象 资 料 的研 究 形 成 一 定 的 制 约 。针 对 数 据 密 集 型 气 象 数 据 的 处 理 ， 尝 试 应 用 Ｈａ —
ｄ ｏ ｏ ｐ的 Ｍａ ｐ Ｒｅ ｄ ｕ ｃ ｅ 思想提高计算效率 ； 对 Ｈａ ｄ ｏ ｏ ｐ 在 处理 大 量 小 文 件 组 成 的 气 象 数 据 时 的 低 效 率 ， 提 出 对 原 始 文
验 一 。如何 快速 、 高效 的处 理 海 量 气 象 数 据 成 为 进
行 气象 科 学研 究需 要解 决 的一 个重 要 问题 。 在互联 网领 域 ， 为 了应 对 海 量 数 据 的处 理 ， Ｇｏ ｏ ｇ ｌ ｅ公 司 于 ２ ０ ０ ３年 提 出 了 云计 算 的概 念 ， 并 公
第 ４ ３卷 第 ５ 期
２ ０ １ ５年 １ ０月
气
象
科
技
ＶｏＩ ． ４ ３． Ｎｏ ．５
Ｏｃ ｔ ． ２Ｏ ｌ５
Ｍ Ｅ ＴＥＯ Ｒｏ Ｉ Ｏ ＧＩ ＣＡ Ｉ Ｓ ＣＩ ＥＮ ＣＥ Ａ ＮＤ Ｔ ＥＣＨ Ｎ ＯＩ ｏ ＧＹ
Ｈａ ｄ ｏ ｏ ｐ在 气 象 数据 密 集 型 处理 领域 中 的应 用
件进行预处 理 ， 将 多个 小 文 件 整 合 成 能 直 接 用 于计 算 的 大 文 件 。试 验 证 明 ， 该 方 法 解 决 了 Ｈａ ｄ ｏ ｏ ｐ 处 理 大 量 小 文 件 时 的低 效 率 问 题 ， 通 过与 Ｏ ｒ ａ ｃ ｌ ｅ 入 库 检 索 的 比较 ， 应 用 Ｈａ ｄ ｏ ｏ ｐ处 理 数 据 密 集 型 气 象 资 料 具 有 实 际 意 义 。
Ｓ ＱＬ的数 据 库 ＨＢ ａ ｓ ｅ ， 以及 建立 在 Ｈａ ｄ ｏ ｏ ｐ基础 上 的数据 仓 库 Ｈｉ ｖ ｅ和 分 布 式 系 统 的 协 调 服 务 Ｚ ｏ ｏ —
ｋｅ ｅ ｐｅ ｒ 。 ＨＤＦＳ（ Ｈａ ｄ ｏｏ ｐ Ｄｉ ｓ ｔ ｒ ｉ ｂ ｕｔ ｅ ｄ Ｆｉ ｌ ｅ Ｓｙｓ ｔ ｅ ｍ ）， Ｈａ —
肖卫 青 杨 润 芝 胡 开喜 林 润 生 刘立明 谷 军 霞
（ 国家 气 象 信 息 中 心 ， 北京 １ ０ ０ ０ ８ １ ）
摘要
气象 资料的统计分析计算属 于数据密集型计算 ， 目前 的 处 理 方 式 多 为 单 机 处 理 ， 对 大 量 数 据 的处 理 比较 慢 ，
关键词 Ｈａ ｄ ｏ ｏ ｐ ；ＨＤＦ Ｓ ；Ｍａ ｐ Ｒｅ ｄ ｕ ｃ ｅ ； 气象数 据 ； 数 据 密 集 型云计算 引 入 到气 象 科 技 领域 ， 利 用其 对 海 量 数据 的高 效处 理 能力 提 高 气 象 数据 的处 理 能 力 ， 对 气象 事业 的发 展具有 重要 的意 义 。
１ Ｈ ａ ｄ ｏ ｏ ｐ框 架 Ｈａ ｄ ｏ ｏ ｐ是 Ａｐ ａ ｃ ｈ ｅ基 金 会 的 一 个 顶 级 项 目 ， 是
在 气 象科 学 研 究 中 ， 经 常 需 要对 大量 的气 象 数 据进 行 分析 计算 ， 不 同气 象 数 据 的计 算 方 式 不 尽 相 同。根 据 目前我 国 的业 务 现 状 ， 气 象 数 据 可 以分 为 两大 类 ， 一类 是 单个 数据 容量 大 的数 据 ， 如数 值预 报 产 品和 卫 星数据 ； 另 一类 是 大量 的小 文件 ， 如 地 面观 测数 据 口 ］ 。对 于 数值 预报 等第 １ 类 气 象数 据 的计 算 需要 高 性 能 计 算 的 参 与 ， 属于 Ｃ Ｐ Ｕ 密集 型计算 。 对 于地 面 观测 资料 等第 ２ 类 气象 数 据 的计算 以统 计 分 析为 主 ， 不 同于 Ｃ Ｐ Ｕ 密 集 型 的气 象 数 值 模 式 计
Ｇｏ ｏ ｇ ｌ ｅ云 计 算 模 型 的 一 个 开 源 实 现 ， 主 要 包 括 源 于 Ｇｏ ｏ ｇ ｌ ｅ Ｆ ｉ ｌ ｅ Ｓ ｙ ｓ ｔ ｅ ｍ（ Ｇ Ｆ Ｓ ） 的 ＨＤ Ｆ Ｓ 项 目 和 源 于
Ｇｏ ｏ ｇ ｌ ｅ Ｍａ ｐ Ｒｅ ｄ ｕ ｃ ｅ的 Ｍ ａ ｐ Ｒｅ ｄ ｕ ｃ ｅ项 目 ， 还 有 Ｎｏ —
ｄ ｏ ｏ ｐ云计算 框 架 的分 布 式 文 件 系 统 。普 通 文 件 系 统将磁 盘划 分成 均 等 的小 块 ， 每个 文 件 由一个 或 多
个 基 本 磁 盘 块 组 成 。 ＨＤ Ｆ Ｓ也 有 自 己 的 存 储 块 ， 是
在操作 系 统 的文 件 系 统 之上 进 行 了封装 ， 比磁 盘块 大很 多 ， 一 般默认 为 ６ ４ ＭＢ。大 于默 认 值 的 ＨＤ Ｆ Ｓ
开 了 ＧＦ Ｓ Ｌ ］ ， Ｍａ ｐ Ｒ ｅ ｄ ｕ ｃ ｅ ㈨， Ｂ ｉ ｇ ｔ ａ ｂ ｌ ｅ ［ ］ 等 云 计 算 核
文件 被分 成多个 ＨＤ Ｆ Ｓ块 ， 小 于 默认值 的 ＨＤ Ｆ Ｓ文 件单 独作 为 一 个 ＨＤＦ Ｓ块 。ＨＤ Ｆ Ｓ利 用 完 全 冗 余 备份 的方 式来保 证数 据 的可靠 性 ， 每 个 ＨＤ Ｆ Ｓ文件