基于Hadoop的海量情报数据管理系统设计与实现
- 格式：pdf
- 大小：220.89 KB
- 文档页数：3
汇总上升到数据分析 ， 从单个 部 门分析到 全局分 析 ， 从 数 据 库 到 数 据 仓 库 进 行 分 析设 计 。 （ ２ ） 平 台统 一 管 理 要 求 。在 报 表 的 管 理 上 ， 一 个 统 一 的 部 门 管 理 面 向 高 管 的报 表 ， 制 定 统 一 的 口径 ； 对 没 有 报 表 的 部 门 需要 严 格 确 认 数 据 准 确 性 ； 对有 报表 的部 门， 不 要 局 限 于 当前 的 数据 逻 辑 。 （ ３ ） 系统 扩 展 。报 表 需 要 不 断 扩 展 和 改 进 ， 不 断 提 高 深 度 和广度 ， 收集更 多 数据 ， 提供更 多报 表 ； 提 升 界 面 功
６ 结 语
本 系 统 开 发 及 系 统 运 行 工作 得 到 如下 经 验 及 启 示 ：
的其 它 报 表 系统 ； 从 明细 数 据 到 统 计 数 据 ， 进 而分 析 数 据 ， 最终实现商业智能 、 数 据 挖 掘 的 目标 。
（ １ ） 理念的转变 。在数据 分析 上 ， 需要从 清单 和简单
（ 空军预 警学 院 ， 湖北 武 汉 ４ ３ ０ ０ １ ９ ）
摘 要 ： 随 着计 算 机 技 术 的快 速 发 展 ， 目前 诸 多 行 业 信 息 化 程 度 越 来 越 高 ， 需要 处 理 的 数 据 量 也 不 断 增 大 。对 基 于
Ｈａ ｄ ｏ ｏ ｐ的海 量 情 报 数 据 的 存 储 和 处 理 方 法 进 行 研 究 ， 提 出 一 种 基 于 Ｈａ ｄ ｏ ｏ ｐ技 术 的 海 量 情 报 数 据 管 理 系统 ， 优化了
［ １ １ ． 计算机应用研究 ， ２ ０ ０ ５（ ９ ） ： １ ９ ４ — １ ９ ５ ， ２ ０ ５ ．
［ ４ １ 郭庆． 数 据 仓 库 为 中心 的 企 业 人 力 资 源 统 计 信 息 系统 的 设 计 与 实 现［ Ｊ ］ ． 人 力资 源 管 理 ， ２ ０ １ ０ （ ２ ） ： ４ ２ — ４ ３ ， ４ ５ ． （ 责任 编 辑 ： 杜能钢）
情 报 数 据 存 储 和 处理 效率 ， 对提 高 战 场 上 海 量 情报 的 分析 处理 能 力 有 着 非 常 重要 的作 用 。
关键词 ： Ｈａ ｏ ｏ ｐ ； 海量数据 管理 ； 情报 ； 数据 处理 ； 系统设计
Ｄ ＯＩ ： １ ０ ． １ １ ９ ０ ７ ／ ｒ ｊ ｄ ｋ ． １ ５ １ ０ ３ ４
１ ． １ 平 台 总 体 框 架 设 计
上， 侦察情报信息数据量 非常大 ， 每 天 获 取 的 情 报 信 息 可 能达到数百 Ｇ Ｂ甚 至 数 十 Ｔ Ｂ 。 因此 ， 如何 存储 、 管 理 和 共 享 海 量 情 报 信 息 已成 为 亟 待解 决 的 问题 。
战场情报信息最大 的特点是 规模大 ， 且来源 分散 ， 需 要 采 用 一 种 分 布 式 方法 对海 量 情 报 数 据 进 行 组 织 和 管 理 。
第ｌ ４ 卷 第５ 期 ２ ０ １ ５ 年 ５ 月
软 件 导 刊
Ｓ ｏ ｗ ａ ｒ ｏ Ｇｕｉ ｄｅ
Ｖ １ ．１ ４ＮＯ． ５
Ｍ ｄ ｏ ｏ ｐ的 海 量 情 报 数 据 管 理 系 统 设 计 与 实 现
石子 言 ， 赵 国林 ， 胡 乔 林
现 代 战争 是 信 息 化 的 战 争 ， 在 信息化 战场上 ， 情 报 分
析 和处 理 对 赢 得 战 争 的 胜 利 起 着 十 分 重 要 的作 用 。未 来
据 进 行 分 布 式 存 储 和 管 理 。本 文 在研 究 开源 框 架 Ｈａ ｄ ｏ ｏ ｐ 的基 础 上 ， 介 绍 了基 于 Ｈａ ｄ ｏ ｏ ｐ的 海 量 情 报 数 据 管 理 系 统 的设 计 与 实 现 方 法 。
ｃ ａ ｔ ｉ ｏ ｎ ｏ ｆ Ｔｈ ｅ ＡＣＭ ，１ ９ ９ ６（ １ １ ） ： ４ ９ — ５ Ｏ ．
［ ２ １ Ｗ Ｈ Ｉ ＮＭＯＮ． 数据仓库［ Ｍ］ ． 北京 ： 机 械 工 业 出版社 ，２ ０ ０ １ ． ［ ３ ３ 王曙燕 ， 耿 国华 ， 周明全． 数 据 仓 库 与 数 据 挖 掘 技 术 的研 究 与 应 用
基 金项 目 ： 国 家社 科 基 金 （ １ ２ ＧＪ ０ ０ ３ —１ ４ ４ ）
参 考文献 ：
［ １ ］ Ｗ Ｈ Ｉ ＮＭ０Ｎ． Ｔｈ ｅ ｄ ａ ｔ ａ ｗａ ｒ ｅ ｈ ｏ ｕ ｓ ｅ ａ ｎ ｄ ｄ ａ ｔ ａ ｍｉ ｎ ｉ ｎ ｇ Ｅ Ｊ ］ ． Ｃ ｏ ｍｍｕ ｎ ｉ —
根 据 项 目需 要 ， 设 计 基 于 Ｈａ ｄ ｏ ｏ ｐ的海 量 情 报 数 据 管
理 系统 ， 采 用 ＭＶＣ ３层 架 构 设 计 ， 可 以 分 为 应 用 接 口层 、
数 据 库 访 问层 和 数 据 处 理 层 ３个 层 次 ， 如图 １ 所示 。
（ １ ） 数据 访 问层 ： 为用 户提 供 了海量 情 报数 据 管理 接 口 ， 对 不 同数据 源进 行屏 蔽处 理 ， 提供异 构数 据库 访 问服务 。 能， 精确授权 ， 自动 分 发 报 表 ； 提 升可用性 ， 全 面 取 代 现 有
中 图分 类 号 ： ＴＰ ３ １ ９
文 献标 识 码 ： Ａ
文章 编 号 ： １ ６ ７ ２ — ７ ８ ０ ０ （ ２ ０ １ ５ ） ０ ０ ５ — ０ １ ０ ０ — ０ ３
Ｈａ ｄ ｏ ｏ ｐ 是一种开源架构 ， 可 以在 廉 价 的 机 器 上 对 海 量 数
０ 引 言
军事斗争 中， 必 须 要 有 强 大 的 情 报侦 察 和处 理 能 力 。情 报
数 据 库 的 建 设 将 与 作 战 相关 的情 报 信 息 进 行 存 储 和 整 合 ， 并为指挥人 员提 供 实时 分析 、 查 询 等 功 能 。然 而 在 战 场
１ 基 于 Ｈａ ｄ ｏ ｏ ｐ的海 量 情 报 数 据 管理 系统 设 计
６ 结 语
本 系 统 开 发 及 系 统 运 行 工作 得 到 如下 经 验 及 启 示 ：
的其 它 报 表 系统 ； 从 明细 数 据 到 统 计 数 据 ， 进 而分 析 数 据 ， 最终实现商业智能 、 数 据 挖 掘 的 目标 。
（ １ ） 理念的转变 。在数据 分析 上 ， 需要从 清单 和简单
（ 空军预 警学 院 ， 湖北 武 汉 ４ ３ ０ ０ １ ９ ）
摘 要 ： 随 着计 算 机 技 术 的快 速 发 展 ， 目前 诸 多 行 业 信 息 化 程 度 越 来 越 高 ， 需要 处 理 的 数 据 量 也 不 断 增 大 。对 基 于
Ｈａ ｄ ｏ ｏ ｐ的海 量 情 报 数 据 的 存 储 和 处 理 方 法 进 行 研 究 ， 提 出 一 种 基 于 Ｈａ ｄ ｏ ｏ ｐ技 术 的 海 量 情 报 数 据 管 理 系统 ， 优化了
［ １ １ ． 计算机应用研究 ， ２ ０ ０ ５（ ９ ） ： １ ９ ４ — １ ９ ５ ， ２ ０ ５ ．
［ ４ １ 郭庆． 数 据 仓 库 为 中心 的 企 业 人 力 资 源 统 计 信 息 系统 的 设 计 与 实 现［ Ｊ ］ ． 人 力资 源 管 理 ， ２ ０ １ ０ （ ２ ） ： ４ ２ — ４ ３ ， ４ ５ ． （ 责任 编 辑 ： 杜能钢）
情 报 数 据 存 储 和 处理 效率 ， 对提 高 战 场 上 海 量 情报 的 分析 处理 能 力 有 着 非 常 重要 的作 用 。
关键词 ： Ｈａ ｏ ｏ ｐ ； 海量数据 管理 ； 情报 ； 数据 处理 ； 系统设计
Ｄ ＯＩ ： １ ０ ． １ １ ９ ０ ７ ／ ｒ ｊ ｄ ｋ ． １ ５ １ ０ ３ ４
１ ． １ 平 台 总 体 框 架 设 计
上， 侦察情报信息数据量 非常大 ， 每 天 获 取 的 情 报 信 息 可 能达到数百 Ｇ Ｂ甚 至 数 十 Ｔ Ｂ 。 因此 ， 如何 存储 、 管 理 和 共 享 海 量 情 报 信 息 已成 为 亟 待解 决 的 问题 。
战场情报信息最大 的特点是 规模大 ， 且来源 分散 ， 需 要 采 用 一 种 分 布 式 方法 对海 量 情 报 数 据 进 行 组 织 和 管 理 。
第ｌ ４ 卷 第５ 期 ２ ０ １ ５ 年 ５ 月
软 件 导 刊
Ｓ ｏ ｗ ａ ｒ ｏ Ｇｕｉ ｄｅ
Ｖ １ ．１ ４ＮＯ． ５
Ｍ ｄ ｏ ｏ ｐ的 海 量 情 报 数 据 管 理 系 统 设 计 与 实 现
石子 言 ， 赵 国林 ， 胡 乔 林
现 代 战争 是 信 息 化 的 战 争 ， 在 信息化 战场上 ， 情 报 分
析 和处 理 对 赢 得 战 争 的 胜 利 起 着 十 分 重 要 的作 用 。未 来
据 进 行 分 布 式 存 储 和 管 理 。本 文 在研 究 开源 框 架 Ｈａ ｄ ｏ ｏ ｐ 的基 础 上 ， 介 绍 了基 于 Ｈａ ｄ ｏ ｏ ｐ的 海 量 情 报 数 据 管 理 系 统 的设 计 与 实 现 方 法 。
ｃ ａ ｔ ｉ ｏ ｎ ｏ ｆ Ｔｈ ｅ ＡＣＭ ，１ ９ ９ ６（ １ １ ） ： ４ ９ — ５ Ｏ ．
［ ２ １ Ｗ Ｈ Ｉ ＮＭＯＮ． 数据仓库［ Ｍ］ ． 北京 ： 机 械 工 业 出版社 ，２ ０ ０ １ ． ［ ３ ３ 王曙燕 ， 耿 国华 ， 周明全． 数 据 仓 库 与 数 据 挖 掘 技 术 的研 究 与 应 用
基 金项 目 ： 国 家社 科 基 金 （ １ ２ ＧＪ ０ ０ ３ —１ ４ ４ ）
参 考文献 ：
［ １ ］ Ｗ Ｈ Ｉ ＮＭ０Ｎ． Ｔｈ ｅ ｄ ａ ｔ ａ ｗａ ｒ ｅ ｈ ｏ ｕ ｓ ｅ ａ ｎ ｄ ｄ ａ ｔ ａ ｍｉ ｎ ｉ ｎ ｇ Ｅ Ｊ ］ ． Ｃ ｏ ｍｍｕ ｎ ｉ —
根 据 项 目需 要 ， 设 计 基 于 Ｈａ ｄ ｏ ｏ ｐ的海 量 情 报 数 据 管
理 系统 ， 采 用 ＭＶＣ ３层 架 构 设 计 ， 可 以 分 为 应 用 接 口层 、
数 据 库 访 问层 和 数 据 处 理 层 ３个 层 次 ， 如图 １ 所示 。
（ １ ） 数据 访 问层 ： 为用 户提 供 了海量 情 报数 据 管理 接 口 ， 对 不 同数据 源进 行屏 蔽处 理 ， 提供异 构数 据库 访 问服务 。 能， 精确授权 ， 自动 分 发 报 表 ； 提 升可用性 ， 全 面 取 代 现 有
中 图分 类 号 ： ＴＰ ３ １ ９
文 献标 识 码 ： Ａ
文章 编 号 ： １ ６ ７ ２ — ７ ８ ０ ０ （ ２ ０ １ ５ ） ０ ０ ５ — ０ １ ０ ０ — ０ ３
Ｈａ ｄ ｏ ｏ ｐ 是一种开源架构 ， 可 以在 廉 价 的 机 器 上 对 海 量 数
０ 引 言
军事斗争 中， 必 须 要 有 强 大 的 情 报侦 察 和处 理 能 力 。情 报
数 据 库 的 建 设 将 与 作 战 相关 的情 报 信 息 进 行 存 储 和 整 合 ， 并为指挥人 员提 供 实时 分析 、 查 询 等 功 能 。然 而 在 战 场
１ 基 于 Ｈａ ｄ ｏ ｏ ｐ的海 量 情 报 数 据 管理 系统 设 计
