基于Hadoop的智能电网状态监测数据存储
- 格式：pdf
- 大小：523.17 KB
- 文档页数：4
第 ４０ 卷 第 １ 期 ２０１３ 年 １ 月
计算机科学 Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ
Ｖｏｌ．４０Ｎｏ．１ Ｊａｎ ２０１３
基于 Ｈａｄｏｏｐ的智能电网状态监测数据存储研究
刘树仁 宋亚奇 朱永利 王德文 （华 北 电 力 大 学 控 制 与 计 算 机 工 程 学 院 保 定 ０７１００３）
数据的存储。
关 键 词 Ｈａｄｏｏｐ，ＨＤＦＳ，ＭａｐＲｅｄｕｃｅ，电 力 设 备 ，状 态 监 测 ，智 能 电 网 中 图 法 分 类 号 ＴＰ３９１ 文 献 标 识 码 Ａ
Ｒｅｓｅａｒｃｈ ｏｎ Ｄａｔａ Ｓｔｏｒａｇｅ ｆｏｒ Ｓｍａｒｔ Ｇｒｉｄ Ｃｏｎｄｉｔｉｏｎ Ｍｏｎｉｔｏｒｉｎｇ Ｕｓｉｎｇ Ｈａｄｏｏｐ
１ 引 言
群上节点可采用 廉 价 ＰＣ。ＭａｐＲｅｄｕｃｅ是 一 种 处 理 海 量 数 据 的 并 行 编 程 模 型 和 计 算 框 架 ，用 于 对 大 规 模 数 据 集 的 并 行 计
随着数字时代的到 来，美 国、欧 盟 及 中 国 等 相 继 提 出 “智 能电网”的概念，并 大 力 推 进 智 能 电 网 的 研 究 和 发 展［１］，智 能
了基于 Ｈａｄｏｏｐ平台的数据存储系统。
２ 基于 Ｈａｄｏｏｐ的状态监测数据存储系统设计
本 较 高，难 以 适 应 智 能 电 网 对 状 态 监 测 数 据 可 靠 性 和 实 时 性 的 更 高 要 求［２］。
根据 ＨＤＦＳ文 件 系 统 特 点，结 合 电 力 设 备 状 态 监 测 数 据 ，构 建 存 储 系 统 。
Ａｂｓｔｒａｃｔ Ｗｉｔｈ ｔｈｅ ｄｅｖｅｌｏｐｍｅｎｔ ｏｆ ｓｍａｒｔ ｇｒｉｄ，ｔｈｅ ｍａｓｓ ｄａｔａ ｃｏｌｌｅｃｔｅｄ ｆｏｒ ｔｈｅ ｅｑｕｉｐｍｅｎｔ ｃｏｎｄｉｔｉｏｎｉｎｇ ｒｅｑｕｉｒｅｓ ｈｉｇｈｅｒ
ｐｅｒｆｏｒｍａｎｃｅ ｏｆ ｄａｔａ ｓｔｏｒｅ ａｎｄ ｄａｔａ ｉｎｑｕｉｒｙ．Ａ ｓｔｏｒａｇｅ ｓｙｓｔｅｍ ｂａｓｅｄ ｏｎ Ｈａｄｏｏｐ ｆｏｒ ｓｍａｒｔ ｇｒｉｄ ｃｏｎｄｉｔｉｏｎ ｍｏｎｉｔｏｒｉｎｇ ｗａｓ ｄｅｓｉｇｎｅｄ ａｎｄ ａｃｈｉｅｖｅｄ．Ｔｈｅ ｓｙｓｔｅｍ ｃｏｎｓｉｓｔｓ ｏｆ ｔｈｒｅｅ ｐａｒｔｓ：Ｈａｄｏｏｐ ｃｌｕｓｔｅｒ，ｓｔｏｒａｇｅ ｃｌｉｅｎｔ ａｎｄ ｉｎｑｕｉｒｙ ｃｌｉｅｎｔ．Ａ ｑｕａｎｔｉｔｙ ｏｆ ｅｘｐｅｒｉｍｅｎｔｓ ｗｅｒｅ ｃａｒｒｉｅｄ ｏｕｔ ｉｎｃｌｕｄｉｎｇ ｂｅｎｃｈｍａｒｋ ｏｎ ｈａｄｏｏｐ ｃｌｕｓｔｅｒ，ｖｅｒｉｆｉｃａｔｉｏｎ ｆｏｒ ｓｔｏｒａｇｅ ｅｆｆｅｃｔ ａｎｄ ａｎａｌｙｓｉｓ ｏｎ ｑｕｅｒｙ ｐｅｒｆｏｒｍａｎｃｅ，ｗｈｉｃｈ ｖａｌｉｄａｔｅ ｔｈａｔ ｔｈｅ ｓｙｓｔｅｍ ｈａｓ ｔｈｅ ａｄｖａｎｔａｇｅｓ ｏｆ ｄｉｓｔｒｉｂｕｔｅｄ，ｍａｓｓ ｓｔｏｒａｇｅ ａｎｄ ｅｆｆｉｃｉｅｎｔ ｉｎｑｕｉｒｙ用
本文针对智能电网 下 状 态 监 测 数 据 的 特 点，设 计 并 实 现
常 规 的 解 决 方 案 ，即 基 础 架 构 采 用 价 格 昂 贵 的 大 型 服 务 器 ，存 储硬件采用磁盘阵列，数据库管理软件采用关系数据库系 统， 紧 密 耦 合 类 业 务 应 用 采 用 套 装 软 件 ，导 致 系 统 扩 展 性 较 差 、成
图１所示为存 储 系 统 结 构 与 访 问 关 系 图，存 储 系 统 由 ３ 部分组成，数据来源为包含大 量 传 感 器 的 Ｚｉｇｂｅｅ网 络 或 者 光 纤以太网 等 其 他 网 络。 系 统 核 心 为 处 于 中 间 的 Ｈａｄｏｏｐ 集 群，ＮａｍｅＮｏｄｅ是集群管理者，也是客 户 端 访 问 文 件 系 统 的 接 口，电力设备状态监测数据存储在多台 ＤａｔａＮｏｄｅ组成的文件 系统里；左边为存储 客 户 端，完 成 数 据 实 时 存 储 功 能，放 置 在
ＬＩＵ Ｓｈｕ－ｒｅｎ ＳＯＮＧ Ｙａ－ｑｉ ＺＨＵ Ｙｏｎｇ－ｌｉ ＷＡＮＧ Ｄｅ－ｗｅｎ （Ｓｃｈｏｏｌ ｏｆ Ｃｏｎｔｒｏｌ ａｎｄ Ｃｏｍｐｕｔｅｒ Ｅｎｇｉｎｅｅｒｉｎｇ，Ｎｏｒｔｈ Ｃｈｉｎａ Ｅｌｅｃｔｒｉｃ Ｐｏｗｅｒ Ｕｎｉｖｅｒｓｉｔｙ，Ｂａｏｄｉｎｇ ０７１００３，Ｃｈｉｎａ）
摘 要 智能电网需要收集海量设备状态监测数据，这对数据存储与查询提出了更高的要求。为处理这些海量 数 据， 设计并实现了基于 Ｈａｄｏｏｐ技术的数据存储系统，包括 Ｈａｄｏｏｐ集群、存储客户端和查询客户端。通过基准测试、存储 结果验证和查询性能分析，验证了该系统具有分布式海量存储及高效查询的优势，适合智能电网环境下设备状态 监 测
Ｈａｄｏｏｐ是一个开源的 云 计 算 模 型，具 备 可 靠 性 高、数 据 处理量大、灵活可扩展以及使用廉价机器等优势，正成为信 息 领域研究的热点，其 广 泛 应 用 于 语 义 分 析［３］、搜 索 引 擎、机 器 学 习 和 生 物 信 息 分 析 等 。 ［４，５］ 从 已 发 表 的 论 文 看 ［７，８］ ，在 工 业 监测领域，尤其是电力设备状态监测领域，云计算尚处于设 想 和 系 统 的 架 构 设 计 阶 段 ，未 见 成 型 系 统 的 报 道 。
ａｎｄ ｉｓ ｓｕｉｔａｂｌｅ ｆｏｒ ｄｅａｌｉｎｇ ｗｉｔｈ ｔｈｅ ｍａｓｓ ｄａｔａ ｉｎ ｃｏｎｄｉｔｉｏｎ ｍｏｎｉｔｏｒｉｎｇ ｏｆ ｐｏｗｅｒ ｅｑｕｉｐｍｅｎｔｓ ｉｎ ｓｍａｒｔ ｇｒｉｄ． Ｋｅｙｗｏｒｄｓ Ｈａｄｏｏｐ，ＨＤＦＳ，ＭａｐＲｅｄｕｃｅ，Ｐｏｗｅｒ ｅｑｕｉｐｍｅｎｔ，Ｃｏｎｄｉｔｉｏｎ ｍｏｎｉｔｏｒｉｎｇ，Ｓｍａｒｔ ｇｒｉｄ
算［６］，该计算模式在 Ｈａｄｏｏｐ上得到了实现 。 通过上述技术，可利 用 已 有 设 备 搭 建 分 布 式、高 性 能、可
电网成为未来电网发展趋势。智能电网环境下设备状态数据 量将巨增，对可靠性和实时性要求更高，远远超出传统电网 状
伸缩的数据存储系统，从而为构建低成本、高效率的电力数 据 挖 掘 与 分 析 系 统 提 供 可 能 性［７］。
计算机科学 Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ
Ｖｏｌ．４０Ｎｏ．１ Ｊａｎ ２０１３
基于 Ｈａｄｏｏｐ的智能电网状态监测数据存储研究
刘树仁 宋亚奇 朱永利 王德文 （华 北 电 力 大 学 控 制 与 计 算 机 工 程 学 院 保 定 ０７１００３）
数据的存储。
关 键 词 Ｈａｄｏｏｐ，ＨＤＦＳ，ＭａｐＲｅｄｕｃｅ，电 力 设 备 ，状 态 监 测 ，智 能 电 网 中 图 法 分 类 号 ＴＰ３９１ 文 献 标 识 码 Ａ
Ｒｅｓｅａｒｃｈ ｏｎ Ｄａｔａ Ｓｔｏｒａｇｅ ｆｏｒ Ｓｍａｒｔ Ｇｒｉｄ Ｃｏｎｄｉｔｉｏｎ Ｍｏｎｉｔｏｒｉｎｇ Ｕｓｉｎｇ Ｈａｄｏｏｐ
１ 引 言
群上节点可采用 廉 价 ＰＣ。ＭａｐＲｅｄｕｃｅ是 一 种 处 理 海 量 数 据 的 并 行 编 程 模 型 和 计 算 框 架 ，用 于 对 大 规 模 数 据 集 的 并 行 计
随着数字时代的到 来，美 国、欧 盟 及 中 国 等 相 继 提 出 “智 能电网”的概念，并 大 力 推 进 智 能 电 网 的 研 究 和 发 展［１］，智 能
了基于 Ｈａｄｏｏｐ平台的数据存储系统。
２ 基于 Ｈａｄｏｏｐ的状态监测数据存储系统设计
本 较 高，难 以 适 应 智 能 电 网 对 状 态 监 测 数 据 可 靠 性 和 实 时 性 的 更 高 要 求［２］。
根据 ＨＤＦＳ文 件 系 统 特 点，结 合 电 力 设 备 状 态 监 测 数 据 ，构 建 存 储 系 统 。
Ａｂｓｔｒａｃｔ Ｗｉｔｈ ｔｈｅ ｄｅｖｅｌｏｐｍｅｎｔ ｏｆ ｓｍａｒｔ ｇｒｉｄ，ｔｈｅ ｍａｓｓ ｄａｔａ ｃｏｌｌｅｃｔｅｄ ｆｏｒ ｔｈｅ ｅｑｕｉｐｍｅｎｔ ｃｏｎｄｉｔｉｏｎｉｎｇ ｒｅｑｕｉｒｅｓ ｈｉｇｈｅｒ
ｐｅｒｆｏｒｍａｎｃｅ ｏｆ ｄａｔａ ｓｔｏｒｅ ａｎｄ ｄａｔａ ｉｎｑｕｉｒｙ．Ａ ｓｔｏｒａｇｅ ｓｙｓｔｅｍ ｂａｓｅｄ ｏｎ Ｈａｄｏｏｐ ｆｏｒ ｓｍａｒｔ ｇｒｉｄ ｃｏｎｄｉｔｉｏｎ ｍｏｎｉｔｏｒｉｎｇ ｗａｓ ｄｅｓｉｇｎｅｄ ａｎｄ ａｃｈｉｅｖｅｄ．Ｔｈｅ ｓｙｓｔｅｍ ｃｏｎｓｉｓｔｓ ｏｆ ｔｈｒｅｅ ｐａｒｔｓ：Ｈａｄｏｏｐ ｃｌｕｓｔｅｒ，ｓｔｏｒａｇｅ ｃｌｉｅｎｔ ａｎｄ ｉｎｑｕｉｒｙ ｃｌｉｅｎｔ．Ａ ｑｕａｎｔｉｔｙ ｏｆ ｅｘｐｅｒｉｍｅｎｔｓ ｗｅｒｅ ｃａｒｒｉｅｄ ｏｕｔ ｉｎｃｌｕｄｉｎｇ ｂｅｎｃｈｍａｒｋ ｏｎ ｈａｄｏｏｐ ｃｌｕｓｔｅｒ，ｖｅｒｉｆｉｃａｔｉｏｎ ｆｏｒ ｓｔｏｒａｇｅ ｅｆｆｅｃｔ ａｎｄ ａｎａｌｙｓｉｓ ｏｎ ｑｕｅｒｙ ｐｅｒｆｏｒｍａｎｃｅ，ｗｈｉｃｈ ｖａｌｉｄａｔｅ ｔｈａｔ ｔｈｅ ｓｙｓｔｅｍ ｈａｓ ｔｈｅ ａｄｖａｎｔａｇｅｓ ｏｆ ｄｉｓｔｒｉｂｕｔｅｄ，ｍａｓｓ ｓｔｏｒａｇｅ ａｎｄ ｅｆｆｉｃｉｅｎｔ ｉｎｑｕｉｒｙ用
本文针对智能电网 下 状 态 监 测 数 据 的 特 点，设 计 并 实 现
常 规 的 解 决 方 案 ，即 基 础 架 构 采 用 价 格 昂 贵 的 大 型 服 务 器 ，存 储硬件采用磁盘阵列，数据库管理软件采用关系数据库系 统， 紧 密 耦 合 类 业 务 应 用 采 用 套 装 软 件 ，导 致 系 统 扩 展 性 较 差 、成
图１所示为存 储 系 统 结 构 与 访 问 关 系 图，存 储 系 统 由 ３ 部分组成，数据来源为包含大 量 传 感 器 的 Ｚｉｇｂｅｅ网 络 或 者 光 纤以太网 等 其 他 网 络。 系 统 核 心 为 处 于 中 间 的 Ｈａｄｏｏｐ 集 群，ＮａｍｅＮｏｄｅ是集群管理者，也是客 户 端 访 问 文 件 系 统 的 接 口，电力设备状态监测数据存储在多台 ＤａｔａＮｏｄｅ组成的文件 系统里；左边为存储 客 户 端，完 成 数 据 实 时 存 储 功 能，放 置 在
ＬＩＵ Ｓｈｕ－ｒｅｎ ＳＯＮＧ Ｙａ－ｑｉ ＺＨＵ Ｙｏｎｇ－ｌｉ ＷＡＮＧ Ｄｅ－ｗｅｎ （Ｓｃｈｏｏｌ ｏｆ Ｃｏｎｔｒｏｌ ａｎｄ Ｃｏｍｐｕｔｅｒ Ｅｎｇｉｎｅｅｒｉｎｇ，Ｎｏｒｔｈ Ｃｈｉｎａ Ｅｌｅｃｔｒｉｃ Ｐｏｗｅｒ Ｕｎｉｖｅｒｓｉｔｙ，Ｂａｏｄｉｎｇ ０７１００３，Ｃｈｉｎａ）
摘 要 智能电网需要收集海量设备状态监测数据，这对数据存储与查询提出了更高的要求。为处理这些海量 数 据， 设计并实现了基于 Ｈａｄｏｏｐ技术的数据存储系统，包括 Ｈａｄｏｏｐ集群、存储客户端和查询客户端。通过基准测试、存储 结果验证和查询性能分析，验证了该系统具有分布式海量存储及高效查询的优势，适合智能电网环境下设备状态 监 测
Ｈａｄｏｏｐ是一个开源的 云 计 算 模 型，具 备 可 靠 性 高、数 据 处理量大、灵活可扩展以及使用廉价机器等优势，正成为信 息 领域研究的热点，其 广 泛 应 用 于 语 义 分 析［３］、搜 索 引 擎、机 器 学 习 和 生 物 信 息 分 析 等 。 ［４，５］ 从 已 发 表 的 论 文 看 ［７，８］ ，在 工 业 监测领域，尤其是电力设备状态监测领域，云计算尚处于设 想 和 系 统 的 架 构 设 计 阶 段 ，未 见 成 型 系 统 的 报 道 。
ａｎｄ ｉｓ ｓｕｉｔａｂｌｅ ｆｏｒ ｄｅａｌｉｎｇ ｗｉｔｈ ｔｈｅ ｍａｓｓ ｄａｔａ ｉｎ ｃｏｎｄｉｔｉｏｎ ｍｏｎｉｔｏｒｉｎｇ ｏｆ ｐｏｗｅｒ ｅｑｕｉｐｍｅｎｔｓ ｉｎ ｓｍａｒｔ ｇｒｉｄ． Ｋｅｙｗｏｒｄｓ Ｈａｄｏｏｐ，ＨＤＦＳ，ＭａｐＲｅｄｕｃｅ，Ｐｏｗｅｒ ｅｑｕｉｐｍｅｎｔ，Ｃｏｎｄｉｔｉｏｎ ｍｏｎｉｔｏｒｉｎｇ，Ｓｍａｒｔ ｇｒｉｄ
算［６］，该计算模式在 Ｈａｄｏｏｐ上得到了实现 。 通过上述技术，可利 用 已 有 设 备 搭 建 分 布 式、高 性 能、可
电网成为未来电网发展趋势。智能电网环境下设备状态数据 量将巨增，对可靠性和实时性要求更高，远远超出传统电网 状
伸缩的数据存储系统，从而为构建低成本、高效率的电力数 据 挖 掘 与 分 析 系 统 提 供 可 能 性［７］。
