ETL实施的数据质量问题研究
- 格式：pdf
- 大小：132.60 KB
- 文档页数：2
２ Ｅ Ｌ实 施的数 据质 量 问题分 析 Ｔ
由 于数 据 仓 库 和数 据 源 的数 据 结 构 不 同 ， 以 通 过 Ｅ Ｌ将 数 所 Ｔ 据 加载 到 数 据 仓 库 ， 不 是 数 据 的 简单 复 制 。因此 数 据 质 量 问题 ， 并
既 有 可 能 来 自于 数据 源 ， 有 可能 来 自于 Ｅ Ｌ的实 施 过 程 中 。 又 Ｔ ２１数 据 源 数 据 质量 问题 分 析 ． 根 据 处 理 的 是 单 数 据 源 还 是 多数 据 源 以及 问 题 出 现 在 模 式 层 还 是 实例 层 ， 据 源 的数 据 质 量 问 题 可 以分 为 单 数 据 源 模 式 层 数
关键 词 ： 据 仓 库 ： 数 ＥＴＬ： 据 质 量 数
中图分 类号 ： Ｐ １ Ｔ ３ １
文献标识 码： Ａ
文章编号 ：０ ９ ３ ４ （０ ６２ — ０ ５ ０ １ ０ — ０ ４２ ０ ）６ ０ ２ — １
ＬＩＺｈｉ －ｈｕ ｉ
Ｒｅ ｅ ｍｈ ｏ ｏ ｌｍ ｆＤａａ Ｑｕ ｌｙ Ｄｕ ｉｇｔｅＣｏ ｒｅ ｏ ｓ ａ ｎ Ｐｒｂｅ ｏ ｔ ａｉ ｒ ｈ ｕｓ ｆＥＴＬＩ ｌｍｅ ｔ ｔ ｎ ｍｐｅ ｎ
相 应 的 解 决方 法 ． 将具 有重 大 的意 义 。
理 解 和 易 于使 用 。其 中最 主 要 的 是 可 理解 性 。数 据 要 有 容 易 理解 的 存储 格式 ． 能 被数 据 仓 库 使 用 人 员 正 确 理解 、 理利 用 。 才 合 另 外 随 着 时 间 的 推 移 ， 据 质 量 也 会 迅 速 退 化 ， 以数 据 的 数 所 时 效 性 也 是 值得 关 注 的一 个 重 要指 标 。 数 据 仓 库 中 数 据 质 量 就 可 以定 义 为 上 述 几 个 主 要 指 标 在数 据 仓 库 中得 到 满 足 的程 度 。
个 独 立 的 数 据环 境 ． 它需 要 通 过 Ｅ Ｌ过 程 将 数 据 从 联 机 事 务 处 理 Ｔ
记 录 的业 务 。 可 用 性 是 指 数 据 的 可 利 用 程 度 ． 数 据 是 否 易 于 获 取 、 于 即 易
系统 、 部 数 据 源 、 机 的数 据 存储 介 质 中导 入 到 数 据 仓库 中 。因 外 脱 此 数 据 Ｅ Ｌ是建 立 数 据 仓 库 的 非 常重 要 的环 节 之一 ， 一 个 数 据 Ｔ 在 仓 库 项 目 中 ， 需 要 花 费 大 约 ８ ％的 工 作量 。 它 ０ 建 立 数 据 仓 库 的 目 的是 为数 据 分 析 提 供 准 确 性 、一 致 性 、 完 整性 、 效 性 的数 据 ． 辅 助 企 业 领 导 的决 策 ， 有 来 因此 数 据 仓 库 中必 须存 储 的 是具 有 较 高 质 量 的数 据 。然 而数 据 仓 库 中的 数 据来 自于 多 种 数 据 源 ， 些 数 据 源 可 能 处 于 不 同 的硬 件 平 台 上 ， 用 不 同 这 使 的操 作 系 统 和 数 据 库 管 理 系 统 ， 而 数 据 在 编 码 、 名 、 据 类 因 命 数 型 、 义 等方 面都 存 在 着较 大 的 冲 突 。根 据 “ 去 的 是 垃 圾 ， 语 进 出来 的 也 是 垃 圾 ” 条 原 理 ， 为 数 据 仓 库 入 口 的 Ｅ Ｌ 实 施 过 程 中 的 这 作 Ｔ， 数 据 质量 问题 将 会 对 数 据 仓 库 中 的数 据 质 量 产 生 重大 的影 响 。所 以对 Ｅ Ｌ实 施 过 程 中可 能存 在 的质 量 问题 进 行 分 析 、 验 并 给 出 Ｔ 校
（ｃ ｏ ｌ ｆＣｏ ｕｅ ｃｅ ｃ Ｓ ｈ ｏ ｍｐ ｔｒＳ ｉｎ ｅ＆ Ｔｅｈ ｏｏ ｙＨｕ ｅ ｉｅｓｙｏ ｃ ｎ ｍｉｓ ｕ ａ ３ ２ ５Ｃｈｎ ） ｏ ｃ ｎ ｌｇ ， ｂ ｉ Ｕｎｖ ｒ ｔ ｆ ｏ ｏ ｃ， ｈ ｎ ４ ０ ０ ， ｉ ａ ｉ Ｅ Ｗ
Ａｂ ｔ ｃ ： ｉ ｐ ｐ ｒｉ ｔ ｄ ｃ ｓｓ ｍ ｅ ｉ ｏ ｔｎ ｅ ｂ ｍｔｄ ｉ ｄ ｘ ｏ ａ ｕ ｌ ｙ ｉ ａ ｒｈ ｕ ｅ ａ ａｙ ｅ ｈ ｒ ｂ ｅ ｏ ａ ｕ ｌ ｓｒ ｔ ａ Ｔｈ ｓ ａ ｅ ｎ ｒ ｕ ｅ ｏ ｍｐ ｒ ｔ ｈ ｅ ｅ ｎ ｅ ｆ ｔ ｑ ａ ｔ ｎ ｄ ｔ ｗａｅ ｏ ｓ ， ｎ ｌｓ ｓｔ ｅ ｐ ｏ ｌｍ ｆｄ ｔ ｑ ａ ｔ ｏ ａ ｄ ｄ ａ ｉ ａ ａ ｉ ｙ
维普资讯
・
数 据 库 与 信 息 管 理 ・ ・・ ・・ ・
电 脑 知 识 与 技 术
ＥＬ Ｔ 实施 的数据质量 问题研 究
李 志辉
（ 北 经 济 学 院 计 算机 科 学与 技 术 学 院 ， 北 武 汉 ４ ０ ０ ） 湖 湖 ３２ ５
摘要 ： 对数 据仓 库 中数 据 质 量 的 重 要 评 价 指 标 进 行 了介 绍 ． Ｅ 对 ＴＬ实施 时在 数 据 源端 和 Ｅ Ｌ过 程 中可 能 面 临的 数 据 质 量 问题 进 行 Ｔ 了分析 ． 部 分 常 见 的数 据 质 量 问 题 给 出 了相 应 的解 决 方 法 。 对
ｍｉ ａ ｒ ｂ ｅ ｏ ｔ ｑ ａ ｔ ． ｌ ｒｐ ｏ ｌｍ ｆ ａ ｕ ｌ ｉ ａ ｄ ｉ ｙ Ｋｅ ｒ ｓ ｄ ｔ ｗａ ｅ ｏ ｓ ： ＴＬ ｄ 七 ｕ ｌ ｙ ｙ ｗｏ ｄ ：ａａ ｒｈ ｕ ｅＥ ： ａａｑ ａ ｔ ｉ
数 据 的 Ｅ Ｌ是 数 据 进 入数 据 仓 库 的入 口。 于数 据 仓 库 是 一 Ｔ 由
ｐｏｓｂｌ ｏ ｃ ｄ ｉ ｄａ ｏｕｒｅ ｎｄ ｔ ｅ ｐｒ ｃ ｓ ｆＥＴＬ ｄ ｉｎｇ ｔ ｏｕｒｅ ｏ ｓｉ ｙ ｐｒ ｄｕ ｅ ｎ ｔ ｓ ｃ ｓａ ｈ ｏ ｅｓｏ ａ ｕｒ ｈｅ ｃ ｓ ｆＥＴＬ ｍ ｐｌｍ ｅ ｔ ｎ ｉｅ ｅ ｒ ｌｖ ｎ ｏｌ ｉ ｓｔ ｈ ｒｉ ａ ｉ ｅ ｎ ，ａ ｄ ｇｖ ｓｔ ｅｅ ａ ｔｓ ｕｔ ｈ ｏｎ ｏ ｔ ｅ ｐａｔａ ｆ— ｌ
