Web日志挖掘中数据预处理技术的研究

ＮＴ ． ５ ０：Ｉ ｔｒ ｅ ｐ ｏ ｅ ６． ｎ ｅｎ ｔＥｘ ｌ ｒ ｒ ０”
的图片、 声音 和脚本代码一起被下载到了客户端。
当挖掘 的 目的是 用户 访 问模 式时 ， 片和声 音文 件 图 显然 用 处 不 大 。可 以 把 后 缀 为 ＪＥ ＭＰ ， Ｉ ， Ｐ Ｇ， ３ ＧＦ ＷＭＶ等 的记 录删除 。但是 ， 当挖掘的 目的是 为 了进 行 网络 流量分析 时 ， 些信息又会 显得非 常 的重要 ， 这
典 型 的 日志 记 录形 式如 下 ：
次客户 连接请求 完所 要 的 网页后 ， 服务 器会 自动与 客户断开 连接 ， 同时被 申请 的网页文 件 连 同文件 上
２２ １２９ ．６ 一 ［２：３５ ８６２０ ］ 一 ０ ．９ ．４６ １ ２ ：５２／ ／０６
“Ｇ Ｔ ｄ ｙ ｌｇ ｈ ｌ ． ｔ ｌ ／ ．１” 一 １ ０ — Ｅ ／ ｒ ／ ｏ ／ ｅ ｐ ｈ ｍｌ Ｈｒ ＴＰ １ ０ １ ０ １ 一 “ ｔ ／ ｗ ｗ． ｅ ｐ ｅ ｕ ｃ ” 一 “ ｉ ｄ ｗｓ １２ ｈｔ ／ ｗ ｈ ｌ ． ｄ ． ｎ ｐ： Ｗ ｎｏ
理， 包括删除无关紧要的数据 ， 合并某些记录 ， 对用 户请求 页 面时发 生 错 误 的记 录进 行 适 当 的处 理 等 等。只有当服务器 日志 中的数据能够准确地反映 用户 访 问 Ｗｅ 点 的情 况 时 ， 过 挖掘 得 到 的关 ｂ站 经
联规 则才 是真 正有 用 的。 由于 Ｈ ｒ 议 是一 个 面 向非 连接 的协议 ， Ｔ Ｐ协 每
表 １ Ｅ Ｌ 日志格 式 ＣＦ
雷 Ｈ Ｈ Ｈ Ｈ簦Ｈ
图 １ Ｗｅ ｂ日志挖 掘 的预 处 理过 程
２ １ 数据 清理 ．
数 据 预处理 的第 一 步 是 数据 清 理 ， ， 据清 ’数 ］ 理是 指 根 据 实 际 需 求 ， ＷＥ 日志 文 件 进 行 处 对 Ｂ

关键 。
③ 用户请求 页面 的 日期和具体 时间 ；
④用户请求的方法 、 用户所请求的页面以及传输
使用 的协议版本 ：
⑤ 服务器状 态码 ， ０ ２ 表示请求成 功 ； ０ ⑥ 发送 给客户端 的总字节数 ： ⑦ 用户代理 。
１ 数 据 的 来 源
Ｗｅ 用 记 录 的数 据 除 了服 务 器 的 日志 记 录 外 ． ｂ使 还 包 括 代 理 服 务 器 １志 、 览 器 端 １志 、 册 信 息 、 ３ 浏 ３ 注 用
０ 引 言
数 据 预 处 理 是 Ｗｅ ｂ １ 挖 掘 的 关 键 技 术 ．其 主 ３志 要 任 务 是 从 Ｗｅ 志 文 件 中 有 效 地 识 别 用 户 访 问 会 ｂ１ ３ 话 。 预 处 理 的 输 入 是 原 始 １志 文 件 ， 出 的 是 用 户 会 ３ 输
① 访 问用户 的 Ｉ 址或用户使 用 的代理服务 器 Ｐ地
＼
竺
基 于 Ｗｅ ｂ日志 的数 据 预 处 理 研 究
金 述 强 ． 蒋 外 文
（ 南大学 信息科 学与工 程学 院 ， 沙 ４ ０８ ） 中 长 １ ０ ３
摘
要 ：详 细 介 绍 Ｗ ｅ 日 志 挖 掘 的数 据 预 处 理 过 程 。 通 过 对 预 处 理 的 结 果 用 户 会 话 文 件 进 行 处 ｂ
理 ， 造 出 扩 展 有 向 树 模 型 ， 从 每 个 用 户 会 话 文件 中发 现 该 用 户 所 有 的 最 大 向 前 ｇ 用 构 并 ｌ 路 径 ， 实施 ｗ ｅ 志挖 掘 算 法提 供 数 据 基 础 。 为 ｂ１ ３ 关 键 词 ：数 据 预 处 理 ；用 户 会 话 ；扩 展 有 向 树 ；最 大 向 前 引 用 路 径

ｐ ｅｒ ａ ｍｅ ｔ ｒ ｔ ｔ ｎ ．Ａｎ ｕ ｇ ｓｓａ ｆ ｃｉ ｅｍｅｈ ｄ ｆ ｒ ｅ ｌ ｇ ｗｉ ｅａｌ ｄ ｐ ｒ ， ｉ ｅ ｄ ｔ ｓ ｎ， ａ ａ ｃｅ ｎ ｎ ， ｅ ｄ ｉ ｓ ｇ ｅ ｔ ｎ ｅｆ ｔ ｔ ｏ ａｉ ｔ ｄ ｔ ｉ ａ ｔ ｌ ａ ａｆ ｉ ｔ ｅ ｖ ｏ ｄ ｎ ｈ ｅ ｓ ｋ ｕ ｏ ｄ ｔ ｌａ ｉ ｇ ｕ ｅ ｄ ｎｉ ｃ ｔ ｎ，ｓ ｓ ｉｎ ｉ ｅ ｔ ｃ ｔ ｎ，ｅｃ ｓ ｒｉ ｅ ｔ ａ ｉ ｉ ｆ ｏ ｅ ｓｏ ｄ ｎ ｉ ａｉ ｉ ｆ ｏ ｔ ．Ｔ ｅ ｖ ｌ ｉ ｆｔ ｉ ｔ ｏ ｓ ｖ ｒ ｅ ｙ ｔ ｅ ｅ ｐ ｒ ｎ ａ ａ ａ ｈ ａｉ ｔ ｏ ｓ ｍｅ ｈ ｄ ｉ ｅ ｉ ｄ ｂ ｈ ｘ ｅ ｉ ｄ ｙ ｈ ｉ ｆ ｍｅ ｔ ｌ ｔ ． ｄ
ｉｇ ｎ ．Ｔｈ ｓ ｐ ｐ ｒ ｃ ｍｐ ｅ ｅｙ ｃ ｍｂ ｈ ｏｅ ｐ ｏ ｅ ｓ ｏ ａａ ｐ ｅ ｒ ａｍｅ ｔｉ ｅ ｍｓ ｏ ｂ ｌｇ ｆｌ ｎ ｎ ａａ ｉ ａ ｅ ｏ ｌ ｔｌ ｏ ｓ ｔ ｅ ｗｈ ｌ ｒ ｃ ｓ ｆ ｄ ｔ ｒ ｔｅ ｔ ｎ ｎ ｔ ｒ ｆｗｅ ｏ － ｅ ｍｉ ｉ ｇ Ｓ ｄ ｔ ｉ
中 图分 类 号 ： Ｐ ９ Ｔ ３１ 文献标志码 ： Ａ 文 章 编 号 ：１７ ４ ０７２ １ ） １ ０ ８ — ５ ６ ３— ８ ， ０ ２ ０ — ０ １ ０ （
Ｄａ ａ ｐｒ ｐｒ ｃ ｓ ｉ ｏ ｅ ｏ ｆｌ ｉ ｎｇ ｔ ｅ ｏ ｅ ｓｎｇ ｆ ｒ Ｗ ｂ ｌ ｇ－ｉ ｍ ｎｉ ｅ
Ｖｏ ． ６ Ｎｏ １ １２ ．
Ｆ ｂ２ １ ｅ ．０ ２
Ｗ ｅ 日志 挖 掘 中 的 数 据 预 处 理 研 究 ｂ
卢 健 ，刁雅静
（ 江苏科 技大学 经济管理学 院， 江苏 镇江 ２２ ０ ） ］０３ ；

① 中间缓存保存了最 近从 ｗ出 服务 器传 来的所有 页 面 ，
在一段时间 内， 这些缓 存的页 面可 以直 接下传 给多 个通 过代
理发 出 Ｗｅ 请 求的用户而 ％ｂ服务 器完全 不知道这 些行 为 ， ｂ
作者简介： 方成效（９ｍ）男， １８ ， 江西都昌人 ， 华东交通大学信息工程学院硕士研究生， 研究方向： ｂ Ｗｅ 挖掘； 袁可风（ ４ ， １ ５）男， ９
（） １本地缓存 。为了减少数据传输 量以提高 网络性 能 ， 大 部分的浏览器都将 最近访 问 的页面缓 存在 本地 硬盘 上 ， 以 所 当用户点击“ Ａ Ｋ 按 钮 ， 次访 问这些 已访 问 过的 页面 时 ， ＢＣ ” 再 浏览器首先检查本 地是否存在该页面 ， 如果有 ， 就检 查 Ｗｅ 服 ｂ 务器上对应的页面有没有更新 ， 己经更新 ， 若 则从 Ｗｅ 服务器 ｂ
（ｃｏｌｆ 珊 ｏ ｎｉ ｅ ｎ ， ａｔ ｈ ａＪ ｏ ｎ ｎ ｅ ｉ ， 日ｃａｇ ３０ ３ Ｃ ｉ ） Ｓｈｏ ｏ Ｉ ｎＥｇ ｅｒｇ Ｅｓ Ｃ ｉ ａｔ ｇＵ ｉ ｒｔ Ｎ ＩＩｎ ３ ０１ ， ｈ ａ ｎ ｉ ｎ ｉ ｏ ｖ ｓｙ Ｊ】 ｎ
Ａｈ ￣ ． ｈ ａ ｅ ｎ ｌｓ ｓｄ ｔ Ｉ ａｒ Ｔ ｉ ｐ ｐ ｒａ ａｙ ｅ ａ Ｐｑｍ）ＢＢ ｇ删 ｓ ａ ｏ Ｂｉ ｎ ｆｒ ｅ ｏ ｏ Ｗ ｂｌｇｍｉｉｇ ｐｏ ｏ ｅ ｈ ｎ ｎ ， ｒｐ ｓｓｔ ｅ嘲 ｉ ｅ ｔ ｃ ｔ ｎ ａｉ ｍｅ ｃ ｂ ｓ ｄ Ｏｌ ｏ ｕ ｔ ｄ ｎ ｉ ａｉ ｒ ｈ ｔ ａｅ ｉｌｇ ｑ ｏｅ ｉ ｆ ｏ ｔ ｉ
方成效 ， 袁可风
（ 东交通大学信 息工程 学院， 华 江西 南 昌 ３０ １ ） ３０ ３ 摘要 ： 分析 了 ｗｅ ｂ日志挖 掘的数据预 处理过程 ， 出了基 于 日志引用页的用户识 别算法 ， 提 并对其性 能进行 分析 ， 最后给 出

是 ｗｅ ｂ使用分析的一个基本先决条件 。
１１ ｗ ｂ日志 文 件 ． ｅ
考虑 到普遍 性和代 表性 ， 文那 仅 以 Ｉ 本 Ｉ 务 器 日志 文 Ｓ服 件 ［为 例 ， 论 Ｗ ３ ２ ］ 讨 Ｃ扩 展 日志 记 录 Ｅ Ｆ（ ｘｅ ｄ ｄＬ ｇＦ ｒ Ｌ Ｅ ｔ ｅ ｏ ｏ— ｎ
＃ Ｆｉｌ ｓ ｅ ｄ ：Ｃ— ｉ ｔ ｍｅ Ｃ — ｍｅ ｈ ｄ Ｃ － ｕ ｉ ｓ ｅ ｓ － ｓ ａ ｕ ｐ Ｄａ ｅ Ｔｉ Ｓ ｔｏ Ｓ ｒ — ｔ ｍ ｃ ｔ ｔ ｓ
用 户 浏 览 的前 一 个 网址 ，
Ｕｅｎｍｅ Ｓｒａ ｍｅｈ ｄ ｔｏ ｕｌ ｔｍ ｒ—ｓｅ接 过 来 的 ｕ ｅ—ａ ｅｔ Ｙｅ ｓｒ— ｇｎ ｓ ｐｏｏ ｏ ｒｔｃ ｌ ｓａｕ ｔｔｓ ｂ ｔｓ ｙｅ Ｙｅ ｓ Ｙｅ ｓ Ｙｓ ｅ 客 户 所用 的浏 览 器 使 用 的 Ｉｔｒ ｅ 协 议 ， ＨＴ ｎｅｎｔ 如 ＴＰ， Ｔ ＦＰ 用 ＨＴ ＴＰ或者 Ｆ Ｐ术 语 所 描 述 的 动 作 状态 Ｔ 传 输 的 字节 数
微 型 电脑 应 用
２０ ０７年 第 ２ 卷 第 １ 期 ３ ０
Ｗｅ ｂ日志挖 掘数 据预 处 理研 究
夏 成 文 ， 韩 坚华 ， 梁 乘 铭
摘 要 ： 详 细 介 绍 Ｅ Ｆ 日志 文 件 格 式 的 基 础 上 定 义 了会 话 表 ， 对 预 处 理 过 程 中 几 个 主要 步 骤 进 行 深 入 讨 论 ， 结 已有 在 Ｌ 并 总
表 １ Ｗ ３ 扩展 日志格 式部 分 域 Ｃ
域 标 识 符 是 否 需要 前 缀 描
述
ｄ ｔ ａｅ ｔ ｉ ｍｅ Ｉ ｐ
－
Ｎ Ｏ ＮＯ Ｙｅ ｓ Ｙｅ Ｓ Ｙｅ ｓ Ｙｅ ｓ

使 用 情况 ． 而 辅 助 管 理 和 支 持 决 策 。 从
／ ＼
亟 巨
土
．
・
＝ 苎 ＝ 二 苎兰 ＝ ＝
亟ｉ
．
户 访 问序 列 。
ｘ ｌＵ ＝Ｊ＝ ：ｘ Ｕｘ Ｉｊ： ＝ ；ｘ 【ｉｌＵ ＝ ＋Ｉｌ ； ｆ ． ； ｎ ¨） ｏａ２ ｒ ｋ－ ： ｉ ｛ｒ ． ＝ ； ） ｆ Ｊ ｌ－． ｏＯ ＞ ＇
用 １志 和站 点 拓 扑 结 构 ． ３ 构造 出他 的浏 览 路 径 。 果 当 前 请求 的 如 页 面 的 引用 页 不 在 已浏 览 的 页 面 系 列 中 ，则认 为存 在 另 外 具 有 １ Ｗｅ ． ｂ日志 挖 掘 的 过 程 Ｗｅ 日志 挖 掘 的过 程 一 般 分 为数 据 预 处 理 阶 段 、挖掘 算 法 相 同 Ｉ 址 与代 理 的用 户 。 ｂ Ｐ地 下 面 给 出 的 是 ｉ ａｅ ｔ 相 同 的访 问序 列 基 于 日志 参 引 Ｄ和 ｇｎ 均 实施 阶段 （ 式识 别 ）模 式 分析 阶段 。 １ 出了 日志 挖 掘 的过 模 、 图 给 页面 的 用 户 识 别 算 法 。 ／ ｎ（＜ ｉ＝ ） ｉ 广 设 １ ＝＜ ｎ为 ｐ和 ａｅｔ 相 同 且按 时 间 升 序 排 列 的 ｇｎ均 某 暂 定 用 户 访 问 序 列 ，ｉ ｕｌ Ｄ 的 参 引 页 ， ｘ为 识 别 后 的用 Ｌ． ｒ 为 ｐ Ｕ
陈荣旺 １ ２
郭
红
【 摘 要 】 数据预处理是 Ｗｅ ： ｂ日志挖掘 中的关键和 重要 一步， 文章分析 了Ｗｅ ｂ日志挖 掘的数据预处理过程 ， 并给 出基 于 日志参 引页的用户ｉ ￣ 、 径补全算法和基 于一种时 问窗 口模型的会话划分算 法。 ｅ ｌ路 ， 【 关键词 】 Ｗｅ ： ｂ日志挖掘 数据预 处理 算法

１ 引言
当前已经有很 多科研工作 者和研究机构发现 网站
日志数据具有很大的利 用价值 ， 希望通过对 ｗｅ ｂ日志
挖掘算法的输入直接影响 日志挖掘的质量。一个 ｗｅ ｂ 服 务器是重要的数据来源 ，因为它明确记录 了所有访 问此网站的客户的浏览动作 。它记 录 了多个用户对一 个站点的访 问信息。Ｗｅ ｂ使 用记录 的数据 除了服务器 的 日志记 录外 ， 还包括浏览器端 日志代理服务器 日志、 代理服 务器 日志、注册 用户信息 、登录信 息 、用户会
ｓ ｐ ｌｍｅ ｔ ｇ ｐ ｔ ．Ａｆ ｒ ｔｅ ｕ ｅ ｄ ｎ ｉ ｃ ｔ ｎ ｈ ｒ ｅ ｏ ｅ ｐ ｇ ｅ ｕ ｅ ｅ ｅ ｃｅ ｃ ｆ ｄ ｔ ｕ ｐｅ ｎｉ ａ ｎ ｈ ｔ ｓ ｒ ｉ ｅ ｔ ａ ｉ ，ｔ ｅ ｆ ｅ ｈ ｉ ｆ ｏ ｍ ａ ｆｔ ａ ｅｒｄ ｃ ｓｔ ｆ ｉ ｙ ｏ ａ ｈ ｈ ｉ ｎ ａ
下 ：
部分 ，将有价值 的模式提取 出来。数据预处理 是 ｗ ｂ ｅ 日志挖掘的关键技术 ， 主要任 务是从 ｗｅ 其 ｂ日志文件 中有效地 识别 用户访 问会话。数据预处理的结果作为
① 基于项目： 国家科技攻关计划（０ ３ ａ ４ ） ２０ ｂｌ ｃ ０
话信 息、 交易信息 、 ｏ ｋｅ中的信息 、 Ｃ ｏｉ 用户查询信息、
的研究来进一步改善 网站设计 ，使 用户在更短的响应 时间内找到他所需要 的资源 ，增进用户体 验 ，了解用 户的兴趣和真正动机等 。Ｗｅ ｂ访 问 日志挖掘过程一般
分为三个步骤 ：（） １数据预处理 ：对原始 的 ｗｅ 日志 ｂ
Ａｂｓｒ ｃ ： Ｗｅ ｏ ｎ ｎ ｓａ ｍｐｏ ｔｎ ｓ ａ ｃ ｉｅ ｔｏ ｂｏ ｔ ｂ ｍｉ ｎ ． ｔ ｒ ｐ ｏ ｅ ｓｎ ｓａｋ ｙ ｔｃ ｎ ｌ ｇ ｔａ ｔ ｂ ｌ ｇｍｉｉ ｇ ｉ ｎ ｉ ｒ ｔ ｅ ｅ ｒ ｈ ｄｒ ｃｉ ｎａ ｕ ａ ｒ ｗｅ ｎｉｇ Ｄａａｐ ｅ ｒ ｃ ｓ ｉｇ ｉ ｅ ｈ ｏ ｏ ｙ ｅ ｉ ｂ ｏ ｉｉ ｇ ｎ ｗｅ ｌ ｇ ｍ ｎ ｎ ．Ｔｈ ｒｉｌ ｅ ｃ ｉ ｓ ｔｅ ｐ ｅ ｒ ｃ ｓ ｉｇ ｆ ｍｉｉ ｇ ｌｇ ｎ ｄ ｔ ｉ ｅ ａ ｔｃｅ ｄ ｓｒｂｅ ｈ ｒ ｐ ｏ ｅ ｓｎ ｏ ｎ ｎ ｏ ｓ ｉ ｅ ｌ ａ ．Ｄａａ ｐ ｅ ｏ ｅ ｓｎ ｔ ｒｐｒ ｃ ｓ ｉ ｇ ｉｃｕ ｅ ｄ ｔ ｃｅ ｎ ｉｅ ｔｆ ｎ ｕ ｅ， ｒ ｃ ｇ ｉｉ ｇ ｅ ｓｏ ， ｃｅ ｎｉｇ ｐ ｈ ｆａ ｏ ｅ ａ ｅ ｎ ｎ ｌｄ ｓ ａ ａ ｌａ ， ｄ ｎ ｉ ｇ ｓ ｒ ｅ ｏ ｎ ｚｎ ｓ ｓ ｉ ｎ ｌａ ｎ ｕ ｔ ｅ ｌ ｍｅ ｆ ｔ ｐ ｇ ａ ｄ ｙｉ ｈ

是 数 据 挖 掘 技 术 在 Ｗｂ ｅ环 境 下 的 应 用 ． 集 Ｗｅ 是 ｂ技 术 、 据 挖 掘 技 环 节 的 任 务 、 在 的 主 要 问 题 和 实 现 技 术 展 开 分 析 。 数 存 术 、 息 科 学 等 多 个 领 域 的 一 项 技 术 。 Ｗｅ 信 ｂ挖 掘 对 传 统 的 数 据 挖 掘
的 相 关 数 据 中 发 现 蕴 涵 的 、 知 的 、 潜 在 应 用 价 值 的 、 平 凡 的 模 日 志 文 件 ： 未 有 非 式 ． 访问 者 、 点经 营 者 以及基 于网 络 的商 务活 动提 供 决策 支 持 。 为 站 简单 的平 面 文本 文件 ， 含 了一 些 不完 整 的 、 余 的 、 误 的数 据， 包 冗 错 需 的基 础 和实施 有 效挖 掘算 法 的 前提 。 Ｗｅ 志 挖 掘 首 先 要 对 挖 掘 数 据 进 行 预 处 理 。 始 １志 文 件 是 请 求 。 ｂ１ ３ 原 ３ ２） 息 错 误 １ 志 （ ｒ ｒｌ ， 取 请 求 失 败 的 数 据 ， 如 ： 失 信 ３ Ｅ ｒ ｏ ｏ ｇ） 存 例 丢 ３） 奇 １ 志 （ ｏｋｅｌｇ ） Ｃ ｋｅ是 由 Ｗｅ 曲 ３ Ｃ ｏｉ ｏｓ ， ｏ ｉ ｂ服 务 器 产 生 的 用 于 自 要 进 行 处 理 ， 则 将 会 直 接 影 响 挖 掘 的 效 果 。 据 预 处 理 是 整 个 过 程 连 接 。 权 失 败 ， 超 时 。 否 数 授 或 本 文 论 述 了 Ｗｅ 日志 挖 掘 基 本 概 念 、 骤 和 主 要 任 务 ， 点 分 动 标 记 和 跟 踪 站 点 的 访 问 者 的 记 号 ． ｏｋｅ由 客 户 端 持 有 ， 务 器 方 ｂ 步 重 Ｃｏｉ 服 析 了 Ｗｅ ｂ １ 挖 掘 中 的 数 据 预 处 理 问 题 ． 结 合 对 某 汽 修 网 站 Ｗｅ 可 采 用 Ｃ ｋｅ方 式 跟 踪 单 个 用 户 。 ３志 ｂ ｏ ｉ 日志 挖 掘 的 数 据 预 处 理 具 体 过 程 ． 析 了 数 据 预 处 理 的 具 体 步 骤 和 剖

候 ， 以 通 过辨 别 日志 中 的状 态 码 ， 除状 态 码 以 ４开 头 或 以 ５开 头 的记 录 。 可 删
３ 辨 别 请 求 类 型 。三种 最 常 见 的请 求 类 型 是 ： Ｅ 、Ｏ Ｔ、 Ａ ） Ｇ Ｔ Ｐ Ｓ ＨＥ Ｄ。只 有 Ｇ Ｔ是 用 户 请 求 页 面 的 操 作 ， 它 请 求 类 型 的记 录则 可 Ｅ 其
主要 由数 据 清 洗 ， 户识 别 ， 话识 别 ， 径 补 充 四个 步骤 来 完 成 。 用 会 路
１数 据 清 洗
数 据 清 洗１ ２ １ 将 不 一 致 、 关 的数 据 从 Ｗｅ 就是 无 ｂ日志 数 据 源 中 清 除掉 。可 以建 立 以 下 规则 对 日志 数 据 进 行 缩 减 。
以删 除
４ 删除无关 的属性 。Ｗｅ ） ｂ日志文件 中记 录了用户 日期（ａｅ－ 间（ｍｅ、 ｄｔ ， ）时 ｔ ）客户 Ｉ ｉ Ｐ地址 （ ｉ）服务 器 Ｉ ｓ ｉ 、 ｃ ｐ、 — Ｐ（ ｐ 发送字 节数（ — ￣） ｓ ｃ ｂｔｓ ｙｅ） 等属性。这些并不都是挖掘所需要的 ， 因此可 以根据挖掘 目的只选择保 留用户访问时间 、 户的 Ｉ 用 Ｐ地址和所请求 的页面等属
如果 网站 以图片为主 ， 应保 留后缀为 ｇ 、 ｇｊｅ 、ｍ ｉ Ｊ 、 ｇ ｂ ｐ的 Ｕ Ｌ， ｆＰ ｐ Ｒ 删除其它后缀 的 Ｕ Ｌ Ｒ 。所 以， 应该根据不同的挖掘 目的， 辨别 Ｕ Ｌ Ｒ 。
２ 辨别状态码 ， 除错误记录。 ） 删
如 果 用 户 请 求 失 败 ， Ｗｅ 在 ｂ日志 中也 会 保 留这 些 情 况 ， 这 些 记 录 对 日志 挖 掘 来 说 是 没 有 意 义 的 。所 以在 进 行 数 据 清 洗 的时 但
济 效 益 。但 由于 原 始 日志 数 据 是 半 结 构化 的数 据 ， 中包 含 了大 量 有 缺 陷 的 、 余 的 原 始 数 据 ， 能 拿 来 直 接进 行 挖 掘 ， 其 冗 不 因此 在 对 其 进 行 挖 掘 之 前 ， 须 要对 它进 行 预 处 理 。 必 ’ Ｗｅ 日志 数 据 进 行 删 除 、 ｂ 筛选 、 重新 组 合 ， 后 转 化 为能 直 接 进 行 挖 掘 的数 据 格 式 ， 保 存 到 数 据 库 中 ， 便 于 下 ・ 步 的处 理 。 最 并 以

Ａｂ ｔ ａ ｔ ｓ ｒ ｃ ：Ｔｈ ｅ ｓｏ ｓ ｉ ｅ ｔ ｃ ｔｏ ｓａ ｋ ｙ ｓｅ ｎ Ｗ ｅ ｏ ｉ ｉ ｇ Ｔｈ ｃ ｕ ａ ｙ ｏ ｏ ｔｍ ｉ ｉ ｇ ｉ ｉ ｌ ｅ ｃ ｄ ｂ ｈ ｅ ｓ ｓ ｉ ｎ ’ ｄ ｎ ｉ ａ ｉ ｎ ｉ ｅ ｔ ｐ ｉ ｂ ｌ ｇ ｍ ｎ ｎ ． ｅ ａ ｃ ｒ ｃ ｆｐ ｓ － ｎ ｎ ｓ ｎｆ ｎ ｅ ｙ ｔ ｅ ｉ ｆ ｕ ｑ ａ ｉ ｆ ｔ ｅ ｓ ｓ ｉ ｎ ’ｉ ｎ ｉ ｃ ｔｏ ｉｅ ｔ ． ｈ ｓ ａ ｅ ， ｎａｙ ｅ ｈ ｅ ｅ ｓｏ ｄ ｎ ｉ ｃ ｔｏ ｌ ｏ ｉｈ ｕ ｌ ｙ ｏ ｈ ｅ ｓｏ ｓ ｄｅ ｔ ａ ｉ ｎ ｄ ｒ ｃ ｌ Ｉ ｔ ｉ ｔ ｉ ｆ ｙ ｎ ｐ ｐ ｒｉ ａ ｌ ｚ ｄ ｔ ｒ ｅ ｓ ｓ ｉ ｎ ｉ ｅ ｔ ａ ｉ ｎ ａ ｇ ｒｔ ｍ ｎ Ｄａ ａ ｔ ｉ ｆ ｉ ｔ Ｐ ｅ ｒ ｃ ｓ ｉ ｇ ｏ ｅ ｇ Ｍ ｉ ｉ ｇ Ｆ ｎ ｌ ，ｈ ｅ ｈ ｌ ｔ ｏ ｓ ｃ ｏ ｅ ｎ ｔ ｅ ｓ ｓ ｉ ｎ ｉ ｅ ｔ ｃ ｔ ｎ ｏ ｈ ｉ ｃ ｔ ｎ ｌ ｒ ｐ ｏ ｅ ｓｎ ｆＷ ｂ Ｌｏ ｎ ｎ ． ｉ ａ ｌ ｔ ｒ ｓ ｏ ｄ ｍｅ ｈ ｄ ｉ ｈ ｓ ｄ ｏ ｈ ｅ ｓ ｏ ｄ ｎ ｉ ａ ｉ ｆＡｎ ｕ ｙ ｉ ｆ ｏ Ｖｏ ａ ｉ ａ ｏ
ｌ 引 言 随着 Ｉｔ ｒ ｅ 的 飞 速 发 展 和 人 们 对 信 息 资源 的渴 求 ， ｎ ｅｎ ｔ Ｗｂ ｅ 日志 挖 掘 作 为 数 据 挖 掘 的 一 个 主 题 越 来 越 成 为 人 们 关 注 的焦 点 。 一 般 来 讲Ｗ ｂ ｅ 日志 挖 掘 过 程 主 要 分 为 数 据 预 处 理 、 模 式 发现 、模 式 分 析 ３ 阶段 …。数 据 预 处 理 阶段 是要 个 把 从 各 种 数 据 源 得 到 的使 用 信 息 、 内容 信 息 和 结 构 信 息转 换 成 模 式 发 现 阶 段 需 要 的数 据 抽 象 ；模 式 发 现 阶 段 旨在 使 用 各 种 数 据 挖 掘 技 术 发 掘 隐藏 在 数 据 背 后 的规 律 和 模 式 ； 模 式 分 析 阶 段 旨在 根 据 具 体 的实 际应 用 ，过 滤 掉 在 模 式 发 现 阶 段 没 有 用 的 规 则 或 模 式 ，并 把 有 用 数 据 预 处 理 中 的 会 话 识 别 技术 。 ｅ

信 息 科学 ｝ Ｊ
科
Ｗｅ ｂ日志挖 掘 数据 预 处理 技术 的研 究
任 海 龙
（ 大庆油 田第一采油厂 第二 油矿 ， 黑龙 江 大庆 １３０ ） ６ ０ ０
摘 要： Ｗｅ 在 ｂ数据挖掘研 究领 域中， 数据预处理在 Ｗｅ ｂ日志挖掘过程 中起 着至关重要 的作用 ， 深入探讨 了数据预处理环节 的过程， 并介绍一 种由用户访 问序列直接 生成 用户访 问事务的算法。
关键 词 ： 据挖 掘 ； ｂ日志挖 掘 ； 据 预 处理 数 Ｗｅ 数
多个用 户 。 保存当前路径 Ｐ ｔ； ａｈ １概述 Ｗｅ 数据挖掘是数据挖掘技术和 ｌｔ ｎｔ ｂ ｎｅ ｅ应 ｒ ２ 会话标识。 ． ３ 对于上一步标识出的用户所有 ｐｐ ｔ） ｏ（，： Ｓ Ｐ 用研究相结合的研究领域， Ｗｅ 在 ｂ数据挖掘中， 最 的访问序列， 它们可能超越了很长的时间段， 因此 ｉ Ｐ在 ｐｔ ｆ（ ａ ｈ中） 重要的应用是 Ｗｅ 志挖掘。 ｂ ｂ１ ３ Ｗｅ 日志挖掘与传 可能用户在这个时间段内不只一次访问了该网 从 ｐｔ ａｈ中删去 Ｐ； 统数据挖掘的区别在于数据源不同， ｂ日 Ｗｅ 志挖 站。会话标识的 目的就是将用户的所有访问序列 ＰＰ ＞ｃｉ ； ＝－ ｒｈｌ ） ｄ 掘的对象通常是服务器的 日 志信 息，而传统数据 分成多个单独的用户一次访问序列。为了获得这 ｉ（ ａｋ ｍ ｔＳ ） 触Ⅱ ｆＳ ｅＥ ｐ （） ｔ ｙＩ 果栈空但访 问序列并未 挖掘的 对象多为数据库。 ｂ Ｗｅ 服务器的 日 志 ｅ 个划分 ， ｂ 一个最简单的方法就是定义一个时间段 ， 结束 ， 则将 Ｐ 指向树根结点，ａ 赋为 ０ ｌ ｆｇ ｌ 己 ｏ 载了用户访问站点的信 息， 这些信息包括： 如果用户请求的相邻的任意两个页面之间的访问 访 （ ｆ ｇ￣ ｝ ｌ － ， ａ－ 问者的地址 、 访问时间 、 访问的页面、 页面的大小 、 时间间隔超过了这个时间段 ，则认为用户又开始 １ ３ ． 验 。 算 法 实 现 的操 作 系 统 Ｗｉ— ２实 ｎ 浏览器类型 、响应状态等等。每当站点被访 问一 了一个新的会话 ， 这个时间段， 晴况下选择为 一股 次 ， ｂｌ Ｗｅ ｏ ｇ就在 日志数据库 内追加相应的记录 。 ３ ０分钟。会话标识的 目的就是要创建每一个用户 ｄｗ ２０ Ｓｒｅ， ｏ ｓ０ ３ ｅｖｒ使用编程语言 Ｃ ＋ 编译器 Ｍｉ ＋， — 站点的规模和复杂程度与 日俱增，利用普通 的概 的有意 义的 页面 聚类 。 ｃｏｏｔ ｉ ａ Ｃ ＋ － 图 ３ 表一个网站的拓扑 ｒｓｆ Ｖｓ ｌ ＋ ６ 。 （ ｕ ０ 弋 率方法来统计分析和安排站点结构已经不能满 ２ ４格式化。在数据集完成会｛ 刮 目 之后 ， 会 结构 ， 是一棵普通的树结构 ， 将其转换为－３ 树结 －￣ 足要求。 通过挖掘服务器的日志文件， 得出用户的 话数据必须被格式化成符合相应数据挖掘算法的 构如图 ３） （所示。图 ３ ） 每一结点的 Ｉ １ （中 ｂ 左结点为其 访 问模 式 ，从 而 可以进 一 步分 析 和研 究 日志 记 录 数据模型， 这一步工作称之为数据转化。例如， 进 在图 ３ ） ｆ中的孩子琉 ， ａ 右缝 为其兄弟结点。 的规律 ， 来改进网站的组织结构及典陛能 ， 构造 白 行关联规则挖掘的数据格式和进行序列挖掘的数 适应网站； 还可以通过统计和关联分析 ， 增加个 胜 据格式就可能不同。在数据转化完成之后 ， 可以对 化服务， 发现潜在 的 用户群体 ， 这在电子商务等领 格式化的数据进行｛ 域是 很有 市场 的。 ３算法及实验 ２数据预处理的四个阶段 ３ 算法 。Ｔ １ ． １ ｓＩ 算法是首先把网站的 树形拓扑 数据预处理是在将 １ ３志文件转换成数据库 结构转换为二叉树 的结构 ，然后在二叉树结构上 文件以后进行的， 目的是把 Ｗｅ 志转化为适 根据用户的会话序列得到事务序列。Ｐ ｔ 其 ｂ１ ３ ａｈ中用来 合进行数据挖掘的可靠的精确的数据 。这个过程 存在当前向前的引用路径 ，也就是用户的访问事 主要包括 四个阶段： 数据清理 、 用户标识 、 会话标 务数据，ｅ ｉ 为用户访问序列， 指 向用户访问 Ｓｓ ｏ ｓｎ ｓ 【 一个网站的拓扑结构 ａ ） （） ｂ 转换为二叉树的结构 识和格式化。 序列中的当前结点，ａ 用来表示是否在树中找到 ｌ ｆｇ ２ 数据清理。 ． １ 数据预处理的首要任务是数据 了浏览路径 的第一个结 。Ｔ为树的根结点， Ｐ为 图 １拓扑 结构 转换 为二 又列 清理 ， 在任何形式的 Ｗｅ ｂ日志分析过程中， 清除 指 向树根钴． 的指针 ， 采用二叉链表存储结构。 假如在同—个会话产生的 １志如表 １ ３ 所示。 服务器 日志中不相关数据 的技术是非常重要 的。 获得最大 向前参引路径的算法描述如下 ： 表１ 用户会话 日志 序列 只有当服务器 日志中表示的数据能够准确地反映 初始化栈 Ｓ ｔ 当前会话 页面 请求页面 用户访问 Ｗｅ ｂ站点的情况时 ， 经过挖掘得到的关 Ｐ指向二叉树的根结点 Ｔ Ａ Ｂ ｆ ｇ ０ ｌ －； ａ 联规则才是真正有用的。 Ｂ Ｅ Ｅ Ｉ 由于 Ｈ 丫Ｐ协议是一个面向不连接的协议 ， １ｒ Ｗｈ ｅ ｉ 用户访问序列 Ｓ ｌ 未结束 Ｆ Ｋ 每次客户连接请求完所要的网页后 ，服务器会 自 ｛ｉ（ ｇ ＝９ ｆｎ ＝０ ＝ Ａ Ｃ 动与客户断开连接 ，同时被 申 的网页文件连同 请 Ｉ （｛ 果根的当前结 ｆＰ 础口 １ 与用户访问序列 中 文件上的图片和脚本代码一并被下载到了客户 的当前结点相同， 将其加入到 Ｐ ｔ ａｂ中 这次会话的浏览路径即用户访问序列为 Ａ — 端。在大多数的情况下，只有 Ｈ Ｍ 代码是有用 ＴＬ Ｉ Ｐ ＞ａａ ＊ ） ｆ（－ｄ ｔ Ｓ － Ｂ Ｆ １卜Ｋ Ａ ｃ， ＿ ＿一 — ＿ 通过路径补充技术 ， 得到用户会 的， 并被保存在 １ ３ 志文件中以用于用户的识别。 因 ｆ把 Ｐ加 入 到 Ｐ ｔ ａｈ中 ，Ｓ ＋； 话序列为 Ａ Ｅ 『Ｆ Ｂ ＦＫ ＦＢ Ａ Ｃ， ＋ ｉ ｆ ． 一＿ － ＿ ＿ — ＿ — － 再利用最 此这就要清除日志 中的图片文件，通常清除不相 （ａ＝Ｏ Ｆａ＝ ； ｆｇ＝ ９ ｌｇｌ） １ ： 大前向引用路径算法得 出用户的访问事务为 Ａ — 关数据项可通过检查 Ｕ Ｌ的后缀来实现 ，例如： Ｒ ｐ ｓ（’ ； ｕｈ ｔ） ＳＰ 把当前 绍点压入栈中 Ｂ Ｅ Ｉ Ｂ ＦＫ Ａ ｃ 利用文章中给出的算法， ＿ －、 — ＿ 、－ 。 在 可以把所有后缀是 ｇｆ ｅ ｉ ｐｇ的文件名从 １志数据 ， ｊ ３ Ｐ Ｐ ＞ｃｉ ； ＝ － ｌｈｌ 】 ／ ｄ ／ 指向 Ｐ的左孩子结点 不需要补充路径的情况便可由用户访问序列直接 中清除掉。 ｅｓ ｛ ０ （ Ｆ ｌ ｅ ｐ ｐ Ｌ＇ ｓ ； ∥ 栈顶元素出栈 获得用户的访问事务 Ａ Ｂ Ｆ Ｉ Ｂ Ｆ Ｋ Ａ Ｃ — ． —、 － ＿ 、＿ 。 ２ ． ２用户标识。接下来， 唯一的用户必须被标 并赋 给 Ｐ 因为在数据预处理的过程中省略 了路径补 识出来 ， 也就是说要识别出来具体的用户。 采用的 ＰＰ ＞ｃｉ ； １／ 向 Ｐ的右孩 充的步骤 ， ＝－ ｒｈｌ ｄ 脂 根据用户访问序列直接得到用户的访 方法是使用 Ｉ Ｐ地址 ， ｇｎ 类型以及一些临时信 子结点 Ａｅｔ 问事务，文章中提出的算法使得预处理的过程得 息综合起来标识一个用户。 具体方法是 ： ｅｓ ｉ ｌ ｅ ｆ ｆ ｆ（ ＞ ａａ １ ｉ Ｐ ｄｔ－ Ｓ － 到简化， 从而节约了一定的时间， 提高了整个 日 志 第一步， 如果 Ｉ 地址相 同， Ａ ｅｔ 息中 Ｐ 但 ｇｎ 信 ｆ把Ｐ 加入到 Ｐ ｔ 中， 挖掘的效率。 ａ ｈ 如浏览器软件或操作系统不同则可以假设为不同 Ｓ ： Ｈ 结束语 的两个用 户 。 文章对 Ｗｅ 志挖掘中的预处理模块进行 ｂ１ ３ ｐ ｓ（ｔ） ｕｈ ，； ＳＰ 第二步， Ｉ 地址和 Ａ ｅｔ 如果 Ｐ ｇｎ 信息都相同则 ‘ Ｐ－ ＞ｃｉ ； ＝－ｌ ｌ ｝ Ｐ ｈｄ 了研究 ，且提出了一种由用户访问序列直接生成 判断每一个请求访问的页面与访问过的页面之问 Ｅｓ ｌ ｅ｛ ｐ ｓ（ｔ） ｕｈ ， ； ＳＰ 用户访问事务的算法 ， 这种算法不需要使用路径 是否有链接。如果一个请求访问的页面与上一个 补充技术来补充完整的路径后再进行事务识别， Ｐ Ｐ ＞ｃ ｉ ； － －ｒｈｌ ｝ ｄ 已经访问过 的所有 的页面之间并没有直接 的链 Ｅｓ ｆ ｆ Ｐ ｌ 的前一个结点是左结 从而使得预处理的过程得到简化，提高了挖掘的 ｅ ｉ ｆ 接， 则假设在访问 Ｗｅ 站点的机器上同时存在着 点） ｂ 效 率。

本 文 介 绍 了 Ｗｅ ｂ日志 的 格 式 。 对 Ｗｅ 针 ｂ日志 的 特 点 。 绍 预 处 理 过 程 中一 些 特 殊 情 况 的 处 理 方 法。 介
【 关键 词】 ：Ｗｅ ｂ使用挖掘 ， 数据预处理 ， 最大向前引用， 事务识别
１ 引 言 、
２１清 理 数 据 ． 清 理 数 据 是 指 根据 数 据 挖 掘 的具 体 需 要 展 ， ｎｅ ｍｅ 的 以数 据 库 、 据 仓 库 等 数 据 仓 储 数
技 术 为 基 础 的 信息 系统 在 各 行 各 业 的 应 用 的 加 剧 ．海 量 数 据 不 处 理 ． 除 那 些 不 是 用 户 直 接 点 击 产 生 ． 是 由浏 览 器 自动 ” 删 而 请 断产 生 。Ｉｔ ｎ ｔ 给 人 们 带 来 丰 富 信 息 和 极 大 便 利 的 同 时 ． ｎｅ ｅ 在 ｒ 也 求 ” 而产 生 的访 问 记 录 ． 者 其 他 无用 的数 据 记 录 。主 要从 以 下 或
一
ｍｎｎ）Ｗｅ ｉｉ 、 ｂ结 构 挖掘 ｆ ｂｓｕ ｔｒ ｍｉ ｎ） ｗｅ ｇ ｗｅ ｔ ｃ ｅ ｎ ｇ和 ｒ ｕ ｉ ｂ使 用 记 录 的 规 则 库 。 挖掘 （ ｂｕａｅｍ ｎｎ） Ｗｅ ｓｇ ｉｉｇ。Ｗｅ ｂ挖 掘 的 一 般 过 程 为 ： 据 预 处 理 、 数 （ ）清 理 搜索 引擎 和 离 线 浏 览 软 件对 网站 的访 问 所 产 生 的 ２ 模 式 发 现 、 式 分 析 。 据预 处 理 是 把 从各 种 数 据 源 得 到 的 使 用 记 录 ． 果 这些 记 录不 加 分 辨 直 接 用 于 数 据挖 掘 ． 会 引起 用 户 模 数 如 则 信 息 、内 容信 息和 结 构 信 息 转 换 成 模 式 发 现 阶段 需要 的 数 据抽 访 问模 式 结 果 的 失 真 ．所 以需 要 清 除 这 些 不 是 由人 点 击 产生 的 象 。 １９ ９ ９年 Ｐ ｌ 出 在数 据 挖 掘 过 程 中增 加 数 据 预 处 理 过 程 ． 访 问 记 录 。 ｙ ｅ提 Ｐ ｌ 调 了数 据 预处 理 的重 要 性 ：数 据 预 处 理 过 程 在 数 据 挖 掘 ｙ ｅ强 （ ） 理 产 生 错 误 的访 问 记 录 ， 些 记 录 对 Ｗｅ 日志 挖 掘 ３清 这 ｂ 过 程 中 占据 了 ６ ％的 时 间 Ｃ ｏ ｖ提 出 Ｗｅ ０ ０ｌ ｅ ｂ日志 挖 掘 的数 据预 没 有 意 义 。 以 在进 行 数 据 清 理 的 时候 ． 所 通过 对 日志 中 的状 态 码 处 理 的关 键 任 务 在 于 如 何 修 复 错 误 数 据 和 处 理 缺 失 数 据 Ｔ ｎ 的判 别 来 删 除 服务 器 对 请 求 响应 失 败 的记 录 ａ ａｄＫ ｍ ｎ ｕ ａ意 识 到 Ｗｅ ｂ日志 挖 掘 中 日志 的冗 余 性 ． 理 无 关 据 ： ２２ 用 户 的 识 别 清 ． ｒ ｏ（ 蛛１ ｏ ｔ￣ ｂｓ 和其 它 软 件代 理 的请 求 也应 该 成 为 日志 预 处 理 的任 由于 本 地 缓 存 、 理 服 务 器 和 防火 墙 的存 在 ． 得 有 效 识 别 代 使 务。 用 户 的 任 务 变得 十 分 复 杂 一 般 采 用 的 方法 是基 于 日志 站 点 的

要 步骤 进行 了细致 的分 析 。
数 据 预处 理 的第 一 步 就 是 数 据 清 洗 。数 据 清
洗就是 删 除 Ｗｅ ｌ ｂ Ｅ志记 录 中与 数 据 挖 掘 不 相关 的 数据 。要 实现数 据 清洗 ， 键 是 利 用一 些 规 则 建 立 关
过滤 条件 表 ， 据 过 滤 条 件 表 过 滤 掉 无 关 的数 据 。 根
第１ ２卷
第８ 期
２１ ０ ２年 ３月
科
学
技
术
与
工
程
Ｖｏ ２ Ｎｏ ８ Ｍ ａ ．２０１ Ｌ１ ． ｒ ２
１ ７ — １ １ （ ０１ ０ — ９ ８ ０ ６１ ８ ５ ２ ２） ８ １ ２ — ４
Ｓ ｉｎ ｅ Ｔｅ ｈ ｏ ｏ ｙ ａ ｃｅ ｃ ｃ ｎ ｌ ｇ ｎｄ Ｅｎｇｎ ｅ ｉ ｉｅ ｒｎｇ
Ｃｏｉ， ｏｋｅ就使 得服 务器 无法 识 别准 确 用 户 ， 另外 很 多
２ 会话识别方法改进
传统 的会 话 识 别 方 法 对 所 有 页 面使 用 单 一 的 固定 阈值 进行识 别 ， 不 区分 用 户 所 访 问 的是 什 么 并
类 型 的网 页 以及 页 面 的 重 要 程 度 。在 这 里提 出 一
上 的 日志 文 件 中 留下 访 问行 为 。Ｗｅ ｔ 挖 掘 就 ｂ Ｅ志
原始 Ｗｅ
、
Ｉ
是通 过统计 、 联 、 关 聚类 等 数 据 挖 掘算 法 挖 掘 这 一 行为 当 中 的规 则 性 ， 发 现 用 户 网络 访 问 行 为 模 来
竖兰查 ！
数据清洗
式 。挖掘 出来 的模 式 对 于 门 户 网 站 和 电子 商 务 类 网站 来说 ， 以更好 地发现 潜在 客 户群 及用 户 的兴 可 趣所 在 ， 高 网站 的服 务质量 ， 提 改善 系统 性能 。

； 还可以通过统计和关联分析，
增加个性化服务， 发现潜在的用户群体， 这在电子商务等领域 *+, 日志挖掘主要分为三个步骤： ・ 数据预处理。根据挖掘的目的， 对原始 *+, 日志文件 中的数据进行提取、 分解、 合并， 最后转化为适合进行数据挖 掘的数据格式， 并保存到关系型数据库表或数据仓库中， 等待 进一步处理； ・ 模式识别。运用各种算法对处理后的数据进行挖掘， 生成模式； ・ 模式分析。进行用户访问模式的分析， 从而将有价值 的模式提取出来的过程。 其中， 数据预处理这个环节是整个过程的基础和实施有 效挖掘算法的前提， 在 *+, 日志挖掘中起着非常重要的作 用。原始日志文件是简单的平面文本文件， 包含了一些不完 整的、 冗余的、 错误的数据， 需要进行处理， 否则将会直接影响
%! 引言
随着 A=G+I=+G 技术的发展， 网络资源也在飞速地增长， 如 何开发和利用这些丰富的资源就成了人们普遍关注的问题。 于是， 数据挖掘技术和 A=G+I=+G 应用研究的结合构成了当今比 较活跃的一个研究领域— — —*+, 数据挖掘。 在 *+, 数据挖掘中， 最重要的应用是 *+, 日志挖掘， 即 通过挖掘服务器的日志文件， 得出用户的访问模式， 从而可以 进一步分析和研究日志记录的规律， 来改进网站的组织结构 及其性能， 构造自适应网站
图 !" 某个网站的拓扑结构图
当然， 这些规则并不能非常准确的识别出每一个用户。 例如， 一个用户使用多种浏览器或者直接在地址栏中 输 入 GKL 信息， 此时会被认为是多个用户； 具有相同 AD 的用户使 用同种操作系统和同种浏览器浏览网站， 并且浏览的页面集
万方数据 目的是为了进行网络流量分析或为页面缓冲与预取提供依据