Web挖掘

◎艺 科 论 坛 ◎
浅 析 Ｗｅ ｂ内容 挖 掘 技 术
崔 敏
（ 东 营 职业 学 院 教 师 教 育 学 院 ， 山东 东 营 ２ ５ ７ ０ ９ １ ）
摘 要： 随着因特 网的飞速发展 ， 各种信息可以以非常低的成 本在 网络 上获得 ， 这样 因特 网的迅 速 发 展 对 万维 网信 息 的查 找 与 发 现提 出 了巨大的挑 战 。对 于大 多数 用户提 出的与主题 或领 域相 关 的查询 需求 ， 传统 的通 用搜 索 引 擎往 往 不 能提 供令 人 满 意 该 词 汇 现的位 置和 卜 下 文环境 、属忡 ｔ Ｊ ‘ 以是 布尔 型 ， 根据 词 汇是 否 在 文档 中出 现而 定 ， 也口 ｒ 以有 频 度 ， 即 该词 汇在 文档 中 的出现 频 率 。这种 方 法 可 以扩 展 为选 择 终 结符 、 标点 符号 、 不常用 词 汇的 属性 作 为 考察 集 合 。词 汇袋 方 法 的 一 个 弊端 是 自由文 本 中的数 据 丰 富 ， 词 汇 量 非常 大 ， 处理 起 来很 困难 ， 为解 决这个 问题 人们 做 ｒ 相应 的研 究 ， 采取 了 不 同技 术 ， 如信 息增 益， 交叉 熵 、 差异 比等 ， 其 目的都是 为 了减少 属性 。另 外 ， …・ 个 比较 有意 义 的方法 是潜在 语 义索 引 （ Ｌ ａ ｔ ｅ ｎ ｔ Ｓ ｅ ｍ ａ ｎ ｔ ｉ ｃ Ｉ ｎ ｄ ｅ ｘ ｉ ｎ ｇ ） ， 它 通过 分析 不 同文档 中相 同主题 的共 享词 汇 ， 找 到他们 共 同 的根 ， 用 这个 公共的根代替所有词汇 ， 以此来减少维空问。例如： “ ｉ ｎ ｆ ｏ ｒ ｍ ｉ ｎ ｇ ” 、 “ ｉ ｎ ｆ ｏ ｒ ｍ ａ ｔ ｉ ｏ ｎ ” 、 “ ｉ ｎ ｆ ｏ ｒ ｍ ｅ ｒ ” 、 “ ｉ ｆｏ ｎ ｒ ｍ ｅ ｄ ” 可 以用 他 们 的根 “ ｉ ｎ ｒ ｆ Ｉ ｌ ” 来 表示 ， 这样可以减少屙ｌ 生集合的规模。其他的属性表示法还有词 汇在 文档 中的 出现位 置 、 层 次关 系 、 使 用短语 、 使用 术 语 、 命 名 实体 等， 目前还 没有研 究 表明一 种表 示法 明显 优于 另一种 。 ４ 用 资 源查 找 （ Ｉ ｆｏ ｎ ｒ ｍ ａ ｔ ｉ ｏ ｎ Ｒ ｅ ｔ ｒ ｉ ｅ ｖ ａ １ ） 的观 点 挖 掘 半 结 构 化

２ ２异 构数 据库环 境 ．
２ Ｗｅ ｂ数 据 的特 点
Ｗｅ 术 做 为 ｌ｜Ｉ＂飞速 发 展 的 产 物 ， 信 ｂ技 ｉＲ ｒ＇ ｔ ｌｌ 对 息 在社 会 中 的传播 起 刘 Ｊ很重要 的 作Ｊ ． 佰于各 ｆ分 ］ Ｗ 点上 的数 据 ｆ ｊ １ 的特 点＿Ｉ。 的可 以 ｂ站 １ ’ ［身 ２．ｔ
Ｗｅ 数据挖掘 ｂ
Ｔ３ １ Ｐ １
三类 ， 自有其 相关技术 ， 各 随着 Ｉｔ ｅ 的发展 ， ｂ 据挖掘有着越来越广 泛的应用 。 ｎｍｔ ｅ Ｗｅ 数 关键词 分类 相关技术
中 图分 类 号
Ｔｈｅ Ｔｅ ｈ ｏ ｏ ｙ ａ ｃ ｎ ｌ ｇ ｎｄ Ａｐｐ ｉａ ｉ ｎ ｏ ｅ ｔ ｉ Ｉ ｌｃ ｔｏ ｆＷ ｂ Ｄａ ａ Ｍ ｎｉｇ ｌ
Ｗｉ ｅ ｄ ｖ ｌｐ ｅ ｔｏ ｎｅ ｔ ｔ ｔ ｅ ｅｏ ｍ ｎ ｆｌ ｔｍｅ ，Ｗｅ ａａｍ ｎ ｎ ｉ ｅ ｕ ｅ ｒ ｎ ｒ ｎ ｄｆ ｒｎ ｅｄ ． ｈｈ ｂ ｄ ｔ ｉｇ ｗｌ ｂ ｓ ｄ ｍｏ ａ ｄ ｍｏ ｉ ｉ ｅ ｔ ｌｓ ｉ ｌ ｅ ｅ ｅ ｆ ｉ Ｋｅ ｒ ｓ Ｗｅ ａａ ｍ ｎｎ ，ｋｎ ，ｃ ｒ ｌｔ ｅ ｔｃ ｎ ｌｇ ｙ ｗｏ ｄ ｂ ｄ ｔ ｉ ｇ ｉｄ ｏｒ ａ ｖ ｅ ｈ ｏｏ ｙ ｉ ｅ ｉ
维普资讯
２ ０
汁算 机 与 数 字 工 程
第 ３ 卷 ４
Ｗｅ 据 挖 掘 技 术 及 应 用 ｂ数
马保国 侯存 军 王文丰 钱 方正
武汉 ４０ ７ ） ３００ （ 武汉理工大学硅酸盐材料工程教育部重 点实验室
摘
要
Ｗｅ 数据挖掘是数据挖掘技术在 Ｗｅ ｂ ｂ信息集合上 的应 用 ， ｂ数据 具有本身的特点 ， ｂ数据 挖掘可 以分 为 Ｗｅ Ｗｅ

息， 是数 据挖 掘技 术 在 Ｗｅ 境 下 的应 用 。它 是 一 ｂ环
项综合技术 ， 涉及网络技术 、 算机语言学 、 计 信息统
计 学 、 据挖 掘 等学科 。 为 电子 商务 的 主要 应用 技 数 作 供 强有 力 的支持 和可 靠 的保 证 。
２ Ｗｅ ｂ数 据挖 掘 的分 类
０ 引 言
ｗｅ 据挖 掘 ， 从 大量潜 在 的 Ｗｅ ｂ数 是 ｂ文档 和相
电子 商务 的快 速 推进 ， 各 企 业 产生 了 巨量 的 使
关数 据 中发 现 、 取人 们感兴 趣 的 、 提 有用 的规律 或 信
业务数据。 在这些数据 中隐藏着许多重要信息 ， 如何
能将这 些信 息从 数据 库 中抽 取 出来 ，供 企业 决策 者 分析参 考 ，以便科 学合 理 地制 订 和调 整营销 策 略， 为
＆ Ｔ ｃ ｏｏ ｓｕ Ｊ ｎ ｘ ｎ ｈ ｎ ３ ０ ５ ｅｈ ｌｇ Ｍｕｅ ｍ， ｉ ｇ ｉ ｃ ａ ｇ ０ ２ ） ｎ ｙ ａ Ｎａ ３
摘
要 ： ｂ数据 挖 掘技 术 在 电子 商务 中的应 用越 来越 广 泛 ， 已成 为 现代 电子 商 务企 业获 取 市 场信 息 Ｗｅ
极为 重要 的工具 。本文 简 要介 绍 了 Ｗｅ ｂ数据 挖掘 的定 义等 相关 内容 ， 并对 Ｗｅ ｂ数据 挖掘 技 术在 电子 商务领
可分为 Ｗｅ 文本挖掘和 Ｗｅ 多媒体挖掘 ，分别对 ｂ ｂ
３ 查询数据 ． ５
应 Ｗｅ 站点上的文本信息和多媒体信息。 ｂ ２ ｂ ．Ｗｅ 结构挖掘 ２
是挖掘 Ｗｅ 潜在的链接结构模式 ， ｂ 可以总结网 站 和 网 页 的结 构 ， 现 网 页之 间 的联 系 ， 对 Ｗｅ 发 是 ｂ

基于Web的数据挖掘及其应用摘要：web数据挖掘，就是利用数据挖掘技术自动地从网络文档以及服务中发现和抽取信息的过程。

本文笔者首先对web数据挖掘的涵义、产生原因、特点以及其特殊的要求做了具体的介绍，然后以其在网络教育和电子商务中的应用重点阐述web数据挖掘的应用价值。

关键词：web数据挖掘；信息；网络教育；电子商务中图分类号：tp274 文献标识码：a 文章编号：1007-9599 （2012）19-0000-021 引言数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机数数据中提取隐含在其中的、人们事先不知道的但又是潜在有用的信息和知识的过程。

包括存储和处理数据，选择处理大数据集的算法、解释结果、使结果可视化。

数据挖掘是一种新的商业信息处理技术，其主要特点是对商业数据库中的大量业务数据进行抽取、转换、分析和其他模型化处理，从中提取辅助商业决策的关键性数据。

利用功能强大的数据挖掘技术，可以使企业把数据转化为有用的信息帮助决策，从而在市场竞争中获得优势地位。

随着信息技术的飞速发展，网络信息搜集的需求与收集结果低效性的矛盾迫切需要对网络资源的整序与检索。

所以传统数据挖掘掘技术不断完善和应用。

web挖掘就是时代发展的典型产物。

web数据挖掘采用数据挖掘等信息处理技术，从web信息资源及web使用记录中发掘对特定用户感兴趣的、有用的信息或知识的过程，其结果可以为用户决策所使用。

这里所讲的web信息，从广义上讲，包括web文本，web图片，web动画（如flash广告，视频信息）等。

换言之，基于web数据挖掘，就是利用数据挖掘技术自动地从网络文档以及服务中发现和抽取信息的过程。

有学者认为其是在大量已知数据样本的基础上得到数据对象间的内在特性，并以此为依据在web中进行有目的的信息提取过程。

同时，也有学者将网络环境下的数据挖掘归入网络信息检索与网络信息内容的开发等等。

总之，基于web的数据挖掘（web mining）正是从万维网（world wide web）上获取原始数据而从中挖掘出隐含其中且潜在可用的知识最终应用于商业运作以满足管理者的需要。

擎加入索引的速度增 长； ２ 搜索结果的不准确性 ： （） 由于各搜
索 引 擎使 用 的信 息 搜 集 算 法 并 不 是 完 全 的 匹 配 算 法 从 而 使
得在给用户提供了有用信息的同时夹杂 了大 量的无用信息 ； （） ３ 不能提供多媒 体搜索服 务 。如何快 速 、 确地获得 有 准
价 值 的 网络 信 息 ， 何 理解 已有 的 历 史 数 据 并 用 于 预 测 未 来 如 的行为， 如何 从 这 些 海 量 数 据 中 发 现 知 识 ， 何 给 用 户 提 供 如 个性 化 的服 务 以 及 从 网上 产 生 新 的 知 识 是 网 络 用 户 的 新 要 求 。Ｗｅ 据 挖 掘技 术 在 某 种 程 度上 解 决 以上 问题 。 ｂ数
Ｖｏ ． Ｎｏ ２ １ ８． ．
Ｊｎ ２０ ｕ ．，０ ８
文 章 编 号 ：６ １ ４４ （０ ８ ０ ０５ —０ １７ — ６４ ２０ ）２— ０ ５ ３
Ｗｅ ｂ数 据 挖 掘 技 术 综 述
李 娟 ， 董 军
（ ． 陵科技 学院 １金 信 息技 术 学院 ， 苏 南京 江 ２００ ； １０ １ ２０９ ） １０ ４ ２ ．南京理 工大 学 计 算机科 学与技 术 学院 ， 苏 南京 江
摘
要 ： 于 大型 数 据 库 的 不 断 涌现 和数 据 挖 掘 的 应 运 而 生 ， 述 了 Ｗｅ 基 综 ｂ数 据 挖 掘 的基 本 概 念 ， 并提 出一 种 基 于 Ｗｅ ｂ
服 务 的数 据 挖掘 体 系 。 关键 词 ： ｂ 据 挖 掘 ； 据 挖 掘 ； ｂ服 务 Ｗｅ 数 数 Ｗｅ 中 图分 类 号 ：Ｐ １ ．３ Ｔ ３ １ １ 文 献 标 识 码 ： Ａ
在 这 被 称 之 为信 息 爆 炸 的 时 代 ， 息 过 量 几 乎 成 为 人 人 信 需要 面对 的 问题 。如 何 才 能 不被 信 息 的 汪 洋 大 海 所 淹 没 ， 从

【 关键 词 】Ｗ Ｅ Ｂ数 据 技 术应 用
中图分类号 ：Ｔ Ｐ ３ １ １文献标识码：Ｂ 文章编号：１ ０ ０ ９ － ４ ０ ６ ７ （ ２ ０ １ ３ ） １ ５ ． ３ ２ ． ０ ２
一
、
Ｗｅ ｂ数据挖掘的难点
下特点：
ｗｅ ｂ上有海量的数据信息 ，怎样对这些数据进行复杂的应用成了现 今数据库技术 的研究热点。数据挖掘就是从大量的数据 中发现隐含 的规 律性 的内容 ， 解决数据的应用质量问题。充分利用有用 的数据 ， 废弃虚 伪无用的数据 ，是数据挖掘技术的最重要 的 应用 。相对 于 Ｗｅ ｂ的数据而
因为如果所需 的数据不能很有效地得到，对这些数据进行分析 、 集成 、
处理就无从谈起。．
（ 二 ）半结构化 的数据结构
搬用于数据库的数据挖掘技术。
ｌ 、Ｗｅ ｂ 挖掘技术 的分类
一
Ｗｅ ｂ上的数据与传统 的数据库 中的数据不同 ， 传统的数据库都有一 定 的数据模型 ，可以根据模型来具体描述特定的数据。而 Ｗｅ ｂ 上 的数据 非常复杂 ，没有特定 的模型描述 ，每一站点的数据都各 自 独立设计 ，并
ｗｅ ｂ 内容挖掘有两种策略 ： 直接挖掘文件的 内容，或在其他工具搜 索的基础上进行改进 。采取第 １种策 略的有锁定网络的查询语言 Ｗｅ ｂ Ｌ ｏ ｇ 、Ｗ ｅ ｂ Ｓ ｈ ｏ ｙ 等 ；采 取第 ２种策略的方法 主 要是对查找引擎的查询结果进行进一步的处理 ，
１ 、庞大性。由于 ｗｅ ｂ的开放性 ，使得 ｗｅ ｂ 上的信息与 臼俱增 ，呈
爆炸性增长。网上的网页数量达到 ｌ ０亿 ，而且正在以每月近千万的速度 增长。
２ 、 动态性 。 ｗｅ ｂ 不仅以极快的速度增长 ， 而且其信息还在不断地发 生更新。新 闻、 公 司广告、股票市场 、Ｗｅ ｂ服务中心等都在不断地更新

引 擎 信息 检索 的质 量 。 用 Ｄ 表 示 Ｃａ ｌｒ 第 ｉ 下 载 数 据 集 ， 包 含 了 ｊ 页 面 ： ； ｒｗ ｅ 的 次 它 个 Ｄ ｄ ｄ …ｄ｝ 和 ｊ 产ｆ 。ｉ ． ， 分别 代 表 下 载 次 数 和 每 一 次 下载 的 页 面 数 ， Ｗｅ ｂ数 据 挖 掘 （ ｂｄ ｔ ｍｉｉｇ 是 从 大 量 的 Ｗｅ Ｗｅ ａａ ｎｎ ） ｂ文 档 集 合 中 ， 。 ． 次 个 Ｒ Ｐ 表示 第 ｉ 的 所 有 页 面 的 Ｐ 次 Ｒ 通 过 对 各 种 网页 、 据 库 、 ｅ 数 Ｗ ｂ链 接结 构 、 户 信 息 等 分 析 ， 发 现 其 Ｐ 表 示 第 ｉ 的 第 ｉ 页 面 的 ｐ 值 ，。 用 去 则 ｉ｛ｉ ＇ 胁 Ｐ， 一个 Ｕ Ｌ的 Ａ Ｒ Ｒ值为 Ａ Ｐ ｓ ｅｆ ） 中 Ｐ Ｒ＝ Ｒｘｉ ｏ（ ， ｚ Ｄ其 Ｒ 中蕴 藏 的 、 知 的 、 潜 在 应 用 价 值 的 、 平 凡 模 型 （ａｔｒ ） 按 照 处 值 ， Ｐ：ｐｌ …， ｝ 未 有 非 Ｐｔｎ 。 ｅ ＲＬ的 Ｐ ｇＲ ｎ ａｅ ａｋ值 ， ｚｏ（） Ｗｅ ｓ ｅｆ 是 ｉ Ｄ ｂ文 档 集 页 面 的 总 量 。 终 得 到 最 理 对 象 的 不 同 ，将 Ｗｅ ｂ数 据 挖 掘 分 为 Ｗｅ 内容 挖 掘 （ ｂＣ ｎｅ ｔ 是 Ｕ ｂ Ｗｅ ｏ ｔｎ 个 页面 的 Ｐ 修 正值 Ｐ Ｒ Ｒ ＭｉｉｇＷ ｅＣ 和 Ｗｅ ｎｎ ， ｂ Ｍ） ｂ结 构挖 掘 （ ｂＳｒｃｕｅＭｉｉｇ ＷｅＳ 。其 Ｗｅ ｔ ｔｒ ｎｎ ， ｂ Ｍ） ｕ 中 Ｗｅ ｂ结 构 挖 掘 是 从 Ｗｅ ｂ结 构 和 链 接 关 系 中 ． 现所 需 要 的 信 息 。 发 斯 Ｐ
更 加 提 高 了 ｗｅ 索 的精 确 度 。 ｂ检

把具有一定支持度和信任度的相关联的 爱好等 。 用户交易数据主要是用户的历史购买信 息 ． 如商品代码、 如超市 中货架摆布一样 ， 物品放 在一起有助于销售 。网站管理 员也可以按照大多数访 问者 的浏览模式对 网站进行组织 ．按其所访 问内容来裁 剪用户与 Ｗｅ ｂ 二 ，挖掘过程
Ｗｅ 数据挖掘遵循传统数据挖掘的研 究思路 ．挖掘过程分三 信息空间的交互 ，尽量 为访问者的浏览提供方便 。网站如果能够 ｂ 让 客户轻 易地访 问到想访问的页面 ．就能给 客户 留下好的印象 ． 个 步 骤 ：数 据预 处 理 、模 式 发 现 和模 式 分 析 。
的东 西也 无异 于 大海 捞 针 。Ｗ ｅ 数 据 挖掘 是 解 决 这 些 问题 的 重 要 进 行 分 析 ．先 将 数据 导 入 多 维数 据 立 方体 中 ．再 利 用 Ｏ Ａ ｂ Ｌ Ｐ工具
途径 之 一 。
一
进 行分 析 并 提 供 可 视 化 的 结 果 输 出 。
、
Ｗｅ 数据挖掘的数据源 ｂ
户的访问日志信息 。用户每访问一个页面 ．服务器 日志中就会增
加一条记录 。不同服务器产品 日志格式不同 ．但通常包括访问者 定 分 类 的 关键 属 性 及 相 互 关 系 这 样就 可 以对 一 个 新 的访 问者 进 的 Ｉ 地址 、访问时间 访问方式、访 问的页面 、协议、错误代 行分类 ， Ｐ 然后根据分类判断新客户的属性 ．决定是否把这个新客 ｌ 就可 以向这个客户展示 码及传输的字节数等信息 。通过 Ｅ志文件得到查询数据 ，是电子 户作为 Ｅ标客户来对待 。若 为目标客户 ． ｌ 商务网站在服务器上产 生的一种典型数据 ． 是在线客户查询需要 的信息 时生成的。
的 问题 提 供 了有 效途 径 。 本 文 分析 了 Ｗ ｂ 据 挖 掘 及 其 电 子 商 务在 电子 商 务 中 的应 用。 ｅ数

中图分类号: T P 3 文献标识码: A
(， 武汉理工大学: 2 . 南阳师范学院计算机与信息技术学院) 要: W e b 数据挖掘是目前信息技术中的研究热点，它是现代科学技术相互渗透与融合的结果。本文介绍了W e b 数据挖
文章编号: 16， 379 1(2007)05(b )一 5一 1 2一 冈， 0
李争 . ， 艳，
1 引言 随着I t rne 的飞速发展， ne t Web 上的数 据资源空前丰富，在这些大量、异质的 W e b 信息资源中，除了丰富的各种文本、 图形图像、声音等煤体信息外，还包含了 大量的常被人们所忽视的链接结构信息以 及存在于服务器上的用户使用记录信息，
这些庞大的数据包含了非常丰富的有用信 息，构成了数据挖掘的巨大数据来源，蕴 藏着具有惊人潜在价值的知识. 数据挖掘就是从大量的数据中发现隐 含的规律性的内容，解决数据的应用质量 问题。充分利用有用的数据 ，废弃虚伪无 用的数据，是数据挖掘技术的最重要的应 用。相对于We b 的数据而言，传统的数据 库中的数据结构性很强，即其中的数据为 完全结构化的数据，而 W e b 上的数据最大 特点就是半结构化。显然，面向We b 的数 据挖掘比面向单个数据仓库的数据挖掘要 复杂得多。
在网站设计方面的应用，主要是通过对 网站内容的挖掘，特别是对文本内容的挖 掘，可以有效地组织网站信息，如采用自 动归类技术实现网站信息的层次性组织。 通过对用户访问日 志记录信息的挖掘，把 握用户感兴趣的信息，从而有助于开展网 站信息推送服务以及个人信息的定制服务， 吸引更多的用户。
3 2 在搜索引攀中的应用
1 丁技 术
20O7 NO . 1 4 义 〕 NC E & T〔 卜 汇 !E C 小 汇() 〕 INF 以刁 A T1 N Y M 0

面向Ｗｅｂ的数据挖掘技术[摘要] 随着internet的发展，web数据挖掘有着越来越广泛的应用,web数据挖掘是数据挖掘技术在web信息集合上的应用。

本文阐述了web数据挖掘的定义、特点和分类，并对web数据挖掘中使用的技术及应用前景进行了探讨。

[关键词] 数据挖掘web挖掘路径分析电子商务一、引言近年来，数据挖掘引起了信息产业界的极大关注，其主要原因是存在大量数据，可以广泛使用，并且迫切需要将这些数据转换成有用的信息和知识。

数据挖掘是面向发现的数据分析技术，通过对大型的数据集进行探查。

可以发现有用的知识，从而为决策支持提供有力的依据。

web目前已成为信息发布、交互和获取的主要工具,它是一个巨大的、分布广泛的、全球性的信息服务中心。

它涉及新闻、广告、消费信息、金融管理、教育、政府、电子商务和其他许多信息服务。

面向web的数据挖掘就是利用数据挖掘技术从web文档及web服务中自动发现并提取人们感兴趣的、潜在的有用模型或隐藏的信息。

二、概述1.数据挖掘的基本概念数据挖掘是从存放在数据库、数据仓库、电子表格或其他信息库中的大量数据中挖掘有趣知识的过程。

数据挖掘基于的数据库类型主要有: 关系型数据库、面向对象数据库、事务数据库、演绎数据库、时态数据库、多媒体数据库、主动数据库、空间数据库、遗留数据库、异质数据库、文本型、internet 信息库以及新兴的数据仓库等。

2.web数据挖掘web上有少量的数据信息，相对传统的数据库的数据结构性很强，即其中的数据为完全结构化的数据。

web上的数据最大特点就是半结构化。

所谓半结构化是相对于完全结构化的传统数据库的数据而言。

由于web的开放性、动态性与异构性等固有特点，要从这些分散的、异构的、没有统一管理的海量数据中快速、准确地获取信息也成为web挖掘所要解决的一个难点，也使得用于web的挖掘技术不能照搬用于数据库的挖掘技术。

因此，开发新的web挖掘技术以及对web文档进行预处理以得到关于文档的特征表示，便成为web挖掘的重点。

技 术 和 Ｗｅ ｂ结合 起 来 。 文 主 要 从 Ｗｅ 本 ｂ内容 挖掘 、 构 挖 掘 和使 用 挖 掘 三 个 方 面 阐 述 ｗ ｂ数 据 挖掘 的 基 本 知 识 。 结 ｅ
【 关键字 】 Ｗｅ 挖掘 ， ｂ内容挖掘 ， ｂ结构挖 掘 ， ｂ使 用挖掘 ： ｂ Ｗｅ Ｗｅ Ｗｅ
当前 网络 发 展 迅 速 。 种 网站 比 比皆 是 ， 容 纳 了海 量 的 各 于文件格式的挖掘和研究。其 主要作用有 ： 发现 隐藏 的知识 ： 各 它 ①
入 口到 目标 网页 所 需 的 点 击数 和浏 览 者 平 均 的点 击 数 ．我 们 会 得 到 一 些 怎 样 设 计 好 的 网 络 站 点和 怎 样 链 接 网 页 的建 议 。 １Ｗｅ ． ｂ内容 挖 掘 （ ｂＣ ｎｅ ｔ ｎｎ ） Ｗｅ ｏ ｔｎ ｉｇ Ｍｉ （１ ２目标 页 浏 览 者 通 常花 费大 量 的 时 间 在 目标 页 上 。 目标 Ｗｅ 容挖 掘 是 从 大 量 的 Ｗｅ 据 中发 现 信 息 、 取 有 用 页 一 般 是 固定 的 ， 一 网 页实 际 上 给 浏 览 者 提 供所 需 要 的 信 息 、 ｂ内 ｂ数 抽 这 知 识 的过 程 。 这些 数 据 既有 文本 数 据 ， 有 图形 、 也 图象 、 语音 等 多 娱 乐 和 商 品 等 内容 。 媒 体数 据 ； 有 来 自数 据 库 的 结构 化 数 据 ， 有半 结构 化数 据 和 既 也 （１ 成 功 能 某个 网站 的局 部 功 能 很 大 程 度 上 依 赖 于 它 的 ３形 无 结 构 的 自由 文本 。 就 其 挖 掘 内容 而 言 。 分 为 Ｗｅ 可 ｂ文 本 文 档 用 途 。 网站 有 许 多不 同 的模 型 。 个零 售 站 点 可 能 都 是 以 同 样 的 一 和 多媒 体 文 档 ； 就其 方 法 而言 ， ｂ内容 挖 掘可 分 为信 息查 询方 方 式 列 出商 品 页 面 ．并 且 建 立 了 一 个存 储在 关 系 数 据 库 中 的商 Ｗｅ 法 和数 据库 方 法 两 大 类 。 品 和 价 格 的桥 梁 。有 一些 会 模 拟 离 线 资 源 。 报 纸或 杂志 。其 它 如 １１Ｗｅ ． ｂ文 本 挖 掘 的 则 包 含 可 构 建 的会 话 ．这 些 会话 能够 定制 并能 以 多 种方 式排 Ｗｅ ｂ文本 挖 掘 是 以计 算 语 言 学 、 计 数 理 分析 为 理 论 基 础 ， 列 。 足 特 殊 用 户 的 需 求 。 些 站点 例如 Ｙ ｈｏ ｏ 等 。 统 满 这 ａｏ ． ｒ ｃｎ 结 合 机器 学 习和 信 息 检 索 技 术 ．从 大 量 的 文本 数 据 中 发现 和提 ３Ｗ ｅ ． ｂ使 用 挖 掘 （ ｂＵｓｇ ｎｎ Ｗｅ ａ ｅＭｉｉｇ） 取 隐 含 的 、 先 未 知 的 知 识 ， 终 形 成 用 户 可 理 解 的 、 价 值 的 事 最 有 Ｗｅ ｂ使 用 挖 掘 过 程 ， 简单 地 讲 分 四个 阶 段 ： 数 据 的 收 集 、 源 信 息 和 知识 的过 程 。 数据 的预 处理 、 据挖掘和对挖 掘出来 的模式 进行分析 ， 数 如图 ２ 内容 挖 掘 大 多是 基 于 文本 信 息 的挖 掘 。 按 照 文本 挖 掘 的对 所 示 ： 象 可 把 文本 挖 掘 分为 ：基 于单 文 档 的数 据 挖 掘 和 基 于 文 档 集 的 数 据 挖 掘 。基 于单 文 档 的数 据 挖 掘 对 文 档 的 分 析 并 不 涉 及 其 他 的 文档 ． 主要 的 挖 掘 技 术 有 ： 本 摘 要 、 息 提 取 等 。 其 文 信 基于 文 档 集 的数据挖掘是对大 规模 的文档数 据进行模式抽取 ．其主要的 技 术 有 ： 本 分类 、 本 聚 类 、 性 化 文 本 过 滤 、 档 作 者 归 属 、 文 文 个 文 因 素分 析 等 。从 功 能 上 。 ｂ文本 挖 掘 主要 是 对 Ｗｅ Ｗｅ ｂ上 大 量 文 本集 合 的 内容 进 行 总 结 、 类 、 类 、 联 分 析 以及 运 用 Ｗｅ 分 聚 关 ｂ文

2008年第4期Web 日志挖掘技术研究王丽娜(河南司法警官职业学院,河南郑州450002)摘要:Web 日志挖掘已成为目前研究的热点课题,本文系统分析了Web 日志挖掘过程中各环节的关键技术,从数据预处理到模式发现再到模式分析,并提出了一个基于Web 日志挖掘的应用模型。

关键词:Web 日志;数据挖掘;模式发现中图分类号:TP311:TP39文献标识码:AResear ch Of Web Log MiningWANG Li-na(Henan Judicial Police Vocatio nal College ,Henan Zhengzhou 450002)Key wor ds:w eb log;data mining;patterns discovering作者简介王丽娜(3),女,河南省开封市人,硕士,讲师,主要研究方向网络技术、数据挖掘。

信息安全技术及应用1引言随着WWW 技术的迅猛发展,Internet 上的信息量剧增,Web 日志挖掘已经成为一个热门的研究领域。

W eb 日志挖掘,是指对用户访问Web 时在服务器上留下的访问日志进行挖掘,挖掘的目的是在海量的Web 日志数据中自动、快速地发现用户的访问模式,优化站点结构、提高用户查找信息的质量和效率和进行个性化服务等。

本文主要对W eb 日志挖掘的整个过程的关键技术进行分析和探讨。

2Web 服务器日志Web 日志,是指在服务器上有关Web 访问的各种日志文件,包括访问日志、引用日志、代理日志、错误日志等文件。

这些文件里包含了大量的用户访问信息,如用户的IP 地址、所访问的URL 、访问日期和时间、访问方法(G ET 或POST )、访问结果、访问的信息大小等。

最常见的日志格式分为两种:通用日志格式CLF 和扩展日志格式ECLF 。

两者的主要区别是在扩展日志中有引用项和客户端浏览器信息。

下面,是一条Web 服务器日志(M icrosoft IIS 日志文件):2006-10-1908:57:44202.196.32.25GET /Default.asp -80-202.196.41.251Mozilla4.0+(compatible Z +MSIE +6.0Z +Windows+NT+5.0Z +.NET+CL R+1.1.4322)20000由于HTT P 的无状态连接性,很难得到准确的用户浏览信息,所以应从Web 站点的结构出发,多方面地进行日志数据收集,包括服务器端、客户端、代理服务器端的数据收集。

一
请求和浏览过程中的点击流， 这部分数据主要用于考察用户的行为表现 。 （） 挖 掘 对 所 得到 的 信 息进 行 挖掘 ， 现普 遍 的模 式 。 ３数据 发 （） 分 析：对 挖掘 出的 结果 ， ４结果 即普 遍 模 式进 行 确认 或者 解 释 ， 分 将
析所 得 到的知 识 和模 式用 于 网站 的设 计 和改造 中去 。 １ ３Ｗ ｂ ． ．ｅ 数据 挖 掘 的 主 要技 术 Ｗ ｅ 数 据挖 掘 中常 用 的技 术 有路 径 分 析 技术 、 联规 则 、 类 聚 类 技 ｂ 关 分 术等 。 （） 径 分析 技 术． 路径 分 析 技术 进 行 Ｗｅ 使 用 模 式 的数 据 挖 掘 时 ， １路 用 ｂ
Ａｌ
Ｗｅ ｂ挖掘 是 一 项综 合 技术 ， 及 Ｗ ｅ 、 涉 ｂ 数据 挖 掘 、 算机 语 言 学 、 计 信 息学 等 多个 领 域 。 ｅ Ｗ ｂ挖掘 就 是 从 Ｗ ｅ ｂ文档 、 ｂ 动 中抽 取 感 兴 趣 的 、 Ｗｅ 活 潜在 的有 用 模 式 和 隐藏 信 息 。 ｅ 挖掘 是 指 从 大量 Ｗｅ 文档 结 构 和使 用 的 Ｗ ｂ ｂ 集合 Ｃ中发现 隐含 的模 式 ｐ ，如果 将 Ｃ看作 输 入 ，Ｐ 作 输 出 ，那 么 Ｗ ｅ 看 ｂ 挖掘 的 过程 就 是从 输 入 到 输 出的 一 个 映射 ｛ —ｐ。 ｅ 挖 掘从 数 据 挖 掘 ：Ｃ Ｗ ｂ 发展 而来 ， 因此其 定 义与 我 们熟 知 的数 据挖 掘 定义 相 类似 ， 都是 在对 大 量 的 数 据 进行 分 析 的基 础 上 ， 出 归 纳性 的 推理 ， 测 客 户 的行 为 ， 助 企业 的 作 预 帮 决 策 者调 整 市 场策 略 、 减少 风 险 、 出正 确 的 决 策 的过 程 。 作 １ ２ Ｗ ｂ挖 掘 的基 本 步 骤 ．．ｅ 通常 可 以将 Ｗｅ 数据 挖 掘 分 为 四个 步 骤： ｂ （） 定业 务 对 象 虽然 Ｗｅ 数 据 挖 掘 的最 后 结 构 是不 可 预 测 的 ， 对 １确 ｂ 但

３ ２
福
建 电
脑
２０ ０ ８年第 １ 期 １
Ｗｅ 据挖 掘 技 术 及 其应 用 ｂ数
陈林 凯
（江 苏技 术 师 范 学 院 江 苏 常 州 ２ ３ ０ １０ １）
【 摘 要】 目前 Ｗｅ ： ｂ上存 有大量的数据信 息，如何 对这些数据进行有效 的应 用 已经成 了当前数据 库技 术研 究的重点 。
中的 知识 。 ２ ＷＥＢ数 据挖数 据 消 除 、 据 模 式 抽 取 、 间 形 式 表 示 、 重 数 中 异 构 集 成 、 本 分 类 和 聚 类 、 档 总 结 和 结 构 提 取 、 据 仓 库 及 文 文 数 ＯＡ Ｌ Ｐ等 几 个 方 面 ， 其 是 基 于 Ｘ 尤 ＭＬ的上 述 专 题 研 究 。 ３２Ｗｅ ． ｂ结 构 挖 掘 Ｗｅ ｂ结 构 挖 掘 是 从 ｗ ｗ上 的 组 织 结 构 和 链 接 关 系 中推 导 ｗ 知识 。 由 于 超 文 本 文 档 问 的关 联 关 系 ， 得 ｗ ｗ不 仅 可 以揭 示 使 ｗ
文档 中所 包 含 的信 息 ． 同时 也 可 以揭 示 文 档 间 的关 联 关 系所 代 表 的信 息 。 用 这 些 信 息 可 以对 页 面进 行 排 序 。 发 现 重 要 的 页 利 来 ２１ ｂ数据 挖 掘 概 述 ．Ｗｅ 面 。挖 掘 Ｗｅ ｂ结 构 的 目的 是 发 现 页 面 的 结构 和 Ｗｅ ｂ结 构 。 次 在 数 据 挖 掘（ ａ ｎｎ） Ｄ ｔ Ｍｉｉｇ就是 从 大 量 的 、 完 全 的 、 噪 声 的 、 基 础 上 对 页 面进 行 分 类 和 聚 类 从 而 找 到 权 威 页 面 Ｐ ｇ— ａｋ ａ 不 有 ａｅ Ｒ ｎ 模 糊 的 、 机 的 实 际 应 用 数 据 中 ， 取 潜 在 的 、 为 人 知 的 有 用 方 法 就是 利用 文档 间链 接 信 息 来 查 找 相关 的 Ｗｅ 随 提 不 ｂ页 。 信 息 、 式 和 趋 势 。Ｗｅ 模 ｂ数 据 挖 掘 从 数 据 挖掘 发展 而 来 ． 利 用 是 Ｗｅ 结 构挖 掘 的 基本 思想 是将 Ｗｅ ｂ ｂ看 作个 有 向 图 ． 的顶 他 数据挖掘技术从 ｗｅ ｂ文 档 及 Ｗｅ ｂ服 务 中 自动发 现并 提 取 人 们 点 是 Ｗｅ ｂ页 面 ，页 面 间 的 超 链 就 是 图 的 边 。 然 后 利 用 图 论 对 感 兴 趣 的 信 息 ． 数 据 挖 掘 技 术 应 用 于 Ｗｅ 息 的一 个 崭 新 领 Ｗｅ 是 ｂ信 ｂ的 拓 扑 结 构 进 行 分 析 。常 见 的 算 法 有 Ｈ Ｔ ｙ ｅｔ ｔ ｎ ＩＳ ｆ ｐ ｒ ｘ Ｉ－ Ｈ ｅ 域 。 由于 Ｗｅ 信 息 的 特 殊 性 ． 与 传统 的数 据挖 掘 相 比 又 增 添 ｄ ｃｄＴ ｐｃＳａｃ）Ｐｇ Ｒ ｎ 、 现 虚 拟 社 区 的 算 法 、 现 相 似 ｂ 它 ｕｅ ｏｉ ｅｒｈ、ａｅ ａ ｋ 发 发 了新 的特 质 。首 先 Ｗｅ ｂ挖 掘 的 对 象 是 大 量 异 质 分 布 的 Ｗｅ ｂ文 页 面 的算 法 、 现 地 理 位 置 的算 法 和页 面分 类 算 法 。 ｂ结 构 挖 发 Ｗｅ 档， 每个 数 据 源都 是 异 构 的： 次 Ｗｅ 其 ｂ文 档 本 身 是 半 结 构 或 无 结 掘 的算 法 一 般 可分 为查 询 相 关 算 法 和 查 询 独立 算 法 两类 。查 询 构 的 而且 缺乏 机 器 可 理 解 的 语 义 相 关 算 法 需 要 为 每一 个 查 询 进 行 一 次 超 链 分析 从 而 进行 一 次值 ２ Ｗｅ 数 据 的特 点 ． ｂ ２ 的指 派 ， 查 询 独 立 算 法 则 为 每个 文档 仅 进 行 一 次 值 的指 派 。 而 对 ２２１ 据量 巨大 ＿ 数 ． 所 有 的查 询 都 使 用 此 值 。Ｈ Ｔ ＩＳ和 Ｐ ｇＲ ｎ ａｅ ａｋ分 别 是 查 询 相关 算 Ｉｔ ｔ 分 布 在 世 界 不 同位 置 的 电脑 ｆ 务 器１连 接 了 起 法 和查 询 独立 算 法 的代 表 ｎ ｍｅ 把 ｅ 服 来 ， 个 电 脑 上都 存 有 丰 富 的数 据 ． 此 数 据 涉 及 各 种 不 同 的 行 ３３Ｗｅ 用 的挖 掘 每 这 ． ｂ使 业 和 领 域 ，又 由 于 连 接 于 Ｉｔ ｎｔ 电脑 数 量 非 常 巨大 。所 以 ｎｅ ｅ 的 ｒ Ｗｅ 使 用挖 掘 又 叫使 用 记 录 挖 掘 ． 指 通 过 挖 掘 Ｗｅ ｂ 是 ｂ日志 Ｗｅ ｂ挖 掘 所 处 理 的 数 据 非 常 大 。 来 发 现 用 户 访 问 Ｗｅ ｂ页 面 的模 式 在 Ｗｅ ｂ的 用 户 使 用 信 息 的 挖 ２ ． 构 数据 库 环 境 ． ２异 ２ 掘 中 ， 述 用 户 访 问 信 息 的 数 据包 括 ： 描 Ｉ 址 、 考页面、 问 日 Ｐ地 参 访 每 个 Ｗｅ ｂ站 点 都 可 以看 作 是 个 数 据 源 。 由于 各 站 点 是 相 互 期 和 时 间 、 户 的 站 点 以及 配 置信 息 。 户使 用 的挖 掘 通 常 采 取 用 用 独 立 的 ． 问 除 了 可 以 互 相 访 问 之 外 并 没 有任 何关 系 ． 以每 个 下 面 三 个 步 骤 ： １数 据 预 处 理 。 这是 用 户 访 问 信 息 最 关 键 的 阶 之 所 （ １ 站 点 之 间 的信 息 及 信 息 组 织 方 式 都 是 不 相 同的 ．这 就 构 成 了一 段 ， 据 预 处 理 包 括 ： 据净 化 、 户识 别 、 务 识 别 等过 程 。 （ 数 数 用 事 ２ ） 个 巨 大 的 异构 数 据 库 环 境 模 式 识 别 阶段 。该 阶段 采 用 的方 法 包 括 ： 计 法 、 器 学 习 和 模 统 机 ２２ ．３半 结 构 化 的数 据结 构 ． 式 识 别 等 ．其 实 现 的 主 要算 法包 括路 径 分 析 技 术 和 数 据 挖 掘 的 Ｗｅ 的 数据 与传 统数 据库 中 的数 据 不 同 之处 还 在 于 传 统 传 统 算 法 。 ｂ上 如关 联 规 则 挖 掘 算 法 、 列 模 式 挖 掘 算 法 等 。 径 分 序 路 数 据 库 都 有一 定 的模 型 ．可 以根 据 数 据 模 型来 对 具 体 的数 据 进 析 可 以用 来 发现 Ｗｅ ｂ站 点 最 常被 访 问 的 路 径 ． 而 可 以 调 整 站 从 行 描 述 。 Ｗｅ 而 ｂ站 点 中 的 数 据 不 存 在 统 一 的模 型 ， 站 点 都 是 点 的 结 构 。３模 式 分 析 阶段 。 阶 段 的 任 务 是 从上 一 阶段 搜 集 数 各 （１ 该 独 自设 计 。 且 站 点 中 的 数 据 是 处 于 不停 变 化 之 中 的 。 并 据 集 中 过 滤 掉 不 感 兴趣 和 无 关联 的 模 式 ．将 发 现 的有 价 值 的用 ３ Ｗｅ 、 ｂ数 据挖 掘 分 类 和 技 术 户 浏 览 模 式 以表 格 、 图 、 饼 曲线 图 、 方 图 或 者 其 它 特 殊 形 式 显 直 ３１Ｗｅ ． ｂ内容 挖 掘 示 出来 。具 体 的 实 现 方 法 依 具 体 的 Ｗｅ 掘 技 术 而 定 ， 常 有 ｂ挖 通 Ｗｅ ｂ内容 挖 掘 是 指 从 Ｗｅ ｂ上 的 文 件 内 容 及 其 描 述 信 息 中 两 种 方 法 ： 种 采 用 Ｓ 一 ＱＬ查 询 语 句 进 行 分 析 ． 一 种 将 数 据 导 另 获 取 潜 在 的 、 价 值 的 知 识 或 模 式 的 过 程 。 分 为 Ｗｅ 有 它 ｂ文 本 挖 人 多 维 数 据 立 方 体 中 ．而 后 利 用 Ｏ Ｕ 工 具 进 行 分 析 并 提 供 可 掘 和 Ｗｅ ｂ多媒 体 挖 掘 。Ｗｅ 本 挖 掘 可 以对 Ｗｅ 大 量 的 文 视 化 的结 果 输 出 ｂ文 ｂ上 档集 合 的 内容 进 行 总 结 、 类 、 类 、 联 分 析 以及 利 用 Ｗｅ 分 聚 关 ｂ文 ４ Ｗｅ 、 ｂ挖 掘 的 应 用 档进 行 趋 势 分 析 等 。 ｂ多 媒 体 挖 掘 主要 是 指 通 过 对 Ｗｅ 的 ４１Ｗｅ 掘 在 搜 索 引 擎 方 而 的应 用 Ｗｅ ｂ上 ． ｂ挖 音频 、视 频 数 据 和 图像 进 行 预 处 理 ．应用 挖掘 技 术 对 其 中 潜 在 通 过 对 网 页 内容 的挖 掘 。 以 实 现 对 网 页 的 聚 类 和分 类 ， 可 实 的 、 意 义 的信 息 和 模 式 进 行 挖 掘 的 过 程 。 有 现 网络 信 息 的分 类 浏 览 与 检 索 。 用 Ｗｅ 运 ｂ挖 掘技 术 改 进 关 键 词 Ｗｅ ｂ内容 挖 掘 按 实 现方 法 分 为两 大 类 ：信 息 检 索方 法 和 数 加 权 算 法 ， 高 网络 信 息 ��

式 ，然后与信息进行 匹配．将 事务文件的基础上 ．麻用符种算法，发觋用户的访问特征 ． 符 合用户＊趣的信息宴 时推荐 形成弁种模式席。在本模块 ．难点问题是如何针对不同的问 题选择不同的算法。下而将主要探讨用户｛ 瓯繁访问路径 的挖 给用户。
２２ ２删 ■ｔ
按照 ｗ０ 使用挖掘 的一般 ｂ 模型功能设计如下：
的 日志 记录 ，对 日志记录 进行
清洗梧理 得到用户事务记 录，
客 以点击超链接方式访问网站，所有客户行为可 以抽 象地用点击流米表示，这 些蛛丝马迹都被 记录在服务器 目志
Ｉ 州 ” 一 论 文 选 登
里 。我们大量收集每个客户的行为数 据．深入研 究，从这些 “ 无意义 的鼓据中得到有价值的信 息和知识。本模 型的思 路就是收集分析客户的浏览行为．斌过 数据挖掘方 法发现 客
合ｃ中发现隐龠的模式Ｐ．ＡＩ 粜将ｃ 精作输入．将ｌ 秆作输ｍ．
那么 Ｗｅ 挖掘的过程就是从输入到精ｍ的一个映射 ：Ｃ ＋ ｂ 一Ｉ
１２Ｗｅ ． ｂｔ据控■的分赛
ｗｂ 敬槲有３ 种类型：Ｈ１Ｍ１ ’ 标记的Ｗｅ 文档数据、Ｗｅ ｂ ｂ 文档 内连接的结构数据 ｍ用户访问数据。按 照对应的数据类
问路径的链接 ，本模型还引入 了撼于用户聚娄的挖掘，即向
推荐他所属用户聚娄组其他成员访问的信息 由于该用 用户会话或事务数据等用户与 Ｗｅ 两者之 间联系产生的其它 用ｊ ｂ 数据 。Ｗｅ 使用挖掘是从这些数据中抽取 “ ｂ 感兴趣”的模式 户和本组 其他 用户的请 问行 为是相似的 ．所以其他用户 问 的过程 ｗ曲 使用挖掘的过程 过的信息浚用户也很可能熬兴趣 ； （ ４）实时推荐功能 ：阻别当前在线用Ｊ ．从模式库中提 分为数搦采 、数据ｌ 处理 罔

Ａｂ ｔａ ｔ Ｔｈｓｐ ｐ ｒｉｔｏ ｕ ｅ ａ ｏ ｏ ｆＷ ｅ ｎｎ ｉｃｕ ｉｇＷ ｅ ｏ ｔｎ ｉｉｇ， ｅ ｔｕ ｔ ｒ ｉｉｇａ ｄ ｓｒ ｃ ｉ ａ ｅ ｒ ｄ ｃ ｓａｔｘ ｎ ｍｙｏ ｂｍｉｉｇ，ｎ ｌｄｎ ｂＣ ｎ ｅ ｔＭ ｎｎ Ｗ ｂＳ ｒ ｃｕ ｅＭ ｎｎ ｎ ｎ Ｗ ｅ ａ ｅＭ ｉｉｇ ｉｃ ｓｅ ｈ ｅ ｔｐ ｆ ｅ ａ ｅＭ ｉｉｇ，ｎ ｌｄｎ ａａｏ ｔ ｉｍｅ ｔａ ｄｄ ｔ ｒｐ ｏ ｅ ｓ ｐ ｔｅｎ ｂＵｓｇ ｎｎ ｄｓｕ ｓｓｔ ｒｅｓｅ ｓｏ ｂＵｓ ｇ ｎｎ ｉｃｕ ｉｇ ｄ ｔ ｂａｎ ｎ ｎ ａａｐ ｅ ｒ ｃｓ ， ａｔｒ ｉ Ｗ ｄｓｏ ｅｙ ａ ｄ ｐ ｔｅｎ ａ ａｙ ｉ，ｎ ｌｚｓｔ ｅｔｃ ｎｑ ｅｕ ｅ ｎ ｅ ｃ ｔｐｄ ｔｉ ｄ ｎ ｉ ｔｓｓ ｏ ｔｇ ｆｒｓａ ｃ ｎＷ ｅ ｉｃ ｖ ｒ ｎ ａ ｔｒ ｎ ｌｓｓ ａ ａｙ ｅ ｈ ｅ ｈ ｉｕ ｓｄ ｉ ａ ｈｓｅ ｅａｌ ￣ｉｄｃ ｅ ｈ ｒａ ｅｏ ｅ ｅ ｒｈｏ ｂ ｅ ａ Ｕｓ ｇ ｉｉｇ ａ ｒｓ ｎ ｎ ｉｅ ｈ ｅ ｅ ｒｈ ｄｒ ｃｉｎ ｎ Ｗ ｅ ａ ｅＭ ｉｉｇ ｉ ｈ ｕ ｕ ｅ ａ ｅＭ ｎｎ ｔｐ ｅ ｅ ｔａ ｄ ｇｖ ｓｔ ｅｒｓ ａｃ ｉｅｔ ｓｏ ｂＵｓ ｇ ｎｎ ｎ ｔｅ ｆｔ ｒ． ｏ
站 点文件 访 问 日志 引用 日志 代 理 日志 注册或远程
ｌ ＩＩＩＩ 翻
式●
发 现
一
来＿ ， ２ 并综合运用 了统计学 、 算机 网络 、 ］ 计 数据 库 与数 据仓 库、 可视化等众 多领域 的技 术 Ｗｅ 掘分 为 三类 ： ｂ内 ｂ挖 Ｗｅ 容挖掘 、 ｂ结构挖 掘和 ｗｅ 使用挖 掘 ， 图 １ ｗｅ ｂ 如 所示 。

访 的 ＵＲ Ｌ中直 达） ）
将该 次 用户 的访 问操 作 合 并 到 Ｕ Ｅ ［序 列 的最 后 ： Ｓ Ｒｉ ］
ｅｓ ｍ＋；／ 加 一 项 新 的用 户 ｌ ｍ＝ ｌ／ ｅ 增
）
ｅｓ ｌｅ
｛ ＋； ｉ１ 图 １ Ｗｅ ｂ使 用 挖 掘 数 据 预 处 理 流 程
ｍ＝ １ ｍ＋ ； １
ｍ ＝１ ：
理 和数据文件预处理 。它主要包括五个阶段 ： 数据清洗 、 用户识别 、 会 话 识 别 、 径 补 充 和 事 务 识 别 等 ， 过 这 ５个 步 骤 从 Ｗｅ 日志 文 件 中 路 经 ｂ 提取有用 的信息放到事务文件中 ， 以备挖掘关联规则 ， 如图 １ 所示 。
ｗｌ （ ＝ ／ ｈｉ ｉ ｍ］／ ｅ＜ ｍ为当前 己经判 别出的用 户数 ｛ ｉ（Ｓ ＲｉＩ＝Ｐ＆＆（Ｓ ＲｉＡ ｅ ＝ Ａ ｅ ｔＤ） ｆＵ Ｅ ［． Ｉ） Ｕ Ｅ 【．ｇｎ ＝ ｇｎ． ） （ ］Ｐ ］ Ｉ ｌ ｆ Ｐ为 当前记录 的用户 Ｉ ｉ Ｐ地址 ， ｇｅ． Ａ ｎ ｔＤ为当前记录的 Ａｇｅ 值 Ｉ ｎｔ ｛ ｉ（ ＿ ＲＬ Ｕ Ｅ ［．Ｒ ）＆（ ｆＲｅＵ ＝ Ｓ Ｒｉｕ Ｌ＆ 当前记录的 Ｕ Ｌ可从 Ｕ Ｅ ［ Ｉ （ ］ Ｒ Ｓ Ｒ ｉ￣己 ］
＿
２ Ｗｅ ｂ使 用 挖 掘 数 据 预处 理过 程分 析
数 据 预 处 理 就 是 把 数 据 源 转 化 为 适 合 进 行 用 户 模 式 挖 掘 的 、 确 准 可 靠 的规 范 数 据 。Ｗｅ 用挖 掘 的预 处 理 包 括 内容 预 处 理 、 构 预处 ｂ使 结
｛
ｉ ： ＝１
科技信息
０Ｉ Ｔ论坛Ｏ
Ｓ Ｉ Ｎ Ｅ Ｅ Ｈ Ｏ Ｏ ＹＩＦ Ｒ Ａ Ｉ Ｎ ＣＥ Ｃ ＆Ｔ Ｃ Ｎ Ｌ Ｇ Ｏ Ｍ ＴＯ Ｎ