Web日志挖掘中的数据预处理研究

１ Ｗｅ ｂ日志 格 式
图１ Ｗｅ ｂ日志 挖 掘 的 过 程
表 １
＃ Ｆ ｉ ｅ ｌ ｄ ｓ ： ｄ ａ ｔ ｅｔ ｉ ｍｅ ｃ ￣ ｉ ｐ ｃ ｓ － ｕ ｓ ｅ ｍａ ｍｅ ｓ － ｉ Ｐ ｓ ． ｐ ｏ ｒ ｔ ｃ ｓ ＊ ｍｅ ｔ ｈ ｏ ｄ － ｕ ｌ ｆ － ｓ ｔ ｅ ｍ ｃ ｓ — ｕ ｒ ｌ － ｑ ｌ ｌ ｅ ｒ ｙ ｓ ｃ － ｓ ｔ ａ ｔ ｕ ｓ
Ｍｏ ｚ ｉ Ｉ ｌ ａ １ ４ ． ０ ＋ （ ｃ ｏ ｎｐ ｒ ａ ｔ ｉ ｂ ｌ ｅ ； ＋ ＭＳ ｌ Ｅ ＋ ６ ． ０ ． ＋ Ｗｉ ｎ ｄ ｏ ｗｓ ＋ Ｎ Ｔ ＋ ５ ． ０ ）
ቤተ መጻሕፍቲ ባይዱ
２ 扣１ ４ — ０ｌ － １ ２ ０ １ ： ２ ０ ： ３ ４ １ ７ ２ ． １ ６ ． ６ ２ － ３ － ２ １ ｉ Ｊ ５ ６ ． １ ８ ４ ． ３ ｓ ８ ０ Ｇ Ｅ Ｔ ／ ｉ ｎ ｃ ｅ ｘ ． ａ ｓ ｐ － ２ ０ ０ Ｍｏ ｚ ｉ Ｉ ｌ ａ ４． １ Ｏ ＋ （ ｃ ｏ ｍｐ ａ ｔ ｉ ｂ ｌ ｅ ＭＳ ｌ Ｅ ＋ ６ ． ０． ＋ Ｗｉ ｎ ｄ ｏ ｗｓ ＋ Ｎ Ｔ ＋ ５ ． １ ）
ｃ ｓ （ Ｕ ｓ ｅ ｒ － Ａ ｇ ｅ ｎ ｔ ）
１ 加１ ４ － ０ １ － １ ２ ０ １ ： ２ ０ ： ３ ３ １ ７ ２ ． １ ５ ． ｇ ４ ． ４ ４ — ２ ｌ １ ． ６ ６ ． １ ８ ４ ． ３ ５ ８ ０ Ｇ Ｅ Ｔ ／ ｉ ｎ ｄ ｅ ｘ ． ａ ｓ ｐ 一 ２ ０ ０
信 息技 术
・ １ ９ ５ ・
Ｗｅ ｂ日志挖掘 中的数据预处理研究
黄宏涛 （ 广东外语 外贸大学 思科信 息学院， 广 东 广州 ５ １ ０ ０ ０ ６ ）
摘
要： Ｗｅ ｂ日志挖掘就是分析 Ｗｅ ｂ日志文件 ， 从 中发现用户的访 问模 式。数据预处理在 Ｗｅ ｂ日志挖掘 中起着至关重要 的作 用， 直
接 影 响 挖 掘 的 质 量 和 结 果 。 详 细 介 绍 了数 据预 处理 的主 要 过 程 ， 并 给 出 了相 应 的 对 策 。 关键词 ： Ｗｅ ｂ 日志 挖 掘 ； 数 据 预 处理 ； 用 户 识 别
随着 Ｉ ｎ ｔ ｅ ｒ ｎ ｅ ｔ 的发展 ， ｗｗｗ 上的资源呈几何 级数增长 。 如何 从这些海量数据 中获取用 户感 兴趣 的资源 ， 成为一个亟 需解决 的问题 。ｗｅ ｂ 数 据挖 掘可 以很好 的解 决这 个 问题 。 Ｗｅ ｂ挖掘是指在大量 的 Ｗｅ ｂ数据 中使 用数据挖掘技术 ， 从 海 量数据 中提取用户 感兴趣 的 、潜在 的有用模 式和 隐藏 信 息 。根据不 同的处理对象 ， 可以把 Ｗｅ ｂ挖 掘分为三种不 同 的类别 ： Ｗｅ ｂ 内容 挖掘 ， Ｗｅ ｂ结 构挖掘 和 Ｗｅ ｂ 日志挖 掘 。 Ｗｅ ｂ日志挖掘就 是从 Ｗｅ ｂ服务器 的 日志文件 中发现用户 的 访 问模式 ， 分析站点的使 用情 况。 通过对 Ｗｅ ｂ日志的挖掘， 可 以发 现用 户访 问页面 的模式 ，进而改进 站点 的性 能和结构 ， 发现潜在用户 ， 为用 户提供个性化服务 。 Ｗｅ ｂ 日志挖 掘的过程可 以分 为数据预处 理 ，模式识别 和模式分 析三个 阶段 ， 如图 １ 所示 。数据预处理是将原始 的 Ｗｅ ｂ日志文件 转换 为适合数据挖掘 的规范 的数据格式 ， 是整 个 Ｗｅ ｂ日志挖掘 的基础和前提 ，在整个 Ｗｅ ｂ日志挖掘 中起 着非常重要 的作用 。
用 户访 问 Ｗｅ ｂ站 点就会 向 Ｗｅ ｂ站点 发送 一些 服 务请 ３ ２ ０ｉ ４ — ０ ３ ． － １ ２ Ｏ１ ： ２ ０： ３ ４ １ ７２ ． １ ６． ６ ２． ３ — ２１ １． ６６ ． １ ８４－ ３５ ８ｏ ＧＥ Ｔ ｌ １ ． ｃ ｓ ｓ － ２ ００ 求， ｗｅ ｂ服务器全 面记录用户登录网站页面的情况。ｗｅ ｂ服 Ｍｏ ｚ ｉ ｌ ｌ ａ ４． １ ０ ＋ （ ｃ ｏ ｎｐ ｒ ａ ｔ ｆ ｂ ｌ ｅ ； ＋ ＭＳ Ｉ Ｅ ＋ ６ ． Ｏ ； ＋ Ｗｆ ｎ ｄ ｏ ｗ ｓ ＋ Ｎ Ｔ ＋ Ｓ ． Ｉ Ｉ 务器 Ｅ ｔ 志详细记载着用 户访 问该站点 的请求信息 。日志记录 的格式主要分为两类 ： Ａ ｐ ａ ｃ ｈ ｅ的 Ｎ Ｃ Ｓ Ａ 日志格式 和主要应用 于微 软的 Ｉ Ｉ Ｓ中的 Ｗ３ Ｃ扩 展 日志格式 （ Ｅ ｘ ｔ ｅ ｎ ｄ ｅ ｄ Ｌ ｏ ｇ Ｆ ｉ ｌ ｅ Ｆ ｏ ｒ ｍａ ｔ ） 。 其中， Ｎ Ｃ Ｓ Ａ格式又可 以分为通用 日志格式（ Ｃ Ｌ Ｆ ） 和 扩展 Ｅ ｔ 志格式（ Ｅ Ｃ Ｌ Ｆ ） 两大类 。 典 型的 Ｗｅ ｂ 日志主要包 括 ： 用户 Ｉ Ｐ 地址 、 网页请求 Ｅ ｔ 期 和时 间 、 用 户请求 的方法 （ Ｇ Ｅ Ｔ 、 Ｐ Ｏ Ｓ Ｔ或 Ｈ Ｅ Ａ Ｄ） 、 被请 求 网页的 Ｕ Ｒ Ｌ 、 传输用 的 Ｈ Ｔ Ｔ Ｐ协议版本号 、 对用户请 求的应 答 返 回码 、 传输 字节数 、 当前页 面的引用页 的 Ｕ Ｒ Ｌ （ 也就 是 用户 浏览的上一个 网页 ）和用户使用 的系统和浏览器信息 。 图 ２ 数 据 预处 理 过 程 表 １ 列 出一个 Ｗｅ ｂ服务器 日志片段 。 图片 、 音频文件等 Ｅ ｌ 志记录应该删 除 ； ｃ ｇ ｉ 、 ｊ ｓ 等脚 由于本 地缓存 、 代理 服务器和防火墙 的存在 ， 使得 Ｗｅ ｂ 服 务器 请 求的 网页地址 ， 本 文件 是为了访 问 Ｗｅ ｂ 数据库 ，它们 本身也不是用户感兴趣 的内 经常不能精确记 录用户 的所有请求 。 直接在其上进行挖掘并不能精 也应被删除。所 以可 以把 日志 中文件的后缀 为 ｆ 、 Ｊ Ｐ ｇ 、 ｊ ｐ ｅ ｇ 、 ａ ｖ ｉ 、 确地 反映用户 的实际浏览行 为。所 以 Ｗｅ ｂ日志挖掘必须对 日志数 容 ， ｃ ｇ ｉ 、 ｊ ｓ 、 ｊ ｓ 的记 录删 除。 根据返 回的状态码， 将请求错误的 日志记 录删 据进行预处理 ， 从 日志中分解出一个 个用 户会话 。 除掉 。根据请求方法的不同将与挖掘无关 的记录删除。 ２ 数 据 预 处 理 ２ ． ２用户识别 数据 预处 理就是对原始 Ｗｅ ｂ服务器 １ ３ 志 文件 中的数据有针对 用户是指通过一个浏览器访 问一个 或几个服务器 的个体 ， 如果 性 的提取 、 分解 、 合并 ， 最后转换 为适合进行数据挖 掘的数据 格式 ， 要进行用户访问模式的挖掘或对用户进行聚类分析 ， 日 户识别 问题 保存到数据库 中， 等待 进一 步处理 。Ｗｅ ｂ日志挖掘 的数据 预处理过 将是非常重要的 。 由于缓存 、 代理服务器 和防火墙 的有在 ， 使得用户 程分 为 四个步骤 ： 数据清理 、 用户识 别 、 会话 识别和事 务识别 。图 ２ 识别变得非 常复杂 。当多个用户通过代理或 防火 墙访 问 ｗｅ ｂ服务 为 Ｗｅ ｂ日志挖掘 的预处理过程。 器时 ， 日志中记录的用户标识信息是完全相 同的（ 同一个 Ｉ Ｐ 地 址） 。 ２ ． １数 据 清 理 这个阶段的主要任务就是消 除代理或 防火墙 的影 响， 从 日志中还原 数据清理是整个数据预处理工作 的基础 ， 在整个数据挖掘过程 中也起着至关重要 的作用 。根据挖掘任务 的不 同 ， 对 日志文件进行 出每一个请求的用 户。 识别用户 的方法是结合 Ｅ ｌ 志与站点结构 ， 按照 以下规则来 依次 处理 ， 将 与后期工作无关 的数据项删除掉 。Ｗｅ ｂ日志挖掘通过分析 处理 日志 中的每条记 录 ： （ １ ） 不 同的 Ｉ Ｐ地址 ， 就认为是不 同的用户 ； 用户请求 的文件序列 ， 获得用 户的行为模式 ， 了解 用户对 哪些 内容 （ ２ ） 如果 Ｉ Ｐ地址相 同 ， 但 是代理 日志 中操作 系统或服务 器不 同， 就 真正感兴趣 。由于 Ｈ Ｔ Ｉ ＇ Ｐ协议是一个无连 接协议 ， 用户 每下载一个 （ ３ ） 如果 Ｉ Ｐ地 址相同 ， 代理 日志ｃ 操作系统 或 文件 ， 就会在 日志 中增加一条记 录。一个 Ｗｅ ｂ页面通 常包含对一些 认为是不 同的用 户 ； 服务器也相同 ， 根据访问 Ｅ ｌ 志 、 引用 日志和站点 的拓扑结构 ， 构造出 图片或其他资源的引用 ， 每个 图片的下载都会在 日志 中增加一条记 其浏览路线 。 如果一个请求访问的页面与已经访 问过 ¨ 勺 所有页面之 录。 所以 ， 用户 的一个 ＨＴ ＭＬ页面请求会产生几条 日志记 录。 由于分 则可 以识别为一个新的用户 。 但是 ， 上面所采 析处理的主要 目的是得 到用户的访问模式 ， 因此只保 留 日志 中用户 间并没有直接 的链接 ， 用的方法并不 能完全准确地 区别出用户 。 如果一个用 ｊ 使用两种类 作者简介： 黄 宏涛， 男， 河 南新密人， 讲师， 硕士， 主要研 究方 向： 计算机应用， 数据挖掘。