Web文本分类中的反作弊研究

  • 格式:pdf
  • 大小:105.16 KB
  • 文档页数:1

造 大 量 链 接 指 向真 正 的 页面 ,但 相 反 的链 接 却 不 存 在 。 即可 用 公式1 - 2 。 1 . 3 添 加松 弛 变 量 m “ 杜“ 一 来 代 替
3 . 结论
主 要分析 了当前主题 爬虫 存在 的 问题 ,
提 出了基于W e b 反 作弊 的A n t i - S p a m 及 其变 种 算 法 ,A n t i - S p a m  ̄ 其变种 算法 使用S V M 来 训

p ( v , a ) : Z日(
q 6 , ) + ^ v ・ V + ・ 口
高 了 主 题 爬 虫 的效 率 ,在 一 定 程 度 上 满 足 了用 户 的特 定 检 索要 求 。 1 . 基 于反 作 弊技 术 的主 题 爬虫 算 法 1 . 1主 题爬 虫 简介 主题 爬 虫 ( T o p i c a l C r a w l e r , F o c u s e d
分在 区分 S p a m 页 面 的作用 不 同,因此 选择 不 同的组合 ,来 验证 每个 部分 的重 要性 。
是 一个 智 能 化 的W e b 下载 系 统 ,它 按 照 用户 给 定 的主 题 , 自动在 W e b 上 遍 历 ,将 与 主题 相关 的页 面 下载 下来 ,满足 用 户对 特定 主ห้องสมุดไป่ตู้ 的检索 需求 。 1 . 2 算法 描 述 首先训练 一个线 性分类 器0 ( … x + b ,
间 的超 链 接 特 性 和 主 题 漂移 [ 6 ] 。 当然 ,通
易 精 确 表 达 ,而 且 往 往 带 有 欺 骗 性 ,也 很 松 弛变 量 ,用 于提 高 分 类 器 的 适 应 性 。 最 过 样 本 聚类 比例 的 分 析 , 分 类 精 度 虽然 有 大 程 度 影 响 了查 准 率 和 查 全 率 。本 文 针 对 后模 型可 以表 述 为 : 所 提 高 ,要 更 好 的 过 滤S p a m 页 面 , 需 要借 W e b S p a m 算法 ,在 其 中加 入反 作 弊 方程 ,提 助 于 文本 过滤 技术 。
l 薯

l ∞I #幸占t蕾簟比 崩

1 0 0 g
l S ¨以 9 S 8 5 ¨ 仉 5 6 玑
豳3 . 1五种^ r . t
参考文献 :
分 类 器 采 用 支 持 向量 机 ( S u p p o r t V e c t o r
W e b 文本分类 中的反作弊研究
付敬鼎 张建勇 贾晓强 渭南师范学院数学与信息科学学院
【 摘 要 】根据用户定义 的某一主题 ,在爬虫算法 中加入反作弊思想后,用爬虫算法遍历网络,收集与主题相关的页面进行智能分析 ,同时将文本过滤转化为文 本分 类,为 了增强通用性,在算法中加入 了 松弛变量,最后在N B 分类个器上验证算法的性能。试验表 明,分类精度达到将近9 0  ̄ / 0 。 【 关键词】主题爬虫;文本分类;反作弊;松弛变量
只 选 择 结 点 特 征 : 只 选 用 给 定 的有 — 蕾■挂采 向图 特 征 来 训 练 分 类器 。而 忽略 S p a m 单 向
性 。在 公 式 卜 3 中 ,进 行 下 列 赋 值 = O, 1 , = O ,这 样 公式 卜 3 直 接 就变 成 了标 准 线性
分 类器 。
M a c h i n e ,S V M ) 来 训 练 , V由 :
1 】 罗刚, 王振东. 自己动手 写网络爬 虫 . 靖华大 学出版 选 择 结 点特 征 与S p a m 单 向性 : 同 时选 【 2 0 1 o , 4 (  ̄- - 版) : 3 3 1 ・ 3 3 8 . 择结点特征和S p a m 单 向性 两 个 部 分 , 而 忽 社,
C r a w l e r o r T o p i c . d r i v e n c r a w l e r ) [ 1 — 3 ] ,
; . ’ 【 v - x , q + ’ x + a + 6 ) ( 卜3 ) 2 . 反 作弊 算 法试 验 分析 公 式 卜3 中三 个 部 分分 别表 示 结 点特 征 ① 、S p a m 单 向性 ②和 松弛 变量③ 。这 三个 部
略松 弛 变量 这 个 部分 , H p  ̄= 0 。
通过 分析 ,上 面公 式 中的特征 向量 之间 练 分 类器 。 另 外 ,从 实 验 中可 以看 出 , 决 的距 离可 能 不 够松 弛 , 同 时 ,像 暑 《 = v ・ x + b 定 分 类 的关 键 属 性 是 超 链 接 有 向 图 自身 的 这样 的线 性 分类 器也 是不 够 灵活 的。根据 文 特 性 , 与网 站 本 身 的 特 性 相 关 比 较 小 。在 献I s ] 中 的论 述 ,可 以为每个 结 点 i 引入 参数 今 后 的算 法 改进 中 ,应 当 注 重 研 究 网 站之 q, 公 式变 为 : g ( x ) = ・ + q+ 6 。 q可 以看 做
由于W e b 用户 的信 息检 索 需求 是 千 变万 化 的 ,这 样 对 于 不 同领 域 就 需要 建 立 相 应 的 主 题 搜 索 引擎 ,要 求 的主 题 搜 索 引擎 数 量 将 非 常 多 ,而 且 随 着 人 类 社 会 知 识 更 新 速 度 的 不 断 加 剧 ,这 个 问题 将 更 严 重 ;另 外 , 用 户 检 索 需 求 所 属 的领 域 有 时 是 难 以 确 定 ,造 成 用 户 无 所 适 从 。从 而 导 致 主 题 爬 虫技 术 面 临 以 下几 个 问题 : ( 1 )查 准率 不高; ( 2) 查 全 率 低 ; ( 3 )查 询 主 题 不