基于Dirichlet过程的Deep Web数据源聚类方法

  • 格式:pdf
  • 大小:301.32 KB
  • 文档页数:4

o f d e e p w e b s o u r c e s ,w h i c h i s o f l a r g e s c a l e a n d c h a n g e s f a s t . Co mp a r e d w i t h o t h e r c l u s t e i r n g me t h o d ,e x p e i r me n t a l r e s u l t s
c o u l d a u t o ma t i c a l l y d e t e r mi n e t h e n u mb e r o f c l u s t e r s wi t h o u t a n y ma n u a l i n t e r v e n t i o n .I t w a s e s p e c i a l l y s u i t a b l e f o r t h e c h a r a c t e i r s t i c s
Tec h n i qu e an d Me t h o d
基于 D i r i c h l e t 过程 的 D e e p We b数据 源聚类方 法
黄 进, 何 中市, 李 英 豪 ( 重庆 大 学 计 算 机 学 院 , 重庆 4 0 0 0 4 4)
摘 要 : 提 出 了 一 种 基 于 D i r i e h l e t 过程 的 D e e p We b数 据 源 聚 类 方 法 , 该 方 法 采 用 层 次 D i r i e h l e t
聚 类 个数 , 由D i r i c h l e t 过 程 根 据 数 据 自动 计 算 得 到 , 特别适 用于 D e e p We b数 据 源 数 量 大 、 变 化 快 的 特
点。 在 通 用数 据 集 T E L 一 8上 进 行 验 证 实 验 , 并 与其 他 聚 类 方 法 在 F — me a s u r e和 熵 值 两 个 指 标 上 进 行 对
s e a r c h i n g i n t e r f a c e wi t h t o p i c f e a t u r e a n d i t c o u l d a u t o ma t i c a l l y d e t e r mi n e t h e n u mb e r o f f e a t u r e s .Th e n i n t r o d u c e d t h e d i r i c h l e t
C l u s t e r i n g o f d e e p we b s o u r c e s b a s e d o n Di r i c h l e t p r o c e s s
Hu a n g J i n, He Z h o n g s h i , L i Yi n g h a o
比 . 均取得较好的结果。
关 键 词 :D e e p We b; 数据 集成 ; 特征 提 取 ; d i r i e h l e t过 程 ; 混 合 模 型
中 图 分 类 号 :T P 3 9 1 文 献 标 识 码 :A 文 章 编 号 :1 6 7 4 — 7 7 2 0( 2 0 1 5) 0 7 — 0 0 7 5 — 0 4
ห้องสมุดไป่ตู้
p r o c e s s mi x t u r e mo d e l or f t h e t e x t c l u s t e in r g b y t r e a t i n g t h e t e x t a s a mu l t i n o mi a l mo d e 1 .B a s e d o n t h e d i r i c h l e t p r o c e s s ,t h i s mo d e l
( Co l l e g e o f C o mp u t e r , C h o n g q i n g Un i v e r s i t y, C h o n g q i n g 4 0 0 0 4 4, C h i n a)
Ab s t r a c t :T h i s p a p e r p r o p o s e d a c l u s t e r i n g me t h o d o f d e e p we b s o u r c e s b a s e d o n d i r i c h l e t p r o c e s s .T h e p r o p o s e d me t h o d
过程 ( HD P) 进行特征提取 。 首 先 将 查 询 接 口 中原 本 高 维 稀 疏 的 文 本 表 示 为 主 题 特 征 , 该 过 程 能 自动 确 定特 征 数 。然后 将 文本 看 成 多项 式 模 型 , 采 用 Di r i c h l e t 过 程 混 合 模 型 聚 类 。该 模 型 无 需 人 工 事 先 指 定
a d o p t e d t h e h i e r a r c h i c a l d i r i c h l e t p r o c e s s( H D P )f o r f e a t u r e e x t r a c t i o n .F i st r i t r e p l a c e d t h e h i g h - d i m e n s i o n a l s p a r s e t e x t i n t h e