基于回归支持向量机的信息检索

基于回归支持向量机的信息检索*韩咏1，齐浩亮1，杨沐昀2，李生21黑龙江工程学院，哈尔滨，1500502哈尔滨工业大学，哈尔滨，150001E-mail: haoliang.qi@摘要：从本质上看，信息检索应按照文档满足用户信息需求程度进行排序，因此当前以分类和排序策略为主流的研究方式存在与信息检索目标相关性较弱的缺点。

本文尝试使用回归分析策略，以文档满足用户的信息需求程度作为回归分析的目标值，利用回归支持向量机构建信息检索模型。

该模型不仅提供了融合不同来源特征的灵活框架，而且由于使用回归支持向量机寻找具有ε不敏感损失的回归函数，因此具有良好的泛化性能。

通过在TREC测试数据上的实验表明，本文模型性能优于目前主流的基于语言模型的信息检索方法。

关键词：信息检索;回归分析；支持向量机;再采样Information Retrieval Based onSupport Vector Machine RegressionHAN Yong1, QI Haoliang1, YANG Muyun2, LI Sheng2State Key Lab of Intelligent Technology and Systems Tsinghua University, Beijing 100084E-mail: haoliang.qi@Abstract: The task of IR is to rank the documents according to the degree which satisfies the user information need, so the current models based on classification and ranking poorly correlate with the IR target. The regression method is explored in this paper for IR, and the degree is used as regression target value. Support Vector Machine Regression （SVMR）is adopted in the framework because it provides a flexible framework to incorporate arbitrary features. SVMR was used to find a regression function with ε insensitive loss, which allows good generalization. The effectiveness of the approach was evaluated on the task of ad hoc retrieval using two TREC English test sets. Results show that the new model outperforms the state-of-the-art language modeling approaches Keywords: information retrieval; regression analysis; support vector machine; resample1 引言随着信息时代的到来，各种信息资源越来越丰富，信息检索（Information Retrieval，IR）系统成为人们获取信息必不可少的工具。

信息检索的任务是在待检索文档集中依据用户信息需求，按相关程度对文档进行排序，作为对检索用户所提出查询的回应。

影响信息检索系统性能的因素有很多，其中最为关键的是信息检索建模。

Pont和Croft于1998年提出的语言模型在信息在信息检索领域产生重大影响，不仅具有坚实的理论基础，而且在实验中取得了很好的效果，是当前最为成功的方法之一[1]。

语言模型是典型的参数化推理方法，存在经典体系的缺点，如大规模多变量的分析计算引起的“维数灾难”、实际数据的分布差*国家自然科学基金重点项目（60435020）、国家自然科学基金项目（60873105）、黑龙江省自然科学基金项目（F2007-14）、黑龙江省科技攻关计划项目（GZ07A108）、哈尔滨市科技局青年创新人才项目（2009RFQXG213）异导致的基于经典的统计分布函数方法失效等[2]。

为了克服其存在的缺点，近年来在许多领域获得成功的判别学习模型也被引入到信息检索中，成为当前的研究主流方法。

在信息检索中的应用的判别学习方法一般采用两种策略：分类的方法和排序方法方法。

Nallapat 将信息检索视为分类问题[3]，使用了支持向量机（Support Vector Machine, SVM）和最大熵（Maximum Entropy）两种算法，结果并不理想，性能明显低于语言模型；Cooper的分段逻辑回归算法（Staged Logistic Regression）[4]，但性能也不佳。

其原因在于将信息检索视为分类问题从而存在以下问题：1）分类与检索的任务（按文档的相关度排序）并不直接相关，仅是弱相关；2）信息检索中训练样本太少，且面临严重的数据不平衡（Unbalance Data）。

将信息检索视为对文档的排序，在排序框架下解决检索问题是最近几年的新进展。

这方面的工作包括：Gao、Qi和 Xia等采用基于感知器算法的排序算法[5]，Cao、Xu和Li的改进Ranking SVM算法[6]，微软公司为信息检索提出了RankNet算法[7]，并进行了应用[8,9,10]。

文献[11,12]使用表排序策略而不是上述这些工作的基于文档序对数的排序，取得了更好的效果。

在排序算法框架下解决检索与以往的模型相比，提高了与信息检索任务的相关度，但与信息检索的任务还不直接相关，影响了检索的性能的进一步提升。

本文将信息检索视为回归分析问题，尝试回归分析的框架下，引入回归支持向量机这一典型判别学习方法[13]解决检索问题。

所谓回归问题就是在训练样本上找到一个函数，它可以从输入域近似映射到实数值上。

而对于信息检索来说，文档的相关度就是回归分析的回归值，这样与信息检索的任务高度一致，因此它能够取得良好的效果。

传统上，使用系统输出和训练值之间的偏差的平方和作损失函数，即最小二乘法优化参数。

回归支持向量机与传统的回归分析相比，引入了ε不敏感损失函数，它可以忽略真值某个上下范围内的误差，具有优化的泛化界。

在大噪声的情况下，回归支持向量机的性能明显优于原始的最小二乘法[14]，而在信息检索中存在大量很难拟和的样本。

将它应用到信息检索中，可以避免将检索视为分类问题（如最大熵模型、支持向量机模型）和生成模型（如语言模型）带来的问题，取得良好的效果。

在信息检索中使用回归分析框架，还可以充分利用最新的人工标注语料进一步提升性能，如微软公司标注了5等级相关性，TREC 2005在部分TRACK 上标注了3等级相关性。

我们模型的有效性在TREC ad hoc测试中得到了验证。

实验结果表明，我们的模型性能高于当前主流的基于语言模型的信息检索方法。

本文的随后部分安排如下。

第二部分介绍了面向信息检索的回归支持向量机。

第三部分是实验结果及结果讨论。

最后是本文的结论和未来工作。

2 基于回归支持向量机的信息检索本节阐述基于回归支持向量机的信息检索。

首先简单介绍模型中使用的特征集，然后介绍使用回归支持向量机优化参数；最后讨论如何处理数据不平衡问题，这是将回归支持向量机应用到信息检索时特有的问题。

2.1 特征集本文使用的特征包括一元文法特征、二元文法特征和语言学特征。

文中的特征集包含n 个特征f i(q, c, d)，其中i = 1,2，…, n，式中的C为概念，例如组块是一种概念，二元文法中相邻词也构成概念；q 为用户查询，d 为待检索的文档。

特征f i (q, c, d)是一个映射，该映射将(q, c, d) 映射到一个实数，即f i (q, c, d) ∈ℜ。

使用向量表示方法，有f (q,c,d) ∈ℜN ，即f (q,c,d) = {f 1(q,c,d), f 2(q,c,d), …, f N (q,c,d)}。

这些特征包括：z f 1(.) 是一元文法特征，是一元文法概率的对数值，也就是f 1(q, d) = ∑i log(P (q i |d))；z f 2(.) 是二元文法特征，是二元文法概率的对数值，也就是 f 2(q, d) = ∑i log(P (q i |q i-1,d))； z f 3(.) 是文档模型特征，是文档模型的概率的对数值，也就是 f 3(q, c, d) = ∑i log(P (h i |h i-1, d))，h i 为相关的概念模型的中心词（Head Word ）； zf i (.)是n-3个概念特征，其中i = 4,…,n 。

它们的值可以是相关概念模型（例如名词短语、动词短语、形容词短语）的概率的对数值，也可以根据发启式规规分配（如factoid ）。

文献[5]描述了特征集的详细信息。

2.2 基于回归支持向量机的学习支持向量机作为一种新兴的分类算法广泛应用于模式识别的各个分支，已经发展成为机器学习中一个独立的子领域。

在线性可分的情况下，感知器算法寻找任意一个能够区分样本的超平面。

如图1a，这是一个二维线性可分的例子，灰色的区域表示表示所有可能将数据正确分类的分类面集合。

而支持向量机算法寻找具有最大间隔的超平面。

该超平面是感知器寻找的分类超平面中的一个特例。

该超平面是唯一存在的, 并且是所有能够区分样本的超平面中最优的，它有良好的泛化性能力[14]，如图1 b 所示。

最优分类面是距离支持向量(图1b 中的点1、2、3)的距离最远的超平面f=0。

支持向量机算法也被扩展到解决回归问题，被称为回归支持向量机。

回归支持向量机与传统的回归分析相比，引入了ε不敏感损失函数，它可以忽略真值某个上下范围内的误差，具有优化的泛化界。

该模型解决了回归问题和时间序列预测问题，在很多领域获得了成功应用。

本文应用线性回归支持向量机解决检索问题。

给定包含 个样本（x i ,y i ）的训练集，其中x i 为n 维空间中的向量，y i 为实数。

设待估计线性回归函数为f (x)w x+b =i (1)图1 最优超平面其中b ∈R ，X 为特征向量f 。

回归支持向量机中的ε不敏感损失函数等价于支持向量机中的松弛变量，最小化的目标函数为：2i i=11||w ||C (())2L y f x +−∑(2) 其中(())L y f x −为每一个样本上损失。