令:Z1=X1, Z2=X12, Z3=X2, Z4=X22, Z5=X1X2 (X1,X2) —Φ—> (Z1, Z2, Z3, Z4, Z5,)
则:对于样本 x1 = (η1,η2), x2 = (ξ1, ξ2) Φ(x1) = [η1, η12,η2, η22, η1η2]T Φ(x2) = [ξ1, ξ12, ξ2, ξ22, ξ1ξ2] T 内积: 我们注意到:
非线性分类
我们注意到:
若令 Φ(x1) = [√2η1 , η12, √2η2 , η22, √2η1η2 , 1]T 则:
非线性分类
那么区别在于什么地方呢?
1. 一个是将低维空间数据映射到高维空间中,然后再根据内积的公式进行计算; 另一个则直接在原来的低维空间中进行计算,而不需要显式地写出映射后的结果。 当样本空间处于高维度时,第一种方法将引发维度灾难,第二种方法仍然能够从容处理
14. 卡梅隆大学的讲解SVM的PPT:;
映射过后的空间:
Z1=X1, Z2=X12, Z3=X2, Z4=X22, Z5=X1X2
(X1,X2) ——> (Z1, Z2, Z3, Z4, Z5,)
即将:R2空间映射到R5空间。
此时,总能找到一个超平面wT Z + b = 0 wT = {a1, a2, a3, a4, a5}T ,b = a6 使得数据很好的分类。
核函数
➢ 核函数: ➢ 概念:x,z∈X, X属于Rn空间,非线性函数Φ实现输入空间X到特征空间F的映射,其中F属于Rm,n<<m。核
函数技术接收2个低维空间的向量,能够计算出经某变换后高维空间里的向量内积值。 ➢ 根据核函数技术有: ➢ K(x,z) = <Φ(x),Φ(z) > ➢ 其中:<, >为内积,K(x,z)为核函数。