SVM-linearly separable

机器学习题库

一、 极大似然

1、 ML estimation of exponential model （10)

A Gaussian distribution is often used to model data on the real line， but is sometimes

inappropriate when the data are often close to zero but constrained to be nonnegative。 In such

cases one can fit an exponential distribution, whose probability density function is given by

1xbpxeb

Given N observations xi drawn from such a distribution：

(a) Write down the likelihood as a function of the scale parameter b.

（b） Write down the derivative of the log likelihood。

(c） Give a simple expression for the ML estimate for b。

2、换成Poisson分布：|,0,1,2,...!xepxyx

1111log|loglog!loglog!NNiiiiNNiiiilpxxxxNx

二、 贝叶斯

1、 贝叶斯公式应用

假设在考试的多项选择中,考生知道正确答案的概率为p，猜测答案的概率为1-p，并且假设考生知道正确答案答对题的概率为1，猜中正确答案的概率为1m，其中m为多选项的数目。那么已知考生答对题目，求他知道正确答案的概率。:,|11pknowncorrectppknowncorrectpknownppm

华中农业大学本科毕业论文（或设计）

I 目 录

摘 要 ........................................................................................................................................ II

关键词 ........................................................................................................................................ II

Abstract ...................................................................................................................................... II

Key Words .................................................................................................................................. II

1引言 ......................................................................................................................................... 1

1.1研究意义 ........................................................................................................................ 1

SVM⼊门——线性分类器的求解，核函数

⼀、问题的描述

从最⼀般的定义上说，⼀个求最⼩值的问题就是⼀个优化问题（也叫寻优问题，更⽂绉绉的叫法是规划——Programming），它同样由两部

分组成，⽬标函数和约束条件，可以⽤下⾯的式⼦表⽰：

（式1）

约束条件⽤函数c来表⽰，就是constrain的意思啦。你可以看出⼀共有p+q个约束条件，其中p个是不等式约束，q个等式约束。

关于这个式⼦可以这样来理解：式中的x是⾃变量，但不限定它的维数必须为1（视乎你解决的问题空间维数，对我们的⽂本分类来说，那可

是成千上万啊）。要求f(x)在哪⼀点上取得最⼩值（反倒不太关⼼这个最⼩值到底是多少，关键是哪⼀点），但不是在整个空间⾥找，⽽是

在约束条件所划定的⼀个有限的空间⾥找，这个有限的空间就是优化理论⾥所说的可⾏域。注意可⾏域中的每⼀个点都要求满⾜所有p+q个

条件，⽽不是满⾜其中⼀条或⼏条就可以（切记，要满⾜每个约束），同时可⾏域边界上的点有⼀个额外好的特性，它们可以使不等式约

束取得等号！⽽边界内的点不⾏。

关于可⾏域还有个概念不得不提，那就是凸集，凸集是指有这么⼀个点的集合，其中任取两个点连⼀条直线，这条线上的点仍然在这个集合

内部，因此说“凸”是很形象的（⼀个反例是，⼆维平⾯上，⼀个⽉⽛形的区域就不是凸集，你随便就可以找到两个点违反了刚才的规定）。

回头再来看我们线性分类器问题的描述，可以看出更多的东西。

（式2）

在这个问题中，⾃变量就是w，⽽⽬标函数是w的⼆次函数，所有的约束条件都是w的线性函数（哎，千万不要把xi当成变量，它代表样本，

是已知的），这种规划问题有个很有名⽓的称呼——⼆次规划（Quadratic Programming，QP），⽽且可以更进⼀步的说，由于它的可⾏域

是⼀个凸集，因此它是⼀个凸⼆次规划。

⼀下⼦提了这么多术语，实在不是为了让⼤家以后能向别⼈炫耀学识的渊博，这其实是我们继续下去的⼀个重要前提，因为在动⼿求⼀个问

svm的公式

支持向量机(Support Vector Machine, SVM)是一种机器学习算法，广泛应用于分类和回归问题。它基于统计学习理论和结构风险最小化原则，通过寻找一个最优超平面，将不同类别的样本分隔开来。

SVM的公式可以表示为:

$$

f(x) = \text{sign}(\omega \cdot x + b)

$$

其中，$x$表示输入样本的特征向量，$\omega$表示超平面的法向量，$b$表示超平面的截距，$f(x)$表示样本的预测值。函数$\text{sign}(\cdot)$表示符号函数，将输入值映射为+1或-1，用于分类问题。

在SVM中，最优超平面的选择是通过最大化间隔来实现的。间隔是指超平面与最靠近它的样本点之间的距离，最大化间隔可以提高模型的泛化能力。对于线性可分的情况，SVM的目标是找到一个完全分隔不同类别样本的超平面。这可以通过以下优化问题来实现:

$$

\begin{align*}

\text{minimize} \quad & \frac{1}{2} \|\omega\|^2 \\ \text{subject to} \quad & y_i(\omega \cdot x_i + b) \geq 1,

\quad i = 1, 2, ..., N

\end{align*}

$$

其中，$y_i$表示第$i$个样本的类别标签，$x_i$表示对应的特征向量，$N$表示样本的数量。约束条件确保每个样本都被正确分类，并且位于超平面的边界上。目标函数则通过最小化$\|\omega\|^2$来保证间隔的最大化。

对于线性不可分的情况，可以通过引入松弛变量(slack variable)来允许一些样本点出现在超平面的错误一侧。这时的优化问题可以表示为:

$$

\begin{align*}

\text{minimize} \quad & \frac{1}{2} \|\omega\|^2 + C