厦门大学机器学习考试题
- 格式:doc
- 大小:266.00 KB
- 文档页数:3
第一题 判断题(10分,每小题1 分)
[1] 逻辑斯蒂回归模型可以用来做分类,但是SVM 不能用来做回归。( ) [2] 训练数据较少时更容易发生过拟合。( )
[3] 如果回归函数A 比B 简单,则A 一定会比B 在测试集上表现更好。( )
[4] 在核回归中,最影响回归的过拟合性和欠拟合之间平衡的参数为核函数的宽度。( ) [5] 在AdaBoost 算法中,所有被错分的样本的权重更新比例相同。( ) [6] Boosting 的一个优点是不会过拟合。( )
[7] 梯度下降有时会陷于局部极小值,但EM 算法不会。( ) [8] SVM 对噪声(如来自其他分布的噪声样本)鲁棒。( ) [9] 经验风险最小化在一定条件下与极大似然估计是等价的。( )
[10] 在回归分析中,最佳子集选择可以做特征选择;Lasso 模型也可以实现特征选择。( )
第二题 统计学习方法的三要素(10分)
1. (5分)H 是一个函数空间,(,)p x y 是X Y ⨯上一个概率测度,1{,}n i i i D x y ==是X Y ⨯的一个子集(采样),()(,,(,)X Y
f L x y f x y dp ε⨯=⎰
,1
1()(,,(,))n
i i i i i f L x y f x y n ε==
∑, {}{}arg min (),arg min (),H z f H
f H
f f f f εε∈∈==请问:
[1] (2分)()()z H f f εε-随着N 增大而增大吗?为什么? [2] (3分)()()z H f f εε-随着H 增大而增大吗?为什么?
2. (5分) 比较感知机、逻辑斯蒂回归模型、AdaBoost 和SVM 的损失函数。
第三题 产生式模型和判别式模型 (10分)
[1] (5分)解释产生式模型和判别式模型,并分析二者的不同点; [2] 列出三种判别式模型(3分)和两种产生式模型(2分)
第四题 EM and Naive Bayes (15分)
[1] (5分)概述EM 算法的用途及其主要思想;
[2] (10分)EM 算法可以用到朴素贝叶斯法的非监督学习,写出其算法。
第五题 HMM (10分) 考虑盒子和球模型
,状态集合
,观测集合
,
0.50.20.30.30.50.20.20.30.5A ⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦,0.50.50.40.60.70.3B ⎡⎤⎢⎥=⎢⎥
⎢⎥⎣⎦
,
设T=3,O=(红、白、红),试用前向算法计算
.
第六题 SVM (15分)
考虑利用线性支持向量机对如下两类可分数据进行分类:
+1:(1,1), (2,2), (2,0) -1:(0,0), (1,0), (0,1)
[1] (4分)在图中做出这6个训练点,构造具有最优超平面和最优间隔的权重向量; [2] (3分)哪些是支撑向量?
[3] (8分)通过寻找拉格朗日乘子i α来构造在对偶空间的解,并将它与[1]中的结果比较。
第七题 Logistic 回归模型(15分)
如图1(a)所示,数据采用简化的线性logistic 回归模型进行两类分类,即,
()()()
12112211221
1,,1exp ()P Y x w w g w x w x w x w x ==+=
+-+ 为了简化,不采用偏差w 0,训练数据可以被完全分开(训练误差为0,如图1(b)所示的L 1)。
++
++
+
+o o o o o o
o
o ++
++
+
+o o o
o o o o
o
图1(a) 二维训练数据
图1(b) 可能的决策面:L 1,L 2,L 3,L 4L 1
L 2
L 3L
4
[1] (8分)考虑一个正则化的方法,即最大化()2
1221
log ,,2
N i i i C P y x w w w =-
∑,注意只有被惩
罚。则当C 很大时,如图1(b)所示的4 个决策边界中,哪条线可能是由该正则方法得到的?L 2、L 3 和L 4 可以通过正则
得到吗?简要说明理由。
[2] (7分)如果我们将正则项给出L 1 范式,即最大化()()12121
log ,,2
N i i i C
P y x w w w w =-
+∑,则随着 C 增大,下面哪种情形可能出现(单选) ?注:简要说明理由 (A) 将变成0,然后 也将变成0。 (B)将变成0,然后也将变成0。
(C)和
将同时变成0。 (D)两个权重都不会变成0,只是随着C 的增大而减小为0。
第八题 AdaBoost (15分)
考虑如下图2所示的训练样本,其中’X’和’O’分别表示正样本和负样本。采用AdaBoost 算法对上述样本进行分类。在Boosting 的每次迭代中,选择加权错误率最小的弱分类器。假设采用的弱分类器为平行两个坐标轴的线性分类器。
0.511.522.533.544.555.560
1
2
3
4
5
6
-1+1
图2 训练数据
[1]
(4分)在图2中标出第一次迭代选择的弱分类器(L 1),并给出决策面的‘+’和‘-’面。 [2] (4分)在图2中用圆圈标出在第一次迭代后权重最大的样本,其权重是多少? [3] (4分)第一次迭代后权重最大的样本在经过第二次迭代后权重变为多少?
[4]
(3分)强分类器为弱分类器的加权组合。则在这些点中,存在被经过第二次迭代后的