n
f( x ):C У的连续化方法(值得研究)
回归问题的类型
线性回归问题 非线性回归问题
回归问题的求解方法
• 插值方法 • 曲线拟合方法 最小二乘法: 偏差平方和最小 最小ε 带:偏差最大最小(可以变为两 类问题求解)
插值与拟合
图6插值:精确通过给定点;拟合:不需精确通过给定点
图7 最小ε带:偏差最大最小
分类问题:根据给定的训练集, T ( x , y ), , ( x , y ) 1 1 l l 其中
1 , 2 , ,l У{ 1 , 2 , , m } i xi C Rn y i
要求寻找C 上的决策函数
f( x ):C У
以便能用决策函数 f ( x ) “较好地”推断任一模 y 值。 x 式相对应的
从数学的角度看分类问题
• • • • 已知: (1)函数的值域为有限个离散点 (2)函数在某些点上的函数值。 求解:寻找一个函数能较好地预测其他点 上的函数值
注记
如何选择可选的函数类? 丰富与简单之间的权衡 如何定义“较好地”? 经验风险与置信风险的折中 n f(x ):C У 是连续函数吗?定义域 C 如果不是 R 空间呢?比如 Z n ;值域 У 取不同的值会否影响解? 比如 У { 1 , 2 , 4 , , 2} m f( x ):C У的连续化方法(值得研究) 比如首先求一个从 C ( C )到 У ( У ) 的连续函 数 g ( x ) ,然后再对其离散化,得到不连续的分类函 数:f() x l a b e lg ( () x )
分类问题的类型
• 从类的多少角度:一类,二类,多类,可 列无穷类;其中一类、二类是最基本的问题, 因为其他可以通过它们来处理。 • 从类的线性可分角度:线性可分,线性不 可分。 • 从类之间序关系的角度:有序分类,无序 分类。