下载文档原格式
半参数预测模型在定量的分子结构与其活性之间关系中的应用殷弘(香港浸会大学数学系摘要我们将要介绍的这个半参数预测模型(也叫 kriging 模型是由一个参数模型和一个非参数随机过程联合构成的。
它比单个的参数化模型更具有灵活性,同时又克服了非参数化模型处理高维数据存在的局限性。
通过对一组实际数据的应用,我们发现它比单个的参数化模型具有更强的预测能力,值得在定量的分子结构与其活性之间的关系的研究中加以推广。
关键字半参数, 回归,预测1:引言我们研究定量的分子结构与其活性之间的关系(QSAR ,其目的是想在分子的活性与分子结构之间建立一个比较理想的统计回归模型:((ff ==(1.1这样我们就可以通过此模型来预测未知某类化合物的物理化学的,生物学的以及毒物学的某种属性,模型中称为回归变量。
而分子描述值是对分子结构的一种定量的描述,我们可以将其看成模型中的自变量。
自从提出第一个分子描述值以来,现在有成千上百个分子描述值,这给模型建立带来了很多困难。
比如说,如何选择变量?选好变量后建立什幺样的模型等等? QSAR 研究中经常用到的参数化模型有普通的线性回归,主成份回归,偏最小二乘回归和邻回归。
这些方法只是充分挖掘了自变量与回归变量之间的线性关系,对剩下的信息没有能力给出解释了。
而本文将要介绍的半参数模型是由一个参数化模型和一个非参数化的随机过程组成的。
其中非参数化的随机过程提高了整个模型的质量,现在我们将此方法介绍给大家。
2: Kriging 模型Kriging 一词的意思是最优的空间预测,它是根据一个南非采矿工程师Krige 的名字命名的,是他将随机过程模型首次运用在空间预测上的。
详细内容读者可以参阅 Cressie (1993, Journel 和 Huijbregts (1978, Rivoirard (1994。
假设我们采集到个训练样本和 , 。
Kriging 方法用如下的模型来建立自变量与回归变量之间的关系 (不含误差,含有误差的模型在后面介绍:m ]', , , [21m s s s S L =]', , [21m y y y Y L =ℜ∈ℜ∈i n i y s ,( ( (s z s u s y += (2.1其中一个参数模型,它表现了回归变量的大部分信息,被称作平均结构。
半参数最近几十年大量的学者对半参数模型的参数估计和非参数估计做了大量的工作，现在我们其中主要方法进行一个概括介绍，并对其中的补偿最小二乘法和二步估计最小二乘核估计做主要详细的介绍。
第一种参数估计法，就是将非参数分量参数化的估计方法。
关于半参数模型的早期工作是这样的思路:对函数空间附施加一定的限制(主要指光滑性)，由于W 常是无穷维的，通常由光滑性可使用合理的逼近形式，使得W 中的元素参数化。
例如：在函数空间中选定一组基{}i e ，于是1()ni ii s t eλ==∑。
若W 中的元有某种光滑性，使此级数一致收敛，则可用有限和1()ni i i s t e λ==∑逼近。
于是()s t 估计的问题转化为估计有限维参数12(,,,)n λλλλ= ，从而可使用线性模型的方法(如最小二乘法，)同时估计β及λ。
由于这种估计是以非参数分量()s t 的参数化为特征，故大多以使用的参数化的方法命名(如偏光滑样条估计、偏分块多项式估计、分段多项式估计等)。
第二种是两步估计。
两步估计的思路是:先假设x 已知，我们可以做出S 的非参数估计(,)(,)()S t W t Y X βλβ=-，其中的λ为任意的参数，根据(,)W t λ采用的方法的不同，将两步估计分为不同的估计方法(如近邻估计、权估计、核估计、小波估计等).然后定义X 的估计为下述极小问题的解 ：min,(,)T V PV V Y X S t ββ==--求出β的解为β，从而就可以求出(,)S S t β=。
第三种估计方法是两阶段估计.其思路是：(())i E s t α=<∞，2(())i E s t <∞，()i i i e s t α=-+∆，则{}i e 是相互独立的同分布。
且0i Ee =，2i Ee <∞。
那么模型就化为：,(1,2,,)i i i y X e i n αβ=++=对于模型上面的模型使用最小二乘法得到β的估计β(称为β的一次估计):然后基于残差{}i i y X β-，在模型中使用某种方法(如核光滑、概率权、多项式、小波等)估计()s t ，记为()s t 。
六点四线相似模型
摘要：
1.模型介绍
2.模型原理
3.模型应用
4.模型优缺点
5.模型发展前景
正文：
1.模型介绍
六点四线相似模型，是一种广泛应用于图像处理、计算机视觉和机器学习领域的模型。
该模型通过六个参数来描述两个图像之间的相似性，这六个参数分别是：水平尺度因子、垂直尺度因子、旋转角、水平平移、垂直平移以及缩放因子。
2.模型原理
六点四线相似模型的原理是基于图像特征点的匹配。
首先，需要在两个图像中分别选取一定数量的特征点，这些特征点通常是图像中的角点或者边缘点。
然后，通过计算这些特征点之间的距离和角度，来确定两个图像之间的变换关系。
具体来说，模型会通过最小化特征点之间的距离和角度来寻找最优的变换关系，从而实现图像的相似性匹配。
3.模型应用
六点四线相似模型在许多领域都有广泛的应用，例如：图像拼接、目标检
测、图像识别、视频处理等。
其中，图像拼接是该模型最常见的应用之一。
通过将多个图像按照相似性进行匹配和拼接，可以得到更大范围的图像，从而提高图像的质量和分辨率。
4.模型优缺点
六点四线相似模型的优点在于计算简单、速度快，且具有较高的准确性。
然而，该模型也存在一些缺点，例如：对于某些具有复杂变换关系的图像，模型可能无法准确匹配；此外，模型对于噪声敏感，当图像质量较差时，匹配效果可能会受到影响。
5.模型发展前景
随着计算机视觉和机器学习领域的快速发展，六点四线相似模型在许多任务中仍然具有重要的应用价值。
第七章 非参数回归模型与半参数回归模型第一节 非参数回归与权函数法一、非参数回归概念前面介绍的回归模型，无论是线性回归还是非线性回归，其回归函数形式都是已知的，只是其中参数待定，所以可称为参数回归。
参数回归的最大优点是回归结果可以外延，但其缺点也不可忽视，就是回归形式一旦固定，就比较呆板，往往拟合效果较差。
另一类回归，非参数回归，则与参数回归正好相反。
它的回归函数形式是不确定的，其结果外延困难，但拟合效果却比较好。
设Y 是一维观测随机向量，X 是m 维随机自变量。
在第四章我们曾引进过条件期望作回归函数，即称g (X ) = E (Y |X ) （7.1.1）为Y 对X 的回归函数。
我们证明了这样的回归函数可使误差平方和最小，即22)]([min )]|([X L Y E X Y E Y E L-=-（7.1.2）这里L 是关于X 的一切函数类。
当然，如果限定L 是线性函数类，那么g (X )就是线性回归函数了。
细心的读者会在这里立即提出一个问题。
既然对拟合函数类L (X )没有任何限制，那么可以使误差平方和等于0。
实际上，你只要作一条折线(曲面)通过所有观测点(Y i ，X i )就可以了是的，对拟合函数类不作任何限制是完全没有意义的。
正象世界上没有绝对的自由一样，我们实际上从来就没有说放弃对L(X)的一切限制。
在下面要研究的具体非参数回归方法，不管是核函数法，最近邻法，样条法，小波法，实际都有参数选择问题(比如窗宽选择，平滑参数选择)。
所以我们知道，参数回归与非参数回归的区分是相对的。
用一个多项式去拟合(Y i ，X i )，属于参数回归；用多个低次多项式去分段拟合(Y i ，X i )，叫样条回归，属于非参数回归。
二、权函数方法非参数回归的基本方法有核函数法，最近邻函数法，样条函数法，小波函数法。
这些方法尽管起源不一样，数学形式相距甚远，但都可以视为关于Y i 的线性组合的某种权函数。
也就是说，回归函数g (X )的估计g n (X )总可以表为下述形式：∑==ni i i n Y X W X g 1)()(（7.1.3）其中｛W i (X )｝称为权函数。
半参数模型估计方法概述半参数模型估计的一个重要应用是生存分析，即对个体从其中一起始点到达其中一事件发生点所经历的时间进行建模和估计。
在生存分析中，通常关注其中一事件的发生率，如死亡率、失业率等。
半参数模型估计的目标是估计这些事件的发生率，并且不对事件发生率所在的整个分布进行参数化。
1. 首先，确定不完全参数化模型的形式，如生存函数。
生存函数是指在给定时间点t，个体在此时间点之前未发生事件的概率。
常用的生存函数包括Kaplan-Meier estimator和Nelson-Aalen estimator。
2.接下来，通过最大似然估计或其他适当的方法估计模型中的参数。
这些参数可能是已知的常数，也可能是需要估计的未知数。
3. 然后，根据已知参数和已估计的参数，将非参数部分转化为参数化形式。
这可以通过使用半参数估计方法，如Cox比例风险模型来实现。
Cox比例风险模型是生存分析中最常用的半参数模型之一4.最后，使用估计的模型对新数据进行预测，并根据预测结果进行决策或推断。
然而，半参数模型估计也存在一些限制。
首先，由于半参数模型的非参数部分无法精确估计，因此估计结果可能不如完全参数化模型中的估计结果准确。
其次，半参数模型估计通常需要较大的样本量，以获得可靠的估计结果。
最后，半参数模型估计在解释变量和响应变量之间的因果关系上存在一定的局限性。
总结来说，半参数模型估计是一种用于估计不完全参数化概率分布的方法，常用于生存分析和其他有界面数据或缺失数据的分析。
它的基本思想是将参数问题转化为非参数问题，并使用经验似然方法进行估计。
半参数模型估计优点是能够处理复杂的数据，并且不需要对整个分布进行参数化；但也存在一些限制，如估计结果可能不如完全参数化模型准确，需要较大的样本量等。
第七章 非参数回归模型与半参数回归模型第一节 非参数回归与权函数法一、非参数回归概念前面介绍的回归模型，无论是线性回归还是非线性回归，其回归函数形式都是已知的，只是其中参数待定，所以可称为参数回归。
参数回归的最大优点是回归结果可以外延，但其缺点也不可忽视，就是回归形式一旦固定，就比较呆板，往往拟合效果较差。
另一类回归，非参数回归，则与参数回归正好相反。
它的回归函数形式是不确定的，其结果外延困难，但拟合效果却比较好。
设Y 是一维观测随机向量，X 是m 维随机自变量。
在第四章我们曾引进过条件期望作回归函数，即称g (X ) = E (Y |X ) （7.1.1）为Y 对X 的回归函数。
我们证明了这样的回归函数可使误差平方和最小，即22)]([min )]|([X L Y E X Y E Y E L-=-（7.1.2）这里L 是关于X 的一切函数类。
当然，如果限定L 是线性函数类，那么g (X )就是线性回归函数了。
细心的读者会在这里立即提出一个问题。
既然对拟合函数类L (X )没有任何限制，那么可以使误差平方和等于0。
实际上，你只要作一条折线(曲面)通过所有观测点(Y i ，X i )就可以了是的，对拟合函数类不作任何限制是完全没有意义的。
正象世界上没有绝对的自由一样，我们实际上从来就没有说放弃对L(X)的一切限制。
在下面要研究的具体非参数回归方法，不管是核函数法，最近邻法，样条法，小波法，实际都有参数选择问题(比如窗宽选择，平滑参数选择)。
所以我们知道，参数回归与非参数回归的区分是相对的。
用一个多项式去拟合(Y i ，X i )，属于参数回归；用多个低次多项式去分段拟合(Y i ，X i )，叫样条回归，属于非参数回归。
二、权函数方法非参数回归的基本方法有核函数法，最近邻函数法，样条函数法，小波函数法。
这些方法尽管起源不一样，数学形式相距甚远，但都可以视为关于Y i 的线性组合的某种权函数。
也就是说，回归函数g (X )的估计g n (X )总可以表为下述形式：∑==ni i i n Y X W X g 1)()(（7.1.3）其中｛W i (X )｝称为权函数。
