第九章欧氏空间 ［教学目标］ 1理解欧氏空间、内积、向量的长度、夹角、正交和度量矩阵的概念。2理解正交组、正交基、标准正交基和正交矩阵的概念，理解n维欧氏空间的标准正交基的存在性和标准正交基之间过渡矩阵的性质，重点掌握施密特正交化方法。 3理解欧氏空间同构的定义和同构的充要条件。 4理解正交变换的定义及正交变换与正交矩阵的关系，掌握正交变换的几个等价条件。 5理解子空间的正交和正交补的概念，掌握正交补的结构和存在唯一性。 6理解对称变换的定义和对称变换与对称矩阵之间的关系，掌握实对称矩阵特征值的性质，重点掌握用正交变换把实对称矩阵及实二次型化为对角形和标准形的方法。 ［教学重难点］ 欧氏空间的定义，求向量的长度和夹角的方法，施密特正交化方法，正交变换与正交矩阵的关系，用正交变换把实对称矩阵及实二次型化为对角形和标准形的方法。 ［教学方法］讲授，讨论和习题相结合。 ［教学时间］18学时。 ［教学内容］
欧氏空间的定义和性质，标准正交基，同构，正交变换，子空间，对称矩阵的标准形，向量到子空间的矩离、最小二乘法*。 [教学过程] §1 定义、性质 定义1：设V 是R 上的一个线性空间，在V 上定义了一个二元实函数，称为内积，记为),(βα，如果它具有以下性质： （1）),(),(αββα= （2）),(),(βαβαk k = （3）),(),(),(γβγαγβα+=+ （4）0),(≥αα当且仅当0=α时0),(=αα。 这里R k V ∈∈,,,γβα，则V 称为欧几里得空间（简称欧氏空间） 例1、例2。 练习：394P 1（1）。 定义2：非负实数),(αα称为α的长度，记为α 性质：ααk k = 单位向量：长度为1的向量。 α单位化： α α -Cauchy Буняковский不等式：βα,?，有 βαβα≤),( 等号成立当且仅当βα,线性相关。 在不同内积中，-Cauchy Буняковский不等式的具体例子： 例1中，2 2221222212211n n n n b b b a a a b a b a b a ++++++≤+++ΛΛΛ
题目：用外点法求解非线性约束最优化问题 学院信息管理学院 学生姓名余楠学号 81320442 专业数量经济学届别 2013 指导教师易伟明职称教授 二O一三年十二月
用外点法求解非线性约束最优化问题 摘要 约束最优化问题是一类重要的数学规划问题。本文主要研究了用外点罚函数法对约束非线性规划问题进行求解。对于一个约束非线性规划用罚函数求解的基本思路是通过目标函数加上惩罚项，将原约束非线性规划问题转化为求解一系列无约束的极值问题。本文最后利用c语言编程得到满足允许误差内的最优解。 本文主要对一个约束非线性规划问题的实例，首先利用上述迭代的方法，计算出各迭代点的无约束极值问题的最优解。然后应用c语言编程，得到精确地最优解，需迭代四次次才使得ε≤0.001，得到的最优解为* X=(333 .0)T。 .0, 666 关键词：外点罚函数法非线性规划约束最优化迭代最优解
一、背景描述 线性规划的目标函数和约束条件都是决策变量的线性函数，但如果目标函数或约束条件中含有决策变量的非线性函数，就称为非线性规划。非线性规划与线性规划一样，也是运筹学的一个极为重要的分支，它在经济、管理、计划、统计以及军事、系统控制等方面得到越来越广泛的应用。 非线性规划模型的建立与线性规划模型的建立类似，但是非线性规划问题的求解却是至今为止的一个研究难题。虽然开发了很多求解非线性规划的算法，但是目前还没有适用于求解所有非线性规划问题的一般算法，每个方法都有自己特定的适用范围。 罚函数法是应用最广泛的一种求解非线性规划问题的数值解法，它的基本思路是通过目标函数加上惩罚项，将原约束非线性规划问题转化为求解一系列无约束的极值问题。这种惩罚体现在求解过程中，对于企图违反约束的那些迭代点，给予很大的目标函数值，迫使这一系列无约束问题的极小值点无限的向可行集（域）逼近，或者一直保持在可行集（域）内移动，直到收敛于原来约束问题的极小值点。 外点法的经济学解释如下：若把目标函数看成“价格”，约束条件看成某种“规定”，采购人员在规定的范围内采购时价格最便宜，但若违反了规定，就要按规定加收罚款。采购人员付出的总代价应是价格和罚款的综合。采购人员的目标是使总代价最小，当罚款规定的很苛刻时，违反规定支付的罚款很高。这就迫使采购人员在规定的范围内采购。数学上表现为罚因子足够大时，无约束极值问题的最优解应满足约束条件，而成为约束问题的最优解。 二、基础知识 2.1 约束非线性优化问题的最优条件 该问题是一个约束非线性优化问题，利用外点罚函数法求解该问题，约束非线性优化问题的最优解所要满足的必要条件和充分条件是我们设计算法的依据，为此有以下几个定理。
线性空间与欧几里得空间 自测题 一、填空题 1、对欧几里得空间V 中的任意向量βα，，有()βαβα≤ ，，而且等号成立当且仅当 。 2、设1W 与2W 是V 的两个线性子空间，如果1W +2W 中的每个向量α都可唯一的被表示成21ααα+=，2211W W ∈∈αα，，则称1W +1W 为这两个子空间的 。 3、两个同构的线性空间的维数 。 4、第二类正交变换的行列式的值等于 。 5、如果A 是正交矩阵。若k 为实数，使kA 为正交矩阵，则k 等于 。 二、选择题 6、下列n R 的子集是n R 的子空间的为（ ） A ：(){}n i Z a a a a a i n ...,3,2,1,.....,,,321=∈ B ：(){}0.....,,,21321=a a a a a a n C ：(){}R a a a a n ∈211,,0,...,0, C ：{} 1..)...,,(2222121≤+++n n a a a a a a 7、全体正实数的集合+R 对于下面定义的加法与标量乘法：k a a k a b b a ==⊕ ,构成R 上的线性空间，则+R 的零元素为（ ） A ：0 B: 1 C: 2 D: 3 8、若A 是正交矩阵，则下列矩阵中仍为正交矩阵的是（多重选择，其中k 是1±≠的整数） A:kA B:k A C:交换A 的任两行所得的矩阵 D ：把A 的某行k 倍加到另一行所得的矩阵 9、设A 是欧几里得空间V 关于基n ααα，，，...21的度量矩阵，则A 满足以下哪个条件时，n ααα，，，...21是规范正交基？ （ ） A: A 是正交矩阵 B ：A 为对称矩阵 C ：1-A 为正交矩阵 D ：A 为单位矩阵 10、以下哪个结论不是两个线性子空间1W 与2W 的和21W W +为直和的等价命题：（ ） A ：dim ()()()()221121dim dim dim dim W W W W W W >+>+且
第六章 线性空间和欧式空间 §1 线性空间及其同构 一 线性空间的定义 设V 是一个非空集合，K 是一个数域，在集合V 的元素之间定义了一种代数运算， 叫做加法；这就是说，给出了一个法则，对于V 中任意两个元素α和β，在V 中都有唯一的一个元素γ与他们对应，成为α与β的和，记为βαγ+=。在数域K 与集合V 的元素之间还定义了一种运算，叫做数量乘法，即对于数域K 中任一数k 与V 中任一元素α，在V 中都有唯一的一个元素δ与他们对应，称为k 与α的数量乘积，记为αδk =，如果加法与数量乘法满足下述规则，那么V 称为数域K 上的线性空间。 加法满足下面四条规则： 1）αββα+=+；交换律 2）)()(γβαγβα++=++；结合律 3）在V 中有一个元素0，对于V 中任一元素α都有αα=+0（具有这个性质的元 素0称为V 的零元素）； 存在零元 4）对于V 中每一个元素α，都有V 中的元素，使得0=+βα（β称为α的负元素）. 存在负元 数量乘法满足下面两条规则： 5）αα=1； 存在1元 6）αα)()(kl l k =. 数的结合律 数量乘法与加法满足下面两条规则： 7）αααl k l k +=+)(； 数的分配律 8）βαβαk k k +=+)(. 元的分配律 在以上规则中，l k ,表示数域中的任意数；γβα,,等表示集合V 中任意元素。 例1． 元素属于数域K 的n m ?矩阵，按矩阵的加法和矩阵的与数的数量乘法，构成 数域K 上的一个线性空间，记为,()m n M K 。 例2． 全体实函数（连续实函数），按函数的加法和数与函数的数量乘法，构成一个实 数域上的线性空间。 例3． n 维向量空间n K 是线性空间。
第7章向量空间与线性变换 7-1.下列向量组中，哪些是向量空间4R 的基，为什么？ （1）T )1,1,1,1(1=α，T )0,1,1,1(2=α，,)0,0,1,1(3T =αT )0,0,0,1(4=α； （2）T )1,0,0,1(1=α，T )0,1,2,0(2-=α，,)0,0,1,0(3T -=αT )1,0,3,1(4--=α； （3）T )1,0,0,1(1=α，T )0,1,1,0(2-=α，,)0,2,0,0(3T =αT )1,1,1,1(4=α； （4）T )0,0,0,1(1=α，T )0,1,1,0(2-=α，,)0,2,0,0(3T =αT )1,0,0,0(4=α.7-2. 把向量组T ),,(1101=α，T )1,0,1(2=α，T )0,1,1(3=α化为3R 的标准正交基.7-3.已知T )1,1,1(1=α，T )0,1,1(2-=α，T )0,0,1(3-=α是向量空间3R 的基，求向 量T )1,3,2(--=η在该基下的坐标． 7-4.已知T )1,0,1(1-=α，T )0,1,1(2-=α，T )0,0,3(3=α与(),0,0,11T =ε(),0,1,02T =ε()T 1,0,03=ε都是向量空间3R 的基，求基321,,ααα到基321,,εεε的过渡矩阵．7-5.在向量空间3R 中取两组基 T )1,2,1(1=α，T )0,1,3(2-=α，T )0,0,1(3=α与 (),3,0,11T =β(),1,1,12T =β()T 4,1,13-=β. （1）求基321,,ααα到基321,,βββ的过渡矩阵； （2）设ξ在基321,,ααα下的坐标是T )1,3,2(-，求ξ在基321,,βββ下的坐标．7-6.令][3x F 表示数域F 上一切次数3≤的多项式连同零多项式所组成的向量空间. （1）求这个向量空间的一个基和维数； （2）证明微分运算D 是一个线性变换. 7-7.在上一题中，求微分运算D 在所取基下的矩阵.7-8.在3 R 中，T 表示向量投影到xOy 平面的线性变换，即()T xi yj zk xi yj ++=+ .
第一章 线性空间与线性变换 线性空间与线性变换是学习现代矩阵论时经常用到的两个极其重要的概念．本章先简要地论述这两个概念及其有关理论，然后再讨论两个特殊的线性空间，这就是Euclid 空间和酉空间． §1.1 线性空间 线性空间是线性代数最基本的概念之一，也是学习现代矩阵论的重要基础，所考虑的数域是实数域(记为R)和复数域(记为C)，统称数域F ． 一、线性空间的定义及性质 定义1 设V 是一个非空集合，F 是一数域．如果存在一种规则，叫做V 的加法运算：对于V 中任意两个元素,αβ，总有V 中一个确定的元素γ与之对应．γ称为αβ与的和，记为γαβ=+．另有一种规则，叫做V 对于F 的数乘运算：对于F 中的任意数k 及V 中任意元素α，总有V 中一个确定的元素σ与之对应，σ叫做k 与α的数乘，记为k σα=．而且，以上两种运算还具有如下的性质： 对于任意α，β，V γ∈及k ，l F ∈，有 1)αββα+=+； 2)()()αβγαβγ++=++； 3)V 中存在零元素０，对于任何V α∈，恒有αα+=0； 4)对于任何V α∈，都有α的负元素V β∈，使0αβ+=； 5)1αα=； 6)()()k l kl αα=；(式中kl 是通常的数的乘法) 7)()k l k l ααα+=+；(式中k l +是通常的数的加法) 8)()k k k αβαβ+=+． 则称V 为数域F 上的一个线性空间，也称向量空间． V 中所定义的加法及数乘运算统称为线性运算，其中数乘又称数量乘 法．在不致产生混淆时，将数域F 上的线性空间简称为线性空间． 需要指出，不管V 的元素如何，当F 为实数域R 时，则称V 为实线性空间；当F 为复数域C 时，就称V 为复线性空间． 线性空间{0}V =称为零空间．
2000年8月系统工程理论与实践第8期 文章编号:1000-6788(2000)08-0054-04 用混沌搜索求解非线性约束优化问题 骆晨钟,邵惠鹤 (上海交通大学自动化系,上海200030) 摘要: 提出了一种用混沌搜索求解非线性约束优化的新方法.利用罚函数思想将约束问题无约束 化,再利用混沌的内在随机性与遍历性进行求解.算例仿真结果表明,算法简单实用,性能良好,是解 决非线性约束优化问题的有效途径. 关键词: 混沌;精确罚函数;非线性约束优化 中图分类号: T P301.6 Chaos Search M ethod for Nonlinear Constrained Optimization LU O Chen-zhong,SHAO Hui-he (Departm ent o f A ut omat ion,Shang hai Jiao tong U niver sity,Shanghai,200030) Abstract: A new method based on chao s sear ch for no nlinear constr ained optimizatio n is developed.T he optim izatio n pr oblem is first unco nstrained by virt ue o f no n-differen- tiable ex act penalty functio n,and is fur ther so lv ed making use o f the erg odicity and in- tr insic randomness of chao s.Simulatio n instances sho w that the new metho d is simple and effect ive.Chaos sear ch is a new w ay to solve pr actical nonlinear constra ined opti- mization pr oblems. Keywords: cha os;ex act pena lty function;no nlinear co nst rained optimizatio n 1 引言 对于有约束的非线性规划问题,已经开发出有许多有效算法,如罚函数方法,广义既约梯度法(G RG),逐次二次规划法(SQP)等.特别是SQ P方法在工程领域的大规模优化问题求解中获得了许多成功的应用.但是,上述方法都是基于梯度寻优的思想,要求目标函数和约束条件连续、可微,且往往只能得到局部极值点. 这里提出用混沌解决约束非线性优化问题的新方法.混沌作为崭新的交叉学科,其理论与应用受到包括控制界在内的广泛关注.混沌是存在于非线性动力学系统中的一种较为普遍的现象,混沌系统具有一些独特的动力学性质[1,2].比如,混沌系统具有初值敏感性,初始条件的微小变化会引起输出结果无法估计的巨大差异;混沌是确定性系统自发产生的不稳定现象,使系统在持久性动力性态上表现出类似随机的复杂行为,这种性质被称为内在随机性;某些混沌系统可以在特定范围内按自身规律不重复地遍历所有状态,因此又具有遍历性. 利用混沌进行优化方法的研究是混沌应用的一个新领域.混沌优化方法无须优化问题具有连续性和可微性,又可以在一定范围内遍历求解,有利于找到全局最优解,因此可以克服传统优化方法的缺点.文献[3]提出用混沌载波搜索的优化方法,文献[4]采用混沌搜索与共轭梯度法结合的混合算法,取得了较好的效果.目前关于混沌优化方法研究还比较少,对于有约束的非线性优化的研究就更少.本文将混沌用于带 收稿日期:1998-12-21
欧氏空间中线性变换和正交变换的关系 摘要 对欧式空间中的线性变换与正交变换之间的关系进行讨论 关键词：欧式空间 线性变换 正交变换 线性变换和正交变换是欧氏空间的两种重要变换。本文首先引入线性变换和正交变换在欧氏空间中的定义，然后讨论两者之间的关系。为了阅读方便，本文从最基本的概念谈起，即先定义线性空间、内积、欧氏空间、线性变换和正交变换。 定义1 设V 不是空集，P 为一个数域，在V 中定义加法和数量乘法（简称数乘），若对P l k V ∈?∈?,,,,γβα，满足： （1）V ∈+βα，（关于加法封闭） （2）αββα+=+，（交换律） （3）） （）（γβαγβα++=++，（结合律） （4）V V ∈?=+∈?ααα，使0,0，（零元） （5）0=-+∈-?∈?）（，使）（，ααααV V ，（负元） （6）V k ∈?α（关于数乘封闭） （7）αα=?1 （8）αα）（）（kl l k = （9）αααl k l k +=+）（ （10）βαβαk k k +=+）（ 则称V 为数域P 上的线性空间。 定义2 设V 是R 上的一个线性空间，在V 上定义了一个二元实函数，称为内积，记为),(βα，它具有以下性质（R k V ∈∈,,,γβα）： （1）),(),(αββα= （2）),(),(βαβαk k = （3）),(),(),(γβγαγβα+=+ （4）0),(≥αα，当且仅当0=α时，0),(=αα。 定义3 定义2中的线性空间V 就称为欧几里得空间，简称欧氏空间。 定义4 设V 是一个线性空间，P 为一个数域，对于P k V ∈?∈?,,βα，有 （1）()()()A A A αβαβ+=+ （2）()()A k kA αα?= 则称A 为V 上的线性变换。 定义5 设A 是欧氏空间V 的一个变换，如果对于任意的,,V ∈βα即保持内积不变，
第六章 线性空间与欧式空间 §1 线性空间及其同构 一 线性空间得定义 设V 就是一个非空集合,K 就是一个数域,在集合V 得元素之间定义了一种代数运算, 叫做加法;这就就是说,给出了一个法则,对于V 中任意两个元素α与β,在V 中都有唯一得一个元素γ与她们对应,成为α与β得与,记为βαγ+=。在数域K 与集合V 得元素之间还定义了一种运算,叫做数量乘法,即对于数域K 中任一数k 与V 中任一元素α,在V 中都有唯一得一个元素δ与她们对应,称为k 与α得数量乘积,记为αδk =,如果加法与数量乘法满足下述规则,那么V 称为数域K 上得线性空间。 加法满足下面四条规则: 1)αββα+=+;交换律 2))()(γβαγβα++=++;结合律 3)在V 中有一个元素0,对于V 中任一元素α都有αα=+0(具有这个性质得元素0 称为V 得零元素); 存在零元 4)对于V 中每一个元素α,都有V 中得元素,使得0=+βα(β称为α得负元素)、存 在负元 数量乘法满足下面两条规则: 5)αα=1; 存在1元 6)αα)()(kl l k =、 数得结合律 数量乘法与加法满足下面两条规则: 7)αααl k l k +=+)(; 数得分配律 8)βαβαk k k +=+)(、 元得分配律 在以上规则中,l k ,表示数域中得任意数;γβα,,等表示集合V 中任意元素。 例1． 元素属于数域K 得n m ?矩阵,按矩阵得加法与矩阵得与数得数量乘法,构成数 域K 上得一个线性空间,记为,()m n M K 。 例2． 全体实函数(连续实函数),按函数得加法与数与函数得数量乘法,构成一个实数 域上得线性空间。 例3． n 维向量空间n K 就是线性空间。 例4． 向量空间得线性映射得集合(,)m n K Hom K K 就是线性空间。 二.简单性质 1.零元素就是唯一得。 2.负元素唯一。 3.00=α,00=k ,αα-=-)1(。 4.若0=αk ,则0=k 或者0=α。 三、同构映射 定义:设,V V '就是数域K 上得线性空间、 (,)K A Hom V V '∈就是一个线性映射、如果A 就 是一一映射,则称A 就是线性空间得同构映射,简称同构。线性空间V 与'V 称为同构 得线性空间。 定理 数域P 上两个有限维线性空间同构得充分必要条件就是她们有相同得维数。 同构映射得逆映射以及两个同构映射得乘积还就是同构映射。 ?同构 线性空间分类?维数
精心整理 active-set and sqp algorithms不接受用户提供的海塞矩阵，对拉格朗日的海塞矩阵提供一个拟牛顿的近似值； 目标函数估值次数与迭代次数？ 优化成功或失败 1、 （1 数（ （2 如果 就会导致无限次徒劳的迭代。DiffMaxChange和DiffMinChange选项能影响求解器的改善，它们控制求导估计中有限差分的步长。 （3）从不同的初始点重新开始求解 （4）检查目标函数和约束函数的定义
举个例子，可以检查目标函数和非线性约束函数在某些特定点处返回正确的值。不可行的点不一定导致函数的错误。 （5）对问题进行中心化和标准化 当每个坐标轴对目标函数和约束函数有相同的影响时，求解器更能可靠的运行，对每个坐标轴方向乘以合适的量使得每个坐标轴的影响相同，在特定的坐标轴 （6 （7 2 在可 （1 通过求解一个线性规划问题来找到一个满足界约束和线性约束的点。 i)定义一个目标函数是常值0的线性规划问题 f=zeros(size(x0));%assumesx0istheinitialpoint ii)求解这个线性规划问题看是否有一个可行点 xnew=linprog(f,A,b,Aeq,beq,lb,ub);
iii)如果有可行点xnew，用xnew作为初始点去求解原始问题 iv)如果没有可行点，那说明原始模型建的不好，检查界约束和线性约束。（2）检查非线性约束 在保证界约束和线性约束是可行的之后，检查非线性约束： i)设置目标函数为0，然后求解优化问题，如果能找到一个可行点xnew，令 ii) a. 足。 b. 3 （1）原问题可能确实无界，即存在一系列满足问题约束的点xi，使得limf(xi)=–∞。 （2）检查原问题建模正确，求解器是最小化目标函数，如果想得到最大化，将目标函数乘以-1. （3）试着标准化或中心化原问题。
第七章 线性变换(小结) 本章的重点: 线性变换的矩阵以及它们对角化的条件和方法. 本章的难点: 不变子空间的概念和线性变换与矩阵的一一对应关系. 线性变换是线性代数的中心内容之一,它对于研究线性空间的整体结构以及向量之间的内在联系起着重要作用.线性变换的概念是解析几何中的坐标变换、数学分析中的某些变换替换等的抽象和推广,它的理论和方法,(特别是与之相适应的矩阵理论和方法)在解析几何、微分方程等许多其它应用学科,都有极为广泛的应用. 本章的中心问题是研究线性变换的矩阵表示,在方法上则充分利用了线性变换与矩阵对应和相互转换. 一、线性变换及其运算 1. 基本概念: 线性变换,可逆线性变换与逆变换; 线性变换的值域与核，秩与零度; 线性变换的和与差, 乘积和数量乘法, 幂及多项式. 2. 基本结论 (1) 线性变换保持零向量、线性组合与线性关系不变; 线性变换把负向量变为象的负向量、把线性相关的向量组变为线性相关的向量组 (2) 线性变换的和、差、积、数量乘法和可逆线性变换的逆变换仍为线性变换. (3) 线性变换的基本运算规律(略). (4) 一个线性空间的全体线性变换关于线性变换的加法与数量乘法作成一个线性空间. (5) 线性空间V 的线性变换A 的象Im(A )= A V 与核ker A = A -1(0) (a) A 的象Im(A )= A V 与核ker A = A -1(0)是V 的(A -)子空间. (b)若dim(V )=n ,则Im(A )由V 的一组基的象生成: 即设V 的一组基 n ααα,...,,21, Im(A )= A V =L(A α1, A α2,… ,A αn )={ A α|α∈V }. ker A = A -1(0)= { α∈V | A α=0}. (c)A 的秩(dim Im(A ))+A 的零度(dim ker A )=n .
学院数学与信息科学学院 专业信息与计算科学 年级2011级 姓名魏云 论文题目线性空间的性质 指导教师韩英波职称副教授成绩 2013年3月16日
学年论文成绩评定表
目录 摘要 (1) 关键字 (1) Abstract (1) Key words (1) 前言 (1) 1 线性空间的概念 (2) 2 线性空间的相关理论 (3) 2.1 线性空间的一些简单性质 (3) 2.2 向量的线性关系 (3) 2.3 基、维数、坐标 (6) 3 两个特殊的子空间 (7) 3.1 欧几里得空间的定义与性质 (7) 3.2 酉空间的介绍 (8) 4 线性空间的同构 (8) 4.1 同构映射与线性空间同构的定义 (8) 4.2 同构映射的性质 (9) 参考文献 (10)
线性空间的性质 摘要：本文首先介绍了与线性空间相关的一系列基本概念，然后归纳总结了线性空间的一些相关性质，包括线性空间的维数、基及坐标；同构映射以及性质等，还包括了向量的线性关系，同时介绍了一些特殊的线性空间，以及它们的简单性质. 关键词：线性空间；基；维数；同构 The properties of linear vector space Abstract: In thesis, we introduce a series of basic concepts of the linear vector space firstly, and then summarized some properties of the linear space, including linear vector space definition, linear vector space, the nature of the linear vector space dimension, base and coordinates, isomorphism mapping and judgments. The thesis also includes linear vector space relationship, some special linear spaces and their simple properties. Key words: Linear space; Base ; Dimension; Isomorphism 前言：线性空间是线性代数最基本的数学概念之一，是线性代数的主要研究对象，它用公理化的方法引入了一个代数系统.同时线性空间与线性变换也是学习现代矩阵论时经常用到的两个极其重要的概念，线性空间的理论和方法在自然科学和工程技术领域中都有广泛的应用.下面我们主要研究线性空间及、向量的线性关系、基、维数、坐标、特殊的线性空间以及线性空间的同构问题. 1.线性空间的概念
非线性约束最优化方法 ——乘子法 1.1 研究背景 最优化理论与方法是一门应用性相当广泛的学科，它的最优性主要表现在讨论决策问题的最佳选择性，讨论计算方法的理论性质，构造寻求最佳解的计算方法，以及实际计算能力。伴随着计算数学理论的发展、优化计算方法的进步以及计算机性能的迅速提高，规模越来越大的优化问题得到解决。因为最优化问题广泛见于经济计划、工程设计、生产管理、交通运输、国防等重要领域，它已受到政府部门、科研机构和产业部门的高度重视。然而，随着人们对模型精度和最优性的要求所得到的优化命题往往具有方程数多、变量维数高、非线性性强等特点，使得相关变量的存储、计算及命题的求解都相当困难，从而导致大规模非线性优化很难实现。因此，寻求高效、可靠的大规模非线性优化算法成为近年来研究的热点。 本文讨论的问题属于非线性约束规划的范畴，讨论了其中的非线性等式约束最优化问题方面的一些问题。 1.2非线性约束规划问题的研究方法 非线性约束规划问题的一般形式为 （NPL ） {}{} m in (),, s.t. ()0,1,2,...,, ()0,1,2,...,n i i f x x R c x i E l c x i I l l l m ∈=∈=≤∈=+++ 其中，(),()i f x c x 是连续可微的. 在求解线性约束优化问题时，可以利用约束问题本身的性质，
但是对于非线性约束规划问题，由于约束的非线性使得求解这类问题比较复杂、困难。因此，我们将约束问题转化为一系列无约束优化问题，通过求解一系列无约束优化问题，来得到约束优化问题的最优解。我们用到的几类主要的方法有:罚函数法、乘子法以及变尺度法。 传统上我们所提出的非线性约束最优化方法一般都遵循下列三个基本思路之一 1 借助反复的线性逼近把线性方法扩展到非线性优化问题中来 2 采用罚函数把约束非线性问题变换到一系列无约束问题 3 采用可变容差法以便同时容纳可行的和不可行的X 矢量 其中源于思路2 的乘子罚函数法具有适合于等式及不等式约束不要求初始点为严格内点，甚至不要求其为可行点对自由度的大小无任何要求等特点。 1.3乘子法 罚函数法的主要缺点在于需要惩罚因子趋于无穷大，才能得到约束问题的极小点，这会使罚函数的Hesse矩阵变得病态，给无约束问题的数值求解带来很大问题，为克服这一缺点，Hestenes和Powell 于1964年各自独立地提出乘子法。所谓乘子法是：由问题的Lagrange 函数出发，考虑它的精确惩罚，从而将约束优化问题化为单个函数的无约束优化问题，它同精确罚函数法一样，具有较好的收敛速度和数值稳定性，且避免了寻求精确罚函数法中关于罚参数阈值的困难，它们一直是求解约束优化问题的主要而有效的算法。 考虑如下非线性等式约束优化问题：
第六章线性空间和欧式空间 § 1线性空间及其同构 线性空间的定义 设V是一个非空集合，K是一个数域，在集合V的元素之间定义了一种代数运算，叫 做加法；这就是说，给出了一个法则，对于V中任意两个元素和，在V中都有唯 一的一个元素与他们对应，成为与的和，记为。在数域K与集合V 的元素之间还定义了一种运算，叫做数量乘法，即对于数域K中任一数k与V中任一元素，在V中都有唯一的一个元素与他们对应，称为k与的数量乘积，记为k , 如果加法与数量乘法满足下述规则，那么V称为数域K上的线性空间。 加法满足下面四条规则： 1) ;交换律 2) ( ) ( )；结合律 3) 在V中有一个元素0,对于V中任一元素都有0 (具有这个性质的元素0称为V的零元素)；存在零元 4) 对于V中每一个元素，都有V中的元素，使得0( 称为的负元素). 存在负元 数量乘法满足下面两条规则： 5) 1 ; 存在1元 6) k(l ) (kl). 数的结合律 数量乘法与加法满足下面两条规则： 7) (k l) k l ；数的分配律 8) k( ) k k .元的分配律 在以上规则中，k,l表示数域中的任意数；，，等表示集合V中任意元素。 例1. 元素属于数域K的m n矩阵，按矩阵的加法和矩阵的与数的数量乘法，构成 数域K上的一个线性空间，记为M m,n(K)。 例2. 全体实函数(连续实函数)，按函数的加法和数与函数的数量乘法，构成一个实数域上的线性空间。
例3. n维向量空间K n是线性空间。 例4. 向量空间的线性映射的集合Hom K(K m, K n)是线性空间。 二. 简单性质 1. 零元素是唯一的。 2. 负元素唯一。 3 . 0 0, k0 0 , ( 1) 。 4.若k 0,则k 0或者0。 三. 同构映射 定义：设V,V是数域K上的线性空间.A Hom K(V,V )是一个线性映射.如果A是一- 映射，则称A是线性空间的同构映射，简称同构。线性空间V与V'称为同构的线性空间。 定理数域P上两个有限维线性空间同构的充分必要条件是他们有相同的维数。 同构映射的逆映射以及两个同构映射的乘积还是同构映射。 同构线性空间分类维数 § 2线性子空间的和与直和 子空间的和：设W,,W2是线性空间V的子空间，贝U集合W ( 1 2| 1叫或2 W2)也是一个线性子空间，称为W|,W2的和，记为W1 W2. 两个线性子空间的和W, W2是包含这两个线性子空间的最小子空间. 满足交换律、结合律 设1,|||, s与1,|||, t是V的两个向量组.则 L( 1, |||, s) L( 1,|||, t) L( 1,川，s, 1,|||, t) 线性子空间中的线性无关向量组都能被扩充成这个子空间的一个基。 定理：(维数公式)如果W i,W2是线性空间V的两个子空间，那么 dim(叫)+ dim(W2)=dim(W1 W0+ dim(W1 W2) 由此可知，和的维数要比维数的和来得小。推广到有限个线性子空间的和空间维数
第六章 线性空间与线性变换 柴中林 (A) 1. 检验下列集合对于所指的线性运算是否构成实数域上的线性空间： （1）全体n 阶上三角矩阵，对矩阵的加法和数量乘法。 （2）平面上不平行于某一向量的全部向量所成的集合，对向量的加法和数乘运算。 （3）平面上的全体向量对于通常的加法和如下定义的数量乘法：k 。a =0 . 2. 设V 1和V 2都是线性空间V 的子空间，如果V 1∪V 2也是的子空间，求证有：V 1 V 2或V 2 V 1。 3. 检验下列各向量集合是否是R 3的子空间： （1）},0|),,{(213211R x x x x x x V i ∈≥=, （2）}(|),,{(3212有理数）Q x x x x V i ∈=. 4. R 4中，求向量ξ在基α1，α2，α3，α4下的坐标，已知： （1）α1（1，1，1，1）， α2=（1，1，-1，-1）， α3=（1，-1，1，-1）， α4=（1，-1，-1，1）， ξ=（1，2，1，1）。 （2）α1（1，1，0，1）， α2=（2，1，3，-1）， α3=（1，1，0，0）， α4=（1，1，-1，-1）， ξ=（0，0，0，1）。 5. R 4中，求由基α1，α2，α3，α4到基β1，β2，β3，β4的过渡矩阵，并求向量ξ在指定基下的坐标。已知： （1）α1=（1，0，0，0）， α2=（0，1，0，0）， α3=（0，0，1，0）， α4=（0，0，0，1）， β1=（2，1，-1，1）， β2=（0，3，1，0）， β3=（5，3，2，1）， β4=（6，6，1，3）。 ξ=（1，2，1，1）在基β1，β2，β3，β4下的坐标。 （2）α1=（1，1，1，1）， α2=（1，1，-1，-1）， α3=（1，-1，1，-1）， α4=（1，-1，-1，1）， β1=（1，1，0，1）， β2=（2，1，3，1）， β3=（1，1，0，0）， β4=（0，1，-1，-1）。 ξ=（1，0，0，-1）在基α1，α2，α3，α4下的坐标。 6. 向量α、β、γ满足0321=++γβαk k k ，且k 1k 2≠0, 求证向量组α、β和向量组β、γ生成相同的向量空间。 7. 判断下面所定义的变换，哪些是线性变换，哪些不是： （1）在线性空间V 中，T （ξ）=ξ+α，其中α∈V 是一已知向量, （2）在R 3 中， T T x x x x x x x T ),,()),,((233221321+=, （3）在R 3中，T T x x x x x x x x T ),,2()),,((13221321+-=, （4）在P[x]n 中，T(f (x ))=f (x +1). 8. 证明线性变换将一个子空间变为一个子空间。 9. 已知矩阵A 与B 相似，C 与D 相似，证明： ???? ??C A 00与???? ??D B 00相似。 10. 设α1，α2，α3，α4是4维线性空间V 的一组基, 线性变换T 在这组基下的矩阵为: ??????? ??--------=7113102/52/92/1323133425T ,
第六章 线性空间和欧式空间 §1 线性空间及其同构 一 线性空间的定义 设V 是一个非空集合，K 是一个数域，在集合V 的元素之间定义了一种代数运算，叫做加法；这就是说，给出了一个法则，对于V 中任意两个元素α和β，在V 中都有唯一的一个元素γ与他们对应，成为α与β的和，记为βαγ+=。在数域K 与集合V 的元素之间还定义了一种运算，叫做数量乘法，即对于数域K 中任一数k 与V 中任一元素α，在V 中都有唯一的一个元素δ与他们对应，称为k 与α的数量乘积，记为αδk =，如果加法与数量乘法满足下述规则，那么V 称为数域K 上的线性空间。 加法满足下面四条规则： 1）αββα+=+；交换律 2）)()(γβαγβα++=++；结合律 3）在V 中有一个元素0，对于V 中任一元素α都有αα=+0（具有这个性质的元素0称为V 的零元素）； 存在零元 4）对于V 中每一个元素α，都有V 中的元素，使得0=+βα（β称为α的负元素）.存在负元 数量乘法满足下面两条规则： 5）αα=1； 存在1元 6）αα)()(kl l k =. 数的结合律 数量乘法与加法满足下面两条规则： 7）αααl k l k +=+)(； 数的分配律 8）βαβαk k k +=+)(. 元的分配律 在以上规则中，l k ,表示数域中的任意数；γβα,,等表示集合V 中任意元素。 例1． 元素属于数域K 的n m ?矩阵，按矩阵的加法和矩阵的与数的数量乘法，构成 数域K 上的一个线性空间，记为,()m n M K 。 例2． 全体实函数（连续实函数），按函数的加法和数与函数的数量乘法，构成一个实 数域上的线性空间。 例3． n 维向量空间n K 是线性空间。
批第八章欧氏空间 本节恒设为实数域。 定义1 设是上的向量空间。如果有一个规则，使得对于中任意向量都对应中唯一确定的数，将其记为，并且下述条件成立。 1 2 3 4 若 则称为向量与的内积。而称为欧几里德空间，简称欧氏空间。 第五章所讨论的向量空间便是一个欧氏空间，因为那里的内积定义满足定义1中的所有条件，这是欧氏空间的一个典型代表。 又如，设是定义在闭区间上的所有连续函数所构成的上的向量空间，规定中任意二向量，对应 则便成为一个欧氏空间。这是因为对任意及实数，均有
同时，若不是零函数，则 故规定的对应是与的内积。 命题1 设为欧氏空间，则对任意及任意，恒有： (1) (2) (3) 证明由定义1知 而由 知。证毕。 由命题1，利用数学归纳法不难证明：对任意都有
现在，再把第五章中的向量长度的概念推广为 定义2 非负实数称为向量长度，记为。 由定义1中的条件4知非零向量的长度恒为正实数。而由命题1的（3）知零向量的长度为0。除此之外，还有 命题2 对任意实数及，有 其中表的绝对值。 由此 即知。 定理1 对欧氏空间中的任意二向量恒有 而等号成立的充分必要条件是线性无关。 证明当线性相关时，其中一个向量必可由另一个向量线性表示，不防设，于是由 知 当线性无关时，对任意负数均有，从而 并即
因此必有 这也就是，所以 这样，便证明了定理的前一结论，又因上面的两种情况分别说明了后一结论的充分性与必要性成立，故知定理得证。 定理2（三角不等式）对于欧氏空间中的任意向量均有 证明由定理1得 故 把定理1 用于前面的具体例子，即可得到关于定积的一个重要的不等式 由定理1知，在一般的欧氏空间中，对于任意非零向量，恒有 因此
fmincon函数优化问题 fmincon解决的优化模型如下： min F(X) subject to: A*X <= B (线性不等式约束) Aeq*X = Beq (线性等式约束) C(X) <= 0 (非线性不等式约束) Ceq(X) = 0 (非线性等式约束) LB <= X <= UB （参数x的取值范围） x = fmincon(fun,x0,A,b,Aeq,beq,lb,ub,nonlcon,options) fmincon是求解目标fun最小值的内部函数 x0是初值 A b线性不等式约束 Aeq beq线性等式约束 lb下边界 ub上边界 nonlcon非线性约束条件 options其他参数，对初学者没有必须，直接使用默认的即可 优化工具箱提供fmincon函数用于对有约束优化问题进行求解，其语法格式如下：x=fmincon(fun,x0,A,b) x=fmincon(fun,x0,A,b,Aeq,beq) x=fmincon(fun,x0,A,b,Aeq,beq,lb,ub) x=fmincon(fun,x0,A,b,Aeq,beq,lb,ub,nonlcon) x=fmincon(fun,x0,A,b,Aeq,beq,lb,ub,nonlcon,options) x=fmincon(fun,x0,A,b,Aeq,beq,lb,ub,nonlcon,options,P1,P2,...) [x,fval]=fmincon(...) [x,fval,exitflag]=fmincon(...) [x,fval,exitflag,output]=fmincon(...)
向量空间 典型例题： 1 设12,,,n V ααα∈L 线性无关，问12231,,,n αααααα+++L 是否线性无关？ 解：设()()11210n n k k αααα+++=L 即()()11122n k k k k αα+++++L ()1n n k k -+0n α= 由12,,,n αααL 是线性无关知， 110 0n n n k k k k -+=?? ? ?+=?M 由()1 1001110 0 2 110 000 1n n A n +?? ?? ?==+-=? ?? ??? L L L L L L L L 为奇数为奇数，知 当12231,,,n n αααααα+++L 为奇数时，线性无关。 2 在n V 维线性空间中，设()1212,,,,0n n i a a a a αααα≠L L 关于基的坐标为，试求()100V αL 的一组基，使得关于这组基的坐标为，，，。 解：由()112,,n n a a a ααα?? ?= ? ??? L M ，设12,n βββL 为另一组基，则 ()111,0,,0n βαββ?? ? == ? ??? L M ，所以111n n a a βααα==++L 取22,,n n βαβα==L ，则12,n βββL 线性无关且满足题意。 3 证明：设n V n 维向量空间可以表示为个一维子空间的直和。 证明：设12,n αααL ， 是V 的一组基，令(),1,2,,i i w L i n α==L 则12n w w w V +++?L 显然成立，设11n n V k k αααα∈=++L ，则 又111,,n n n k w k w αα∈∈L ，所以12n w w w α∈+++L ，即12n w w w V +++?L