线性和非线性最优化理论、方法、软件及应用
最优化在航空航天、生命科学、水利科学、地球科学、工程技术等自然科学领域和经济金融等社会科学领域有着广泛和重要的应用, 它的研究和发展一直得到广泛的关注. 最优化的研究包含理论、方法和应用.最优化理论主要研究问题解的最优性条件、灵敏度分析、解的存在性和一般复杂性等.而最优化方法研究包括构造新算法、证明解的收敛性、算法的比较和复杂性等.最优化的应用研究则包括算法的实现、算法的程序、软件包及商业化、在实际问题的应用. 这里简介一下线性和非线性最优化理论、方法及应用研究的发展状况.
1. 线性最优化
线性最优化, 又称线性规划, 是运筹学中应用最广泛的一个分支.这是因为自然科学和社会科学中许多问题都可以近似地化成线性规划问题. 线性规划理论和算法的研究及发展共经历了三个高潮, 每个高潮都引起了社会的极大关注. 线性规划研究的第一高潮是著名的单纯形法的研究. 这一方法是Dantzig在1947年提出的,它以成熟的算法理论和完善的算法及软件统治线性规划达三十多年. 随着60年代发展起来的计算复杂性理论的研究, 单纯形法在七十年代末受到了挑战. 1979年前苏联数学家Khachiyan提出了第一个理论上优于单纯形法的所谓多项式时间算法--椭球法, 曾成为轰动一时的新闻, 并掀起了研究线性规划的第二个高潮. 但遗憾的是广泛的数值试验表明, 椭球算法的计算比单纯形方法差.
1984年Karmarkar提出了求解线性规划的另一个多项式时间算法. 这个算法从理论和数值上都优于椭球法, 因而引起学术界的极大关注, 并由此掀起了研究线性规划的第三个高潮. 从那以后, 许多学者致力于改进和完善这一算法,得到了许多改进算法.这些算法运用不同的思想方法均获得通过可行区域内部的迭代点列, 因此统称为解线性规划问题的内点算法. 目前内点算法正以不可抗拒的趋势将超越和替代单纯形法.
线性规划的软件, 特别是由单纯形法所形成的软件比较成熟和完善.这些软件不仅可以解一般线性规划问题, 而且可以解整数线性规划问题、进行灵敏度分析, 同时可以解具有稀疏结构的大规模问题.CPLEX是Bixby基于单纯形法研制的解线性和整数规划的软件, CPLEX的网址是/. 此外,这个软件也可以用来解凸二次规划问题, 且特别适合解大规模问题. PROC LP是SAS软件公司研制的SAS商业软件中OR模块的一个程序.
第３２卷第２期 ２０１０年２月 系统工程与电子技术 Ｓｙｓｔｅｍｓ Ｅｎｇｉｎｅｅｒｉｎｇ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃｓ Ｖｏ１．３２ ＮＯ．２ Ｆｅｂｒｕａｒｙ ２０１０
文章编号：１００１—５０６Ｘ（２０１０）０２ ０３１７－０４
非线性优化ＧＭ（１，Ｎ）模型及其应用研究
周 伟 ，方志耕
（１．南京航空航天大学经济与管理学院，江苏南京２１００１６；
２．南京航空航天大学灰色系统研究所，江苏南京２１００１６）
摘 要：ＧＭ（１，Ｎ）模型在因素一次累加弱化系统指标间波动性和灰性的基础上，建立了各因素线性关系的
灰色模型，但其强制性的线性假设以及不够完善的求解方法致使其实际运用较少。为解决这类问题，文章提出了
两个非线性优化的ＧＭ（１，Ｎ）模型——非线性ＧＭ（１，Ｎ， ）和ＧＭ（１，Ｎ， ）模型，即在（ Ｍ（１，Ｎ）白化方程的 基础上建立因素间非线性关系，并通过ＢＰ网络拟合，最终得出拟合结果和预测值。进一步证明了两种非线性
ＧＭ（１，Ｎ）模型均属于ＧＭ（１，Ｎ 的派生形式，并提出了运用非线性优化ＧＭ（１，Ｎ）模型进行指标预测的具体方 法。最后通过一个实例进一步表明该模型的可行性与优化性。
关键词：ＧＭ（１，Ｎ）；非线性化；拟合；ＢＰ网络；预测
中图分类号：Ｃ ９３１ 文献标志码：Ａ
Ｎｏｎｌｉｎｅａｒ ｏｐｔｉｍｉｚａｔｉｏｎ ｍｅｔｈｏｄ ｏｆ ｇｒａｙ ＧＭ（１，Ｎ）
ｍｏｄｅｌ ａｎｄ ａｐｐｌｉｃａｔｉｏｎ
ＺＨＯＵ Ｗｅｉ 。。。．ＦＡＮＧ Ｚｈｉ—ｇｅｎｇ ’。
（ｊ．Ｓｃｈｏｏｌ ｏｆ Ｅｃｏｎｏｍｉｃ Ｓ ａｎｄ Ａｄｍｉｎｉｓｔｒａｔｉｏｎ，Ｎａｎｊｉｎｇ Ｕｎｉｖ．ｏｙ Ａｅｒｏｎａｕｔｉｃｓ ａｎｄ Ａｓｔｒｏｎａｕｒｉ ｃ Ｓ，Ｎａｎｊｉｎｇ ２１００１６，Ｃｈｉｎａ ２．Ｇｒａｙ Ｓｙｓｔｅｍ Ｒｅｓｅａｒｃｈ Ｉｎｓｔ．，Ｎａｎｊｉｎｇ Ｕｎｉｖ．ｏｆＡｅｒｏｎａｕｔｉｃｓ ａｎｄ Ａｓｔｒｏｎａｕｔｉｃｓ，Ｎａｎｊｉｎｇ ２１００１６，Ｃｈｉｎａ）
Advances in Education 教育进展, 2019, 9(4), 450-453 Published Online July 2019 in Hans. /journal/ae https:///10.12677/ae.2019.94076
文章引用: 邓乃扬. 最优化课程的一本好教材[J]. 教育进展, 2019, 9(4): 450-453. DOI: 10.12677/ae.2019.94076
A Good Textbook for Optimization —Review of Theory and Algorithms on Nonlinear Programming Naiyang Deng School of Science, China Agricultural University, Beijing Received: Jun. 30th, 2019; accepted: Jul. 12th, 2019; published: Jul. 22nd, 2019 Abstract This paper provides a review for the textbook written by Professors Yiju Wang and Naihua Xiu, named Theory and Method of Nonlinear Optimization published by Science Publishing House in 2012 by pointing out some highlights and features of the book, and giving some suggestions for improvement. Keywords Book Review, Highlights and Features, Suggestions 最优化课程的一本好教材 ——《非线性最优化理论与方法》书评 邓乃扬 中国农业大学理学院，北京 收稿日期：2019年6月30日；录用日期：2019年7月12日；发布日期：2019年7月22日 摘 要 本文对王宜举教授和修乃华教授2012年在科学出版社出版的《非线性最优化理论与方法》进行了评述，指出了该书的一些亮点和特色，同时也给出了进一步提升的建议。 关键词 书评，亮点与特色，建议 邓乃扬
第５卷第１期 ２０１０年２月 智能系统学报 ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ Ｖｏ１．５№．１ Ｆｅｂ．２０１０ ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１６７３４７８５．２０１０．０１．００８
ＰＳＯ并行优化ＬＳＳＶＲ非线性黑箱模型辨识
刘 胜，宋佳，李高云 （哈尔滨工程大学自动化学院，黑龙江哈尔滨１５０００１） 摘要：针对非线性黑箱系统辨识中存在不确定性、高阶次，采用常规辨识方法建立其精确数学模型十分困难等问 题，提出一种基于自适应粒子群算法的最小二乘支持向量机回归（ＰＳＯ—ＬＳＳＶＲ）非线性系统辨识方法．该方法采用２ 组自适应粒子群算法并行计算模型，分别利用自适应粒子群算法对ＬＳＳＶＲ中的参数进行自动选取和矩阵迭代求解， 既克服了传统ＬＳＳＶＲ参数难以确定的缺点，提高了辨识精度，同时避免了复杂矩阵求逆运算，加快ｒ计算速度．将该 方法应用于船舶操纵性模型非线性系统辨识，仿真结果表明，由该方法得到的ＬＳＳＶＲ能够有效地对系统进行建模， 仿真精度高，结构简单，具有一定的理论推广意义． 关键词：粒子群算法；最小二乘支持向量机回归；非线性系统辨识；黑箱模型；船舶操纵模型 中图分类号：Ｎ９４５．１；ＴＰ１８文献标识码：Ａ文章编号：１６７３４７８５（２０１０）０１－００５１—０６
Ｍｏｄｅｌｉｎｇ ａ ｃｏｍｐｌｅｘ ｎｏｎｌｉｎｅａｒ ｓｙｓｔｅｍ ｗｉｔｈ ｐａｒｔｉｃｌｅ ｓｗａｒｍ ｏｐｔｉｍｉｚａｔｉｏｎ ａｎｄ ｐａｒａｌｌｅｌ－ｏｐｔｉｍｉｚｅｄ ｌｅａｓｔ ｓｑｕａｒｅｓ ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｒｅｇｒｅｓｓｉｏｎ
ＬＩＵ Ｓｈｅｎｇ，ＳＯＮＧ Ｊｉａ，ＬＩ Ｇａｏ—ｙｕｎ （Ｃｏｌｌｅｇｅ ｏｆ Ａｕｔｏｍａｔｉｏｎ，Ｈａｒｂｉｎ Ｅｎｇｉｎｅｅｒｉｎｇ Ｕｎｉｖｅｒｓｉｔｙ，Ｈａｒｂｉｎ １ ５０００ １，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｃｏｍｐｌｅｘ ｎｏｎｌｉｎｅａｒ ｓｙｓｔｅｍｓ ｕｓｕａｌｌｙ ｓｕｆｆｅｒ ｆｒｏｍ ｈｉｇｈ—ｏｒｄｅｒ ｎｏｎｌｉｎｅａｒｉｔｙ ａｎｄ ｕｎｃｅｒｔａｉｎｔｙ ｏｆ ｐａｒａｍｅｔｅｒｓ．Ｔｈｉｓ ｍａｋｅｓ ｉｔ ｄｉｆｆｉｃｕｌｔ ｔｏ ｅｓｔａｂｌｉｓｈ ａｎ ａｃｃｕｒａｔｅ ｍａｔｈｅｍａｔｉｃａｌ ｍｏｄｅｌ ｕｓｉｎｇ ｃｏｎｖｅｎｔｉｏｎａｌ ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ｍｅｔｈｏｄｓ．Ｔｏ ｓｏｌｖｅ ｔｈｉｓ ｐｒｏｂｌｅｍ，ａ ｎｅｗ ｌｅａｓｔ ｓｑｕａｒｅｓ ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｒｅｇｒｅｓｓｉｏｎ ｂａｓｅｄ ｏｎ ｐａｒｔｉｃｌｅ ｓｗａｒｍ ｏｐｔｉｍｉｚａｔｉｏｎ（ＰＳＯ—ＬＳＳＶＲ） ｗａｓ ｐｒｏｐｏｓｅｄ．Ｔｈｉｓ ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ｍｏｄｅｌ ｕｓｅｄ ｔｗｏ ＰＳＯｓ ｉｎ ｐａｒａｌｌｅ１．Ｏｎｅ ａｕｔｏｍａｔｉｃａｌｌｙ ｓｅｔｓ ｔｈｅ ｐａｒａｍｅｔｅｒｓ ｏｆ ｔｈｅ ＬＳＳＶＲ，ｗｈｉｌｅ ｔｈｅ ｏｔｈｅｒ ｉｔｅｒａｔｅｓ ｔｈｅ ｍａｔｒｉｘ．Ｔｈｕｓ ｔｈｅ ｐｒｅｃｉｓｉｏｎ ｏｆ ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ｉｓ ｅｎｓｕｒｅｄ，ａｎｄ ｃａｌｃｕｌａｔｉｏｎ ｓｐｅｅｄ ｉｓ ｉｍｐｒｏｖｅｄ ｂｙ ａｖｏｉｄｉｎｇ ｍａｔｒｉｘ ｉｎｖｅｒｓｉｏｎ．Ｔｈｉｓ ｍｅｔｈｏｄ ｗａｓ ｅｍｐｌｏｙｅｄ ｉｎ ｄｙｎａｍｉｃ ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ｏｆ ｓｈｉｐ ｓｔｅｅｒｉｎｇ．Ｓｉｍｕ— ｌａｔｉｏｎｓ ｐｒｏｖｅｄ ｔｈａｔ ｔｈｅ ＰＳＯ—ＬＳＳＶＲ ｈａｓ ａ ｓｉｍｐｌｅ ｓｔｒｕｃｔｕｒｅ，ｈｉｇｈ ｐｒｅｃｉｓｉｏｎ ｏｆ ｍｏｄｅｌ ｉｄｅｎｔｉｆｉｃａｔｉｏｎ． Ｋｅｙｗｏｒｄｓ：ｐａｒｔｉｃｌｅ ｓｗａｒｍ ｏｐｔｉｍｉｚａｔｉｏｎ；ｌｅａｓｔ ｓｑｕａｒｅｓ ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｒｅｇｒｅｓｓｉｏｎ；ｎｏｎｌｉｎｅａｒ ｓｙｓｔｅｍ ｉｄｅｎｔｉｆｉｃａｔｉｏｎ； ｂｌａｃｋ ｂｏｘ ｍｏｄｅｌ；ｓｈｉｐ ｍａｎｅｕｖｅｒｉｎｇ 许多复杂的系统通常难以用传统方法进行描 述，特别是非线性动态时变系统．目前多采用基于输 入 出数据的黑箱系统建模辨识方法进行建模，目 前的研究主要集中于基于神经网络的方法．然而，现 有的神经网络学习理论大都基于样本数目趋于无穷 大的渐近理论，并存在局部极小点、过学习等缺陷． 为此，近年来统计学习理论（ＳＬＴ）的研究得到了广 泛的重视，统计学习理论是一种专门研究小样本情 况下的机器学习理论 ． 最小二乘支持向量机（１ｅａｓｔ ｓｑｕａｒｅｓ ｓｕｐｐｏｒｔ ｖｅｃ一 收稿日期：２（）（）９＿０３－ｏ１． 基金项目：黑龙汀省自然科学基金资助项目（Ａ２００４—１９） 通信作者：刘胜．Ｅ—ｍａｉｌ：ｌｉｕ．ｓｃｈ＠１６３．ｃｏｍ． ｔｏｒ ｍａｃｈｉｎｅｓ，ＬＳＳＶＭ）就是在这一理论基础上发展 起来的 ．ＬＳＳＶＭ基于结构风险最小化，在ＳＶＭ的 基础上，通过将价值函数改为最小二乘价值函数以 及用等式约束代替不等式约束，避免了求解二次规 划问题，具有更好的抗噪能力和更快的运算速 度 ．但是，和其他学习算法一样，ＬＳＳＶＭ的性能 多依赖于学习机参数的选取。到目前为止，还没有指 导ＬＳＳＶＭ参数选择的一般方法 ．最小二乘支持 向量机所涉及到的矩阵求逆运算成为提高拟合速度 的障碍．本文提出了一种基于自适应粒子群优化 （ｐａｒｔｉｃｌｅ ｓｗａｒｍ ｏｐｔｉｍｉｚａｔｉｏｎ，ＰＳＯ）的最小二乘支持 向量机回归（１ｅａｓｔ ｓｑｕａｒｅｓ ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｒｅｇｒｅｓｓｉｏｎ， ＬＳＳＶＲ）算法，以下简称ＰＳＯ—ＬＳＳＶＲ算法．
