在可行域内没有比 ∗ 更好的点
• 局部最优解
∃ > 0: ∗ ≤ ,
∀: ∈ and − ∗ ≤
Page .
人工智能与优化
• 很多人工智能任务可以建模为优化问题：
Page .
离散优化与连续优化
• 根据优化变量的取值，优化问题可以分为连续优化（变量是
实数）和离散优化（如布尔变量、整数变量）
• 目标函数： 表示希望进行优化的指标。
• 优化变量：min 表示我们希望对 进行极小化，其下标
表示优化变量
• 约束：s.t. 是 subject to 的缩写，表示其后的式子是对变量
的“约束”，即要求 满足的条件。 ℎ ≤ 0 被称为“不等式
约束”； = 0 被称为“等式约束
1. 随机生成包含足够数量的染色体的生物种群；
2. 计算种群中每个个体的“适应度”（fitness）；
3. 根据适应度随机选择竞争中胜出的个体，适应度越高，相应个体被选
中的概率越高；
4. 胜出的个体进行杂交（交换染色体），并以一定概率进行变异，生成
子代个体；
5. 转到第2步，进行下一代的繁衍。
Page .
5.3 智能优化方法
Page .
凸集与凸函数
定义 集合 是凸集（convex set）, 当且仅当
1 + 1 − 2 ∈ , ∀ ∈ 0,1 , ∀2 , 2 ∈
定义在凸集上的函数 是凸函数（convex function），当且仅当
1 + 1 − 2 ≤ 1 + 1 − 2 ,
• 一般而言，连续优化易于求解
从当前解出发，可以根据梯度等信息感知不同方向上的
