![]()
Optimization Theory 在研究什么
OT 在研究的内容可以概括为：在给定 requirement 和 constraint 的情况下，minimize/maximize 一个或多个 objective functions
graph LR;
A(Analysis) --> B(Design) --> C(Optimization)
Optimal Design: feasible, best on some measure of effectiveness.
Fundamental Concepts
以下涉及到的概念可以应用到大部分 optimization 的问题之中。
General Problem Statement
GPS 的形式可以表示为：
minwheres.t.f(x)=…x=x1x2⋮xngi(x)≤0,i=1,2,…,mhj(x)=0,j=1,2,…,L即在 m 个不等式和 L 个等式的约束下，最小化有 n 个变量的 objective function f(x) 的值. 我们也可以通过一些方法把其他形式的优化目标/不等式约束转化成 GPS:
- maxf(x)⟺min−f(x)
- 把连不等式 (side inequality) 拆分为多个不等式
Constraints, Design Space
Design Space 是所有可能解的空间，而在 constraints 的约束下，只有一小部分解空间能够符合所有 constraints，这样的一部分称为 Feasible Region
对于某个特定的解 x∗，如果
- g(x∗)>0，此时不等式条件不成立，我们称约束为 Violated Constraint.
- g(x∗)=0，此时不等式恰好取等，我们称其为 Active Constraint.
- g(x∗)<0，此时不等式严格满足，称其为 Inactive Constraint.
Gradient Vector, Hessian Matrix 梯度向量与黑塞矩阵
梯度向量是列向量
∇f(x)=∂x1∂f∂x2∂f⋮∂xn∂fHessian Matrix 是一个 n×n 的方阵，每一项都是二阶偏导
∇2f(x)=∂x12∂2f∂x2∂x1∂2f⋮∂xn∂x1∂2f∂x1∂x2∂2f∂x22∂2f⋮∂xn∂x2∂2f……⋱…∂x1∂xn∂2f∂x2∂xn∂2f⋮∂xn2∂2f计算这些矩阵可以用于 Sensitivity Analysis.