拉格朗日乘子法

拉格朗日乘子搭建了一个桥梁：将有限制的准则函数，转化为无限制准则函数，进而借助最速下降法、拟牛顿法等求参算法进行求解。

含有等式约束拉格朗日乘子法

对于含有约束的优化问题，可以在约束域内对准则函数搜索最优解，但如果约束较为复杂搜索起来显然不那么容易，如果借助某种方式将约束问题转化为无约束问题，求解则更为方便一些，这也是拉格朗日乘子法的魅力所在。

只含一个等式约束的最优化

实函数$f(\mathbf{w})$是参数向量$w$的二次函数，约束条件：

$$\mathbf{w}^{H} \mathbf{s}=g$$

其中$s$是已知向量，$g$是复常数。例如在波束形成应用中$w$表示各传感器输出的一组复数权值，$s$是一个旋转向量。假设该问题是一个最小化问题，令$c(\mathbf{w})=\mathbf{w}^{H} \mathbf{s}-g=0+j 0$可以描述为：

$$\begin{array}{ll} \min & f(\mathbf{w}) \\ \text {s.t.} & c(\mathbf{w})=0+j 0 \end{array}$$

所谓拉格朗日乘子法，就是引入拉格朗日乘子：将上述约束最小化问题转化为无约束问题，定义一个新的实函数：

$$h(\mathbf{w})=f(\mathbf{w})+\lambda_{1} \operatorname{Re}[c(\mathbf{w})]+\lambda_{2} \operatorname{Im}[c(\mathbf{w})]$$

$h(\mathbf{w})$改写为：