動機

ラグランジュの未定定数法でよく下図のような絵を書いて,目的関数の勾配と等式制約の勾配がいい感じに比例するような点が停留点になっているんだ!というような幾何的イメージによった説明をよく見かけます.

こんな感じの絵

僕はこの説明があまり好きではありません.これだと等式制約がたくさんある場合,さっきのイメージでは説明がつかなくなってしまいます.

そこで,この記事ではラグランジュの未定乗数法の幾何的なイメージではなく,式の意味を中心に説明したいと思います.

問題設定

f(x): Rn上で定義された目的関数

gi(x)=0(i=1,2,,m): 等式制約

等式制約をみたすようなxで停留点をみつけたい.

ラグランジュの未定乗数法

ラグランジュの未定定数法ではf(x)の代わりに

F(x,λ)=f(x)i=1mλigi(x)

という関数を考えます.この関数の停留点をためしに求めてみましょう.微分すると(1),(2)が出てきます.

(1)F(x)=f(x)i=1mλigi(x)=0(2)Fλi=gi(x)=0(i=1,2,,m)

(1)fgiの線形結合でかけるということを示しています.(2)xが等式制約を満たすということを示しています.

これでいいのか

(1)fgiの線形結合でかけることを要請しましたが,これを満たさないようなもので等式制約を満たすxは無いのでしょうか?.制約集合(等式制約を満たす点)というのはM個の超曲面gi(\bmx)=0(i=1,2,,m)の共通部分です.実はラグランジュの未定定数法では次の条件を課しています.

  • 制約集合上の点x0の制約集合近傍はx0を通るm個の接平面で近似できる.

この仮定があるので,fgiの張る空間に制限されることになります. 上の仮定が成り立つ条件としては以下の十分条件が知られています.

  • gi(\bmx)(i=1,2,,m)が線形独立

参考

ラグランジュの未定乗数法

ラグランジュの未定乗数法について