Lagrange 乘子與 KKT：圍欄上的最低點

① 這關在解什麼問題

先講具體的麻煩，不要先講數學。

你管兩條產線。A 線的產量記作 x、B 線記作 y（單位：萬件／月）。 工廠有一個「最順的跑法」：A 線 2 萬件、B 線 1 萬件。偏離它就會多花錢 —— 開太慢養不起固定成本，開太快要加班、要搶共用的瓶頸工站。 這個「多花的錢」就是你的目標函數 f(x, y)，它的谷底在 (2, 1)，谷底的成本是 0。

到這裡最佳化 01 關的工具還夠用：答案就是谷底，做 (2, 1) 就好。然後業務進來了：

現在 (2, 1) 只有 3 萬件，不合法。你被迫離開谷底。而且你有無窮多個選擇：

• (6, 0)？全靠 A 線硬撐。
• (0, 6)？全靠 B 線。
• (3, 3)？各出一半，聽起來公平，但憑什麼？
• (4.3, 1.7) 跟 (4.4, 1.6) 哪個便宜？你憑什麼判斷？

你不能一個一個試。你需要一條方程式，直接把答案解出來 —— 而且你還想知道第二件事：如果客戶願意少要一點，你能省多少？ 這兩件事是同一個答案的兩面，那個答案叫 Lagrange 乘子 λ； 把它推廣到「不能超過 / 至少要」這種不等式，那套規則叫 KKT 條件。

② 先把符號攤開，再看一個最小的例子

本頁所有符號，一次講完

這一頁只有九個符號。每一個都在下表講清楚是什麼、唸什麼、現在的值是多少 （「現在的值」欄是 ③ 的預設狀態，由頁面載入時實際算出來填進去的）。

最小的例子：先砍到一維

兩條產線太多，先只留一條。成本 f(x) = (x − 2)²，谷底在 x = 2， 導數 f′(x) = 2(x − 2)，在谷底是 0。最佳化 01 關的規則成立。 （這個一維例子刻意不放 ½ —— 寫成 (x − 2)² 比較好認。 下一節回到二維就會把 ½ 補回來，那時候梯度才會乾淨。）

現在加約束：客戶要 5 萬件，就這一條線，所以 x 一定要等於 5。

這就是整關的病灶，用最小的劑量呈現：「導數為 0」描述的是「往兩邊走都不會更好」， 但約束把你能走的方向拿掉了。在一維的等式約束下，能走的方向剩下零個，所以導數是幾都無所謂。

那 6 是垃圾嗎？不是。它就是 λ。意思是： 客戶如果只要 4 萬件，你大約能省 6 萬元（實際上省 f(5) − f(4) = 9 − 4 = 5， 差別是因為 6 只在「小幅度」下準 —— 這件事 ⑤ 會現場量給你看）。

所以這一段的結論是：約束下的最優點，梯度不是 0，而是「剩下的那股力氣全被圍欄擋掉了」。 擋掉多少，就是 λ。接下來回到二維 —— 那裡你還有一個方向可以走，事情才真的有趣。

③ 把問題擺出來：只能沿著一條線走

回到兩條產線。地形是同一個橢圓碗，谷底在 m = (2, 1)。約束是一行字：

注意這條約束跟 最佳化 03 關的 w₁ + w₂ + w₃ = 1 是同一種東西：幾個數字加起來等於一個常數。那關是「錢分完」，這關是「訂單湊滿」。

④ 相切：從碰不到，到剛好碰一點，到穿過去

③ 是「站在線上找最低」。這一節換一個看法，而它是整關的核心。

不要動點，改成動等高線。把 f(v) = c 這一圈的高度 c 從很小慢慢拉大，看它跟約束線的關係怎麼變：

• c 很小 → 那一圈還縮在谷底附近，碰不到約束線（交點 0 個）。 意思是：「花這麼少錢就湊到 6 萬件」這件事做不到。
• c 拉大 → 某一刻剛好碰到一點（交點 1 個）。這是「做得到」的最便宜版本。
• c 再大 → 圈子穿過去，交點變 2 個。這些都做得到，但你多花錢了。

「相切」的正式定義（切線＝割線在 h → 0 的極限位置）在 微積分 · 導數關 ②， ∇ 為什麼垂直於等高線在多變量關 ②。 這一節用幾何就講得完，那兩頁是補課用的。

⑤ 乘子 λ：兩支向量的比例，也是影子價格

④ 得到的條件是「兩支法向量平行」。平行寫成數學，就是一支是另一支的倍數：

加上約束本身，你就有一組方程式，未知數是 x, y, λ：

這一節再往下會用中央差分（把 b 往左右各推 0.001）現場量 φ 的斜率來驗 λ。那個動作叫導數， 定義與「為什麼要推兩邊而不是一邊」在微積分 · 導數關 ②； 而「λ 是切線、走遠就不準」的量化版在同關 ④ 線性近似。

先用眼睛除一次

在 ③ 的最低點 (4.333, 1.667)，我們算過 ∇f = (2.733, 2.733)， 而 ∇g = (1, 1)。兩個座標各除一次：

那 2.733 是什麼單位？

這是 λ 最有用、也最常被跳過的一段。

φ(b) 是「客戶要 b 萬件時，你最少要花多少」。它是一條曲線。 λ 就是這條曲線在當前 b 的斜率。

λ 的正負在講什麼

注意這裡的 λ 可正可負，因為約束是等式（你被釘在線上，兩邊都不能動）。 等 ⑥ 換成不等式，λ 就只能 ≥ 0 了 —— 原因很直白，等下就看到。

⑥ KKT：把「必須剛好」換成「不能越過」

現實裡的約束很少是「剛好等於」。業務更常說的是：

這一改，事情反而變簡單了，因為只剩兩種可能：

把三件事寫在一起，就是這關的最終工具 —— KKT 條件（Karush–Kuhn–Tucker，三個人的姓）：

回頭看最佳化 03 關那兩條約束

現在你有工具了，回去看 最佳化 03 關的投資組合問題。那裡有兩條約束， 而它們正好是這一關的兩種型別：

⑦ 數學長怎樣：當工具用的操作手冊

先給程式版。這就是這一頁所有數字的來源，沒有省略：

// ---- 設定：目標與約束 ----
// f(v) = ½·(v − m)ᵀ A (v − m)      目標：要壓到最小的成本
// ∇f(v) = A(v − m)                  梯度（留了 ½ 所以沒有多餘的 2）
// g(v) = pᵀv                        約束的那個量；這裡 p = (1, 1)，g = x + y
// ∇g(v) = p                         線性約束的梯度是常數向量

// ---- 等式約束 g(v) = b：直接解 ----
// 條件 ⓐ：A(v − m) = λ·p    →  v = m + λ·A⁻¹p
// 代進約束：pᵀm + λ·(pᵀA⁻¹p) = b
const s   = dot(p, matVec(inv(A), p));   // 只跟 A、p 有關的常數，算一次就好
const lam = (b - dot(p, m)) / s;         // ← 乘子
const v   = add(m, scale(matVec(inv(A), p), lam));   // ← 最優解
const phi = f(v);                        // ← 最低成本

// ---- 不等式約束 g(v) ≥ b：檢查兩種情況 ----
if (dot(p, m) >= b) {
  // 情況 ①：谷底本來就合法 → 約束不作用
  return { v: m, lam: 0 };               // 鬆弛量 > 0，所以 λ = 0
} else {
  // 情況 ②：谷底不合法 → 退化成等式，重用上面那三行
  return { v: v, lam: lam };             // 鬆弛量 = 0，所以 λ > 0
}

符號版。三條 KKT 條件，逐字翻譯：

⑧ 工程師的「原來如此」

踩坑

⑨ 這關回答了什麼