最佳化的地形：目標與可行域

① 這關在解什麼問題

一個很具體的困擾

你負責一個線上服務，p99 延遲太高。你手上能動的旋鈕只有兩個：

• x —— 快取大小，單位 GB。太小 → 一直 miss，延遲高； 太大 → GC 壓力上來，延遲又高。
• y —— 工作執行緒數。太少 → 排隊；太多 → context switch 打架。

所以「延遲」是這兩個旋鈕的函數，寫成 f(x, y)。 你要找的是讓 f 最小的那組 (x, y)。

但機器的記憶體是固定的。假設每 1 GB 快取吃 1 單位記憶體、每 1 條執行緒吃 2 單位， 你總共只有 5 單位：

於是整件事變成一句話：

四個字，四個小節，玩完你就能讀懂最佳化 03 關的每一句話。

② 目標函數 = 地形的高度

先從你已經會的東西開始：地圖上的等高線

國中地理課的地形圖：一圈一圈的細線，每一圈上面標一個數字（100 公尺、200 公尺…）。 規則只有兩條，你早就會了：

• 同一圈上的每一個點，高度完全一樣。沿著等高線走，你是在平地上繞。
• 線擠在一起 = 坡很陡（走一小步就掉一層）；線很疏 = 平緩。

最佳化用的就是這張圖，一個字都不用改。唯一的差別是「高度」不是海拔，而是 你想要最小化的那個東西——延遲、誤差、成本、風險。

三片地形分別是什麼

三個選項不是隨便挑的，每一片都在後面的關卡出現過：

三片地形我故意讓它們的臨界點都在同一個地方 c = (1.20, 0.80)， 這樣你切換地形時，紫點不會亂跑，你可以專心看「等高線的形狀」怎麼變。

所以這一段的結論是：目標函數就是一張地形圖， f(x, y) 是海拔，等高線是「高度一樣的點連起來」， 而「最佳化」就是在這張圖上往低處走。

本頁符號對照表

下面這張表會跟著上面那張圖一起變。畫面上出現過的每一個符號都在這裡。

③ 可行域 = 地上的圍欄

如果沒有圍欄，最佳化很無聊：往低處走，走到谷底，結束。 真實世界從來不是這樣——你的錢有限、記憶體有限、CPU 核心是整數、比例加起來要是 100%。 這些「你不能違反的規定」寫成數學就是約束，而所有滿足約束的點合起來叫可行域。

下面三種圍欄，是實務上 90% 的情況：

三個一定要試的設定

• 圍欄什麼時候「不咬人」：選圓盤，把 r 從 1.40 拉到 1.45。 谷底離原點的距離是 √(1.2² + 0.8²) = 1.44，所以 r 一超過它， 谷底就落進圍欄裡，兩個答案合成同一個，代價變 0。這種約束叫 inactive（沒被咬到）。
• 同一道圍欄、不同地形，答案不同：圍欄固定選直線 b = 5， 地形在「碗」和「拉長的碗」之間切。碗給你 (1.64, 1.68)，拉長的碗給你 (1.92, 1.54)。 圍欄沒變，答案卻變了——因為最優解是「地形」跟「圍欄」兩邊夾出來的，不是任何一邊單獨決定的。
• 角落解：選盒子，把 s 縮到 0.60。 這時 x 和 y 兩邊都被夾住，答案跑到正方形的角上。 「同時有兩個約束被咬到」是 最佳化 02 關 KKT 最愛舉的例子。

④ 凸性：這片地形是「碗」還是「蛋盤」

假設你不知道地形長什麼樣（真實情況通常如此：你只能量某一點的高度跟坡度）， 那你只能用最笨的辦法：站在原地量哪邊往下最陡，往那邊走一步，重複。 這就是梯度下降，一行式子：

問題來了：這樣走一定會走到最低點嗎？答案是「看地形」。而分界線就叫凸性。

「凸」到底在保證什麼

白話的判斷法，跟國中畫圖一樣：

• 凸＝ 在地形上任意挑兩點，拿一條直線把它們連起來，這條線永遠在地形上方（或貼著）。 碗是這樣；蛋盤不是（跨過一個凸起時，直線會鑽到地形下面去）。
• 二次地形 f = ½(v−c)^TA(v−c) 的凸性完全由 A 的特徵值決定： 兩個特徵值都 > 0 → 正定 → 碗； 都 ≥ 0 → 半正定 → 碗，但可能有一整條「平底」； 一正一負 → 馬鞍（② 的第三個選項就是 A = [[1, 0], [0, −1]]，特徵值 +1 與 −1）。

所以這一段的結論是：凸地形上梯度下降是「保證會到」的； 非凸地形上它只保證「會停」，停在哪要看你從哪裡出發、一步跨多大。

⑤ 一階條件：梯度是什麼，為什麼谷底的梯度是 0

偏導數與梯度的完整版（∂ 為什麼是「其他變數當常數」、 ∇f(v) = A(v − c) 怎麼算出來）在 微積分 · 多變量關 ②； 更前面的一維基礎（差商怎麼變成切線）在 導數關 ②。 不讀也能玩這一節，卡住再去。

「梯度」聽起來很兇，它其實只是兩個偏微分擺成一個向量：

兩個必須記住的性質，其中第二個是本節的重點：

1. ∇f 指向往上最陡的方向。所以下坡方向是 −∇f。
2. ∇f 一定垂直於等高線。

第二點為什麼？一句話：沿著等高線走，高度不變；不變就代表「往那個方向的斜率是 0」； 而斜率 = 梯度跟走的方向做內積。內積是 0，就是垂直。 下面那張圖就是在現場驗這件事。

把「谷底」翻譯成一條方程式

現在可以下定義了。如果 v* 是無約束問題的最低點，那麼：

「∇f = 0 只是候選人、還要看二階才知道是谷底或山頂」的一維代數版， 在微積分 · 多變量關 ③（那裡有一條兩個谷底夾一個山頂的曲線可以拖）； 多維版的判別法（Hessian 的行列式與跡）在同關 ④。

這條式子很好用，因為它把「找最低點」變成「解方程式」。以本關的二次地形為例， 整個推導只有兩行：

⑥ 數學長怎樣（可以照著寫成程式的版本）

先給能跑的程式碼，五十行內把這一關全部裝完：

// 地形：f(v) = ½ (v − c)ᵀ A (v − c)，A 對稱
const A = [[1, 0], [0, 1]], c = { x: 1.2, y: 0.8 };

function f(x, y) {
  const dx = x - c.x, dy = y - c.y;
  return 0.5 * (A[0][0]*dx*dx + 2*A[0][1]*dx*dy + A[1][1]*dy*dy);
}
// 梯度：對稱 A 的時候剛好就是 A(v − c)
function grad(x, y) {
  const dx = x - c.x, dy = y - c.y;
  return { x: A[0][0]*dx + A[0][1]*dy, y: A[1][0]*dx + A[1][1]*dy };
}

// 梯度下降：往 −∇f 走 α 步，重複
function descend(start, alpha, steps) {
  let v = { ...start };
  for (let i = 0; i < steps; i++) {
    const g = grad(v.x, v.y);
    v = { x: v.x - alpha * g.x, y: v.y - alpha * g.y };
  }
  return v;                       // 凸地形：不管 start 是什麼，都會回到 c
}

// 有約束：這一關用暴力法 —— 沿著圍欄邊界掃，挑最低的
function minOnCircle(r, n = 720) {
  let best = null;
  for (let i = 0; i < n; i++) {
    const a = 2 * Math.PI * i / n;
    const p = { x: r * Math.cos(a), y: r * Math.sin(a) };
    const v = f(p.x, p.y);
    if (!best || v < best.v) best = { ...p, v };
  }
  return best;                    // 最佳化 02 關會教你怎麼「解」而不是「掃」
}

符號版，每個字母都翻譯：

⑦ 工程師的「原來如此」

⑧ 踩坑

⑨ 這關回答了什麼