SVD：轉一下、拉一下、再轉一下

① 這關在解什麼問題

先講一個具體到你明天上班就會遇到的麻煩。

你手上有一張表：200 個使用者 × 50 部電影的評分。一個 200×50 的數字方陣… 不對， 是長方形。你想問一個很自然的問題：

這個問題 04 關其實回答過一半：特徵向量就是「矩陣的自然方向」。 但那把刀有兩個硬限制，剛好把你擋死：

• 它只吃方陣。特徵向量的定義是 Av = λv —— 等號左右兩邊要能相減，A 送進去的向量跟吐出來的向量就得住在同一個空間，所以 A 一定要是 n×n。 200×50 的評分表把 50 維的東西送進去、吐出 200 維的東西，連寫都寫不出來。
• 就算是方陣也不保證拆得開。04 關那一節你已經玩過： 純旋轉矩陣[[0, −1], [1, 0]]沒有任何一個方向不被轉歪，實特徵向量一根都沒有； 剪切矩陣[[1, 1], [0, 1]]只剩一根，湊不出一組完整的基底。

還有第三個麻煩，來自 05 關。那關的 PCA 是這樣做的：先組共變異數矩陣 C，再對 C 做特徵分解。 C 的尺寸是欄數 × 欄數。欄數 d = 2 的時候是個 2×2，很可愛； 但你拿的是 1536 維的文字 embedding 時 ——

這關給你的工具叫 SVD（Singular Value Decomposition，奇異值分解）。 它一次解決上面三件事：吃任何形狀的矩陣、對任何矩陣都保證存在、而且做 PCA 時根本不用把 C 造出來。

② 從你已經會的東西開始：矩陣對一個圓做的事，永遠只有一種

先把「矩陣」這個詞放一邊。國中你就知道：把一個圓往橫的方向拉長，會變成橢圓。 橢圓有一根長軸、一根短軸，兩根互相垂直。你也知道，把橢圓整個轉個角度，它還是橢圓。

這關要用的第一個事實，就這麼樸素：

為什麼這件事重要？因為橢圓這個東西很好描述，只要三樣資料就講完了：

• 長軸朝哪個方向（一個角度）
• 長軸多長、短軸多長（兩個數字）
• （短軸的方向不用講，它一定垂直於長軸）

而 SVD 就是把這三樣資料，從矩陣 A 裡挖出來，寫成三個矩陣相乘。所以那句標題不是比喻，是字面意思：

下一節就是把這三步一格一格拆給你看。

③ 主實驗：把「轉一下、拉一下、再轉一下」一格一格拆開

三個矩陣現在長什麼樣子

上面滑桿動的時候，下面這三個矩陣就是 SVD 現場算出來的答案。 把它們照順序乘起來，要一個數字不差地變回 A —— 這個「不差」就是最後那行還原誤差在講的事。

④ 三個矩陣各自是誰：Vᵀ 只轉、Σ 只拉、U 只轉

公式長這樣，只有五個符號：

Vᵀ 跟 U：正交矩陣 = 只轉不變形

06 關的正交矩陣，用一句話複述： 它的每一根欄向量長度都是 1、而且兩兩垂直，所以它作用在任何向量上都不會改變長度、也不會改變兩個向量之間的夾角。 它能做的只有「把整個空間剛體地轉一個角度」（外加可能翻一次面，像照鏡子）。

兩個副作用你會一直用到：

• Q^TQ = I —— 轉置就是逆矩陣。要把它做的事反轉回去，不用解方程式，把矩陣翻過來就好。
• 它不會製造也不會消滅「大小」 —— 所以 A 把東西放大縮小的能耐，全部都在中間的 Σ 裡，一分不漏。

Σ：對角矩陣 = 只沿著座標軸拉

對角矩陣就是「只有左上到右下那條斜線上有數字，其他格子全是 0」的矩陣。它作用起來蠢得可愛：

奇異值 σᵢ 是什麼

σᵢ（sigma，小寫）＝ 第 i 個方向的拉伸倍率。具體來說： 輸入方向 vᵢ 被 A 吃進去之後，會變成長度 σᵢ、方向 uᵢ 的向量。寫成一行就是

兩個規定，記住就好：

• σᵢ 一律 ≥ 0。它是「長度」，長度沒有負的。想要「反方向」？那個負號被吸收進 uᵢ 裡了。
• σ₁ ≥ σ₂ ≥ … 由大到小排。這是慣例，也是低秩近似能成立的原因 —— 排好之後「前 k 層」自動就是「最重要的 k 層」。

跟 04 關的 λ 對比

本頁符號速查

⑤ 換個讀法：把矩陣拆成一層一層疊起來

「A = UΣVᵀ」是矩陣乘矩陣的寫法，看久了還是有點抽象。同一件事有第二種寫法， 這種寫法才是 SVD 在真實系統裡真正被用的樣子：

先搞懂 uvᵀ 是什麼：直立的乘橫躺的

這是全關最容易卡住的一步，所以慢慢來，先用四個小數字。

你在 01 關學的內積，寫成矩陣是 uᵀv：橫躺的乘直立的， (1×2) × (2×1)，結果是一個數字。

現在把順序倒過來，uvᵀ：直立的乘橫躺的，(2×1) × (1×2)，結果是一個 2×2 矩陣。 算法就是小學的乘法表 —— 左邊每一格，乘上上面每一格：

回到 A：疊上第二層

下面用的是 ③ 那個 A（同一個，改上面的滑桿這裡會跟著變）。 現在把它拆成兩層，讓你自己決定要疊幾層：

⑥ 只留前 k 層：低秩近似，以及它到底省了多少

既然層是排好序的，那自然的想法就是：只留前 k 層，後面全部丟掉。 這個動作叫「低秩近似」（low-rank approximation），而且有個很強的保證 —— 在所有秩 ≤ k 的矩陣裡，這樣切出來的那一個離原矩陣最近，沒有更好的答案了。 （這個定理叫 Eckart–Young，這關不證，但你可以放心用。）

下面這張 12×12 的圖案不是隨便來的，是用公式現場生出來的：兩顆高斯亮點 ＋ 一條對角亮帶。 數字越大顏色越深。生成公式寫在檔案裡的 genPattern，你可以改。

儲存成本怎麼算

這跟 05 關那筆帳是同一個帳法：你不能只算「壓縮後的資料」， 還得把「還原需要的參數」一起算進去，不然那堆數字還原不回來。

真正划算的是細長或巨大的矩陣。把 ① 那張表代進去看：

⑦ SVD 跟特徵分解到底什麼關係

先看差在哪

再看它們在哪裡接上：PCA 那個等式

這是全關最實用的一條，把 05 關和這關焊死在一起。設 X 是去中心化之後的資料表 （n 列樣本 × d 欄變數，每一欄平均已經是 0）。03 關的共變異數矩陣就是

現在對 X 直接做 SVD：X = UΣV^T。把它代進去：

現場驗算：還是 05 關那 12 個人

⑧ 數學長怎樣：這關的 SVD 是怎麼算出來的

先講白話步驟。要對一個 m×n 的 A 做 SVD，只要你手上有「對稱矩陣的特徵分解」這一個工具就夠了：

// 1. 造出 AᵀA。它一定是 n×n 的對稱矩陣，而且半正定（特徵值不會是負的）。
const B = matMul(transpose(A), A);

// 2. 對 B 做特徵分解。因為 B 對稱，特徵向量保證兩兩垂直 → 這組就是 V。
const { values, vectors } = eig(B);      // values 由大到小

// 3. 奇異值 = 特徵值開根號。（B 半正定，所以根號裡不會是負的）
const sigma = values.map(Math.sqrt);

// 4. 由 A vᵢ = σᵢ uᵢ 反推 U：把 vᵢ 送進 A，再除以長度。
const U = vectors.map((v, i) =>
  sigma[i] > 1e-12 ? scale(matVec(A, v), 1 / sigma[i])
                   : anyUnitVectorPerpendicularToPrevious()   // σ = 0 的守衛
);

第 4 步那個守衛不是選配。σᵢ = 0 表示 A 把 vᵢ 這個方向整個壓成 0， 這時候 A v_i / σ_i 是 0 除以 0，算不出方向 —— 但 U 又必須是完整的正交矩陣，所以隨便補一根垂直於前面所有 uⱼ 的單位向量就行（反正它會被 σ = 0 乘掉）。 按上面的「壓扁（秩 1）」按鈕就是在測這條路徑。

符號版：

這關的兩段實作，都寫在這個檔案裡：

• svd2(A) —— 2×2 版本，直接呼叫 LAB.M.eig2 拿 V，再由 A vᵢ 反推 U。 技巧：σᵢ 不用 √λ 而是直接取 |A vᵢ| 的長度，這樣還原誤差恆為浮點級別。
• jacobiEig(S) —— n×n 對稱矩陣的特徵分解（LAB.M 只有 2×2 版）。 用 Jacobi 旋轉法：反覆挑一個非對角元素，用一個平面旋轉把它轉成 0，掃到全部非對角元素都夠小為止。 ⑥ 的 12×12 就是它算的，約 40 行，程式碼裡有逐行註解。

⑨ 工程師的「原來如此」

⑩ 踩坑

⑪ 這關回答了什麼