PCA：讓資料自己說出該用什麼座標軸

① 這關在解什麼問題

先講具體的麻煩。你手上有 12 個人的身高與體重，你想回答一個很自然的問題： 這群人之間，真正的差異在哪裡？

結果你一開表就卡住：身高高的人體重也重，相關係數 0.92。這兩欄根本是同一件事的兩種說法。

• 你看「身高」這一欄的變化 —— 裡面混著「這個人整體多大隻」。
• 你看「體重」這一欄的變化 —— 裡面也混著「這個人整體多大隻」。
• 兩欄一起看，你會把同一件事數兩遍；只看一欄，你會漏掉「同身高下有人壯有人瘦」這件真實存在的差異。

問題不在資料，在座標軸。公分和公斤這兩根軸是量測儀器給你的， 不是這群人真正散開的方向。這關給你的工具叫 PCA（主成分分析）： 它讓資料自己指出「我是往哪幾個方向散開的」，然後你就用那幾個方向當新軸。

② 從你已經會的東西開始：幫這團資料量身訂做一把尺

你量過腰圍。量腰圍的時候，你不會拿一把固定釘在牆上的直尺去量 —— 你會把軟尺繞著腰轉到對的方向。 尺本身沒變，變的是你怎麼擺它。

資料也一樣。③ 那團身高／體重的點就是斜著散開的， 而斜著散開這件事，用公分和公斤這兩根軸根本描述不出來：

PCA 就是把尺轉到資料真正散開的方向，一句話講完。剩下的都是怎麼找到那個方向 —— 而你已經有全部零件了：

• 01 關的投影：一個點在某個方向上的座標 = 內積。
• 02 關的變異數：一串數字散不散開。
• 03 關的共變異數矩陣：把「往哪散」整包裝進一個 2×2。
• 04 關的特徵向量：矩陣的自然方向。

把這四個接起來，就是這關的全部內容。

先把這一頁會出現的符號一次講完

接下來每一節都會冒出字母。你不用背，但看到的時候要知道它是誰。 這張表就放在這裡，哪個符號忘了是什麼，隨時捲回來看：

所以這一段的結論是：PCA 就是把尺轉到資料自己散開的方向；上面那一整排字母， 全部都只是在描述「那把尺轉去哪、轉過去之後量到多少」。

③ 主實驗：PCA 的五個步驟，一步一步按下去

資料是 12 個人的身高（cm）與體重（kg）。 合成資料，不是真人；數字是我照著「身高體重高相關、但同身高下仍有胖瘦差異」湊出來的。 想換成你自己的資料，改檔案裡 RAW 這個陣列就行。

④ 為什麼是「特徵向量」？自己轉一圈找答案

上面第 4 步我直接說「取共變異數矩陣的特徵向量就是主軸」。憑什麼？

這一節不用相信我。你自己轉：下面的滑桿控制一個方向 u， 所有點會投影到那個方向上（綠色落點）， 然後我把那串投影數字的變異數算給你看。你的任務只有一個 —— 把變異數轉到最大。

⑤ 兩根新軸各自代表什麼意思？（直球回答）

這是整關最該被回答的問題。答案很具體：新軸是舊欄位的加權組合，權重就是特徵向量的分量。 所以新軸永遠可以被讀出意義 —— 只要你去看那些權重。

⑥ 只留一根軸：降維與重建

既然主軸吃掉了絕大部分的散開程度，那第二根軸能不能丟？丟了會掉多少東西？按下去看。

多維時 PCA 在幹嘛：4 科成績 → 2 根軸

兩維只能給你直覺，PCA 真正在用的地方是幾十、幾百維。這裡放 12 個學生的 4 科成績 （國文／英文／數學／物理，同樣是合成資料），做 4 → 2 的降維。 4×4 對稱矩陣的特徵分解 LAB.M 沒有， 所以這一節用檔案內自己寫的 Jacobi 旋轉法算（見 jacobiEig），並印出殘差自我驗證。

⑦ 要不要先標準化？這題會決定你算出什麼

PCA 追的是變異數，而變異數有單位。下面三顆按鈕用的是完全同一批人， 只是記錄的單位不同、或先做了標準化。看主軸方向怎麼變。

⑧ 數學長怎樣

整個 PCA 裸寫出來就五行，而且每一行都是前面四關的東西：

const mean = LAB.M.centroid(data);                  // 1. 重心（02 關的平均）
const X    = LAB.M.center(data);                    // 2. 去中心化：把 0 搬到重心
const C    = LAB.M.covMatrix(X, 1);                 // 3. 共變異數矩陣（03 關，ddof=1）
const eg   = LAB.M.eig2(C).pairs;                   // 4. 它的特徵向量 = 資料主軸（04 關）
const pc1  = LAB.M.scores(data, eg[0].vector, mean) // 5. 每個人在主軸上的座標（01 關的投影）

符號版。第一式是共變異數矩陣的定義：

第二式是 04 關的老朋友，只是 A 換成了 C：

兩式合起來就是這關的一句話：把資料做成 C，C 的特徵向量就是資料的主軸， 特徵值就是那根主軸上的變異數。

⑨ 工程師的「原來如此」

⑩ 拿去用之前 —— 五件教科書不講、但上線就會咬人的事

前面九節在回答「PCA 是什麼、為什麼成立」。這一節換一種問題： 你真的要把它接進系統裡，於是冒出五件數學課不會提的事。 每一件的格式都一樣 —— 問題 → 一句話答案 → 具體怎麼做。

1. 這套算法到幾維還跑得動？

成本拆開來看：建 C 是 O(n · d²) （d 欄兩兩做一次內積，每次掃 n 列），特徵分解是 O(d³)。 d 小的時候沒人在意，但 d = 1536（一個典型的文字 embedding）時， C 本身就是 1536² ≈ 236 萬個 float —— 用 float32 存也要 9 MB， 而它只是個中間產物，你要的其實只有前面幾根軸。

怎麼做：跳過 C，直接對去中心化後的資料矩陣 X 做 SVD。 X 的右奇異向量就是 C 的特徵向量，奇異值平方除以 n − 1 就是特徵值 —— 數學上完全等價，但你不必把 d×d 那張表造出來，數值上也穩得多 （組 C 的時候每個數字都被平方過一次，小的特徵值容易被浮點誤差吃掉）。 如果只要前 k 根軸，連完整 SVD 都不用做：randomized SVD 或 power iteration （就是 04 關那個「乘乘乘」）只算你要的那幾根。 這也是為什麼 sklearn 的 PCA 底層走 SVD 而不是 eig。接口整理在 全景 01 關那條「SVD 捷徑」。

2. 那我 30 欄到底該砍到剩幾欄？

拿本頁 ⑥b 那 4 科成績的四個 λ 當現場範例，畫成 scree 圖 （長條由高到低，這是選 k 最常看的一張圖）：

• scree 肘點：找長條「從陡然變平」的那一折，折點前面全留。 上圖 PC2 → PC3 掉了快 15 倍，肘點就在那裡，所以取 2 根。 毛病：真實資料常常沒有肘點，是一條平滑的滑梯 —— 兩個人看會看出兩個答案。
• 累積 90% / 95%：從上往下加，超過門檻就停。上圖累積到 PC2 是 97.46%，門檻設 90% 也是取 2 根。 毛病：門檻是你自己拍的，跟下游任務沒有任何關係。d 很大時「95%」經常還是好幾百根。
• Kaiser 準則 λ > 1：留特徵值大於 1 的軸。 毛病：只有對相關係數矩陣（也就是先做過 z-score）才有意義 —— 那時候每欄變異數都是 1，「λ > 1」才讀得成「這根軸比單獨一欄更會解釋」。 直接套在上圖那四個 λ（單位是「分數平方」）上就是四根全留，等於沒篩。
• 下游任務的 cross-validation：把 k 當成超參數，k = 1, 2, 5, 10… 各跑一次你真正要跑的模型， 比驗證集分數。這是唯一真正可靠的一把，因為它問的正是你該問的那句話 —— 「砍到這裡，我要做的事變差了嗎」。 代價是要跑 k 次，而且前提是你已經做對了下面第 3 點。

3. 新資料進來怎麼辦？fit 和 transform 的區別

為什麼：重新 fit 會算出不一樣的重心、不一樣的軸，於是兩批資料的 PC1 根本是 兩個不同的東西，分數放在一起比大小毫無意義 —— 今天算出來的 −17.67 和明天算出來的 −17.67 不是同一件事。 這是 PCA 上線最常見的一個 bug，而且它不會報錯，只會讓你的數字慢慢失真。

怎麼做：fit 只在訓練資料上跑一次，把 mean / sd / V 三組序列化存檔； 之後每一筆新資料都只做 (x − mean) / sd 再跟 V 做內積，就這樣，不再碰 fit。

順帶講一個同源的坑，叫資料洩漏（data leakage）：在全部資料上先 z-score、 或先做完 PCA，然後才切 train / test。看起來很無害，但 test 那一半的平均數、標準差、主軸方向 都已經滲進參數裡了 —— 你的驗證分數會偏高，上線才發現沒那麼好。 順序永遠是「先切，再 fit」。

4. 主軸的正負號，明天重算會不會翻面？

什麼時候會翻：換一套 library、升一次版本、資料多進一筆、甚至同一份程式跑在不同 CPU 上 —— 只要迭代法的起始向量不同，算出來的 v 就可能整根乘上 −1。 數學上完全等價（同一根軸），但你存下來的 PC 分數會整欄變號， 下游那條「PC2 > 0 就標成偏壯」的規則會全部反過來，而且不會有任何錯誤訊息。

怎麼做：fit 完立刻做一次符號規範化。例如強迫某個指定欄位的載荷為正 —— 本頁 ⑥b 的 jacobiEig 就有做這件事（讓絕對值最大的那個分量為正）， 另一種常見規範是讓所有載荷的總和為正。選哪一種不重要， 重要的是它跟 mean / sd / V 一起被存下來，而且下次不准變。

5. PC1 = −17.67 的單位是什麼？能直接餵下游嗎？

看 ⑤ 那條式子就懂了： PC1 = +0.704 × (身高 − 167.00) + 0.710 × (體重 − 59.00) —— 0.704 個公分加 0.710 個公斤，加出來的東西沒有名字。 所以 PC1 = −17.67 只能跟同一批人的其他 PC1 比大小， 不能單獨解讀成「他矮了 17.67 公分」。

更會咬人的是尺度：PC1 和 PC2 的變異數差 24 倍 （λ₁ = 205.55、λ₂ = 8.45）。直接把這兩欄丟進 kNN、k-means 或任何吃歐氏距離的東西， PC1 會壓死 PC2 —— 這正是 02 關警告過的「大單位吃掉小單位」， 只是換了個座標系又犯一次。需要的話再把每根軸除以自己的 √λ （這個動作叫 whitening），讓每軸變異數都變成 1。 但記得：whitening 同時把「PC1 比 PC2 重要」這個資訊也抹掉了， 該不該做取決於下游模型吃不吃這件事。

⑪ 踩坑

⑫ 這關回答了什麼