PCA：讓資料自己說出該用什麼座標軸

① 這關在解什麼問題

• 手上有什麼：12 個人，每人兩個數字 —— 身高（公分）、體重（公斤）。
• 想問什麼：這群人之間，真正的差異在哪裡？
• 卡在哪：高的人幾乎都比較重。兩欄講的是同一件事，一起看會把它數兩遍。
• 答案的方向：問題不在資料，在座標軸。公分和公斤是量測儀器給的，不是這群人散開的方向。

1. STEP 1

   只看一欄，量到的都是同一件事

   • 把 12 個點壓到橫軸（＝只看身高）：從 153 到 185，很寬。
   • 再壓到縱軸（＝只看體重）：從 41 到 74，也很寬。
   • 但兩邊寬的是同一件事：「這個人整體多大隻」。
   • 「壓到某根軸上」的正式說法叫投影：從點垂直畫一條線到那根軸，落點就是投影。

   青點＝12 個人。綠點是壓到橫軸的影子， 橘點是壓到縱軸的影子。

   再看一次

2. STEP 2

   那就不要只看橫的直的 —— 讓資料自己選一個方向

   • 拿一條線繞著這團點轉一圈，每個角度都量一次「往這個方向看過去，這群人攤得多開」。
   • 綠色線段的長度就是那個量。線段越長＝這個方向越散。
   • 轉到 45.2° 時線段最長 —— 那就是這團資料自己的方向，叫主軸。
   • PCA 一句話講完：把尺轉到那個方向，然後用它當新的軸。

   線轉了一圈多（0° 一路轉到 225°），最後停在線段最長的那個角度。 紫箭頭 v₁ 就是主軸（v 是 vector＝向量／箭頭的縮寫，讀「v one」）。 線段的半長取 1σ（一個標準差），所以它量的就是「攤開的寬度」。

   再看一次

3. STEP 3

   找到主軸之後，把整把尺轉過去

   方向找到了，就把整把尺轉過去：網格也跟著轉，資料點的相對位置沒變——點沒動，是換了一把斜的尺來量。

   青點 = 12 個人。整片網格繞著重心（＝12 個人的平均位置）往右上方轉 45°： 水平那排線轉到跟 紫箭頭 v₁ 對齊，垂直那排線剛好垂直於它。 點沒跟著轉——換了一把斜的尺來量。

   再看一次

② 先把名詞講完（看不懂隨時捲回來）

下面每一節都會冒出字母。你不用背，看到不認識的就回這裡查。

白話名詞

符號

③ 主實驗：PCA 的五個步驟

五步做完，這團斜的資料會被轉正，而共變異數矩陣的非對角線會從 98.55 掉到 0。 先看動畫看結果，再自己按按鈕走一遍。

1. STEP 1~5

   五步在做的事，其實只有一件：把斜的資料轉正

   • 1. 原始資料：12 個人畫成 12 個點。
   • 2. 去中心化：每欄減掉自己的平均，把 0 搬到這群人的正中間。（點沒動，動的是 0 的位置。）
   • 3. 做出共變異數矩陣 C：四個數字排成 2×2。右上角是 98.55，不是 0 → 兩欄糾纏。
   • 4. 取 C 的特徵向量：拿到主軸 v₁ 與次軸 v₂。
   • 5. 轉到新軸上：整團轉 45.24°。同一格掉到 0 → 糾纏被解開。

   左右是同一批人，只是換了一組軸來描述。 下面那張 2×2 就是共變異數矩陣：對角線＝各自多散、非對角線＝糾纏多深。

   再看一次

④ 為什麼是「特徵向量」？自己轉一圈找答案

③ 的第 4 步我直接說「取共變異數矩陣的特徵向量就是主軸」。憑什麼？這一節不用相信我，你自己轉。

1. STEP 1

   轉一圈，把每個角度的散開程度畫成一條曲線

   • 左圖：方向線從 0° 轉到 180°，綠點是每個人在那個方向上的位置（＝投影）。
   • 綠點攤得越開，代表這個方向的變異數越大。
   • 右圖：把「這個角度量到的變異數」畫成一條曲線。橫軸是角度、縱軸是變異數。
   • 左右兩張圖同一個時間軸：左邊線轉到哪，右邊綠點就在曲線上的哪。
   • 結果：曲線最高點 205.55 在 45.2°、最低點 8.45 在 135.2°，兩者剛好差 90°。
   • 那個最高點的角度，正好就是共變異數矩陣 C 的特徵向量 v₁ 的方向。三件事是同一件事。

   曲線長成漂亮的正弦波不是巧合：u^TCu 展開之後就是 「常數 ＋ 常數 × cos 2θ ＋ 常數 × sin 2θ」，必定是週期 180° 的波。 而波只有一個最高點和一個最低點 —— 這就是「主軸只有一根、次軸必定垂直於它」的原因。

   再看一次

⑤ 兩根新軸各自代表什麼意思？

直球回答：新軸是舊欄位的加權組合，那組權重就叫載荷。所以新軸永遠讀得出意義 —— 只要你去看權重。

1. STEP 1

   讀載荷只有兩條規則

   • 權重同號（都正、或都負）→ 這根軸在講「一起變大」的共同因子。
   • 權重一正一負 → 這根軸在講「此消彼長」的對比因子。
   • 整節就靠這兩條讀完，維度再高也是同一招。
   • 載荷在數值上就是特徵向量的分量。「讀載荷」和「讀特徵向量」是同一個動作，只是統計圈與線代圈的叫法不同。

   條往右＝權重是正的、往左＝負的；長度＝權重的大小。

   再看一次

2. STEP 2

   一個人的兩個舊數字，換成兩個新數字

   • 拿 L 這個人（185 公分 / 72 公斤）當例子。
   • ① 先沿主軸走 21.91 —— 這是他的 PC1，讀成「他有多大隻」。
   • ② 再垂直偏出 3.63 —— 這是他的 PC2，讀成「同身高下偏瘦還是偏壯」。
   • 兩步走完剛好回到他原本的位置：(185, 72) 和 (21.91, 3.63) 是同一個人的兩種寫法。
   • PC1 = 0.704 × (身高 − 167) + 0.710 × (體重 − 59)，就是「拿權重去加權」而已。

   紫箭頭＝沿主軸走的那一段（PC1）、 桃箭頭＝再垂直偏出去的那一段（PC2）。

   再看一次

⑥ 只留一根軸：降維與重建

主軸吃掉 96.05% 的散開程度。那第二根能不能丟？丟了會掉多少東西？

1. STEP 1

   丟掉次軸 ＝ 把每個人壓到主軸上

   • 每個人垂直落到主軸，只保留他在主軸上的位置（PC1）。
   • 每人從兩個數字變成一個數字 —— 這就是降維。
   • 紅線＝他被搬動的距離，也就是這次降維在他身上造成的誤差。
   • 每一條紅線都垂直於主軸，所以丟掉的東西一點都不神祕：就是垂直於主軸的那點差異，在這份資料裡叫胖瘦。
   • 12 條紅線平方相加 = 92.96，剛好等於 λ₂ × 11 = 8.4511 × 11。（11 ＝ n − 1，就是算變異數時除掉的那個數字。）

   青點＝真正的位置、綠點＝只用主軸重建回來的位置、 紅線＝兩者的差。

   再看一次

多維時 PCA 在幹嘛：4 科成績 → 2 根軸

• 兩維只能給直覺，PCA 真正在用的地方是幾十、幾百維。
• 這裡放 12 個學生的 4 科成績（國英數物，一樣是合成資料），做 4 → 2 的降維。
• 讀法完全一樣：看權重的正負號。同號 → 共同因子；一正一負 → 對比因子。
• 4×4 對稱矩陣的特徵分解 LAB.M 沒有，所以這節用檔案內自己寫的 Jacobi 旋轉法算（見 jacobiEig），並印出殘差自我驗證。

⑦ 要不要先標準化？這題會決定你算出什麼

PCA 追的是變異數，而變異數有單位。所以換個單位記錄，答案就會變。

1. STEP 1

   同一批人、同一天量的，只是把公分改記成公釐

   • 身高 185 公分 = 1850 公釐。一個人的資料都沒改。
   • 但身高那一欄的變異數乘了 100 倍，於是它直接把主軸搶走。
   • 主軸角度從 45.24° 倒到 5.31° —— 幾乎變成「身高」本人，體重被無視。
   • PCA 沒算錯，它就是在追變異數最大的方向；是你餵給它的單位讓身高變成巨人。
   • 解藥：先做 z-score（每欄減平均、再除以自己的標準差），單位就被消掉了。

   畫面把整張圖等比縮小 10 倍才塞得下，所以看起來像「體重被壓扁」—— 形狀跟「身高被拉長 10 倍」完全一樣。

   再看一次

⑧ 數學長怎樣

整個 PCA 裸寫出來就五行，而且每一行都是前面四關的東西：

const mean = LAB.M.centroid(data);                  // 1. 重心（02 關的平均）
const X    = LAB.M.center(data);                    // 2. 去中心化：把 0 搬到重心
const C    = LAB.M.covMatrix(X, 1);                 // 3. 共變異數矩陣（03 關，ddof=1）
const eg   = LAB.M.eig2(C).pairs;                   // 4. 它的特徵向量 = 資料主軸（04 關）
const pc1  = LAB.M.scores(data, eg[0].vector, mean) // 5. 每個人在主軸上的座標（01 關的投影）

符號版。第一式是共變異數矩陣的定義：

第二式是 04 關的老朋友，只是 A 換成了 C：

兩式合起來就是這關的一句話：把資料做成 C，C 的特徵向量就是資料的主軸，特徵值就是那根主軸上的變異數。

⑨ 工程師的「原來如此」

⑩ 拿去用之前 —— 五件教科書不講、但上線就會咬人的事

前面九節在回答「PCA 是什麼」。這一節換一種問題：你真的要把它接進系統裡。

1. 這套算法到幾維還跑得動？

• 成本：建 C 是 O(n · d²)、特徵分解是 O(d³)。
• d = 1536（一個典型的文字 embedding）時，C 本身就是 236 萬個數字，用 float32 存也要 9 MB —— 而它只是中間產物。
• 怎麼做：跳過 C，直接對去中心化後的 X 做 SVD。X 的右奇異向量就是 C 的特徵向量， 奇異值平方除以 n − 1 就是特徵值。
• 數值上也穩得多：組 C 的時候每個數字都被平方過一次，小的特徵值容易被浮點誤差吃掉。
• 只要前 k 根軸的話，連完整 SVD 都不用做 —— randomized SVD 或 04 關那個「乘乘乘」只算你要的那幾根。
• 這也是為什麼 sklearn 的 PCA 底層走 SVD 而不是 eig。接口整理在 全景 01 關那條「SVD 捷徑」。

2. 那我 30 欄到底該砍到剩幾欄？

拿本頁 ⑥ 那 4 科成績的四個 λ 當現場範例，畫成 scree 圖（長條由高到低，選 k 最常看的一張圖）：

• scree 肘點：找長條「從陡然變平」的那一折，折點前面全留。上圖 PC2 → PC3 掉了快 15 倍，所以取 2 根。 毛病：真實資料常常沒有肘點，是一條平滑的滑梯 —— 兩個人看會看出兩個答案。
• 累積 90% / 95%：從上往下加，超過門檻就停。上圖累積到 PC2 是 97.46%，門檻設 90% 也是取 2 根。 毛病：門檻是你自己拍的，跟下游任務沒有任何關係。
• Kaiser 準則 λ > 1：留特徵值大於 1 的軸。 毛病：只有對相關係數矩陣（也就是先做過 z-score）才有意義。 直接套在上圖那四個 λ（單位是「分數平方」）上就是四根全留，等於沒篩。
• 下游任務的 cross-validation：把 k 當超參數，k = 1, 2, 5, 10… 各跑一次你真正要跑的模型，比驗證集分數。 這是唯一真正可靠的一把 —— 它問的正是你該問的那句話：「砍到這裡，我要做的事變差了嗎」。

3. 新資料進來怎麼辦？fit 和 transform 的區別

• 為什麼：重新 fit 會算出不一樣的重心與軸，兩批資料的 PC1 根本是兩個不同的東西，放在一起比大小毫無意義。
• 這是 PCA 上線最常見的 bug，而且它不會報錯，只會讓你的數字慢慢失真。
• 怎麼做：fit 只在訓練資料上跑一次，把 mean / sd / V 存檔；新資料只做 (x − mean) / sd 再跟 V 做內積。
• 同源的坑叫資料洩漏：在全部資料上先 z-score 或先做完 PCA，然後才切 train / test —— test 那一半的平均、標準差、主軸方向都滲進參數裡了。順序永遠是「先切，再 fit」。

4. 主軸的正負號，明天重算會不會翻面？

• 什麼時候會翻：換 library、升版本、資料多進一筆、甚至換一顆 CPU —— 只要迭代法的起始向量不同。
• 數學上完全等價（同一根軸），但你存下來的 PC 分數會整欄變號，下游那條「PC2 > 0 就標成偏壯」的規則會全部反過來。
• 而且不會有任何錯誤訊息。
• 怎麼做：fit 完立刻做符號規範化，例如強迫絕對值最大的那個分量為正（本頁 jacobiEig 就這樣做）。 選哪一種不重要，重要的是它跟參數一起被存下來，而且下次不准變。

5. PC1 = −17.67 的單位是什麼？能直接餵下游嗎？

• PC1 = 0.704 × (身高 − 167) + 0.710 × (體重 − 59) —— 0.704 個公分加 0.710 個公斤，加出來的東西沒有名字。
• 所以 PC1 = −17.67 只能跟同一批人的其他 PC1 比大小，不能讀成「他矮了 17.67 公分」。
• 更會咬人的是尺度：PC1 和 PC2 的變異數差 24 倍（205.55 vs 8.45）。 直接丟進 kNN、k-means 這種吃歐氏距離的東西，PC1 會壓死 PC2。
• 這正是 02 關警告過的「大單位吃掉小單位」，只是換了個座標系又犯一次。
• 解法：把每根軸除以自己的 √λ（這個動作叫 whitening），讓每軸變異數都變成 1。 但 whitening 同時把「PC1 比 PC2 重要」這個資訊也抹掉了。

⑪ 踩坑

⑫ 這關回答了什麼