Principal Component Analysis (PCA)

1. Feature extraction vs Feature selection（slide 2）

當 p 好大，好難將所有 predictors 都放入 regression model（Module 6：p = 20 已經有超過一百萬個 subsets）。有兩類處理方法：

2. PCA 嘅概念（slides 3–5）

2.1 Swarm of Fireflies 比喻（slides 4–5）

想像一間房入面有一群螢火蟲，佢哋唔係亂飛，而係形成一個長形、傾斜、雪茄形嘅雲。每隻螢火蟲嘅位置由三個 coordinates 決定：Width (X)、Depth (Y)、Height (Z)，即係 3D data。

想將 3D 簡化做較低 dimension 時，唔應該直接掉咗 Height (Z) 或者 Depth (Y)，因為雪茄係斜放嘅，三個方向都有資訊。PCA 叫你轉換角度，喺房入面畫新嘅線。

PC3 就係同 PC1、PC2 都垂直嘅方向，capture 剩低最少嘅 spread。如果雪茄好幼長，PC1 已經 capture 大部分 variance，只用 PC1（1D）或者 PC1 + PC2（2D）都唔會失去太多資訊，呢個就係 dimension reduction。

3. PCA in Python（slides 6–7）

3.1 Example code：Fireflies（slide 6）

import numpy as np
import pandas as pd
from sklearn.decomposition import PCA

swarm_df = pd.read_csv('fireflies.csv')     # 3 columns：X, Y, Z

pca = PCA(n_components=3)                    # 保留 3 個 PCs
fireflies_3d = pca.fit_transform(swarm_df)   # fit + 轉去新 coordinates

print(swarm_df.head())
print(f"PC1 (Longest stretch): {pca.explained_variance_ratio_[0]*100:.1f}%")
print(f"PC2: {pca.explained_variance_ratio_[1]*100:.1f}%")
print(f"PC3: {pca.explained_variance_ratio_[2]*100:.1f}%")
print(f"Total kept in 3D: {sum(pca.explained_variance_ratio_)*100:.1f}%")   # 3 個 PCs 全保留 = 100%

pca.components_[0]            # PC1 嘅 loadings / weights（eigenvector）
pca.explained_variance_[0]    # PC1 嘅 variance magnitude（eigenvalue）

import numpy as np
import pandas as pd
from sklearn.decomposition import PCA

rng = np.random.default_rng(0)
t = rng.normal(0, 5, 500)                       # 沿住雪茄長軸嘅位置（spread 大）
swarm_df = pd.DataFrame({
    'X': t + rng.normal(0, 0.5, 500),
    'Y': 0.8 * t + rng.normal(0, 0.5, 500),     # 斜放：Y、Z 都跟住 t 變
    'Z': 0.5 * t + rng.normal(0, 0.5, 500),
})
pca = PCA(n_components=3).fit(swarm_df)
print(pca.explained_variance_ratio_.round(3))   # PC1 大約 99%，PC2、PC3 好細
print(pca.components_[0].round(2))              # PC1 方向，大約同 (1, 0.8, 0.5) 成比例

3.2 數學：eigenvalues 同 eigenvectors（slide 7）

4. Standardization（slides 8–10）

Python（slide 10）：

from sklearn.preprocessing import StandardScaler
scaler = StandardScaler()            # get the object
X_scaled = scaler.fit_transform(X)   # X_scaled：每個 column mean = 0、SD = 1

5. 用 PCs 做 regression（slides 11–15）

（Slide 11 同 slide 8 一樣係 section title；slide 12 係棒球員同 MLB pension 嘅插圖，作為 Baseball data 例子嘅引入，唔涉及考試內容。）

5.1 Example：Hitters（Baseball）data（slides 14–15）

• ISLP package 嘅 Hitters data：19 predictors（包括 categorical），$n=322$。
• Response Y：球員嘅 Salary。

# pip install ISLP
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
from ISLP import load_data
from sklearn.decomposition import PCA
from sklearn.linear_model import LinearRegression
from sklearn.model_selection import cross_val_score
from sklearn.preprocessing import StandardScaler

HC = load_data('Hitters')
HC = HC.dropna()                           # 刪走有 null 嘅 rows（Salary 有 missing）
X = HC.drop(columns=['Salary'])            # 移除 target column
X = pd.get_dummies(X, drop_first=True)     # categorical → dummy variables（statistics approach）
y = HC['Salary']

scaler = StandardScaler()                  # Standardization
X_scaled = scaler.fit_transform(X)

pca = PCA(n_components=10)
X_pca = pca.fit_transform(X_scaled)
cv_scores = cross_val_score(LinearRegression(), X_pca, y, cv=10,
                            scoring='neg_mean_squared_error')

plt.plot(range(1, len(cv_scores) + 1), -cv_scores, marker='o')
plt.xlabel('Number of Principal Components')
plt.ylabel('Mean Squared Error')
plt.title('Cross-validation result (MSEP)')
plt.show()

msep = []
for k in range(1, 11):
    s = cross_val_score(LinearRegression(), X_pca[:, :k], y, cv=10,
                        scoring='neg_mean_squared_error')
    msep.append(-s.mean())                 # 第 k 個點 = 用 k 個 PCs 嘅 CV MSE
best_k = int(np.argmin(msep)) + 1
plt.plot(range(1, 11), msep, marker='o')
plt.xlabel('Number of Principal Components'); plt.ylabel('CV MSE')
plt.show()

自我測驗 Self-test

一頁總結 Cheat sheet