Logistic Regression

1. 點解需要 Logistic regression？（slides 1–4）

Module 4 嘅 model 係：

Slide 2 講明：linear regression fails if Y is not continuous。Generalized linear regression 可以處理唔同類型嘅 Y，而本講集中講 Binomial，即 Logistic regression。Slide 2 嘅提醒：要 predict / classify，第一步係認清 Y 屬於邊種類型。

Binomial：Y 只有兩個可能值，例如 0/1、Yes/No、Healthy/Cancer、Good debt/Bad debt、Hungry/Not hungry、Rain/Not Rain。

ExamLogistic regression 嘅 target 唔係直接 predict 類別，而係 model 類別嘅 probability，例如 $P(\text{Hungry})$。Slide 1 嘅例子：

1.1 Range 唔夾（slides 3–4）

Binomial data 本身係 categorical，唔可以直接寫成 $\beta_0+\beta_1X_1+\cdots$。改為 model「getting 1 嘅 probability」就有數字，但係 range 仍然有問題：

1.2 多過兩個類別點算？（slide 3）

ExamBinomial 只考慮 2 個 outcomes。如果要 predict $\{\text{Red},\text{Blue},\text{Green}\}$，slide 嘅做法係每個類別 fit 一個 model：

Model	Y 嘅兩個 outcomes
Logistic regression model 1	Red vs not Red
Logistic regression model 2	Blue vs not Blue
Logistic regression model 3	Green vs not Green

2. Logit 同 Logistic function（slides 3、5、6）

Slide 3 指出 $X\beta$ 係透過 logistic function 連去 probability。Slide 6 有兩幅圖，係同一個關係嘅正反兩面：

	Logit function	Logistic function
Input	$P\in[0,1]$	$\text{logit}(P)\in[-\infty,\infty]$
Output	$[-\infty,\infty]$	Probability $\in[0,1]$
Formula	$\text{logit}(P)=\ln\!\left(\dfrac{P}{1-P}\right)$	$P=\dfrac{e^{\text{logit}(P)}}{1+e^{\text{logit}(P)}}$
圖形（slide 6）	P = 0.5 時穿過 0，接近 0 同 1 時急速趨向 $\mp\infty$	S 形曲線，由 0 慢慢升到 1，中間最斜

將 $\eta=\text{logit}(P)$ 寫出嚟，就可以反解 P：

幾個數值幫你感受 logit 點樣將 $[0,1]$ 拉開：

P	0.01	0.1	0.2	0.5	0.7	0.9	0.99
$\text{logit}(P)$	−4.595	−2.197	−1.386	0	0.847	2.197	4.595

3. 預測同分類（slides 5、10）

Logistic regression 係 statistical method of obtaining $\hat{\boldsymbol\beta}$。計到 $\hat{\boldsymbol\beta}$ 之後，對新 data 就跟以下步驟做 classification：

點解 $P>0.5$ 同 $\eta>0$ 係同一件事？

ExamSlide 10 例題：$p=1,\ \beta_0=3,\ \beta_1=2$，新 data $x=5$，求 $P(Y=1)$。

因為 $\eta_{new}=13>0$，所以 classify 做 $Y=1$。準確啲計，$P\approx0.999998$。

多一題（自編，唔係 slide 內容）：$\beta_0=-2,\ \beta_1=0.5$。

x	$\eta$	$P(Y=1)$	Classification
2	−1	0.2689	0
4	0	0.5000	剛好喺 threshold；slide 嘅 rule 要 $>0.5$，所以唔算 1
6	1	0.7311	1

4. 點樣 fit model：OLS vs MLE（slides 7–9）

4.1 點解唔用 squared error？（slide 8）

Categorical Y 嘅 error 或 residual 唔可以用減數定義：Engineering − Humanity = ???；Cloudy − Sunny = ???。所以 sum of squared errors 要換成另一樣嘢，就係 likelihood。

4.2 Likelihood（slide 8）

Roughly speaking，likelihood 就係「觀察到你實際觀察到嘅結果」嘅 probability。Likelihood 同 probability 成正比，所以 $L_1>L_2$ 代表 $P_1>P_2$。

自編例題：三個 observations $(x,y)=(1,1),\ (-1,0),\ (2,0)$，$\beta_0=0$。邊個 $\beta_1$ 嘅 likelihood 較高？

Observation	$\beta_1=1$：$P(Y_t=y_t)$	$\beta_1=0$：$P(Y_t=y_t)$
$x=1,\ y=1$	$\eta=1$，$P(Y=1)=0.7311$	0.5
$x=-1,\ y=0$	$\eta=-1$，$P(Y=0)=1-0.2689=0.7311$	0.5
$x=2,\ y=0$	$\eta=2$，$P(Y=0)=1-0.8808=0.1192$	0.5
Likelihood	$0.7311\times0.7311\times0.1192\approx0.0637$	$0.5^3=0.125$

喺呢兩個選擇之間，$\beta_1=0$ 嘅 likelihood 較高，即係佢令實際數據更加「有可能出現」，所以 MLE 會較鍾意佢。真正嘅 MLE 就係喺所有可能嘅 $\boldsymbol\beta$ 入面搵最高嗰個。

4.3 Numerical analysis（slide 9）

Numerical analysis 係一類方法，用重複步驟 approximately 搵 max / min 同解方程。Computer 加 numerical analysis 可以解好多 without explicit solutions 嘅難題，例如解 $x\sin x=1$。Slide 列明詳細方法係 Out-of-syllabus，知道概念就夠。

5. South African Heart Disease data（slides 11–12）

例子嚟自 Rousseauw et al, 1983, South African Medical Journal。Slide 11 寫 Training data：$n=462,\ p=10$。

Column	意思
sbp	Systolic 收縮壓 blood pressure（mm Hg）
tobacco	Cumulative tobacco use（kg）
ldl	Low-density lipoprotein cholesterol 低密度脂蛋白膽固醇
adiposity	Adiposity 肥胖 / obesity measure
famhist	Family history of ischemic 缺血性的 heart disease（Absent / Present，或 coded 0 / 1）
typea	Type-A behavior score（12–84）；例如 highly competitive、stressed、impatient、perfectionist、time-pressured
obesity	Body mass index (BMI) measure
alcohol	Current alcohol consumption
age	Age at onset / age in years
chd	Coronary heart disease diagnosis：response variable（0 / negative 或 1 / positive）

6. Python：Fit model（slides 13–14）

ExamSlides 用 statsmodels 入面嘅 mnlogit，formula 寫法同 Module 4 嘅 smf.ols 一樣，Y ~ X1 + X2 + ...。

import pandas as pd
import numpy as np
import statsmodels.formula.api as smf
from sklearn.metrics import confusion_matrix

heart = pd.read_csv("SAheart.txt", sep=' ')
# 將 target class variable 轉做 integer codes（0, 1）
heart['chd'] = heart['chd'].astype('category').cat.codes

model = smf.mnlogit('chd ~ sbp+tobacco+ldl+adiposity+typea+obesity+alcohol+age+famhist', data=heart).fit()
print(model.summary())

7. Python：Predict（slides 15–16）

# predict on new data
newdata = pd.DataFrame({
    'const': [1],
    'sbp': [114],
    'tobacco': [4.08],
    'ldl': [4.59],
    'adiposity': [14.6],
    'typea': [62],
    'obesity': [23.11],
    'alcohol': [6.72],
    'age': [58],
    'famhist': ['Present']
})
pred_probs = model.predict(newdata)      # 每個 class 一個 column
print(pred_probs)
pred_classes = pred_probs.idxmax(axis=1) # index of first occurrence of max
# axis=0, return row index; axis=1, return column index
print(pred_classes)

8. Misclassification rate（slides 17–19）

Exam評估 classification model 嘅步驟（slide 17）：

1. 將 full data 分做 training data 同 testing data（unseen），例如 70% vs 30%。
2. 將 mnlogit apply 落 training data。
3. 扮唔知 test data 嘅 Y，apply predict()。
4. 將 predicted class 同 actual class 比較。

Slide 17 特別提醒要小心 in-sample prediction 同 out-sample prediction 嘅分別：前者用嚟 fit model 嘅 data，後者係 model 未見過嘅 data。

# Check the out-sample misclassification rate
heart_train = heart.iloc[0:323]
heart_test = heart.iloc[323:]

model = smf.mnlogit('chd ~ sbp+tobacco+ldl+adiposity+typea+obesity+alcohol+age+famhist', data=heart_train).fit()
print(model.summary())

predicted_class = model.predict(heart_test).idxmax(axis=1)
actual_class = heart_test['chd']

misclassification = confusion_matrix(actual_class, predicted_class)
error_rate = 1 - np.trace(misclassification) / np.sum(misclassification)

print('Out-of-sample performance:')
print(misclassification)
print(f'Error Rate: {error_rate}')

逐句拆解 slide 19：

Code	意思
iloc[0:323] / iloc[323:]	頭 323 個 rows 做 training，其餘 139 個 rows 做 testing，約 70% vs 30%（323/462 ≈ 69.9%）
np.trace(...)	對角線總和，即分啱嘅數目
np.sum(...)	所有格總和，即 test data 總數
1 - trace/sum	就係 slide 18 第二條 formula

自我測驗 Self-test

Q1. 點解唔可以直接寫 $P(Y=1)=\beta_0+\beta_1X_1+\cdots+\beta_pX_p$？

因為 probability 一定喺 $[0,1]$，但 $X\beta$ 可以係 $[-\infty,\infty]$ 入面任何數。所以要用 logit / logistic function transform，將兩邊 range 夾返。

Q2. $\beta_0=-2,\ \beta_1=0.5,\ x=2$。求 $\eta$、$P(Y=1)$ 同 predicted class。

$\eta=-2+0.5\times2=-1$；$P=\dfrac{e^{-1}}{1+e^{-1}}\approx0.2689$；$P<0.5$（亦即 $\eta<0$），所以 predict $Y=0$。

Q3. 同一個 model，x 要大過幾多先會 classify 做 1？

要 $\eta>0$：$-2+0.5x>0$，即 $x>4$。

Q4. 證明 $P>0.5 \iff \eta>0$。

$\dfrac{e^\eta}{1+e^\eta}>\dfrac12\iff2e^\eta>1+e^\eta\iff e^\eta>1\iff\eta>0$。

Q5. $P=0.4$ 嘅 $\text{logit}(P)$ 係幾多？

$\ln(0.4/0.6)=\ln(0.6667)\approx-0.405$。係負數，同 $P<0.5$ 一致。

Q6. Y 有 4 種顏色，跟 slide 3 嘅方法要 fit 幾多個 logistic regression models？

4 個：每種顏色一個「該顏色 vs not 該顏色」model。

Q7. 比較 OLS 同 MLE；點解 logistic regression 唔用 OLS？

OLS minimize sum of squared errors；MLE maximize likelihood $\prod_{t=1}^{n}P(Y_t=y_t\mid X_t)$。Categorical Y 嘅 error 唔可以用減數定義（Cloudy − Sunny = ???），所以 squared error 要由 likelihood 取代。

Q8. Predicted High：actual High 40、actual Low 10；Predicted Low：actual High 5、actual Low 45。求 misclassification rate。

分錯 = 10 + 5 = 15，總數 = 100，rate = 15/100 = 0.15。亦可以用 $1-(40+45)/100=0.15$。

Q9. pred_probs.idxmax(axis=1) 做咩？如果係 axis=0 呢？

axis=1：每個 row 搵最大值所屬嘅 column index，即每個 observation 嘅 predicted class。axis=0：每個 column 搵最大值所屬嘅 row index。

Q10. Training data 嘅 error rate 好低，test data 嘅 error rate 好高，代表咩？

Model 喺 in-sample 表現好，但 out-of-sample 差，即對 unseen data 預測能力弱，可能係 overfitting。評估應該睇 out-of-sample 嗰個數字。

一頁總結 Cheat sheet