Text Cleaning & Feature Scaling

1. Review: Feature Transformation（Week 7 回顧）

Outline 一開始重溫上堂嘅 categorical → numerical 轉換：

• Nominal data（無次序，例如顏色）→ one-hot encoding：pd.get_dummies(df, prefix=...)。
• Ordinal data（有次序，例如 Low/Mid/High）→ ordinal encoder：OrdinalEncoder(categories=[[...]])。

Summary slide 仲提到：datetime 用 .dt accessor；binning 要分清 cut()（equal-width / 自訂 edges）同 qcut()（equal-sized / quantile-based）。詳細內容睇 Week 7。

2. Data preparation：NYC Federal Taxi dataset

import pandas as pd
dir_path = './Datasets/week_8/'
nyc = pd.read_csv(dir_path + 'nyc_federal_taxi.csv')
nyc.info()     # 267 rows × 7 columns，全部 dtype = object
nyc.head(3)

7 個 columns：Date、Time、PU_Address（pick-up）、DO_Address（drop-off）、Routing Details、PU_Address.1、Status（例如 Cancelled / Arrived / Assigned）。全部都係 object（string），所以呢份 data 正正需要 text cleaning。

3. Cleaning texts with string methods

Text data 通常由唔同 users / collectors、喺唔同 platforms 輸入，所以格式好少一致。Slides 列出常見問題同對應 method：

Observation 1 on the NYC Taxi Data

• Cases 唔統一（有啲大楷、有啲細楷）。
• 有啲 white spaces 肉眼唔易見，例如 head(10) 入面 line 3 同 line 6 尾有多餘空格。

證據：nyc['PU_Address'].str[-3:] 抽最後三個字元，大部分係 NY;、NJ;，但 row 2 出咗 Y;，因為尾有一個空格，最後三格變成「Y; 」。

nyc['PU_Address'] = nyc['PU_Address'].str.lower()   # 統一做細楷
nyc['PU_Address'] = nyc['PU_Address'].str.strip()   # 去頭尾空白
nyc['PU_Address'].str[-3:]                          # 而家全部係 'ny;' / 'nj;'

print("hello world\n")           # 會多印一行空行
print("hello world\n".strip())   # strip() 連 \n 都會去埋
print("   hello world   ".strip())  # 'hello world'

Tasks（課堂練習）

Exam 呢幾題係典型「寫一行 pandas code」題型：

# Task 1：刪走每個地址尾嘅 state field（空格 + 州名縮寫 + ';'），例如 " ny;"
nyc['PU_Address'] = nyc['PU_Address'].str[:-4]    # 去最後 4 個字元

# Task 2：有幾多條 route 由 airport 出發？
nyc[nyc['PU_Address'].str.contains('airport')].shape[0]     # 29

# Task 3：PU_Address 以 'best western' 開頭，而且去 airport（DO_Address 含 airport）
nyc[(nyc['PU_Address'].str.startswith('best western'))
    & (nyc['DO_Address'].str.contains('Airport'))]          # 1 row（index 102）

# Task 4：狀態係 'Arrived'，而且 drop-off 係 Flushing
nyc[nyc['DO_Address'].str.contains('Flushing') & (nyc['Status'] == 'Arrived')]   # 2 rows

4. Introduction to Regular Expressions (Regex)

Regular expressions 係用嚟 match、search、manipulate text 嘅 patterns。Data science 用途：

• Cleaning messy text data
• Extracting specific information from strings
• Validating data formats（emails、phone numbers 等）

Lecturer 特別提到：course project 好大機會遇到格式唔一致嘅 dataset，regex 可以有效處理。Python 用 re module：import re。

Using re module with Python

import re

# Example 1：搵晒所有數字（一個或多個連續 digits）
text = "Order #12345 was placed on 2026-10-19"
re.findall(r'\d+', text)          # ['12345', '2026', '10', '19']

# Example 2：抽 email address
text = "Contact us at info@example.com or support@test.org"
re.findall(r'[\w\.-]+@[\w\.-]+\.\w+', text)   # ['info@example.com', 'support@test.org']

# Example 3：將多個空格變一個
text = "This    are   many     spaces"
re.sub(r'\s+', ' ', text)          # 'This are many spaces'

• re.findall(pattern, text)：回傳所有 non-overlapping matches 嘅 list。
• re.sub(pattern, repl, text)：將所有 match 替換成 repl。
• r'...'（raw string）：令 \d 嘅 backslash 唔會俾 Python 當 escape character。
• Email pattern 拆解：[\w\.-]+（一個或多個 word char / 點 / 減號）＋ @ ＋ domain [\w\.-]+ ＋ \.（真正嘅點，要 escape）＋ \w+（com / org）。[...] 係 character class：入面任何一個字元都 match。

Regex with pandas：HK property data

pandas 可以直接經 .str accessor 用 regex。例子用 HK property dataset（Datasetv2.csv，2020–2023 交易），抽 1000 rows：

data_path = "./Datasets/week_8/"
df_full = pd.read_csv(data_path + "Datasetv2.csv")
df_short = df_full.sample(1000, random_state=42)   # 固定 random_state，結果可重現
df_short['date'] = pd.to_datetime(df_short['date'], format='%d/%m/%Y', errors='coerce')
df_short['date'].max(), df_short['date'].min()     # 2023-03-09, 2020-03-11

address 例子：Grand Jete, Phase 1, Tower 2, 7/F, Flat J、Miami Mansion, 3/F, Flat 3、Tierra Verde, Phase 2, Block 10, Lower Floor, ...。

# Task 1：抽 estate name（第一個逗號之前嘅部分）→ 用嚟同其他 dataset 合併計 per-estate trends
df['Estate'] = df['address'].str.extract(r'^(.*?)(?:,|$)')
#   Grand Jete, Phase 1, ...  → 'Grand Jete'
#   Miami Mansion, 3/F, ...   → 'Miami Mansion'

# Task 2：抽 Phase 編號
df['Phase'] = df['address'].str.extract(r'Phase\s+(\d+)')
#   'Phase 1' → '1'；'Phase 4B' → '4'；冇 Phase → NaN

# Task 3：數有幾多 rows 冇 floor pattern
floor_pattern = r"\b(?:Higher|Middle|Low|Lower)\s+Floor\b"
rows_without_floor_category = (
    ~df_short["address"].str.contains(floor_pattern, case=False, na=False)
).sum()
print(rows_without_floor_category)    # 771

逐個拆解：

• ^(.*?)(?:,|$)：^ 由開頭；( ) 係 capture group，str.extract() 回傳嘅就係呢部分；.*? 係 lazy（non-greedy）：盡量 match 少啲字元；(?: ) 係 non-capturing group（只分組、唔抽出）；,|$ 表示「遇到逗號或者去到字串尾」就停。所以抽到第一個逗號前嘅 estate name；冇逗號嘅地址就成個抽晒。
• Phase\s+(\d+)：字面 "Phase" + 一個或多個空白 + capture 一個或多個 digits。"4B" 只抽到 4，因為 \d 唔 match B。冇 match 嘅 row 回傳 NaN。
• \b(?:Higher|Middle|Low|Lower)\s+Floor\b：\b 係 word boundary（防止 match 到 "Slower Floor" 呢類字中間）；| 係 OR；case=False 唔分大細楷；na=False 將 missing 當 False；~ 反轉 Boolean；.sum() 數 True 嘅數目（True = 1）。

5. Scaling：點解要 scale？

• 唔同 variables 通常有唔同 scales：例如一個 feature 係 0–10（產品價錢），另一個係 10,000–50,000（有幾多間店賣）。
• Scaling：converting the scale of numeric data so that they're on a comparable scale。
• 點解重要？例如 unsupervised learning 嘅 K-means clustering：clusters 係根據 inter-sample distances 搵出嚟，距離近嘅會被分入同一個 cluster。

三種方法嘅共通目標：（或多或少）將 data 嘅 center 變 0、spread 變 1。

Demo data：9000 個 $N(50, 10)$ 正常值 + 100 個 $N(100, 5)$ 高端 outliers。

import numpy as np
X = pd.DataFrame({
    'value': np.concatenate([
        np.random.normal(50, 10, 9000),   # majority normal values
        np.random.normal(100, 5, 100),    # outliers on the high end
    ])
})
X.hist()   # 主峰喺 50 附近，100 附近有一小撮 outliers

6. Standard Scaling (StandardScaler)

• 將 variables 轉成 standard normal variables（mean = 0, std = 1）。
• 方法：減 mean，再除 standard deviation。
• Mean 同 std 會被 outliers 拉動，但冇 min-max scaling 咁嚴重。
• 唔會限制喺某個指定 range。

from sklearn.preprocessing import StandardScaler
ss = StandardScaler()
X_ss = ss.fit_transform(X)
X_ss.mean()   # 4.06e-16 ≈ 0
X_ss.std()    # 1.0

Before / after histogram 嘅形狀完全一樣，只係 x-axis 由 20–120 變成大約 −3 至 6（outliers 喺 4 附近）。Scaling 係 linear transformation，唔會改變 distribution 形狀。

7. Min-max Scaling (MinMaxScaler)

• 將 variables 轉成 (0, 1) interval 入面嘅連續值。
• 將最小值 map 去 0、最大值 map 去 1。
• Sensitive to outliers：想所有值喺 0 至 1 之間就好用，但可以被 outliers 嚴重影響。

from sklearn.preprocessing import MinMaxScaler
mm = MinMaxScaler()
X_mm = mm.fit_transform(X)
X_mm.mean()   # 0.360
X_mm.std()    # 0.104   ← spread 好細

點解 std 只有 0.104？因為 max 係 outlier（約 120），正常值（30–70）全部被壓縮喺 0.2–0.5 呢個窄區間。Comparison plot 入面 MinMax 嘅 density curve 係一條好尖（peak ≈ 4）嘅窄峰。

8. Robust Scaling (RobustScaler)

• 同 Min-Max 類似，但改為用 interquartile range。
• 減 median，再按 quantile range scale（default 係 IQR = 25th 至 75th quantile 之間嘅距離）。
• 將 IQR（$Q_3 - Q_1$）map 成 1；避免 outliers 造成偏差。
• Robust to outliers，但 唔保證 結果喺 0 至 1 之間。

from sklearn.preprocessing import RobustScaler
rs = RobustScaler()
X_rs = rs.fit_transform(X)
X_rs.mean()   # 0.025（median-centered，所以 mean 唔一定係 0）
X_rs.std()    # 0.831

Worked example（自己計，加深理解）

Data：$x = [10, 20, 30, 40, 100]$（100 係 outlier）。mean = 40，population std = $\sqrt{1000} \approx 31.62$，min = 10，max = 100，$Q_1 = 20$，$Q_2 = 30$，$Q_3 = 40$，IQR = 20。

觀察：Min-max 將 4 個正常值擠入 0–0.33；Robust 令正常值之間距離保持清楚（每 10 單位 = 0.5），outlier 就明顯咁「突出」喺 3.5，超出 [0, 1]。

9. Comparison of Scaling Methods

Practical considerations

• Exam Always fit scaler on training data only，再用已 fit 嘅 scaler transform validation / test data。
• MinMaxScaler 喺新 data 超出 training 嘅 min/max 時會有問題（extrapolation：output 會 < 0 或 > 1）。
• 有 outliers、而且要保留 non-outliers 之間嘅 relative order 時，RobustScaler 通常係 safe default。
• StandardScaler 通常改善 gradient-based methods 嘅 convergence；MinMax 將 inputs bounded，可以加快 neural nets 訓練。

from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler

X_train, X_test = train_test_split(X, test_size=0.2, random_state=42)
ss = StandardScaler()
X_train_s = ss.fit_transform(X_train)   # 只喺 train 計 mean / std
X_test_s  = ss.transform(X_test)        # test 用 train 嘅 mean / std，唔好再 fit！

10. Summary on Feature Transformation

• Date and Time：用 .dt accessor。
• Feature encoding：one-hot vs ordinal encoding 嘅 use cases。
• Binning：cut() vs qcut() 嘅分別。
• Cleaning texts：唔好忘記 string accessor .str；.str + string method 可以處理成個 column / df。
• Feature scaling：唔同 scalers 嘅 use cases，幾時用邊個。

自我測驗 Self-test

一頁總結 Cheat sheet