Feature Transformation (3): map / apply & EDA (1): Aggregating Statistics, Sampling, Correlation

1. Review: Feature Transformation

Outline 重溫之前學過嘅 feature transformation 工具：

• Categorical → numerical：nominal data 用 one-hot encoding（pd.get_dummies()）；ordinal data 用 ordinal encoder（OrdinalEncoder）。詳見 Week 7。
• Cleaning texts（.str accessor、regex）同 Scaling（Standard / MinMax / Robust）。詳見 Week 8。
• 今講新內容：Mapping new values（map）同 Applying functions（apply）。

2. Mapping new values：Series.map()

map 同 apply 令我哋可以對 DataFrame 嘅每個 element，或者每個 row / column，有效率咁做 custom transformation。

s.map(
    arg: 'Callable | Mapping | Series',
    na_action: "Literal['ignore'] | None" = None,
) -> 'Series'

arg 可以係 Callable（function）、Mapping（dictionary）或 Series。na_action='ignore' 會令 NaN 直接保留做 NaN，唔會傳入 function。

Dataset：air_quality.pkl（95,685 rows × 24 columns 嘅空氣質素 data，有 PM2.5、PM10、TEMP、RAIN、wd（wind direction）、WSPM（wind speed）、station，仲有上堂整好嘅 PM2.5_cat、TEMP_category、day_of_week_name 等）。

import pandas as pd
dir_path = "./Datasets/week_9/"
air_quality = pd.read_pickle(dir_path + "air_quality.pkl")

2.1 傳入 dictionary 做 arg

# change Mon - Fri to Weekday
myMap = {'Monday':'Weekday', 'Tuesday':'Weekday', 'Wednesday':'Weekday',
         'Thursday':'Weekday', 'Friday':'Weekday',
         'Saturday':'Weekend', 'Sunday':'Weekend', }

air_quality['day_of_week_name'].value_counts()
# Sunday 13931, Saturday 13812, Friday 13782, Thursday 13633,
# Monday 13536, Tuesday 13523, Wednesday 13468

air_quality['day_of_week_name'].map(myMap).value_counts()
# Weekday 67942
# Weekend 27743

檢查：Weekend = 13931 + 13812 = 27743 ✓；Weekday = 其餘 5 日加埋 = 67942 ✓。

2.2 傳入 function name 做 arg

air_quality['day_of_week_name'].map(arg=len)      # 'Friday' -> 6, 'Tuesday' -> 7
air_quality['day_of_week_name'].map(str.upper)    # 'Friday' -> 'FRIDAY'
air_quality['day_of_week_name'].str.upper()       # 結果一樣（Week 8 嘅 .str accessor）

注意傳入嘅係 function 本身（len、str.upper），唔好加括號：map(len()) 係錯，因為咁會即刻 call 咗 function。

2.3 傳入 lambda function

air_quality['day_of_week_name'].map(
    lambda x: 'Weekend' if x in ['Saturday', 'Sunday'] else 'Weekday')

lambda 係一行嘅 anonymous function：lambda 輸入: 輸出。x 每次代表 Series 入面一個 value。結果同 dictionary 版本一樣，但寫法短好多（唔使列晒 7 日）。

2.4 傳入 custom function（function name）

def mapfunc(x):
    if x in ['Saturday', 'Sunday']:
        return 'weekend_mapfunc'
    else:
        return 'weekday_mapfunc'

air_quality['day_of_week_name'] = air_quality['day_of_week_name'].map(mapfunc)

呢度將結果 assign 返入原 column，所以原本嘅星期名會被覆蓋。Notebook 之後用 pd.read_pickle(...) reset 返個 DataFrame。map 本身唔會 in-place 改 data，一定要 assign 先會保存。

2.5 Q1：wind direction 例子

air_quality['wd'] 有 16 種方向（NE、ENE、E、NW、N、SW、ESE、SSW、NNE、S、WSW、SE、NNW、WNW、SSE、W）。取第一個字母就可以歸納做 4 個主方向：

def wd_to_letter(wd_full):
    return wd_full[0]
air_quality['wd'].map(wd_to_letter).value_counts()
# N 34068, S 26054, E 22699, W 12864

練習答案參考（notebook 留空畀學生做）：

# Q1.1 lambda function -> 'E', 'W', 'S', 'N'
air_quality['wd'].map(lambda x: x[0]).value_counts()

# Q1.2 full function -> 'East', 'West', 'South', 'North'
def wd_to_name(wd_full):
    names = {'E': 'East', 'W': 'West', 'S': 'South', 'N': 'North'}
    return names[wd_full[0]]
air_quality['wd'].map(wd_to_name).value_counts()

3. Applying functions：df.apply()

3.1 Column-wise vs row-wise

# column-wise（axis=0, default）：每個 column 一個值
air_quality[['PM2.5', 'PM10']].apply('mean')        # PM2.5 83.477884, PM10 111.899959
air_quality[['PM2.5', 'PM10']].mean()               # 同樣結果，而且更快

# row-wise（axis=1）：每個 row 一個值
air_quality[['PM2.5', 'PM10']].apply('mean', axis=1)  # 9.0, 4.0, 4.0, 5.0, 4.5, ...
air_quality[['PM2.5', 'PM10']].mean(axis=1)           # 同樣結果

3.2 點解 apply(axis=1) 咁慢？（速度比較）

def pm_ratio(row):
    return row['PM2.5']/row['PM10']

%timeit pm_ratio(air_quality)          # 成個 df 傳入，call 一次：44.4 μs
pm_ratio(air_quality.iloc[0])          # 只傳一個 row：np.float64(1.0)

%%timeit
air_quality[['PM2.5', 'PM10']].apply(pm_ratio, axis=1)   # call 95,685 次：300 ms

%%timeit
air_quality['PM2.5']/air_quality['PM10']                 # vectorized，不 call function：44.8 μs

3.3 用 apply() 生成新 features

apply 最常見用途：用 axis=1，根據多個現有 features 建立新 feature，尤其係 built-in functions 做唔到嘅邏輯。

# prepare the function to generate a new feature about activity decision
def activity_decision(row):
    if (row['PM2.5_cat'] in ['Good', 'Moderate']) & (row['TEMP_category'] in ['Warm', 'Hot']) & (row['RAIN'] == 0):
        return 'Go outside'
    else:
        return 'Stay inside'

# call the function using apply along axis=1
air_quality.apply(activity_decision, axis=1)
# 0 Stay inside, 1 Stay inside, ...   Length: 95685

每次 row 係一個 row（Series），所以可以同時睇 PM2.5_cat、TEMP_category、RAIN 三個 columns。要保存就 air_quality['activity'] = air_quality.apply(activity_decision, axis=1)。

4. Exploratory Data Analysis (EDA)

Main types of EDA

類型	內容	幾時教
Summary statistics	Aggregating statistics	今講
	Sampling from DataFrames	今講
	Correlations	今講
	Grouping by	下一講
	Pivoting tables	下一講
Visualization	Charts / plots	之後幾講

5. Basic Aggregating Statistic Methods

Aggregating statistics 將一堆數值總結成一個值，可以用喺：一個 Series / column、DataFrame by columns、DataFrame by rows。

5.1 Series 例子：TEMP 同 PM2.5

air_quality['TEMP'].count()       # 95685（non-NA 數目）
air_quality['PM2.5_cat'].count()  # 95685（category 都數得）
air_quality['TEMP'].mean()        # 13.729
air_quality['TEMP'].median()      # 14.6
[air_quality['TEMP'].quantile(0.25), air_quality['TEMP'].quantile(0.75)]    # [3.5, 23.4]
air_quality['PM2.5'].mean()       # 83.478
air_quality['PM2.5'].median()     # 59.0
[air_quality['PM2.5'].quantile(0.25), air_quality['PM2.5'].quantile(0.75)]  # [23.0, 116.0]
air_quality['RAIN'].sum()         # 6171.3

5.2 成個 DataFrame 做 aggregation：numeric_only vs select_dtypes

air_quality.info()：dtypes 有 category(2)、datetime64[ns](1)、float64(12)、int32(6)、object(3)。直接 sum() 成個 DataFrame 會撞到非數值 columns，所以要揀 columns：

air_quality.sum(numeric_only=True)                  # numerical columns only（bool columns included）
air_quality.select_dtypes(include='number').sum()   # 數值 columns（bool columns not included）
air_quality['wd'].sum()                             # object column：會將所有 strings 駁埋一齊（無意義）

兩個結果喺呢個 dataset 一樣（18 個數值 columns），因為 dataset 冇 bool column。分別只係 bool：numeric_only=True 會計 bool，select_dtypes(include='number') 唔會。

air_quality['PM2.5_cat'].value_counts()
# Unhealthy 34257, Moderate 19853, Good 13576,
# Unhealthy for sensitive groups 12457, Very unhealthy 10821, Hazardous 4721
air_quality['PM2.5_cat'].mode()        # 0  Unhealthy  （ordered category）
type(air_quality['PM2.5_cat'].mode())  # pandas.core.series.Series

5.3 Separating numerical and categorical columns

air_quality.mean(numeric_only=True)     # PM2.5 83.48, PM10 111.90, TEMP 13.73, PRES 1011.40, ...
air_quality.mode(numeric_only=False)    # 所有 columns：27603 rows × 24 columns（!）

5.4 Q2–Q4 練習

# Q2: five-number statistics for all float64 columns
air_quality.describe(include='float64')

# Q3: describe() for String columns（String 喺 pandas 係 object dtype）
air_quality.describe(include='object')    # 輸出 count / unique / top / freq

# Q4
air_quality.select_dtypes(exclude='number').mode()                # 27603 rows × 6 columns
air_quality.select_dtypes(exclude=['number','datetime']).mode()   # 1 row：
#    wd   station  PM2.5_cat  TEMP_category  day_of_week_name
# 0  NE   Tiantan  Unhealthy  coldest        Sunday

6. agg() for Aggregating Statistics

單一 aggregation 直接用 df.mean()、df.sum() 就得。如果想一次過睇幾個（例如 mean 同 sum 喺同一個 output），就用 df.agg()。

DataFrame.agg(func=None, axis=0, *args, **kwargs)

• func：built-in function 名用引號（.agg('mean')）；user-defined function 唔用引號（.agg(my_func)）。
• axis：default 0。axis=0 apply to columns；axis=1 apply to rows。

6.1 單一 function（同 apply 相似）

air_quality[['TEMP','PM2.5']].agg('mean', axis=1)   # 每 row：4.25, 1.65, 0.80, ...
air_quality[['TEMP','PM2.5']].agg('mean', axis=0)   # 每 column：TEMP 13.729446, PM2.5 83.477884

例如 row 0：TEMP = −0.5，PM2.5 = 9.0 → (−0.5 + 9.0) / 2 = 4.25 ✓。

6.2 多個 functions（list）

def my_sum(df):
    return df.sum(axis=0)

air_quality[['TEMP','PM2.5']].agg([my_sum, 'min', 'max', 'mean']).T
#        my_sum        min    max    mean
# TEMP   1.313702e+06  -16.8  41.6   13.729446
# PM2.5  7.987581e+06    2.0  821.0  83.477884

.T（transpose）將 rows / columns 對調，令每個 feature 一行，易讀啲。留意 list 入面 my_sum 冇引號，'min' 有引號。

6.3 用 **kwargs 傳額外參數

air_quality[['TEMP','PM2.5']].agg('quantile', q=0.3)   # TEMP 5.6, PM2.5 29.0（30th percentile）

def count_between(col, low, high):
    return ((col < high) & (col > low)).sum()

air_quality['PM2.5'].agg(count_between, low=20, high=200, axis=0)   # 64692

q=0.3、low=20、high=200 都係 keyword arguments，會原封不動傳入 function。count_between 用 Boolean mask 再 .sum() 數 True（PM2.5 喺 20–200 之間嘅 rows = 64,692）。

6.4 唔同 features 用唔同 functions（dictionary mapping）

# this is correct usage of agg() with different functions on different columns
air_quality[['PM2.5', 'PM2.5_cat']].agg({'PM2.5': ['min','max','mean'],
                                         'PM2.5_cat':'nunique'})
#          PM2.5       PM2.5_cat
# min      2.000000    NaN
# max      821.000000  NaN
# mean     83.477884   NaN
# nunique  NaN         6.0

6.5 Q5：自訂 function + agg

要求：WSPM 顯示 min / max / mean；wd 用自訂 function most_two_freq() 回傳最常見兩個值嘅 tuple。

def most_two_freq(col):
    vc = col.value_counts()            # 已經由大至小排序
    return (vc.index[0], vc.index[1])

most_two_freq(air_quality['wd'])       # ('NE', 'ENE')

air_quality[['WSPM', 'wd']].agg({'WSPM': ['min', 'max', 'mean'],
                                 'wd': most_two_freq})
#                WSPM       wd
# min            0.000000   NaN
# max            12.000000  NaN
# mean           1.692044   NaN
# most_two_freq  NaN        (NE, ENE)

（Notebook 只顯示 expected output，function 留空；以上係參考答案。）

6.6 Summary on aggregative statistics

• 可以用一個值總結一個 column 嘅 functions：count()、sum()、mean()、std()、max()、min()、mode()、nunique()…
• Exam 好多都可以加 axis=1 改成 row 方向：df.count(axis=1)、df.nunique(axis=1)、df.sum(axis=1)、df.mean(axis=1)、df.min(axis=1)、df.max(axis=1)、df.mode(axis=1)。
• describe() 用 include= / exclude=；sum()、mean()、mode() 用 numeric_only=True；非數值 columns 先 select_dtypes()。
• .agg() 嘅好處：唔同 features 用唔同 functions。Built-in function 用 ' ' 包住，user-defined 唔使。

6.7 map vs apply vs agg 比較

Q6 答案參考

• A：student ID p123456 → 123456（逐個 cell 轉換）→ map()，例如 df['id'].map(lambda x: x[-6:])，或者 Week 8 嘅 df['id'].str[-6:]。
• B：所有 columns 一行平均值 → 直接用 built-in df.mean()（或 df.agg('mean') / df.apply('mean')）。
• C：salary 用 mean、occupation 用 mode（唔同 columns 唔同 functions）→ agg() with a mapping：df.agg({'salary': 'mean', 'occupation': lambda s: s.mode()[0]})。

7. Sampling

DataFrame.sample(n=None, frac=None, replace=False, weights=None,
                 random_state=None, axis=None, ignore_index=False)

參數	意思
n	抽幾多 rows（例如 200）
frac	抽幾大比例（例如 0.1 = 10%）；同 n 二揀一
replace	False（default）= without replacement，同一 row 唔會抽兩次；True = with replacement，可能重複
weights	每個 row 被抽中嘅權重（可用嚟 over-sample 少數類）
random_state	Random seed，固定之後每次抽到一樣嘅 sample（reproducible）
ignore_index	True 就將結果 index 重設為 0…n−1

air_quality['TEMP'].hist()                # 全部 95,685 rows 嘅 histogram
air_quality.sample(200)["TEMP"].hist()    # 只用 200 rows，形狀大致相似但較粗糙

air_quality.sample(2000, replace = True).duplicated().sum()   # 16（有重複 rows）

replace=True 唔會避免同一 row 被抽多次，所以 output 可能有 duplicated rows，可以用 duplicated().sum() 檢查（呢次 2000 個入面有 16 個重複）。

Sample vs population：比較 describe()

	sample(200) 第 1 次	sample(200) 第 2 次	全部 95,685 rows
mean	14.02	14.50	13.73
std	11.80	11.46	11.32
min	−8.0	−8.4	−16.8
25%	2.98	4.65	3.5
50%	13.75	16.2	14.6
75%	24.65	24.15	23.4
max	35.7	36.2	41.6

8. Correlation

假設每個 record 有兩個 random features（兩個 columns），我哋想量度佢哋點樣一齊變動（move together）。例如身高 $x$ 同體重 $y$：身高增加時，體重係咪都傾向增加？Covariance 同 Correlation 就係用嚟量度呢種 co-movement。

DataFrame.corr(method='pearson', min_periods=1, numeric_only=False)

• method：default 用 Pearson coefficient；亦可以揀 Kendall 或 Spearman。
• min_periods：計 correlation 最少要幾多 observations；唔夠就回傳 NaN。
• numeric_only：只用數值 columns。

8.1 三種 methods（細 DataFrame 例子）

data = {'A': [45, 37, 42],
        'B': [38, 31, 26],
        'C': [10, 15, 17]}
df = pd.DataFrame(data)

df.corr(method='pearson', min_periods=3)
#           A         B         C
# A  1.000000  0.458388 -0.583324
# B  0.458388  1.000000 -0.989268
# C -0.583324 -0.989268  1.000000

df.corr(method='kendall', min_periods=3)    # A-B 0.333, A-C -0.333, B-C -1.0
df.corr(method='spearman', min_periods=3)   # A-B 0.5,   A-C -0.5,   B-C -1.0
df.corr(min_periods=4)                      # 全部 NaN：只有 3 rows，唔夠 4 個 observations

8.2 手計驗證（補充，slides 冇列公式）

Pearson A vs B：$\bar{A} = 41.33$，$\bar{B} = 31.67$。Deviations：A = (3.67, −4.33, 0.67)，B = (6.33, −0.67, −5.67)。

• 分子：$3.67 \times 6.33 + (-4.33)(-0.67) + 0.67 \times (-5.67) = 23.22 + 2.89 - 3.78 = 22.33$
• 分母：$\sqrt{32.67 \times 72.67} = \sqrt{2374} \approx 48.72$
• $r = 22.33 / 48.72 \approx 0.458$ ✓（同 output 0.458388 一致）

Spearman A vs B：先轉 ranks。A = (45, 37, 42) → ranks (3, 1, 2)；B = (38, 31, 26) → ranks (3, 2, 1)。Rank 差 $d = (0, -1, 1)$，$\sum d^2 = 2$，$n = 3$：

結果 0.5，同 output 一致 ✓。

Kendall A vs B：3 對 pairs。(row0, row1)：A 跌、B 跌 → concordant；(row0, row2)：A 跌、B 跌 → concordant；(row1, row2)：A 升、B 跌 → discordant。$\tau = \frac{C - D}{n(n-1)/2} = \frac{2 - 1}{3} = 0.333$ ✓。

8.3 Linear vs monotonic：S、S1、S2、S3 例子

s  = pd.Series([1, 2, 3, 4, 5])
s1 = pd.Series([5, 6, 7, 8, 9])   # s + 4
s2 = 5 - s                        # 4, 3, 2, 1, 0
s3 = s**3                         # 1, 8, 27, 64, 125
df = pd.DataFrame({'S': s, 'S1': s1, 'S2': s2, 'S3': s3})
df.corr()
#            S        S1        S2        S3
# S   1.000000  1.000000 -1.000000  0.943118
# S1  1.000000  1.000000 -1.000000  0.943118
# S2 -1.000000 -1.000000  1.000000 -0.943118
# S3  0.943118  0.943118 -0.943118  1.000000

8.4 Air quality 例子

# if you have long columns, this is not recommended
air_quality[['PM2.5','PM10']].corr()             # 0.877604

# if you have long columns, this is more recommended to avoid long computation time
air_quality[['PM2.5','PM10']].sample(200).corr() # 0.665054

air_quality[['PM2.5','RAIN']].corr()             # -0.018063（幾乎冇 linear relationship）

8.5 Q7：所有數值 columns 嘅 correlation matrix

air_quality.corr() 會出錯，因為有幾個 non-numeric columns。Notebook 嘅 corr_mat shape 係 (12, 12)，columns 係 PM2.5、PM10、SO2、NO2、CO、O3、TEMP、PRES、DEWP、RAIN、WSPM、time_since_2022_weeks，啱啱好係 12 個 float64 columns，所以參考答案：

corr_mat = air_quality.select_dtypes(include='float64').corr()
corr_mat.shape                       # (12, 12)
corr_mat.loc['PM2.5','TEMP']         # -0.0903
corr_mat.loc['PM2.5',:].abs()        # abs() 睇強度，唔理正負
corr_mat['PM2.5'].nlargest(5)        # PM2.5 1.0, PM10 0.847, CO 0.767, NO2 0.671, SO2 0.464
corr_mat['PM2.5'].nsmallest(5)       # WSPM -0.311, O3 -0.158, TEMP -0.090, PRES -0.048, time_since_2022_weeks -0.023

8.6 Q8：解讀 correlation matrix

8.7 搵最強嘅 six correlations：unstack()

corr_mat.unstack().sort_values(ascending=False).duplicated()   # Length: 144
strongest_corr = corr_mat.unstack().sort_values(ascending=False).drop_duplicates().head(6)
# PM2.5  PM2.5   1.000000
# PM10   PM2.5   0.846921
# DEWP   TEMP    0.826201
# PM2.5  CO      0.766816
# CO     NO2     0.714192
# PM2.5  NO2     0.670551

1. unstack()：將 12 × 12 matrix 變成 144 個值嘅 Series，index 係 (row, column) pair。
2. sort_values(ascending=False)：由大至小排。
3. drop_duplicates()：因為 matrix symmetric，(PM10, PM2.5) 同 (PM2.5, PM10) 數值一樣，排完會相鄰；drop 走重複值。12 個 diagonal 1.0 亦會縮剩一個。
4. head(6)：攞頭 6 個。

9. Semi-Structured Data（programming 唔考）

9.1 Structured vs Semi-structured vs Unstructured

9.2 點解 XML 同 JSON 係 semi-structured

<students>
  <student id="101">
    <name>Alice</name>
    <grades>
      <math>A</math>
      <science>B+</science>
    </grades>
  </student>
  <student id="102">
    <name>Bob</name>
    <!-- Different structure allowed -->
    <attendance>95%</attendance>
  </student>
</students>

{
  "students": [
    {"id": 101, "name": "Alice",
     "grades": {"math": "A", "science": "B+"}},
    {"id": 102, "name": "Bob", "attendance": "95%"}
  ]
}

• Self-describing：每個值都帶住自己嘅名（tag <name> 或 key "name"），schema 嵌喺 data 入面。
• Hierarchical：可以 nested（grades 入面有 math、science）。
• Flexible：Alice 有 grades，Bob 冇 grades 但有 attendance，兩個 records 結構唔同都得；CSV 就要每 row 同一組 columns。
• 認樣：XML 用 <tag>…</tag> 同 attributes（id="101"）；JSON 用 { } objects、[ ] arrays、"key": value。

9.3 XML vs JSON vs CSV：幾時用

9.4 Parsing 例子（只供參考，唔考 programming）

import xml.etree.ElementTree as ET
tree = ET.parse(dir_path+'CountryData.xml')
root = tree.getroot()
print("Root Tag:", root.tag)            # data
for child in root:
    print(child.tag, child.attrib)      # country {'name': 'Liechtenstein'} / Singapore / Panama

for country in root.findall('country'):
    name = country.get('name')                  # 讀 attribute
    gdppc = int(country.find('gdppc').text)     # 讀 child tag 嘅 text
# Highest 141100, Lowest 13600, Average 71533.33

XML 係一棵 tree：root → children（country）→ 再落一層（gdppc）。Attribute 用 .get()，tag 入面嘅文字用 .find(...).text。

import requests
url = "https://nominatim.openstreetmap.org/search"
params = {"q": "Shatin", "format": "jsonv2", "limit": 1}
headers = {"User-Agent": "my-notebook-geocoder/1.0 (...)"}   # Nominatim usage policy 要求
response = requests.get(url, params=params, headers=headers, timeout=15)
response.raise_for_status()
results = response.json()        # JSON → Python list / dict
top = results[0]
float(top["lat"]), float(top["lon"])   # 22.3815527, 114.1904697

JSON API 例子（OpenStreetMap geocoder）：送 HTTP request，response.json() 將 JSON 轉成 Python list / dict，再用 key 攞值。

10. Summary

• Semi-structured data：識認 XML / JSON format；概念上分得清同 CSV 嘅分別；知道幾時用。
• EDA: Aggregating statistics：
  • Basic aggregating stat functions：sum()、mean()…
  • Aggregate 之前識揀唔同 dtypes。
  • Exam 知道 map / apply / agg 嘅分別。
  • Exam 知道點解要 sample。
  • Exam 識計 correlation matrix 同描述佢（邊啲 features strongly / weakly correlated）。

自我測驗 Self-test

Q1. s = pd.Series(['Mon', 'Sat', 'mon'])，s.map({'Mon': 'Weekday', 'Sat': 'Weekend'}) 輸出係乜？

['Weekday', 'Weekend', NaN]。Dictionary mapping 冇對應 key（'mon' 細楷）就變 NaN，唔會保留原值。

Q2. df[['PM2.5','PM10']].apply('mean') 同 df[['PM2.5','PM10']].apply('mean', axis=1) 各自輸出幾多個值？

第一個（axis=0）：每個 column 一個值 → 2 個值。第二個（axis=1）：每個 row 一個值 → 95,685 個值。

Q3. 點解 df['PM2.5']/df['PM10']（44.8 μs）比 df[['PM2.5','PM10']].apply(pm_ratio, axis=1)（300 ms）快咁多？

前者係 vectorized operation，pandas 一次過喺底層處理成個 column；後者要逐 row call Python function 95,685 次，每次都有 function call 同建立 row Series 嘅 overhead。所以 apply 係 last resort。

Q4. 以下邊句會出錯？(a) df.apply('mean') (b) df.apply(my_func) (c) df.apply('my_func')（my_func 係 notebook 自己 define）

(c)。自己 define 嘅 function 唔應該加引號；字串會被當成 pandas built-in function 名去搵，搵唔到就出錯。(a) built-in 加引號正確；(b) user-defined 唔加引號正確。

Q5. 寫一行 code：對 Price 計 min、max、mean，同時對 District 計 nunique。

df.agg({'Price': ['min', 'max', 'mean'], 'District': 'nunique'})。輸出係 4 rows × 2 columns 嘅 table，冇用到嘅組合係 NaN。

Q6. describe(include=['bool']) 喺 air_quality 會出錯，點解？想對 object columns 計 mode 應該點寫？

因為 include= 列出嘅 dtype 最少要有一個喺 DataFrame 存在，而 air_quality 冇 bool column。Object columns 計 mode：air_quality.select_dtypes(include='object').mode()（numeric_only 唔可以揀非數值 columns）。

Q7. 一個 column 嘅 mean = 83.5，median = 59.0。描述分佈形狀，並建議用乜統計量描述中心。

Mean 明顯大過 median → right-skewed（少數極大值拉高 mean）。應該用 median（同 IQR）描述中心同 spread，因為佢哋對 outliers robust。

Q8. 列出三個 sampling 嘅原因；sample(2000, replace=True) 同 sample(2000) 有乜分別？

原因：(1) large data 用 random sample 令計算容易；(2) ML 用 random samples train，hold 另一組做 testing；(3) outcomes 唔平均時做 over-/under-sampling。replace=True 係 with replacement，同一 row 可以被抽多次（可用 duplicated().sum() 檢查）；default replace=False 每 row 最多抽一次。

Q9. $x = (1, 2, 3, 4)$，$y = x^2 = (1, 4, 9, 16)$。Pearson 同 Spearman correlation 邊個會等於 1？點解？

Spearman = 1：ranks 完全一樣（1, 2, 3, 4），monotonic increasing。Pearson < 1（約 0.98）：關係唔係直線。同 notebook S vs S3（0.943）道理一樣。

Q10. 一個 10 × 10 correlation matrix 有幾多個 unique cross-correlation coefficients？點解 unstack() 之後要 drop_duplicates()？

$\frac{10 \times 9}{2} = 45$ 個。Matrix 係 symmetric，(A, B) 同 (B, A) 數值一樣，unstack() 後每對出現兩次（diagonal 1.0 亦重複 10 次），排序後 drop 重複先唔會重複計。

Q11. 以下 data 各適合 XML、JSON 定 CSV？(a) 手機 app 同 server 實時交換資料；(b) 銀行之間要嚴格 schema validation 嘅 data exchange；(c) 俾 non-technical 同事用 Excel 改嘅銷售表。

(a) JSON（mobile app / real-time / web API）；(b) XML（strong schema validation，用 .xsd；enterprise standardized exchange）；(c) CSV（spreadsheet / simple tabular，non-technical users 可睇可改）。

一頁總結 Cheat sheet