Matrix Algebra Review（非考試範圍）

1. Scalars 同 Vectors（slides 3–5）

Scalar：a single value, constant, or observation，例如 $x=5$。

Vector：a row or column of values, responses, or observations。$d$-dimensional column vector 同 row vector：

留意 notation：prime $'$ 代表 transpose，所以冇 prime 嘅 $\boldsymbol{x}$ 係 column，$\boldsymbol{x}'$ 係 row。

Norm 就係 $\boldsymbol{x}$ 同原點 $\boldsymbol{0}$ 嘅距離。Unit vector 就係 $|\boldsymbol{x}|=1$。

例（slide 5）：$\boldsymbol{x}_1=(3,9,4,3)'$，$\boldsymbol{x}_2=(7,9,4,2)'$。

2. Matrix 基本概念（slides 6–8）

Matrix $A\in\mathbb{R}^{n\times p}$ 係一個 $n\times p$ array of numbers，可以睇成一堆 column vectors（每個 $\boldsymbol{a}_i\in\mathbb{R}^n$），又或者一堆 row vectors（每個 $\tilde{\boldsymbol{a}}_j\in\mathbb{R}^p$）：

Transpose（slide 7）就係 flipping the matrix，rows 變 columns：

注意次序會倒轉。

Square matrix（slide 8）：$n=p$。Symmetric matrix：square 而且 $A=A'$：

3. 加減同乘法（slides 9–11）

加減：equal-sized matrices，逐格加減。

Matrix × vector（slide 10）：$n\times p$ 嘅 $A$ 乘 $p\times1$ 嘅 $\boldsymbol{x}$。Slide 嘅重點句：matrix multiplication = weights columns of $A$ by $\boldsymbol{x}$。

Matrix × matrix（slide 11）：$n\times p$ 乘 $p\times m$，逐個 column 做上面嘅運算：

例：$A=\begin{pmatrix}6&8\\4&4\end{pmatrix}$，$B=\begin{pmatrix}1&3\\2&4\end{pmatrix}$：$A\boldsymbol{b}_1=(22,12)'$，$A\boldsymbol{b}_2=(50,28)'$，所以 $AB=\begin{pmatrix}22&50\\12&28\end{pmatrix}$。

4. Trace、Determinant、Inverse（slides 12–15）

Trace（slide 12）：sum of diagonal elements。上面 symmetric matrix 嘅 $tr(A)=6+4+9=19$。性質：$tr(AB)=tr(BA)$。上一節嘅例子驗證：$tr(AB)=22+28=50$，$tr(BA)=18+32=50$。

Determinant（slide 13）：

自編例子：

$p\times p$ determinant 嘅性質（slide 14）：

• $|A'|=|A|$
• $|diag(d_1,d_2,\ldots,d_p)|=\prod_{i=1}^{p}d_i$
• $|\alpha A|=\alpha^p|A|$
• $|AB|=|A||B|$

驗證 $|AB|=|A||B|$：$|A|=6\times4-8\times4=-8$，$|B|=1\times4-3\times2=-2$，$|AB|=22\times28-50\times12=16=(-8)(-2)$。

Inverse（slide 15）：$AA^{-1}=A^{-1}A=I$。性質：

• $(A')^{-1}=(A^{-1})'$
• $(AB)^{-1}=B^{-1}A^{-1}$（次序同樣倒轉）
• $|A^{-1}|=1/|A|$
• 如果 $D=diag(d_1,d_2,\ldots,d_p)$，咁 $D^{-1}=diag(d_1^{-1},d_2^{-1},\ldots,d_p^{-1})$

5. Inner Product（slides 16–20）

Vectors $\boldsymbol{x},\boldsymbol{y}\in\mathbb{R}^n$ 就係 size $n\times1$ 嘅 matrices，所以 $\boldsymbol{x}'$（$1\times n$）乘 $\boldsymbol{y}$（$n\times1$）得出一個 scalar。

對 unit vectors（$|\boldsymbol{x}|=|\boldsymbol{y}|=1$，slide 17）：

所以兩個 unit vectors 嘅 inner product 越大，距離越近。Slide 18 嘅三個情況：

關係	$\theta$	$\sum x_iy_i$
$\boldsymbol{x}=-\boldsymbol{y}$（相反方向）	180°	−1
$\boldsymbol{x}\perp\boldsymbol{y}$（垂直）	90°	0
$\boldsymbol{x}=\boldsymbol{y}$（相同方向）	0°	1

即係 $\boldsymbol{x}'\boldsymbol{y}$ “measures” the angle between $\boldsymbol{x}$ and $\boldsymbol{y}$，而且 $-1\le\sum_{i=1}^{n}x_iy_i\le1\iff180^\circ\ge\theta\ge0^\circ$。

例（slide 19）：同 slide 5 一樣嘅 $\boldsymbol{x}_1,\boldsymbol{x}_2$：

Orthogonality 同距離（slide 20）：$\boldsymbol{x}\perp\boldsymbol{y}$ if $\boldsymbol{x}'\boldsymbol{y}=0$。距離亦可以寫成 matrix form：

6. Orthogonal Matrix（slides 21–22）

Definition 2：square $p\times p$ matrix $Q=(\boldsymbol{q}_1\ \boldsymbol{q}_2\ \cdots\ \boldsymbol{q}_p)$ 係 orthogonal，如果 $\boldsymbol{q}_i$ 係 non-zero vectors，而且：

即係每對 columns 互相垂直，每個 column 都係 unit vector。結果：

例（slide 22）：

$\boldsymbol{q}_1'\boldsymbol{q}_2=\boldsymbol{q}_1'\boldsymbol{q}_3=\boldsymbol{q}_2'\boldsymbol{q}_3=0$，$\boldsymbol{q}_1'\boldsymbol{q}_1=\boldsymbol{q}_2'\boldsymbol{q}_2=\boldsymbol{q}_3'\boldsymbol{q}_3=1$，所以 $Q$ 係 orthogonal。

7. Eigenvalue 同 Eigenvector（slides 23–24）

Definition 3：對 square matrix $A\in\mathbb{R}^{p\times p}$，non-zero vector $\boldsymbol{v}$ 係 eigenvector，如果：

Scalar $\lambda$ 就係對應 $\boldsymbol{v}$ 嘅 eigenvalue。

• Scale-invariant：$A\boldsymbol{v}=\lambda\boldsymbol{v}\iff A(c\boldsymbol{v})=\lambda(c\boldsymbol{v})$。$\boldsymbol{v}$ 係 eigenvector iff $c\boldsymbol{v}$ 都係，$c\in\mathbb{R}\setminus\{0\}$。
• 為簡單起見，假設 $|\boldsymbol{v}|=1$。
• $|A-\lambda I_p|$ 係 $\lambda$ 嘅 degree $p$ polynomial，eigenvalues $\lambda_1,\ldots,\lambda_p$ 就係 $|A-\lambda I_p|=0$ 嘅 roots。

例（slide 24）：

Slide 直接驗證。如果要由頭計（自己補充）：$|A-\lambda I|=(1-\lambda)^2-4=0$，得 $\lambda=3$ 或 $-1$。

8. $A=\boldsymbol{X}'\boldsymbol{X}$ 嘅性質（slides 25–28）

Theorem 4：假設 $\boldsymbol{X}\in\mathbb{R}^{n\times p}$ has linearly independent columns。如果 $A=\boldsymbol{X}'\boldsymbol{X}$，咁：

1. $\lambda_i>0$；
2. $\boldsymbol{v}_i\perp\boldsymbol{v}_j$ if $\lambda_i\ne\lambda_j$。

Proof (1)：

最後一步嘅原因：左邊係 $|\boldsymbol{X}\boldsymbol{v}_i|^2$。Columns linearly independent，所以 $\boldsymbol{X}\boldsymbol{v}_i\ne\boldsymbol{0}$，兩邊 $|\boldsymbol{X}\boldsymbol{v}_i|^2$ 同 $\boldsymbol{v}_i'\boldsymbol{v}_i$ 都係正數，$\lambda_i$ 亦一定係正數。

Proof (2)：將 $\boldsymbol{v}_j'A\boldsymbol{v}_i$ 用兩個方法計：

所以 $\lambda_i\boldsymbol{v}_j'\boldsymbol{v}_i=\lambda_j\boldsymbol{v}_j'\boldsymbol{v}_i$。因為 $\lambda_i\ne\lambda_j$，所以 $\boldsymbol{v}_j'\boldsymbol{v}_i=0$。第二行用到 $A=A'$，因為 $\boldsymbol{X}'\boldsymbol{X}$ 係 symmetric。

例（slide 26）：

驗證到 $A\boldsymbol{v}_1=4.5\boldsymbol{v}_1$、$A\boldsymbol{v}_2=2\boldsymbol{v}_2$，所以 $\lambda_1=4.5$、$\lambda_2=2$。兩個都大過 0，而且 $\boldsymbol{v}_1'\boldsymbol{v}_2=0$。

Corollary 5（slide 27）：將 eigenvectors 排成 $V=(\boldsymbol{v}_1\ \boldsymbol{v}_2\ \cdots\ \boldsymbol{v}_p)$，咁 $V$ 係 orthogonal：$V'V=VV'=I_p$。

• $\boldsymbol{v}_i'\boldsymbol{v}_j$ 係 $V'V$ 嘅 $(i,j)$-entry，而 $\boldsymbol{v}_i'\boldsymbol{v}_j=0$、$\boldsymbol{v}_i'\boldsymbol{v}_i=1$，所以 $V'V=I_p$。
• $V'V=I_p\Rightarrow VV'V=V\Rightarrow(VV'-I_p)V=0\Rightarrow VV'=I_p$，因為 $V$ 係 full-rank square matrix。

例（slide 28）：$V=\dfrac{1}{\sqrt5}\begin{pmatrix}2&1\\-1&2\end{pmatrix}$，直接乘得 $V'V=VV'=I_2$。

9. Decomposition of Matrix（slides 29–33）

Theorem 6：$\boldsymbol{X}$ has linearly independent columns，對 $A=\boldsymbol{X}'\boldsymbol{X}$：

Proof：$AV=(A\boldsymbol{v}_1\ \cdots\ A\boldsymbol{v}_p)=(\lambda_1\boldsymbol{v}_1\ \cdots\ \lambda_p\boldsymbol{v}_p)=V\Lambda$。兩邊喺右邊乘 $V'$，用 $VV'=I_p$，就得 $A=AVV'=V\Lambda V'$。

Theorem 7（slide 30）：

其中 $A^{\frac12}$ 係 square-root（$A^{\frac12}A^{\frac12}=A$），$A^{-1}$ 係 inverse（$AA^{-1}=A^{-1}A=I_p$）。Proof 全靠 $V'V=I_p$ 喺中間消去：

$AA^{-1}$ 嘅證明一樣。

例（slides 31–32）：$A=\begin{pmatrix}4&-1\\-1&2.5\end{pmatrix}$，$\lambda_1=4.5$，$\lambda_2=2$，$V=\dfrac{1}{\sqrt5}\begin{pmatrix}2&1\\-1&2\end{pmatrix}$。

Trace、rank、determinant 同 eigenvalues 嘅關係（slide 33）：

用上面例子驗證：$tr(A)=4+2.5=6.5=4.5+2$；$|A|=4\times2.5-(-1)(-1)=9=4.5\times2$；rank = 2。Slide 33 最尾個 product 寫成 $\prod_{=1}^{p}\lambda$，漏咗 index，應該係 $\prod_{i=1}^{p}\lambda_i$。

import numpy as np

A = np.array([[4, -1], [-1, 2.5]])
vals, V = np.linalg.eigh(A)           # symmetric matrix 用 eigh；eigenvalues 由細到大
print(vals)                           # [2.  4.5]
print(V @ np.diag(vals) @ V.T)        # 還原 A
print(V @ np.diag(vals**0.5) @ V.T)   # A 嘅 square root
print(V @ np.diag(1 / vals) @ V.T)    # A 嘅 inverse
print(np.trace(A), vals.sum())        # 兩者都係 6.5
print(np.linalg.det(A), vals.prod())  # 兩者都係 9

自我測驗 Self-test

Q1. $\boldsymbol{x}=(1,0,1)'$，$\boldsymbol{y}=(1,1,0)'$。求 inner product、距離同 $\cos\theta$。

$\boldsymbol{x}'\boldsymbol{y}=1$；$|\boldsymbol{x}-\boldsymbol{y}|=\sqrt{0+1+1}=\sqrt2$；$\cos\theta=\dfrac{1}{\sqrt2\sqrt2}=0.5$，即 $\theta=60^\circ$。

Q2. 如果 $A$ 係 $3\times2$，$B$ 係 $2\times4$，$AB$ 同 $BA$ 存唔存在？

$AB$ 存在，size 係 $3\times4$。$BA$ 唔存在，因為 $B$ 有 4 個 columns，但 $A$ 有 3 個 rows。

Q3. $A$ 係 $3\times3$，$|A|=2$。求 $|2A|$、$|A'|$、$|A^{-1}|$。

$|2A|=2^3\times2=16$；$|A'|=2$；$|A^{-1}|=1/2$。

Q4. Orthogonal matrix 需要滿足咩條件？$Q^{-1}$ 點求？

Square；columns 互相垂直（$\boldsymbol{q}_i'\boldsymbol{q}_j=0$）而且係 unit vectors（$\boldsymbol{q}_i'\boldsymbol{q}_i=1$）。$Q^{-1}=Q'$。

Q5. $C=\begin{pmatrix}2&1\\1&2\end{pmatrix}$。求 eigenvalues 同 unit eigenvectors。

$|C-\lambda I|=(2-\lambda)^2-1=0$，得 $\lambda=3,1$。$\lambda=3$：$\dfrac{1}{\sqrt2}(1,1)'$；$\lambda=1$：$\dfrac{1}{\sqrt2}(-1,1)'$。兩者 inner product 係 0。

Q6. 用 Q5 嘅結果，唔直接展開，求 $tr(C)$、$|C|$ 同 $C^{-1}$。

$tr(C)=3+1=4$；$|C|=3\times1=3$；$C^{-1}=V\Lambda^{-1}V'=\dfrac13\begin{pmatrix}2&-1\\-1&2\end{pmatrix}$。

Q7. 點解 $\boldsymbol{X}$ columns linearly independent 時，$\boldsymbol{X}'\boldsymbol{X}$ 嘅 eigenvalues 一定係正數？

$\lambda_i\boldsymbol{v}_i'\boldsymbol{v}_i=\boldsymbol{v}_i'\boldsymbol{X}'\boldsymbol{X}\boldsymbol{v}_i=|\boldsymbol{X}\boldsymbol{v}_i|^2>0$，因為 linearly independent 令 $\boldsymbol{X}\boldsymbol{v}_i\ne\boldsymbol{0}$；而 $\boldsymbol{v}_i'\boldsymbol{v}_i>0$，所以 $\lambda_i>0$。

Q8. $(ABC)'$ 同 $(AB)^{-1}$ 點樣展開？

$(ABC)'=C'B'A'$；$(AB)^{-1}=B^{-1}A^{-1}$。兩者次序都會倒轉。

一頁總結 Cheat sheet