90分鐘 · 100分 · 7道大題 · 27小問。

這是原創自學模擬卷，不是官方考試規格。題數、主題權重、計算機練習說明與評分建議均不預測官方要求。

先在獨立答題紙完成全部題目，再打開解答。寫出必要計算、條件與證明。可行時使用精確值，使用小數須註明捨入。特徵向量或奇異向量的符號若一致配對，等價選擇均可。以題目定義、正規化因子及破平局規則為準，不得無理由假定逆矩陣存在。

本次練習使用Casio fx-50FH II，可用一張雙面A4速查紙；這些是練習約定，不是對當前官方考試許可的聲明。先寫數學目標再做標量運算，普通REG輸出不代替加權、多元或正則化推導。不假定CAS或完整矩陣功能。

完整詳解與評分 · MATH3320

Q1. 穩健損失與驗證 (16)

完整詳解與評分 Q1

對殘差r定義以下兩個損失。它們作用於殘差，不是係數。四個觀測為$y_1=y_2=y_3=0$、$y_4=8$，擬合常數模型$\widehat y_i=a$。

$$\rho(r)=\begin{cases}\tfrac12r^2,&|r|\le1,\\|r|-\tfrac12,&|r|>1,\end{cases}\qquad\widetilde\rho(r)=\sqrt{1+r^2}-1.$$

(a) [4]

求$\rho^{\prime}(r)$，包括$r=\pm1$處，並解釋$F(a)=\sum_{i=1}^4\rho(y_i-a)$為何凸。

完整詳解與評分 Q1(a)

(b) [6]

求F的唯一最小點，證明其全局最優性，並求普通最小二乘常數。若$y_4$從8改為80，Huber最小點是否改變？解釋原因。

完整詳解與評分 Q1(b)

(c) [3]

對$\widetilde\rho$求導；比較其導數在$|r|$很大時與$r^2/2$導數的行為，解釋對大殘差的意義。

完整詳解與評分 Q1(c)

(d) [3]

某學生用完整數據標準化所有預測變數，再用五折交叉驗證選損失函數，最後把最小交叉驗證誤差稱為獨立測試誤差。指出兩個不同問題並給出修正流程。

完整詳解與評分 Q1(d)

Q2. 貪心擬合、重新擬合與嵌套模型 (18)

完整詳解與評分 Q2

以下算法沒有正則化懲罰。匹配追蹤MP從$c=0,r=y$開始，選最大$|d_j^Tr|$，令$\gamma=d_j^Tr$，再更新$c_j\leftarrow c_j+\gamma$、$r\leftarrow r-\gamma d_j$。正交匹配追蹤OMP用相同選擇規則，但每次選擇後對全部已選欄聯合最小二乘重新擬合。OMP不可重複加入已選編號；相關性平局取較小編號。

$$d_1=\begin{pmatrix}1\\0\\0\end{pmatrix},\quad d_2=\begin{pmatrix}3/5\\4/5\\0\end{pmatrix},\quad d_3=\begin{pmatrix}0\\0\\1\end{pmatrix},\quad D=(d_1\ d_2\ d_3),\quad y=\begin{pmatrix}2\\1\\1/5\end{pmatrix}.$$

(a) [2]

檢查各欄範數，計算初始相關性，指出首先選擇哪欄。

完整詳解與評分 Q2(a)

(b) [5]

恰好執行兩輪MP。給出所選編號、係數增量、最後係數、殘差及RSS。

完整詳解與評分 Q2(b)

(c) [5]

恰好執行兩輪OMP，寫出並解第二輪重新擬合的正規方程；給出最後係數、殘差及RSS。

完整詳解與評分 Q2(c)

(d) [3]

計算最後MP殘差與$d_1,d_2$的內積，與OMP比較，解釋兩輪後答案為何不同。

完整詳解與評分 Q2(d)

(e) [3]

對於最小二乘模型空間$V_1\subseteq V_2$，證明$\mathrm{RSS}_2\le\mathrm{RSS}_1$。這是否也保證最小二乘擬合的訓練MAE不增？解釋。

完整詳解與評分 Q2(e)

Q3. 核PCA及其正規化 (17)

完整詳解與評分 Q3

取$t_1=-1,t_2=0,t_3=1$及$\phi(t)=(t,t^2)^T$，核為$k(s,t)=st+s^2t^2$。令$\Phi$各行為$\phi(t_i)^T$，使用下列定義及樣本協方差$S_\phi=\Phi_c^T\Phi_c/(3-1)$。

$$C=I_3-\tfrac13\mathbf1\mathbf1^T,\qquad\Phi_c=C\Phi,\qquad K=\Phi\Phi^T,\qquad K_c=CKC.$$

(a) [5]

計算特徵均值、$\Phi_c,K,K_c$，驗證$K_c\mathbf1=0$。

完整詳解與評分 Q3(a)

(b) [4]

求$K_c$全部特徵值及最大特徵值$\lambda$的單位特徵向量q，選擇第三個分量為正。

完整詳解與評分 Q3(b)

(c) [4]

令$w=\Phi_c^Tq/\sqrt\lambda$，證明$\|w\|_2=1$並計算$z=\Phi_cw$。解釋遺漏正規化因子為何不能給出單位主方向。

完整詳解與評分 Q3(c)

(d) [4]

計算第一分量方差、解釋方差比例及只保留該分量時的特徵空間總平方重建誤差。

完整詳解與評分 Q3(d)

Q4. 學習距離與隨機投影 (16)

完整詳解與評分 Q4

對以下矩陣和點，定義$d_M(x,y)=\sqrt{(x-y)^TM(x-y)}$。

$$M=\begin{pmatrix}1&2\\2&4\end{pmatrix},\quad o=\begin{pmatrix}0\\0\end{pmatrix},\quad u=\begin{pmatrix}2\\0\end{pmatrix},\quad v=\begin{pmatrix}0\\1\end{pmatrix}.$$

(a) [4]

分解$M=L^TL$，其中L只有一行。證明半正定性，並求秩及零空間。

完整詳解與評分 Q4(a)

(b) [3]

計算$d_M(o,u),d_M(o,v),d_M(u,v)$。這是否為整個$\mathbb R^2$上的度量？對$M_\tau=M+\tau I_2$、$\tau>0$，計算$d_{M_\tau}(u,v)^2$並解釋變化。

完整詳解與評分 Q4(b)

(c) [3]

令$R\in\mathbb R^{k\times d}$各元素獨立服從$N(0,1/k)$。對固定$a\in\mathbb R^d$，證明$\mathbb E\|Ra\|_2^2=\|a\|_2^2$。

完整詳解與評分 Q4(c)

(d) [6]

先固定$n\ge2$個點，再抽取R。對每個固定非零差向量a，假設以下界，其中$c>0$、$0<\varepsilon<1$。用聯集界給出充分的k，使全部成對平方距離以至少$1-\delta$機率同時滿足$1\pm\varepsilon$界，$0<\delta<1$。解釋為何這既不保證每次抽樣成功，也不保證一個$k<d$映射保留$\mathbb R^d$全部距離。

$$\Pr\!\left(\left|\|Ra\|_2^2-\|a\|_2^2\right|>\varepsilon\|a\|_2^2\right)\le2e^{-ck\varepsilon^2}.$$

完整詳解與評分 Q4(d)

Q5. 完整一輪高斯EM (14)

完整詳解與評分 Q5

觀測為$x_1=-2,x_2=2$。按以下參數和密度，使用標準軟EM優化混合似然，更新全部權重、均值與方差。log為自然對數。

$$\pi_1=\tfrac13,\quad\pi_2=\tfrac23,\quad\mu_1=-2,\quad\mu_2=2,\quad\sigma_1^2=\sigma_2^2=\frac8{\log2}.$$ $$\varphi(x;\mu,\sigma^2)=\frac1{\sqrt{2\pi\sigma^2}}\exp\!\left(-\frac{(x-\mu)^2}{2\sigma^2}\right).$$

(a) [4]

計算完整責任度矩陣$r_{ik}=\Pr(Z_i=k\mid x_i)$，兩個觀測都使用舊參數。

完整詳解與評分 Q5(a)

(b) [6]

計算$N_k=\sum_i r_{ik}$，再求k=1,2的全部六個新參數$\pi_k^{new},\mu_k^{new},(\sigma_k^2)^{new}$，用精確值。

完整詳解與評分 Q5(b)

(c) [2]

方差分母為何是$N_k$而非$N_k-1$？平方偏差為何使用新均值？

完整詳解與評分 Q5(c)

(d) [2]

寫出精確EM迭代的單調性保證。它是否保證唯一全局最優或正確的真實標籤？

完整詳解與評分 Q5(d)

Q6. 均值漂移與密度層次 (13)

完整詳解與評分 Q6

按各小問定義計算；(a)與(b)使用不同數據。

(a) [4]

固定參考點$X=\{0,1,2,4,8\}$，使用以下平坦核與更新。由$p_0=4$開始，列出每輪鄰域並迭代至位置不變。原始觀測始終不移動。

$$K(x,p)=\begin{cases}1,&|x-p|\le2,\\0,&|x-p|>2,\end{cases}\qquad p_{t+1}=\frac{\sum_{x\in X}K(x,p_t)x}{\sum_{x\in X}K(x,p_t)}.$$

完整詳解與評分 Q6(a)

(b) [4]

另取$x_1=0,x_2=1,x_3=4,x_4=5$；$\operatorname{core}_3(x_i)$是計入自身零距離的第三小距離。對不同點使用以下互可達公式，計算四個核心距離和六條邊權。

$$d_{mr}(x_i,x_j)=\max\{\operatorname{core}_3(x_i),\operatorname{core}_3(x_j),|x_i-x_j|\}.$$

完整詳解與評分 Q6(b)

(c) [3]

按邊權遞增建最小生成樹，成環則跳過；同權按$(i,j)$字典序、$i<j$破平局。給出樹邊和總權重。

完整詳解與評分 Q6(c)

(d) [2]

僅保留權重不超過3的樹邊，給出連通分量，並解釋為何它們不能單獨決定最後HDBSCAN結果。

完整詳解與評分 Q6(d)

Q7. 軟區域與中位中心 (6)

完整詳解與評分 Q7

使用下述普通距離定義。

(a) [3]

直線上原站點$s_1=0,s_2=10$，插入x=3。令$R_x$為新Voronoi區間，$R_1,R_2$為舊區域。計算j=1,2的$w_j=\operatorname{length}(R_x\cap R_j)/\operatorname{length}(R_x)$，寫出舊邊界、新區間及重疊長度。

完整詳解與評分 Q7(a)

(b) [3]

對觀測0,2,9,11及絕對值距離，給出可在實線上任取的全部最優一中位中心，以及限於觀測值的全部最優一medoid中心。高維中哪種範數允許逐坐標中位數最小化總距離？歐氏距離是否一般也成立？

完整詳解與評分 Q7(b)