90分鐘 · 100分 · 7道大題。原創自主練習，不是官方考試規格或權重預測。回答所有小問，寫清計算與證明，盡量保留精確值；需要小數答案時說明捨入方法；特徵向量及配對奇異向量一致反號可接受。以題面分母、定義域及平局規則為準，不可無條件求逆。本練習使用Casio fx-50FH II，可用一張雙面A4參考紙；這是練習安排，不是新增官方考試規定。

配套解答 · Revision

Q1. 最小二乘與反應變換 (16)

配套解答 Q1

對四點擬合仿射模型，殘差按觀測減預測。

$$\begin{gathered} \begin{array}{c|rrrr}x_i&-1&0&1&2\\y_i&1&2&2&5\end{array}\qquad \widehat y=a+bx,\quad r_i=y_i-\widehat y_i. \end{gathered}$$

(a) [6]

構建設計矩陣，推導正規方程，求唯一OLS係數並證明唯一性。

配套解答 Q1(a)

(b) [6]

求殘差、RSS與R²；檢查兩條正交條件，並說明本題訓練R²為何保證非負。

$$\begin{gathered} R^2=1-\mathrm{RSS}/\mathrm{TSS},\qquad\mathrm{TSS}=\sum_i(y_i-\bar y)^2. \end{gathered}$$

配套解答 Q1(b)

(c) [4]

對以下兩模型給變換反應、設計矩陣、實際平方損失、定義域及參數還原，不必求數值參數。是否保證原反應尺度RSS最小？

$$\begin{gathered} \text{(i) }y=AB^x,\qquad \text{(ii) } y=\frac1{\alpha+\beta e^{-x}}. \end{gathered}$$

配套解答 Q1(c)

Q2. 標準化、ridge與LASSO (18)

配套解答 Q2

各特徵用總體標準差標準化，不標準化反應。

$$\begin{gathered} \begin{array}{c|rrr}i&u_i&v_i&y_i\\1&2&10&1\\2&2&14&3\\3&6&10&5\\4&6&14&11\end{array} \qquad z_1=\frac{u-\mu_u}{s_u},\quad z_2=\frac{v-\mu_v}{s_v},\quad\widehat y=\beta_0+\beta_1z_1+\beta_2z_2. \end{gathered}$$

(a) [4]

求均值與標準差，構造M=[1 z₁ z₂]，計算MᵀM與Mᵀy。

配套解答 Q2(a)

(b) [6]

推導ridge方程、求係數並還原u,v單位；截距不懲罰。

$$\begin{gathered} \min_\beta\|M\beta-y\|_2^2+4(\beta_1^2+\beta_2^2). \end{gathered}$$

配套解答 Q2(b)

(c) [5]

改求下式LASSO，推導一坐標軟閾值並求全部係數。若去掉1/2，10須改為何值才保持模型不變？

$$\begin{gathered} \min_\beta\frac12\|M\beta-y\|_2^2+10(|\beta_1|+|\beta_2|). \end{gathered}$$

配套解答 Q2(c)

(d) [3]

先用全數據計算均值標準差，再k折選擇ridge懲罰有何問題？寫出一折正確次序。

配套解答 Q2(d)

Q3. 矩形SVD與最小範數 (18)

配套解答 Q3

使用給定矩陣及右端。

$$\begin{gathered} A=\begin{pmatrix}2&1&1\\2&-1&-1\end{pmatrix},\qquad b=\binom62. \end{gathered}$$

(a) [6]

求完整SVD，U為2×2、Σ為2×3、V為3×3；奇異值遞減，說明左右向量配對。

配套解答 Q3(a)

(b) [4]

求A⁺及x*=A⁺b，直接驗證Ax*=b。

配套解答 Q3(b)

(c) [5]

描述全部解，用正交分解及範數恆等式證明x*是唯一最小範數解。

配套解答 Q3(c)

(d) [3]

求截斷秩一近似及Frobenius、譜誤差範數。

配套解答 Q3(d)

Q4. 中心化PCA與重建 (15)

配套解答 Q4

樣本按行排列，樣本協方差分母n−1，n=4。

$$\begin{gathered} X=\begin{pmatrix}5&3\\1&-1\\4&0\\2&2\end{pmatrix},\qquad S=\frac{X_c^TX_c}{n-1}. \end{gathered}$$

(a) [4]

求均值、中心化矩陣與協方差。

配套解答 Q4(a)

(b) [6]

求第一坐標為正的主方向、得分及原坐標重建。

配套解答 Q4(b)

(c) [5]

求保留方差比例及總重建平方誤差；對任意單位q證明下式，並解釋主方向為何最優。

$$\begin{gathered} \|X_c-X_cqq^T\|_F^2=\|X_c\|_F^2-(n-1)q^TSq. \end{gathered}$$

配套解答 Q4(c)

Q5. Gonzalez最遠優先與近似保證 (12)

配套解答 Q5

運行最遠優先，k=2，首中心0，平局選較小坐標。比較最優解的中心可為任意實數，不限於樣本。

$$\begin{gathered} P=\{0,2,3,7,10,12\},\quad d(x,y)=|x-y|,\quad R(C)=\max_{x\in P}\min_{c\in C}|x-c|. \end{gathered}$$

(a) [4]

求第二中心，列各點最近中心距離及最終半徑。

配套解答 Q5(a)

(b) [3]

求不限制位置的最優中心及半徑，用下界證明最優並求比值。

配套解答 Q5(b)

(c) [5]

證明一般度量空間R_G≤2R*。明確鴿巢原理使用的k+1點並證明兩兩分離。

配套解答 Q5(c)

Q6. Lloyd迭代與次優固定點 (12)

配套解答 Q6

一維k-means用平方歐氏損失，初始中心0、1。先全部分配，再將非空簇更新為均值；平局歸簇1，分配不變即停。本例無空簇。

$$\begin{gathered} P=\{0,1,4,6,7,12\},\qquad k=2,\quad c_1^{(0)}=0,\quad c_2^{(0)}=1. \end{gathered}$$

(a) [6]

列出直到停止的每輪分配及中心更新。

配套解答 Q6(a)

(b) [3]

求終點SSE，與分組{0,1,4}、{6,7,12}各用最優中心的SSE比較。終點是否全局最優？

配套解答 Q6(b)

(c) [3]

證明固定非空簇把中心改成均值不增SSE，為何這不保證最終分組全局最優？

配套解答 Q6(c)

Q7. Voronoi單元與中心位置 (9)

配套解答 Q7

採用普通歐氏距離。閉單元包含離本站點不比其他站點遠的點，邊界可共享。

$$\begin{gathered} s_1=(0,0),\qquad s_2=(4,0),\qquad s_3=(0,6). \end{gathered}$$

(a) [3]

用線性不等式寫三個單元，找三者共有點。

配套解答 Q7(a)

(b) [3]

對Rᵖ任意站點推導距離比較的半空間不等式，證明閉歐氏Voronoi單元凸。

配套解答 Q7(b)

(c) [3]

證明固定非空簇的k-means中心在凸包內；它必須是樣本嗎？比較k-medoids。

配套解答 Q7(c)