90分钟 · 100分 · 7道大题。原创自主练习，不是官方考试规格或权重预测。回答所有小问，写清计算与证明，尽量保留精确值；需要小数答案时说明舍入方法；特征向量及配对奇异向量一致反号可接受。以题面分母、定义域及平局规则为准，不可无条件求逆。本练习使用Casio fx-50FH II，可用一张双面A4参考纸；这是练习安排，不是新增官方考试规定。

配套解答 · Revision

Q1. 最小二乘与响应变换 (16)

配套解答 Q1

对四点拟合仿射模型，残差按观测减预测。

$$\begin{gathered} \begin{array}{c|rrrr}x_i&-1&0&1&2\\y_i&1&2&2&5\end{array}\qquad \widehat y=a+bx,\quad r_i=y_i-\widehat y_i. \end{gathered}$$

(a) [6]

构建设计矩阵，推导正规方程，求唯一OLS系数并证明唯一性。

配套解答 Q1(a)

(b) [6]

求残差、RSS与R²；检查两条正交条件，并说明本题训练R²为何保证非负。

$$\begin{gathered} R^2=1-\mathrm{RSS}/\mathrm{TSS},\qquad\mathrm{TSS}=\sum_i(y_i-\bar y)^2. \end{gathered}$$

配套解答 Q1(b)

(c) [4]

对下列两个模型给变换响应、设计矩阵、实际平方损失、定义域及参数还原，不必求数值参数。是否保证原响应尺度RSS最小？

$$\begin{gathered} \text{(i) }y=AB^x,\qquad \text{(ii) } y=\frac1{\alpha+\beta e^{-x}}. \end{gathered}$$

配套解答 Q1(c)

Q2. 标准化、ridge与LASSO (18)

配套解答 Q2

各特征用总体标准差标准化，不标准化响应。

$$\begin{gathered} \begin{array}{c|rrr}i&u_i&v_i&y_i\\1&2&10&1\\2&2&14&3\\3&6&10&5\\4&6&14&11\end{array} \qquad z_1=\frac{u-\mu_u}{s_u},\quad z_2=\frac{v-\mu_v}{s_v},\quad\widehat y=\beta_0+\beta_1z_1+\beta_2z_2. \end{gathered}$$

(a) [4]

求均值与标准差，构造M=[1 z₁ z₂]，计算MᵀM与Mᵀy。

配套解答 Q2(a)

(b) [6]

推导ridge方程、求系数并还原u,v单位；截距不惩罚。

$$\begin{gathered} \min_\beta\|M\beta-y\|_2^2+4(\beta_1^2+\beta_2^2). \end{gathered}$$

配套解答 Q2(b)

(c) [5]

改求下式LASSO，推导一坐标软阈值并求全部系数。若去掉1/2，10须改为何值才保持模型不变？

$$\begin{gathered} \min_\beta\frac12\|M\beta-y\|_2^2+10(|\beta_1|+|\beta_2|). \end{gathered}$$

配套解答 Q2(c)

(d) [3]

先用全数据计算均值标准差，再k折选择ridge惩罚有何问题？写出一折正确顺序。

配套解答 Q2(d)

Q3. 矩形SVD与最小范数 (18)

配套解答 Q3

使用给定矩阵及右端。

$$\begin{gathered} A=\begin{pmatrix}2&1&1\\2&-1&-1\end{pmatrix},\qquad b=\binom62. \end{gathered}$$

(a) [6]

求完整SVD，U为2×2、Σ为2×3、V为3×3；奇异值递减，说明左右向量配对。

配套解答 Q3(a)

(b) [4]

求A⁺及x*=A⁺b，直接验证Ax*=b。

配套解答 Q3(b)

(c) [5]

描述全部解，用正交分解及范数恒等式证明x*是唯一最小范数解。

配套解答 Q3(c)

(d) [3]

求截断秩一近似及Frobenius、谱误差范数。

配套解答 Q3(d)

Q4. 中心化PCA与重建 (15)

配套解答 Q4

样本按行排列，样本协方差分母n−1，n=4。

$$\begin{gathered} X=\begin{pmatrix}5&3\\1&-1\\4&0\\2&2\end{pmatrix},\qquad S=\frac{X_c^TX_c}{n-1}. \end{gathered}$$

(a) [4]

求均值、中心化矩阵与协方差。

配套解答 Q4(a)

(b) [6]

求第一坐标为正的主方向、得分及原坐标重建。

配套解答 Q4(b)

(c) [5]

求保留方差比例及总重建平方误差；对任意单位q证明下式，并解释主方向为何最优。

$$\begin{gathered} \|X_c-X_cqq^T\|_F^2=\|X_c\|_F^2-(n-1)q^TSq. \end{gathered}$$

配套解答 Q4(c)

Q5. Gonzalez最远优先与近似保证 (12)

配套解答 Q5

运行最远优先，k=2，首中心0，平局选较小坐标。比较最优解的中心可为任意实数，不限于样本。

$$\begin{gathered} P=\{0,2,3,7,10,12\},\quad d(x,y)=|x-y|,\quad R(C)=\max_{x\in P}\min_{c\in C}|x-c|. \end{gathered}$$

(a) [4]

求第二中心，列各点最近中心距离及最终半径。

配套解答 Q5(a)

(b) [3]

求不限制位置的最优中心及半径，用下界证明最优并求比值。

配套解答 Q5(b)

(c) [5]

证明一般度量空间R_G≤2R*。明确鸽巢原理使用的k+1点并证明两两分离。

配套解答 Q5(c)

Q6. Lloyd迭代与次优固定点 (12)

配套解答 Q6

一维k-means用平方欧氏损失，初始中心0、1。先全部分配，再将非空簇更新为均值；平局归簇1，分配不变即停。本例无空簇。

$$\begin{gathered} P=\{0,1,4,6,7,12\},\qquad k=2,\quad c_1^{(0)}=0,\quad c_2^{(0)}=1. \end{gathered}$$

(a) [6]

列出直到停止的每轮分配及中心更新。

配套解答 Q6(a)

(b) [3]

求终点SSE，与分组{0,1,4}、{6,7,12}各用最优中心的SSE比较。终点是否全局最优？

配套解答 Q6(b)

(c) [3]

证明固定非空簇把中心改成均值不增SSE，为何这不保证最终分组全局最优？

配套解答 Q6(c)

Q7. Voronoi单元与中心位置 (9)

配套解答 Q7

采用普通欧氏距离。闭单元包含离本站点不比其他站点远的点，边界可共享。

$$\begin{gathered} s_1=(0,0),\qquad s_2=(4,0),\qquad s_3=(0,6). \end{gathered}$$

(a) [3]

用线性不等式写三个单元，找三者共有点。

配套解答 Q7(a)

(b) [3]

对Rᵖ任意站点推导距离比较的半空间不等式，证明闭欧氏Voronoi单元凸。

配套解答 Q7(b)

(c) [3]

证明固定非空簇的k-means中心在凸包内；它必须是样本吗？比较k-medoids。

配套解答 Q7(c)