90分钟 · 100分 · 7道大题 · 27小问。

这是原创自学模拟卷，不是官方考试规格。题数、主题权重、计算器练习说明与评分建议均不预测官方要求。

先在独立答题纸完成全部题目，再打开解答。写出必要计算、条件与证明。可行时使用精确值，使用小数须注明舍入。特征向量或奇异向量的符号若一致配对，等价选择均可。以题目定义、归一化因子及破平局规则为准，不得无理由假定逆矩阵存在。

本次练习使用Casio fx-50FH II，可用一张双面A4速查纸；这些是练习约定，不是对当前官方考试许可的声明。先写数学目标再做标量运算，普通REG输出不代替加权、多元或正则化推导。不假定CAS或完整矩阵功能。

完整详解与评分 · MATH3320

Q1. 稳健损失与验证 (16)

完整详解与评分 Q1

对残差r定义以下两个损失。它们作用于残差，不是系数。四个观测为$y_1=y_2=y_3=0$、$y_4=8$，拟合常数模型$\widehat y_i=a$。

$$\rho(r)=\begin{cases}\tfrac12r^2,&|r|\le1,\\|r|-\tfrac12,&|r|>1,\end{cases}\qquad\widetilde\rho(r)=\sqrt{1+r^2}-1.$$

(a) [4]

求$\rho^{\prime}(r)$，包括$r=\pm1$处，并解释$F(a)=\sum_{i=1}^4\rho(y_i-a)$为何凸。

完整详解与评分 Q1(a)

(b) [6]

求F的唯一最小点，证明其全局最优性，并求普通最小二乘常数。若$y_4$从8改为80，Huber最小点是否改变？解释原因。

完整详解与评分 Q1(b)

(c) [3]

对$\widetilde\rho$求导；比较其导数在$|r|$很大时与$r^2/2$导数的行为，解释对大残差的意义。

完整详解与评分 Q1(c)

(d) [3]

某学生用完整数据标准化所有预测变量，再用五折交叉验证选损失函数，最后把最小交叉验证误差称为独立测试误差。指出两个不同问题并给出修正流程。

完整详解与评分 Q1(d)

Q2. 贪心拟合、重新拟合与嵌套模型 (18)

完整详解与评分 Q2

以下算法没有正则化惩罚。匹配追踪MP从$c=0,r=y$开始，选最大$|d_j^Tr|$，令$\gamma=d_j^Tr$，再更新$c_j\leftarrow c_j+\gamma$、$r\leftarrow r-\gamma d_j$。正交匹配追踪OMP用相同选择规则，但每次选择后对全部已选列联合最小二乘重拟合。OMP不可重复加入已选编号；相关性平局取较小编号。

$$d_1=\begin{pmatrix}1\\0\\0\end{pmatrix},\quad d_2=\begin{pmatrix}3/5\\4/5\\0\end{pmatrix},\quad d_3=\begin{pmatrix}0\\0\\1\end{pmatrix},\quad D=(d_1\ d_2\ d_3),\quad y=\begin{pmatrix}2\\1\\1/5\end{pmatrix}.$$

(a) [2]

检查各列范数，计算初始相关性，指出首先选择哪列。

完整详解与评分 Q2(a)

(b) [5]

恰好执行两轮MP。给出所选编号、系数增量、最终系数、残差及RSS。

完整详解与评分 Q2(b)

(c) [5]

恰好执行两轮OMP，写出并解第二轮重拟合的正规方程；给出最终系数、残差及RSS。

完整详解与评分 Q2(c)

(d) [3]

计算最终MP残差与$d_1,d_2$的内积，与OMP比较，解释两轮后答案为何不同。

完整详解与评分 Q2(d)

(e) [3]

对于最小二乘模型空间$V_1\subseteq V_2$，证明$\mathrm{RSS}_2\le\mathrm{RSS}_1$。这是否也保证最小二乘拟合的训练MAE不增？解释。

完整详解与评分 Q2(e)

Q3. 核PCA及其归一化 (17)

完整详解与评分 Q3

取$t_1=-1,t_2=0,t_3=1$及$\phi(t)=(t,t^2)^T$，核为$k(s,t)=st+s^2t^2$。令$\Phi$各行为$\phi(t_i)^T$，使用下列定义及样本协方差$S_\phi=\Phi_c^T\Phi_c/(3-1)$。

$$C=I_3-\tfrac13\mathbf1\mathbf1^T,\qquad\Phi_c=C\Phi,\qquad K=\Phi\Phi^T,\qquad K_c=CKC.$$

(a) [5]

计算特征均值、$\Phi_c,K,K_c$，验证$K_c\mathbf1=0$。

完整详解与评分 Q3(a)

(b) [4]

求$K_c$全部特征值及最大特征值$\lambda$的单位特征向量q，选择第三个分量为正。

完整详解与评分 Q3(b)

(c) [4]

令$w=\Phi_c^Tq/\sqrt\lambda$，证明$\|w\|_2=1$并计算$z=\Phi_cw$。解释遗漏归一化因子为何不能给出单位主方向。

完整详解与评分 Q3(c)

(d) [4]

计算第一分量方差、解释方差比例及只保留该分量时的特征空间总平方重建误差。

完整详解与评分 Q3(d)

Q4. 学习距离与随机投影 (16)

完整详解与评分 Q4

对以下矩阵和点，定义$d_M(x,y)=\sqrt{(x-y)^TM(x-y)}$。

$$M=\begin{pmatrix}1&2\\2&4\end{pmatrix},\quad o=\begin{pmatrix}0\\0\end{pmatrix},\quad u=\begin{pmatrix}2\\0\end{pmatrix},\quad v=\begin{pmatrix}0\\1\end{pmatrix}.$$

(a) [4]

分解$M=L^TL$，其中L只有一行。证明半正定性，并求秩及零空间。

完整详解与评分 Q4(a)

(b) [3]

计算$d_M(o,u),d_M(o,v),d_M(u,v)$。这是否为整个$\mathbb R^2$上的度量？对$M_\tau=M+\tau I_2$、$\tau>0$，计算$d_{M_\tau}(u,v)^2$并解释变化。

完整详解与评分 Q4(b)

(c) [3]

令$R\in\mathbb R^{k\times d}$各元素独立服从$N(0,1/k)$。对固定$a\in\mathbb R^d$，证明$\mathbb E\|Ra\|_2^2=\|a\|_2^2$。

完整详解与评分 Q4(c)

(d) [6]

先固定$n\ge2$个点，再抽取R。对每个固定非零差向量a，假设以下界，其中$c>0$、$0<\varepsilon<1$。用并集界给出充分的k，使全部成对平方距离以至少$1-\delta$概率同时满足$1\pm\varepsilon$界，$0<\delta<1$。解释为何这既不保证每次抽样成功，也不保证一个$k<d$映射保留$\mathbb R^d$全部距离。

$$\Pr\!\left(\left|\|Ra\|_2^2-\|a\|_2^2\right|>\varepsilon\|a\|_2^2\right)\le2e^{-ck\varepsilon^2}.$$

完整详解与评分 Q4(d)

Q5. 完整一轮高斯EM (14)

完整详解与评分 Q5

观测为$x_1=-2,x_2=2$。按以下参数和密度，使用标准软EM优化混合似然，更新全部权重、均值与方差。log为自然对数。

$$\pi_1=\tfrac13,\quad\pi_2=\tfrac23,\quad\mu_1=-2,\quad\mu_2=2,\quad\sigma_1^2=\sigma_2^2=\frac8{\log2}.$$ $$\varphi(x;\mu,\sigma^2)=\frac1{\sqrt{2\pi\sigma^2}}\exp\!\left(-\frac{(x-\mu)^2}{2\sigma^2}\right).$$

(a) [4]

计算完整责任度矩阵$r_{ik}=\Pr(Z_i=k\mid x_i)$，两个观测都使用旧参数。

完整详解与评分 Q5(a)

(b) [6]

计算$N_k=\sum_i r_{ik}$，再求k=1,2的全部六个新参数$\pi_k^{new},\mu_k^{new},(\sigma_k^2)^{new}$，用精确值。

完整详解与评分 Q5(b)

(c) [2]

方差分母为何是$N_k$而非$N_k-1$？平方偏差为何使用新均值？

完整详解与评分 Q5(c)

(d) [2]

写出精确EM迭代的单调性保证。它是否保证唯一全局最优或正确的真实标签？

完整详解与评分 Q5(d)

Q6. 均值漂移与密度层次 (13)

完整详解与评分 Q6

按各小问定义计算；(a)与(b)使用不同数据。

(a) [4]

固定参考点$X=\{0,1,2,4,8\}$，使用以下平坦核与更新。由$p_0=4$开始，列出每轮邻域并迭代至位置不变。原始观测始终不移动。

$$K(x,p)=\begin{cases}1,&|x-p|\le2,\\0,&|x-p|>2,\end{cases}\qquad p_{t+1}=\frac{\sum_{x\in X}K(x,p_t)x}{\sum_{x\in X}K(x,p_t)}.$$

完整详解与评分 Q6(a)

(b) [4]

另取$x_1=0,x_2=1,x_3=4,x_4=5$；$\operatorname{core}_3(x_i)$是计入自身零距离的第三小距离。对不同点使用以下互可达公式，计算四个核心距离和六条边权。

$$d_{mr}(x_i,x_j)=\max\{\operatorname{core}_3(x_i),\operatorname{core}_3(x_j),|x_i-x_j|\}.$$

完整详解与评分 Q6(b)

(c) [3]

按边权递增建最小生成树，成环则跳过；同权按$(i,j)$字典序、$i<j$破平局。给出树边和总权重。

完整详解与评分 Q6(c)

(d) [2]

仅保留权重不超过3的树边，给出连通分量，并解释为何它们不能单独决定最终HDBSCAN结果。

完整详解与评分 Q6(d)

Q7. 软区域与中位中心 (6)

完整详解与评分 Q7

使用下述普通距离定义。

(a) [3]

直线上原站点$s_1=0,s_2=10$，插入x=3。令$R_x$为新Voronoi区间，$R_1,R_2$为旧区域。计算j=1,2的$w_j=\operatorname{length}(R_x\cap R_j)/\operatorname{length}(R_x)$，写出旧边界、新区间及重叠长度。

完整详解与评分 Q7(a)

(b) [3]

对观测0,2,9,11及绝对值距离，给出可在实线上任取的全部最优一中位中心，以及限于观测值的全部最优一medoid中心。高维中哪种范数允许逐坐标中位数最小化总距离？欧氏距离是否一般也成立？

完整详解与评分 Q7(b)