90分钟 · 100分 · 7道大题。原创自主练习，不是官方考试规格或权重预测。回答所有小问，写清计算与证明，尽量保留精确值；需要小数答案时说明舍入方法；特征向量及配对奇异向量一致反号可接受。以题面分母、定义域及平局规则为准，不可无条件求逆。本练习使用Casio fx-50FH II，可用一张双面A4参考纸；这是练习安排，不是新增官方考试规定。

配套解答 · Revision

Q1. 加权多项式回归与唯一性 (20)

配套解答 Q1

按给定残差乘子拟合二次多项式；目标中的权重是平方，不能改成未平方权重。

$$\begin{gathered} \begin{array}{c|rrrr}i&1&2&3&4\\x_i&-2&-1&1&2\\y_i&2&1&3&4\\w_i&1&2&2&1\end{array} \qquad f(x)=c_0+c_1x+c_2x^2,\quad R(c)=\sum_{i=1}^4w_i^2(y_i-f(x_i))^2. \end{gathered}$$

(a) [4]

写设计矩阵M、对角矩阵W及加权正规方程，并从目标推导。

配套解答 Q1(a)

(b) [7]

求拟合多项式、残差r=y−Mc及最小R(c)。

配套解答 Q1(b)

(c) [5]

现取任意互异实数输入及非负权重，证明MᵀW²M可逆当且仅当至少三个权重为正。

配套解答 Q1(c)

(d) [4]

无正则二次模型做LOOCV，保留样本权重全1、输入互异。求每折唯一所需最小n，证明充分及最小。

配套解答 Q1(d)

Q2. 正则化、训练评分与验证 (14)

配套解答 Q2

各小问须明确损失与截距惩罚约定。

(a) [6]

用下式对y₁=2,y₂=4拟合常数。求最优值与训练R²，解释为何不违背含截距OLS的非负性。

$$\begin{gathered} F(a)=(2-a)^2+(4-a)^2+2a^2,\quad R^2=1-\mathrm{RSS}/\mathrm{TSS},\quad\mathrm{TSS}=\sum_i(y_i-\bar y)^2. \end{gathered}$$

配套解答 Q2(a)

(b) [4]

设X∈Rⁿˣᵖ且TSS>0，证明下式未罚截距目标的任意全局最优解训练0≤R²≤1。

$$\begin{gathered} \min_{a\in\mathbb R,\ b\in\mathbb R^p}\|y-a\mathbf1-Xb\|_2^2+\lambda\|b\|_2^2,\qquad\lambda>0. \end{gathered}$$

配套解答 Q2(b)

(c) [4]

学生先用全数据标准化与拟合PCA，再分训练测试，用测试集反复比较十个ridge参数并报最好分。找两种泄漏并改正。

配套解答 Q2(c)

Q3. 负主特征值与一次补全 (15)

配套解答 Q3

(a)与(b)–(c)使用不同矩阵。

(a) [4]

做一次归一化幂迭代，求Rayleigh商、极限特征值估计并说明迭代符号。

$$\begin{gathered} B=\begin{pmatrix}-3&0\\0&1\end{pmatrix},\quad v^{(0)}=\frac1{\sqrt2}\binom11,\quad v^{(1)}=\frac{Bv^{(0)}}{\|Bv^{(0)}\|_2}. \end{gathered}$$

配套解答 Q3(a)

(b) [6]

对指定初始矩阵求完整实SVD，奇异值非负递减，并验证左右向量配对。

$$\begin{gathered} P=\begin{pmatrix}1&?\\2&1\end{pmatrix},\qquad X^{(0)}=\begin{pmatrix}1&2\\2&1\end{pmatrix}. \end{gathered}$$

配套解答 Q3(b)

(c) [5]

固定阈值λ=1，只做一步：奇异值替换为(σᵢ−1)₊得Y，再恢复P所有已观测条目得X¹。求两秩并说明为何可不同。

配套解答 Q3(c)

Q4. 经典多维尺度分析 (9)

配套解答 Q4

矩阵为三对象的欧氏距离；D⁽²⁾指逐元素平方，不是矩阵乘法。

$$\begin{gathered} D=\begin{pmatrix}0&1&3\\1&0&2\\3&2&0\end{pmatrix},\qquad H=I_3-\frac13\mathbf1\mathbf1^T. \end{gathered}$$

(a) [5]

解释G=−HD⁽²⁾H/2为何是中心化Gram矩阵并计算。

配套解答 Q4(a)

(b) [4]

求全部特征值及重现三距离的一维中心化坐标，说明剩余不唯一性。

配套解答 Q4(b)

Q5. 指定协方差归一化的LDA (9)

配套解答 Q5

严格使用给定类别及协方差定义。

$$\begin{gathered} C_1=\{x_1=(-1,0)^T,x_2=(1,0)^T\},\quad C_2=\{x_3=(3,0)^T,x_4=(3,4)^T\}. \\\Sigma_W=\frac14\sum_{k=1}^2\sum_{x\in C_k}(x-\mu_k)(x-\mu_k)^T,\qquad\Sigma_B=\frac12\sum_{k=1}^2(\mu_k-\mu)(\mu_k-\mu)^T. \end{gathered}$$

(a) [4]

求两个类均值、总体均值、ΣW及ΣB。

配套解答 Q5(a)

(b) [3]

求最大Fisher比的单位方向，第一坐标为正，并求广义特征值。

$$\begin{gathered} \max_{\|u\|_2=1}\frac{u^T\Sigma_Bu}{u^T\Sigma_Wu}. \end{gathered}$$

配套解答 Q5(b)

(c) [2]

求四个原始投影坐标uᵀxᵢ。

配套解答 Q5(c)

Q6. 层次聚类：链接定义的重要性 (15)

配套解答 Q6

使用普通绝对距离而非平方距离，从单点簇开始；平局选合并成员标签排序后字典序最小者。

$$\begin{gathered} A=0,\quad B=2,\quad C=5,\quad D=17/2,\qquad d(x,y)=|x-y|. \end{gathered}$$

(a) [4]

执行单链接凝聚，列每次合并及高度。

配套解答 Q6(a)

(b) [7]

改用平均链接，列首合并后全部簇间距离及最终合并高度。

$$\begin{gathered} d_{\rm av}(S,T)=\frac1{|S||T|}\sum_{s\in S}\sum_{t\in T}d(s,t). \end{gathered}$$

配套解答 Q6(b)

(c) [4]

对互不相交非空S、T、U推导合并后平均距离的更新，何时保证两个旧距离直接平均正确？

配套解答 Q6(c)

Q7. DBSCAN：共享边界点不是核心桥 (18)

配套解答 Q7

按字母顺序处理；邻域包含自身及半径等号。只有核心点扩张；可达非核心点可作边界加入但不扩张。被两核心分量到达的边界点留在先处理分量，不重分配；未分配点为噪声。

$$\begin{gathered} \begin{array}{c|rrrrrrrrrr}p&A&B&C&D&E&F&G&H&I&J\\x_p&-1.8&-1.7&-1.6&-0.9&0&0.9&1.6&1.7&1.8&4\end{array} \\\varepsilon=1,\quad\mathrm{minPts}=4,\quad N_\varepsilon(p)=\{q:|p-q|\le\varepsilon\}. \end{gathered}$$

(a) [6]

计算十点邻域数，分类为核心、边界或噪声。

配套解答 Q7(a)

(b) [4]

按规定顺序给最终簇及噪声。

配套解答 Q7(b)

(c) [4]

研究者改为距离≤ε且至少一端核心就连无向边，然后取连通分量。含D的分量是否等于标准DBSCAN？用具体边解释。

配套解答 Q7(c)

(d) [4]

core₄(p)为包括自身的第四近距离。求core₄(D)、core₄(E)及互可达距离，解释削弱稀疏桥的作用。

$$\begin{gathered} d_{\rm mr}(D,E)=\max\{\operatorname{core}_4(D),\operatorname{core}_4(E),|D-E|\}. \end{gathered}$$

配套解答 Q7(d)