2.4 Fisher 判别与类别散布

动机

一项特征可以有很大变异，却无助于区分类别。假设两类数据的水平中心不同，但两类都在垂直方向广泛分散。PCA 可能保留垂直方向，因为它解释了大部分总体变异；如果目标是区分类别，就应比较类别中心的距离与各类内部的变异。

Fisher 判别分析将这一比较写成明确的目标。它利用类别标签区分两种变异，再寻找一个线性得分，使类间变异相对于类内变异尽可能大。得分仍是原有特征的线性组合；与 PCA 不同的是选择组合的准则。

相应的几何也会变化。PCA 使用欧几里得长度规范方向，Fisher 方向则自然地用类内变异规范。将类内变异白化后，问题会化为普通的对称特征值问题，同时解释最大比值与多个方向之间的正交条件。

定义

设 $x_1,\ldots,x_n\in\mathbb R^d$ 是带有已知标签的列向量。索引集合 $I_1,\ldots,I_K$ 将观测分为 $K\ge2$ 个非空类别，记 $n_c=|I_c|$、$p_c=n_c/n$。数据矩阵 $X\in\mathbb R^{n\times d}$ 的第 $i$ 行为 $x_i^\top$。

定义

类别均值与经验类别协方差

类别均值、总体均值和类别协方差矩阵分别为

$$\mu_c=\frac1{n_c}\sum_{i\in I_c}x_i,\qquad \mu=\frac1n\sum_{i=1}^n x_i=\sum_{c=1}^Kp_c\mu_c,$$$$\Sigma_c=\frac1{n_c}\sum_{i\in I_c} (x_i-\mu_c)(x_i-\mu_c)^\top.$$

本节统一使用经验分母，不作自由度修正。每条观测具有相同权重时，类别大小就是加权的一部分：观测数量多一倍的类别，对总和的贡献也多一倍。只有一条观测的类别，其经验协方差为零，因为该观测恰好等于本类均值。

定义

类内、类间与总体变异

定义

$$\begin{aligned} \Sigma_W &=\sum_{c=1}^Kp_c\Sigma_c =\frac1n\sum_{c=1}^K\sum_{i\in I_c} (x_i-\mu_c)(x_i-\mu_c)^\top,\\ \Sigma_B &=\sum_{c=1}^Kp_c(\mu_c-\mu)(\mu_c-\mu)^\top,\\ \Sigma_T &=\frac1n\sum_{i=1}^n(x_i-\mu)(x_i-\mu)^\top. \end{aligned}$$

相应的未归一化散布矩阵为 $S_W=n\Sigma_W$ 和 $S_B=n\Sigma_B$。

方向 $u\in\mathbb R^d$ 给观测 $i$ 的中心化得分为 $u^\top(x_i-\mu)$，其类别均值是 $u^\top(\mu_c-\mu)$。因此，$u^\top\Sigma_Wu$ 衡量各类内部得分方差的平均，$u^\top\Sigma_Bu$ 衡量类别得分均值的加权方差。两个散布矩阵同时乘以一个常数，不会改变它们的比值。

与 PCA 比较时，若总体样本协方差采用分母 $n-1$，所得矩阵只是 $\Sigma_T$ 的 $n/(n-1)$ 倍，特征向量不变。下面的分解在三个矩阵中一致使用分母 $n$。

定理/命题

定理

变异分解与类别均值的维度限制

$\Sigma_W$ 和 $\Sigma_B$ 都是半正定矩阵，且

$$\Sigma_T=\Sigma_W+\Sigma_B,\qquad \operatorname{rank}(\Sigma_B)\le\min(d,K-1).$$

所以类间变异至多包含 $K-1$ 个独立方向。若类别均值处于更小的仿射子空间内，独立方向的数量还会更少。

现在假设 $\Sigma_W$ 正定，即每个非零特征方向都具有正的合并类内方差。Fisher 比值为

$$J(u)=\frac{u^\top\Sigma_Bu}{u^\top\Sigma_Wu}, \qquad u\ne0.$$

将 $u$ 乘以任意非零常数，比值均不变。因此可以约束 $u^\top\Sigma_Wu=1$，再最大化分子。这个规范为得分选定尺度，而不改变方向。

定理

通过白化求最优 Fisher 方向

对于正定的 $\Sigma_W$，定义对称矩阵

$$C=\Sigma_W^{-1/2}\Sigma_B\Sigma_W^{-1/2}.$$

设 $v_j$ 是 $C$ 的标准正交特征向量，特征值依次为 $\lambda_1\ge\cdots\ge\lambda_d\ge0$，并令

$$u_j=\Sigma_W^{-1/2}v_j.$$

则

$$\Sigma_Bu_j=\lambda_j\Sigma_Wu_j,\qquad u_i^\top\Sigma_Wu_j=\delta_{ij}.$$

$J$ 的最大值为 $\lambda_1$。之后的方向在与先前方向保持 $\Sigma_W$-正交的约束下，依次最大化比值。正判别特征值的数量为 $\operatorname{rank}(\Sigma_B)\le\min(d,K-1)$。

选择 $r$ 个方向，令 $U=[u_1\ \cdots\ u_r]$。单条数据的低维表示为 $U^\top(x-\mu)$，整张数据表则为 $(X-\mathbf1\mu^\top)U$。这些是得分坐标；$UU^\top$ 通常不是欧几里得正交投影矩阵，因为 $U$ 的列向量是在 $\Sigma_W$ 几何中规范的。

这一规范在得分空间中有直接含义：

$$U^\top\Sigma_WU=I_r,\qquad U^\top\Sigma_BU=\operatorname{diag}(\lambda_1,\ldots,\lambda_r), \qquad U^\top\Sigma_TU=I_r+\operatorname{diag}(\lambda_1,\ldots,\lambda_r).$$

每个选定得分都具有单位合并类内方差，其特征值衡量相对于这一共同基准的类间方差。不同得分在分解的两个部分中，交叉协方差都为零。因此规范不仅是简化公式，还使不同判别得分具有可比较的单位。更大的特征值表示更大的标准化类别对比，而不是更长的系数向量。

方向的正负号仍可自由选择。反号会同时反转得分和类别得分均值，却保留全部方差与比值。重复特征值还允许在相应的白化特征空间内转换正交基。所以，等价计算可能产生不同的单个系数向量；应比较规范后的几何、特征值，以及基不唯一时选定的子空间。

证明思路

对于类别 $c$ 中的观测，先分解位移：

$$x_i-\mu=(x_i-\mu_c)+(\mu_c-\mu).$$

展开外积并在类内求和。由 $\sum_{i\in I_c}(x_i-\mu_c)=0$，两个交叉项都会消失。其余项再对全部类别求和，就得到 $\Sigma_T=\Sigma_W+\Sigma_B$。每个二次型都是平方项的加权总和，也证明了半正定性。

$\Sigma_B$ 的每一列都在中心化类别均值的张成空间中。这 $K$ 个向量满足

$$\sum_{c=1}^Kp_c(\mu_c-\mu)=0.$$

每个 $p_c$ 都为正，所以它们张成的空间维度至多为 $K-1$。该维度还可能更小：增加类别数量，未必会为类别均值增加新的独立方向。

在优化问题中，进行变量替换 $z=\Sigma_W^{1/2}u$，则

$$J(u)=\frac{z^\top Cz}{z^\top z}.$$

普通 Rayleigh 商在 $C$ 的最大特征值所对应的特征向量上取得最大值。将该向量转回原坐标，得到 $u_1$。$v_j$ 之间的正交性变为 $u_i^\top\Sigma_Wu_j=v_i^\top v_j$，也给出后续约束最大化所需的度量正交。

另一种方法是对 $u^\top\Sigma_Bu-\lambda(u^\top\Sigma_Wu-1)$ 求导，得到驻点方程

$$2\Sigma_Bu-2\lambda\Sigma_Wu=0.$$

虽然可以写成 $\Sigma_W^{-1}\Sigma_Bu=\lambda u$，但这个矩阵通常不是欧几里得内积下的对称矩阵。白化矩阵 $C$ 才是对称的；先求它的标准正交特征基，再变回原坐标，也能在重复特征值的子空间内作出一致选择。

类内协方差何时可能非奇异

数据量也限制类内协方差。构造残差矩阵 $R$，将每条观测减去其所属类别 $c(i)$ 的均值：

$$R_{i,:}=(x_i-\mu_{c(i)})^\top,\qquad \Sigma_W=\frac1nR^\top R,\qquad \operatorname{rank}(\Sigma_W)\le\min(d,n-K).$$

各类的残差行向量之和都为零。各类索引互不重叠，所以 $K$ 个类别指示向量给出独立的行约束，从而得到上述秩界。若残差自由度少于 $d$，正定性就不可能成立。至少有 $d$ 个自由度是必要条件；真正正定还要求残差张成整个特征空间。

这解释了高维数据中的一种常见情况：特征可能很多，独立的类内残差方向却相对较少。下面的奇异例题会明确展示这种几何，再写清正则化之后求解的目标。

二分类只有一个均值对比方向

对于两个类别，令 $\delta=\mu_1-\mu_2$，并假设 $\delta\ne0$。均值公式给出

$$\Sigma_B=p_1p_2\delta\delta^\top.$$

设 $a=\Sigma_W^{-1/2}\delta$、$z=\Sigma_W^{1/2}u$。Cauchy–Schwarz 不等式给出

$$J(u)=p_1p_2\frac{(z^\top a)^2}{z^\top z} \le p_1p_2\,a^\top a.$$

当 $z$ 与 $a$ 成比例时等号成立，因此

$$u_\star\propto\Sigma_W^{-1}(\mu_1-\mu_2), \qquad J_{\max}=p_1p_2\delta^\top\Sigma_W^{-1}\delta.$$

这就是经过类内变异调整的类别均值差。即使某项特征的均值差很大，若它在类内也有很大变异，调整后的贡献仍可能较小。若两类均值相同，则 $\Sigma_B=0$，所有有定义的 Fisher 比值均为零。

例题

例题

1. 大的垂直变异掩盖水平类别差异

取两个类别

$$\begin{aligned} S_1&=\{(-3,-3),(-3,3),(-1,-3),(-1,3)\},\\ S_2&=\{(1,-3),(1,3),(3,-3),(3,3)\}. \end{aligned}$$

类别均值为 $\mu_1=(-2,0)^\top$ 和 $\mu_2=(2,0)^\top$。两类大小相同，因此 $\mu=0$。各类内部中心化后的水平值为 $\pm1$，垂直值为 $\pm3$，交叉乘积相互抵消。于是

$$\Sigma_W=\begin{bmatrix}1&0\\0&9\end{bmatrix},\qquad \Sigma_B=\begin{bmatrix}4&0\\0&0\end{bmatrix},\qquad \Sigma_T=\begin{bmatrix}5&0\\0&9\end{bmatrix}.$$

因为 $9>5$，第一 PCA 方向为垂直方向。但两类具有完全相同的垂直得分，无法表达类别中心的差异。第一 Fisher 方向是水平的：$u_1=(1,0)^\top$ 给出 $J(u_1)=4$，垂直方向的比值为零。两类的水平得分分别是 $\{-3,-1\}$ 和 $\{1,3\}$，直接展示了类别差异。即使将总体协方差的分母改为 $n-1$，PCA 仍选择垂直方向。

下面的 NumPy 程序从观测构造三个协方差矩阵，再求解对称的白化问题。程序选定正负号，使水平方向朝右；反号会反转全部得分，但保留 Fisher 比值。

import numpy as np

X = np.array([
    [-3, -3], [-3, 3], [-1, -3], [-1, 3],
    [1, -3], [1, 3], [3, -3], [3, 3]
], dtype=float)
labels = np.repeat([0, 1], 4)
n = len(X)
mu = X.mean(axis=0)
W = np.zeros((2, 2))
B = np.zeros((2, 2))
for label in np.unique(labels):
    group = X[labels == label]
    mean = group.mean(axis=0)
    residual = group - mean
    W += residual.T @ residual / n
    difference = mean - mu
    B += len(group) / n * np.outer(difference, difference)

eigenvalues_W, V = np.linalg.eigh(W)
inverse_root = (V / np.sqrt(eigenvalues_W)) @ V.T
C = inverse_root @ B @ inverse_root
eigenvalues, directions = np.linalg.eigh(C)
u = inverse_root @ directions[:, -1]
if u[0] < 0:
    u = -u
T = (X - mu).T @ (X - mu) / n
assert np.allclose(T, W + B)
assert np.allclose(B @ u, eigenvalues[-1] * (W @ u))
print("W =", W.tolist())
print("B =", B.tolist())
print("direction =", u.tolist())
print("ratio =", float((u @ B @ u) / (u @ W @ u)))
print("W_norm =", float(u @ W @ u))

输出为

W = [[1.0, 0.0], [0.0, 9.0]]
B = [[4.0, 0.0], [0.0, 0.0]]
direction = [1.0, 0.0]
ratio = 4.0
W_norm = 1.0

例题

2. 类别大小不同，权重也不同

现在取

$$S_1=\{(-1,0),(1,0)\},\qquad S_2=\{(2,-1),(2,1),(4,-1),(4,1)\}.$$

两类均值为 $(0,0)^\top$ 和 $(3,0)^\top$，但由于 $p_1=1/3$、$p_2=2/3$，总体均值是 $(2,0)^\top$。类别协方差为 $\Sigma_1=\operatorname{diag}(1,0)$ 与 $\Sigma_2=\operatorname{diag}(1,1)$，因此

$$\Sigma_W=\operatorname{diag}(1,2/3),\qquad \Sigma_B=\operatorname{diag}(2,0),\qquad \Sigma_T=\operatorname{diag}(3,2/3).$$

例如，类间矩阵的水平元素为 $\frac13(0-2)^2+\frac23(3-2)^2=2$，最大 Fisher 比值也是 $2$，在水平方向取得。若改成对两个类别均值赋予相同权重，所得均值为 $3/2$，类间水平元素为 $9/4$。那是另一个采用类别平衡权重的经验问题；要使六条观测权重相同，就必须始终保留 $1/3$ 和 $2/3$。

例题

3. 奇异类内协方差与新的正则化目标

取 $S_1=\{(-2,-1),(-2,1)\}$ 和 $S_2=\{(2,-1),(2,1)\}$，则

$$\Sigma_W=\operatorname{diag}(0,1),\qquad \Sigma_B=\operatorname{diag}(4,0).$$

各类内部没有水平变异，但两类的水平均值不同。方向 $u=(1,0)^\top$ 处的比值没有定义，因为分母为零。对于 $u=(1,t)^\top$、$t\ne0$，比值为 $4/t^2$，在 $t$ 趋于零时无上界。

选择 $\rho>0$，另外定义正则化准则

$$J_\rho(u)=\frac{u^\top\Sigma_Bu} {u^\top(\Sigma_W+\rho I)u} =\frac{u^\top\Sigma_Bu} {u^\top\Sigma_Wu+\rho\|u\|_2^2}.$$

取 $\rho=1/2$，分母矩阵为 $\operatorname{diag}(1/2,3/2)$，现在是正定的。最大值为 $8$，在水平方向取得；一个规范后的方向是 $u=(\sqrt2,0)^\top$。这求解的是上式明确写出的正则化问题。新增项在分母中惩罚方向的欧几里得长度，因此改变了准则，并不只是为原问题实现逆矩阵。取 $\rho=2$ 时，最大值变为 $2$。

如何理解低维表示

信息维度由类别中心决定，不只取决于特征数量。即使每条观测有数百个特征，两个类别仍只提供一个均值对比。多分类时，第一方向捕捉最大的标准化类别对比，后续方向在类内正交约束下捕捉额外对比。零特征值不会增加类间方差。

标签用于估计类别均值和类内残差。方向固定之后，新观测使用同一线性得分公式；已拟合的均值和方向尺度都是这一映射的一部分。若对每条新观测分别中心化，会消去它的坐标；减去单个已拟合的总体均值，才会一致地平移全部类别得分，保留它们之间的差异。

因此，PCA 与 Fisher 分析是在同一数据表上回答不同的问题：前者通过欧几里得正交保留总体变异，后者相对于类内变异保留带标签的均值对比。协方差分解明确说明了两种准则的共同部分与差异。

常见错误

常见错误

将 Fisher 方向一律当成欧几里得正交

约束为 $u_i^\top\Sigma_Wu_j=0$，通常不是 $u_i^\top u_j=0$。白化后的 $v_j$ 具有欧几里得正交性，转回原坐标会改变度量。对称特征值问题属于 $C$，通常不属于 $\Sigma_W^{-1}\Sigma_B$。

常见错误

混用协方差分母或类别权重

$\Sigma_T=\Sigma_W+\Sigma_B$ 来自一致的经验加权。若只将类别协方差的分母换成 $n_c-1$，或省略不等大小类别的 $p_c$ 权重，就会改变矩阵。应先写清每个加权总和，再进行简化。

总结

类内变异描述各类围绕本类均值的分散程度，类间变异描述类别均值的加权差异，二者之和为总体变异。类内协方差正定时，白化将 Fisher 比值化为对称 Rayleigh 商。所得方向在类内度量中正交，正判别特征值至多有 $K-1$ 个。二分类均值不同时，方向是经过类内协方差的逆调整的均值差；协方差奇异时，ridge 项定义一个明确修改的目标。

练习

思考检查

1. 设 $p_1=1/4$、$p_2=3/4$、$\mu_1=(-1,0)^\top$、$\mu_2=(3,0)^\top$、$\Sigma_W=\operatorname{diag}(2,5)$。求 $\mu$、$\Sigma_B$、最大 Fisher 比值及一个规范后的最大化方向。

使用经验权重，并约束 $u^\top\Sigma_Wu=1$。

思考检查

2. 取 $\Sigma_W=\begin{bmatrix}2&1\\1&1\end{bmatrix}$、$u=(1,0)^\top$、$v=(1,-2)^\top$。计算 $u^\top v$ 与 $u^\top\Sigma_Wv$，并将两个向量按类内度量规范。

同时计算两个类内长度的平方。

思考检查

3. 在 $\mathbb R^5$ 中有 $K=4$ 个类别，且 $\Sigma_W$ 正定。正判别特征值最多有多少个？若四个类别均值都在同一条仿射直线上，答案又怎样？

考虑中心化类别均值张成的空间。

思考检查

4. 对例题 3 的奇异协方差，取 $\rho=2$。求 $J_\rho$ 的最大值及一个规范后的最大化方向。新增哪一项使这个目标区别于原 Fisher 比值？

使用矩阵 $\Sigma_W+2I=\operatorname{diag}(2,3)$。

解答

解答 · 1. 先对均值加权，再规范方向

总体均值为 $\mu=(2,0)^\top$，$\Sigma_B=\operatorname{diag}(3,0)$。水平方向的比值为 $3/2$，垂直分子为零，所以最大值是 $3/2$。一个具有单位类内长度的最大化方向为 $u=(1/\sqrt2,0)^\top$。

解答 · 2. 正交性随度量改变

欧几里得内积为 $u^\top v=1$。由 $\Sigma_Wv=(0,-1)^\top$，类内内积为零。两个类内长度的平方均为 $2$： $u^\top\Sigma_Wu=v^\top\Sigma_Wv=2$。因此，$u/\sqrt2$ 和 $v/\sqrt2$ 在类内度量中标准正交，但欧几里得内积仍为 $1/2$。

解答 · 3. 类别均值的几何可以收紧上界

一般上界为 $\min(5,4-1)=3$。若全部类别均值都在一条仿射直线上，中心化后的均值都是同一向量的倍数，所以 $\operatorname{rank}(\Sigma_B)\le1$，至多一个判别特征值为正。类别均值不全相同时有一个；全部相同时则一个也没有。

解答 · 4. Ridge 改变分母与最优值

对于 $u=(a,b)^\top$， $J_2(u)=4a^2/(2a^2+3b^2)\le2$。当 $b=0$、$a\ne0$ 时等号成立；一个规范后的方向为 $(1/\sqrt2,0)^\top$。分母现在包含额外的 $2\|u\|_2^2$，这一惩罚项使它成为不同于未正则化比值的目标。

可以继续阅读 SVD 与主成分、 经典与非度量 MDS、 中心化核与核 PCA， 或查看课程阅读书目。