引言
前面的笔记介绍了贝叶斯(Bayes)公式、利用混淆矩阵与错误率衡量分类器,以及最近邻分类。最近邻分类器通过观察训练集中靠近新数据点的样本来估计其类别,并不预先规定各类别中的特征如何产生。
朴素贝叶斯采用另一种思路:先规定各类别内部特征的概率模型,再用贝叶斯公式把这个模型转化为类别的后验概率。这个模型有一个很强的假设:在给定类别后,各特征相互独立。由此得到的分类器拟合成本低、容易解释,而且各项证据在对数优势尺度上可以相加。
本节讨论二元情形:每个特征只有出现或未出现两种状态,类别也只有两个。我们将推导分类器,明确假设的含义与边界,并通过小样本展示其表现和失效情形。
模型
设类别标签 Y∈{0,1},类别先验概率为 π=P(Y=1),其中 0<π<1。设二元特征向量为 X=(X1,…,Xd)∈{0,1}d。对每个特征 j 和类别 y,定义
θjy=P(Xj=1∣Y=y),0<θjy<1.
如果对每个 y∈{0,1} 和每个 x∈{0,1}d,都有
P(X=x∣Y=y)=j=1∏dP(Xj=xj∣Y=y),则称这些特征在给定 Y 的条件下相互独立。
对于伯努利(Bernoulli)变量,P(Xj=xj∣Y=y)=θjyxj(1−θjy)1−xj。当 xj=1 时,指数选出 θjy;当 xj=0 时,选出 1−θjy。因此,伯努利朴素贝叶斯似然为
P(X=x∣Y=y)=j=1∏dθjyxj(1−θjy)1−xj.
由于所有 θjy 都严格介于 0 和 1 之间,每种模式 x 在两个类别下的概率均为正。特别地,P(X=x)=πP(x∣1)+(1−π)P(x∣0)>0。根据贝叶斯公式,将先验乘以似然并归一化,得到后验概率:
P(Y=y∣X=x)=πP(X=x∣Y=1)+(1−π)P(X=x∣Y=0)P(Y=y)P(X=x∣Y=y).
可加的对数后验优势
定理 5.4.2
(伯努利朴素贝叶斯的对数后验优势)
在上述模型下,对每个 x∈{0,1}d,
logP(Y=0∣X=x)P(Y=1∣X=x)=log1−ππ+j=1∑d[xjlogθj0θj1+(1−xj)log1−θj01−θj1].
两个后验概率有相同的正分母 P(X=x)。因此两者相除时分母抵消:
P(Y=0∣x)P(Y=1∣x)=1−ππ⋅P(x∣Y=0)P(x∣Y=1).代入分解后的似然。两个乘积的比等于各项之比的乘积:
P(x∣Y=0)P(x∣Y=1)=j=1∏d(θj0θj1)xj(1−θj01−θj1)1−xj.每个因子都是正数之比,故对数有定义。对数把乘积化为和,把指数化为乘数,便得到上述公式。
证明透视
两个假设,用在两个地方
首先用到的是正性。由于 0<π<1 且 0<θjy<1,证据 P(X=x) 为正,两个后验概率都有定义,公共分母可以消去;同样的界也使每个因子为正,所以每个对数都有限。条件独立只用了一次:把联合似然比换成各特征似然比的乘积。这是唯一属于建模选择的一步,其余都是贝叶斯公式和代数。
论证得以收尾,是因为有限个正数之积的对数等于各对数之和。若似然分解不成立,第一个式子仍然成立,失效的只有第二个;下文冗余特征的反例表明,仅这一步失效就可能改变预测。若某个估计的 θjy 等于 0 或 1,某个因子可能为零,对数便不再有限,这正是参数估计部分处理的零计数问题。
可以把公式看作一份证据账单。先验贡献 log[π/(1−π)],称为基准率项。之后每个特征贡献一个对数似然比:特征出现时贡献 log(θj1/θj0),未出现时贡献 log[(1−θj1)/(1−θj0)]。未出现也是证据。如果某特征在类别 1 中常见、在类别 0 中罕见,那么它未出现就会使判断偏向类别 0。
合并各项可见,对数优势等于 w0+j∑wjxj,其中
wj=logθj0θj1−log1−θj01−θj1,w0=log1−ππ+j∑log1−θj01−θj1.
因此决策边界是 x 空间中的超平面。相比之下,最近邻的边界可以随着训练点的位置弯曲。
假设说明了什么,又没有说明什么
条件独立是针对每个类别内部的陈述。它不表示混合各类别后特征在边缘分布中仍独立。本节最后一道练习将说明:即使在每个类别内独立,特征总体上通常仍然相关,因为类别对它们都有共同影响。
这一假设也不是因果断言。它没有说现实中的特征不会互相影响,也没有说类别“导致”了特征;它只是联合分布的一种分解。
如果模型恰好是真实分布,那么计算出的后验就是真实条件概率 P(Y=1∣X=x)。这一结论以模型正确为前提。用估计参数拟合的模型,或者独立性假设不成立的模型,虽然也会给出 [0,1] 内的数值,却未必与现实频率相符。概率校准需要检验,不能直接假定成立。
决策、代价和平局
后验概率本身还不是决策。记 p=P(Y=1∣x)。设真实类别为 0 却预测为 1 的代价为 cFP,真实类别为 1 却预测为 0 的代价为 cFN;正确预测的代价为零。
设 cFP,cFN≥0 且 cFP+cFN>0。预测 1 的期望代价严格小于预测 0 的期望代价,当且仅当
p>cFP+cFNcFP.
预测 1 只在 Y=0 时付出 cFP,故其期望代价为 (1−p)cFP;预测 0 的期望代价为 pcFN。不等式 (1−p)cFP<pcFN 可整理为 cFP<p(cFP+cFN),再除以正的代价之和即得阈值。
当两种代价相等且均为正时,阈值为 0.5。如果 p 是正确的后验概率,这条考虑代价的规则使期望代价最小;当正代价相等时,它也使误分类率最小。使用估计分数或错误设定的模型时,一般没有这样的保证。当漏掉正例的代价高于误报的代价时,阈值低于 0.5。
等号成立时,两个决策的期望代价相同,规则仍须规定如何处理。本笔记统一采用确定性约定:平局预测类别 0。代价相等时,这意味着后验恰为 0.5,或对数优势恰为 0,都预测为 0。
例题
取 π=0.2、θ11=0.8、θ10=0.2、θ21=0.6、θ20=0.3。先验优势为 0.2/0.8=1/4。特征 1 的两种可能似然比分别为:
- 出现:0.8/0.2=4;
- 未出现:0.2/0.8=1/4。
特征 2 的对应比值为:
- 出现:0.6/0.3=2;
- 未出现:0.4/0.7=4/7。
模式 x=(1,1)。 后验优势为
41⋅4⋅2=2.后验概率为 2/(1+2)=2/3,预测类别 1。
模式 x=(1,0)。 第二个特征未出现,贡献 (1−θ21)/(1−θ20)=4/7。后验优势为
41⋅4⋅74=74.后验概率为 (4/7)/(1+4/7)=4/11≈0.364,预测类别 0。
同样的数字也可以整理成上文推导的线性分数 w0+j∑wjxj,并由此看出代价阈值如何移动决策。
沿用上例参数,
w1=log4−log41=log16,w2=log2−log74=log27,w0=log41+log41+log74=log281.四个模式的后验优势为 ew0+w1x1+w2x2:
- (0,0):1/28,后验 1/29;
- (0,1):(7/2)/28=1/8,后验 1/9;
- (1,0):16/28=4/7,后验 4/11;
- (1,1):16⋅(7/2)/28=2,后验 2/3。
后两项与上面的直接计算一致。代价相等时只有 (1,1) 被判为类别 1。若漏掉正例的代价是误报的三倍,即 cFN=3cFP,阈值为 1/4;此时后验为 4/11>1/4 的 (1,0) 也被判为类别 1,而后验为 1/9 的 (0,1) 不会。边界情形:若第三个特征满足 θ31=θ30,则 w3=0,它对 w0 的贡献也是 log1=0,所以无论出现与否都不改变分数。
在第一个例题中,若对 x=(1,0) 只乘出现特征的比值,优势为 41⋅4=1,形成平局,而不是正确的 4/7。这不是漏写了一步的伯努利朴素贝叶斯,而是丢弃缺席特征所携带证据的启发式分数,也不自动构成归一化的概率模型。在这里,报告的分数从 4/11 变成了 1/2。
数值计算:对数和零
当特征有数百个时,乘积 j∏θjyxj(1−θjy)1−xj 可能小于浮点数所能表示的最小正数,出现称为下溢的问题。对数求和可以避免这种情况。实际计算时,可分别求两个对数联合分数 logπ+j∑log(⋯) 和 log(1−π)+j∑log(⋯),然后比较或相减。
定理要求 0<θjy<1,但估计值可能违反这一要求。如果估计值为 0 而相应特征出现,计算就会遇到 log0。软件可能悄悄返回 −∞ 或 NaN,而分类器会仅凭一个特征就断定某类别不可能。这一结果应经过明确判断,不能任由算术运算决定。常用的补救方法是下面介绍的平滑。
条件独立不成立时
反例模式
冗余特征会重复计算证据
设 π=0.2。在每个类别内,令 X2=X1 严格成立,且 P(X1=1∣Y=1)=0.8、P(X1=1∣Y=0)=0.2。于是每个边缘参数 θjy 都是正确的:θ11=θ21=0.8,θ10=θ20=0.2。
x=(1,1) 的真实情况。 在真实模型中,P((1,1)∣Y=1)=0.8,P((1,1)∣Y=0)=0.2,因为观察到 X1=1 就必然有 X2=1。真实后验优势为 41⋅4=1,后验概率为 0.5;按平局规则预测类别 0。
朴素计算。 将边缘概率相乘得到优势 41⋅4⋅4=4,后验概率为 0.8,预测类别 1。
第二个特征只是重复第一个,朴素模型却把它当作新证据。即使每个单独参数都估计得完全正确,预测和给出的置信程度仍发生改变。重复或高度相关的特征(例如文本中的同义词、由其他变量派生的变量)可能导致证据被重复计算,使后验概率失真;失真的方向并不总是一样。
不可能的模式。 真实模型中,模式 (1,0) 在两个类别下的概率均为 0,所以 P(X=(1,0))=0,P(Y=1∣X=(1,0)) 没有定义:贝叶斯公式会要求除以零。不能以模型认为不可能发生的模式为条件。朴素模型却给 (1,0) 分配了正概率,这也表明它错误地描述了该总体。
参数估计
假设训练样本对从分类器将服务的总体中独立抽取。记类别 y 中的训练样本数为 ny,其中满足 Xj=1 的样本数为 mjy,并假设 ny>0。
最大似然。 为了估计,暂时允许参数取闭区间 θ∈[0,1]。类别 y 中特征 j 的似然为 θmjy(1−θ)ny−mjy,在 θ^jy=mjy/ny 处达到最大值。如果估计限制在推导对数优势时使用的开区间 (0,1),全零或全一样本只有边界上的上确界,最大值并未取到。当 mjy=0 或 mjy=ny 时,估计值为 0 或 1,于是又会遇到 log0。某特征在十篇类别 1 文档中从未出现,并不意味着它在类别 1 中不可能出现;有限样本中的零计数夸大了确定性。
定理 5.4.6
(伯努利参数的 Beta 后验分布)
给 θjy 指定 Beta(α,β) 先验,其中 α,β>0。在 ny 次独立的类别 y 试验中观察到 m 次成功后,后验分布为 Beta(m+α,ny−m+β),其均值为
θ~jy=ny+α+βm+α.
先验密度在 (0,1) 上正比于 θα−1(1−θ)β−1。将其乘以似然,得到
θm+α−1(1−θ)ny−m+β−1.这正是 Beta(m+α,ny−m+β) 分布的密度核。归一化后密度由其核确定,故这就是后验分布。Beta(a,b) 分布的均值是 a/(a+b),因而得到上述公式。
当 α=β=1(均匀先验)时,得到拉普拉斯(Laplace)平滑:θ~jy=(m+1)/(ny+2)。该值总是严格位于 (0,1) 内。
设 n1=n0=10,特征 j 在类别 1 中从未出现,在类别 0 中出现 3 次。最大似然给出 θ^j1=0 和 θ^j0=3/10。对 xj=1 的新样本,该特征的因子为 0/(3/10)=0,对数优势为 −∞,无论其他特征如何,后验都是 0。
拉普拉斯平滑给出 θ~j1=1/12 和 θ~j0=4/12=1/3。出现时的因子变为 (1/12)/(1/3)=1/4,未出现时的因子变为 (11/12)/(2/3)=11/8。该特征现在是支持类别 0 的强而有限的证据,其他特征仍可抵消它。xj=0 的情形本来就无需修补:最大似然下其因子为 1/(7/10)=10/7,已是有限值。
在明确假设下,一致的预测似然。 假设:
- 所有 θjy 的 Beta 先验相互独立;
- π 已知且固定;
- 给定参数时训练观测相互独立,且给定类别与参数时特征条件独立;新观测遵循相同模型,并且给定其类别与参数时,与训练观测条件独立。
在这些假设下,似然与先验均按 (j,y) 分解,因此各 (j,y) 对应的后验相互独立。将 θxj(1−θ)1−xj 对每个后验分布积分,得到 θ~jyxj(1−θ~jy)1−xj。所以,这些后验均值因子的乘积恰好是后验预测概率 P(X=x∣Y=y,data)。这说明在所述假设下,代入平滑估计具有一致的贝叶斯计算解释;但它不保证所得概率在现实中经过良好校准。
类别先验是另一项参数。 Beta 超参数用于特征参数;类别先验 π 需要单独处理。它可以根据部署总体的已知信息固定,也可以估计,例如在简单随机抽样下用 n1/n 估计,或给它另设 Beta 先验。
如果训练集是刻意按类别均衡组成的,n1/n 估计的是训练集的类别比例,而非部署总体的基准率。把它代入作为 π,会移动基准率项 log[π/(1−π)],所有后验也随之改变,即使每个 θjy 都估计得很好。
评估时的注意事项
所有依赖数据的选择都只能用训练折来拟合,包括特征选择、二值化阈值、缺失值填补规则和平滑强度 α,β。留出最终评估集,直到最后才使用。分类指标与概率校准应分别评估:正如冗余特征的例子所示,一个模型可能排序表现良好,却给出严重偏高的概率。最后,上述独立性假设并未涵盖分组或重复观测(例如同一人的多条记录)、时间依赖,以及训练总体与部署总体之间的分布变化。
练习
快速检查
(保留第一个例题的特征参数(θ11=0.8、θ10=0.2、θ21=0.6、θ20=0.3),但取均衡先验 π=0.5。计算 P(Y=1∣X=(1,0)),并在两类错误代价相等时给出预测。)
解答 · 引导解答
先验优势现在为 1。出现的特征 1 贡献 4,未出现的特征 2 贡献 (1−0.6)/(1−0.3)=4/7,所以后验优势为 16/7,且
P(Y=1∣x)=23/716/7=2316≈0.696.预测类别 1。在 π=0.2 时,同一模式的后验为 4/11,被判为类别 0:基准率项由 log(1/4) 变为 0,而特征证据 log(16/7) 不变。
快速检查
(设 π=0.1,观测到的 x 对应的总似然比为 P(x∣1)/P(x∣0)=4。求后验概率及等代价下的预测。)
解答 · 引导解答
先验优势为 0.1/0.9=1/9,因此后验优势为 4/9。后验概率为
13/94/9=134≈0.3077,故预测类别 0。即使证据在类别 1 下出现的可能性是类别 0 的四倍,类别 1 仍然较不可能,因为初始基准率的优势为 1 比 9。较大的似然比本身不一定能克服很小的先验概率。这也是为什么即使分类器对各类别的检出率不错,对罕见类别的精确率仍可能很低。
快速检查
(考虑一个特征,固定 π=0.4,且 n1=3、m1=2、n0=4、m0=1。分别用拉普拉斯平滑和最大似然代入估计计算 P(Y=1∣X1=1),然后说明某一类别没有训练样本时会发生什么。)
拉普拉斯平滑在每个类别的计数中加入一次成功和一次失败。
解答 · 引导解答
先验优势为 0.4/0.6=2/3。
拉普拉斯平滑。 估计值为 θ~1=3/5 和 θ~0=2/6=1/3。后验优势为
32⋅1/33/5=32⋅59=56,所以后验概率为 6/11≈0.545。
最大似然。 估计值为 θ^1=2/3 和 θ^0=1/4。后验优势为
32⋅1/42/3=32⋅38=916,所以后验概率为 16/25=0.64。
两种方法均预测类别 1。平滑使每个估计值向 1/2 靠近,并减弱了这里的置信程度。两个数都不能自动视为真实世界的概率:它们依赖假设,而且样本量很小。
空类别。 如果 ny=0,则 mjy/ny=0/0 没有定义。特征似然关于参数是常数,所以每个允许值都使似然最大:不存在由数据识别的唯一最大似然估计。使用 Beta(α,β) 先验时,后验就等于先验,均值为 α/(α+β)(拉普拉斯平滑下为 1/2)。这个值完全来自先验信念,并非从数据中学得,应如实说明。
快速检查
(设 π=0.5,θ11=θ21=0.8,θ10=θ20=0.2,且 X1,X2 在给定 Y 时条件独立。X1 与 X2 在边缘分布中是否独立?)
解答 · 引导解答
每个边缘概率均为 P(Xj=1)=0.5(0.8)+0.5(0.2)=0.5。利用每个类别内部的条件独立性,
P(X1=X2=1)=0.5(0.82)+0.5(0.22)=0.5(0.68)=0.34.若边缘独立,则该概率应为 0.5⋅0.5=0.25,所以特征在边缘分布中相关。等价地,P(X1=1∣X2=1)=0.34/0.5=0.68=0.5。这种依赖来自两个类别的混合:看到 X2=1 会使类别 1 更可能,进而使 X1=1 更可能。
这里朴素贝叶斯模型正确,因此其后验是精确的。边缘依赖与模型假设完全相容。冗余特征反例则有本质区别:其中依赖在每个类别内部仍然存在,分解不成立,相乘边缘概率便重复计算了证据。