从标签建立概率模型
分类器接收特征并选择标签。朴素贝叶斯(Naive Bayes)先建立各类别内特征的分布模型,再反转条件方向比较类别概率。这是基于模型的规则:答案取决于估计概率和连接各特征的假设。
考虑两个类别 和两个二元特征 。模型假设在给定类别下 条件独立:对每个类别 和每对值 ,
这不是一般的无条件独立,必须有理由支持或当作近似。每个类别的先验概率须为正,条件项才有意义。
分数与平滑
定义 3.1.1
(未归一化的类别分数)
对于观察到的 及先验 的类别 ,未归一化的类别分数定义为
命题 3.1.2
(由类别分数得到后验)
设 是仅有的两个类别,,并假设给定类别时 条件独立。若 ,则对 ,
证明
(全概率公式,再用贝叶斯公式)
由条件独立,对每个类别都有 ,所以 就是联合概率 。类别 划分整个样本空间,由全概率公式得 ,按假设为正。贝叶斯公式于是给出 。
两个类别共用同一正分母,因此分数较大者的后验概率也较大。若分数相同,分类器须明确指定平局规则。归一化的数字是模型下的后验概率;它不自动保证对新数据已校准。
证明透视
模型与划分分别用在哪里
这里用了两项成分,而且作用不同。把样本空间划分为 与 提供分母:正是它使 成为观察特征的概率,所以同一个总和可以除两个分数。条件独立提供分子:这是唯一允许用两个边际概率之积代表联合概率的地方。先验为正,是为了使“给定类别”的条件有意义;总和为正,则是为了能够相除。
也要注意论证没有确立什么。它只表明 是模型的后验;分数之比用于比较始终有意义,但只有在数据满足独立性假设时, 才等于真实的联合概率。单个分数也不是概率,因为两个分数之和不一定为一。
下面的例子说明因子分解不成立时会怎样。
反例模式
条件独立是模型假设
在某类别中,设 ,但 恒成立。则 ,而边际概率之积是 。相乘会错误描述此联合分布;平滑边际概率不能消除这种依赖。
定义 3.1.3
(二元 Laplace 平滑)
假设训练样本中类别 有 个例子,其中 个满足 。参数为一的二元 Laplace 平滑估计
两个分子之和为 ,所以估计值构成概率分布。对 及每个类别分别使用同一规则。
下面使用未平滑的经验类别先验;平滑先验是另一个须说明的模型选择。平滑避免某个特征值因未在类别样本出现而被估为零概率,但它不能证明条件独立。
例子
例题 3.1.4
(类别均衡的两类分数)
八个训练例子中,每类各四个。类别 有三个 、三个 ;类别 有一个 、两个 。经验先验为 。对观察特征 ,平滑后 的两个概率为 , 的为 。因此
总和是 ,故模型后验为 。 分数较大,误分类成本相同时模型预测 。各特征的单独计数足以完成此模型计算,却不能证明独立性假设符合训练数据的联合分布。
例题 3.1.5
(某类别从未出现的特征值)
设每类各有四个训练例子。类别 中没有 ,有两个 ;类别 中有三个 、一个 。先验各为 ,观察为 。
不平滑时,,,所以 被完全排除。平滑后,类别 有 、,类别 则为 和 。于是 ,。总和为 ,所以 ,。两种做法都预测 ,但平滑把“绝对排除”改为 的后验为 。
例题 3.1.6
(改变先验会改变决策)
保留第一个例子平滑后的似然,即 为 、 为 ,但假设 很罕见,,。则 ,。总和为 ,所以 ,。预测由 变为 :特征与似然完全相同,只是类别比例不同。
限制
即使后验概率固定,误分类成本不同也可改变最优决策规则。类别不平衡会改变先验,从而改变分数。分母为零时所述后验没有定义;若各先验为正,且每个有限二元特征都使用参数一平滑,两类特征概率均为正,此模型便避免该问题。评估泛化及校准需要另外的留出数据,不能由训练计算确立。
常见错误
(把分数当作概率)
把 报告为“ 约有 22% 的可能”是错的: 是类别与观察特征的联合概率,而且两个分数之和是 ,不是 。须先除以 ;在第一个例子中, 的后验是 。
常见错误
(忘记平滑分母中的 +2)
只在分子加一而分母仍用 ,当 且没有例子满足 时, 得 , 得 。这连概率都不是,因为 ,两者之和为 。用分母 则得 与 ,和为一。
练习
快速检查
(在第一个例子中,计算 以及 的后验概率。)
使用分数 和 。
解答 · 答案
总和是 ,。
快速检查
(若 且类别 中没有例子满足 , 的平滑估计是多少?)
套用参数为一的规则,特征有两个可能取值。
解答 · 答案
参数为一的二元平滑给出 。
快速检查
(在依赖性反例中,计算 ,并与边际概率之积比较。)
利用 及 。
解答 · 答案
由于 ,联合概率为 ,而边际之积是 。
快速检查
(若两个类别分数相等且为正,两个归一化后验概率各是多少?还有什么决策细节未指定?)
把每个分数除以它们的和。
解答 · 答案
两个归一化概率都是 。仍须指定平局规则,或反映不同成本的决策规则。