从任务描述走向决策问题
机器人即使正确执行搜索算法,仍可能追逐错误目标。若故障监察器按警告次数得分,它可以不停发警告来提高分数。若控制器把最新读数直接当成物理状态,则可能忽略先前所有观察,作出不合适的行动。因此,建立智能体模型,要先问清楚什么算成功、能观察什么,以及行动如何改变环境,再选搜索或学习算法。
一种有用的任务描述依次列出表现指标、环境、执行器与传感器,英文简称 PEAS。设备控制器的表现指标可以是整个工作时段内的停机、操作失败与维修开支的综合损失。环境包括设备状况及其演变;执行器可以操作、检查、重置;传感器提供诊断报告。这张清单的价值在于揭露遗漏:若检查耗用一个时段,时间代价便要进入模型;若重置改变故障状况,下次预测就必须使用重置对应的转移规律。
外部用来评估的表现指标,与智能体内部使用的效用,是两个不同对象。内部目标只是对任务的建议表示,并非自动等同任务本身。只计成功操作而忽略失败,与成功次数减去失败罚分,定义了不同目标。再好的优化算法也不能修补这种规格错误。本节所说的理性,是根据已有历史及模型,最大化已制定目标的期望值;它不表示知道隐藏状态、预知实际未来,或事后看来每次都选中最好结果。
状态、历史与行动前可用的信息
设 S、A、Y 为非空有限集合,分别表示物理状态、行动及感知符号。我们假设每个状态都容许每个行动;若可行行动依赖状态,就要另订与可观察信息相容的策略。在时刻 t,智能体已收到目前观察,然后选择 。历史 记录观察及所有先前行动。
定义 21.1.1
(信念状态)
时刻 的信念状态,是定义在 上的条件分布
它不是说设备同时具有多个实际状况,而是表示对唯一实际状态的不确定性。
若初始观察 发生于所有行动之前,另订初始核 与先验 。对正概率观察,有 。亦可直接指定初始信念,而没有初始观察。策略可以依赖整段历史,以及尚余多少次决策。
指定转移核 与观察核 。所有元素非负;对每组 s、a,转移概率对 求和为一;对每组 、a,观察概率对 y 求和为一。时间次序是先行动,再状态转移,最后观察新状态。我们假设以下条件独立关系:
这表示两个核没有暗中依赖更早历史。若未记录的电池温度或持续传感器故障会改变未来行为,现有状态可能太少。应把变量加入状态,或明言这只是近似。把某变量叫作状态,并不等于已证明所需的条件独立性。
固定有限时域 H,设 为有限实数奖励,表现定义为往后 H 次决策的总奖励期望。成本可以用负奖励表示。为明确起见,本节不加折扣或终端奖励;两者都可以通过明示的递推加入。对结果的效用函数可以表达风险态度,但最大化金额期望与最大化金额效用的期望,通常是不同任务。以下定理不会把这些偏好当成相同。
预测与修正是两个步骤
由信念 b 执行行动 a,先预测下个物理状态,再按感知报告修正:
定义 21.1.2
(信念更新)
对行动 及满足 的观察 ,更新后的信念是
分子是联合概率,分母使各项总和为一。若分母为零,模型认为该观察不可能发生,这个商便没有给出条件分布。实现必须报告模型不符,或使用另行指定的复原策略。未加说明便改用均匀信念,等于自行增加假设。
命题 21.1.3
(在模型假设下,信念概括了预测所需的历史)
对上述有限核及条件独立假设,预测与修正公式给出每条正概率历史之后的新状态条件分布。给定目前信念与下一行动,下个观察及更新信念的分布不再依赖其余历史。目前的奖励期望是 。因此,信念加上尚余时域,足以表达这个有限时域优化问题。
证明
(信念作为充分统计量)
把已展示的条件规律对目前状态求和,权重为 ,便得到联合概率 。再对 求和得到 p;除以正数 p 就得到后验。非负性直接成立;用转移行与观察行总和为一,可验证归一化。奖励期望则来自对目前状态条件化。反复使用同一推理,往后每次选行动时,未来分布均由更新信念决定。因此,若两段历史给出相同信念,且尚余时域相同,它们就给出相同的未来决策问题。
证明透视
充分性取决于所选状态是否足够
证明只在使用核的分解假设时,才把历史移除。若感知可靠度取决于一个隐藏而持续的模式,两段历史可能给出相同设备边际信念,却对感知模式有不同信念。这时设备的边际信念并不足够。若扩大后的状态满足假设,改用设备与感知模式的联合信念,就可恢复上述论证。
在信念上规划,以及信息的价值
设 。尚余 h 次决策时,最优奖励期望满足
行动同时决定即时奖励与未来信息。某行动的即时奖励较差,却可能改善下次决策。反过来,只追求最有信息量的报告,会忽略哪些信息对目标真正有用。
定理 21.1.4
(有限时域的最优性与确定行动)
在上述有限模型下,递推值等于所有依赖历史的策略所能达到的最大总奖励期望,包括随机策略。在每条正概率历史,都有某个确定行动达到该值。这是有限时域结论,不表示同一条不随时间改变的规则对所有时域都最优。
证明
(对尚余决策次数作归纳)
对 h 作归纳。没有决策时,每项策略的奖励都是零。假设结论对 成立。把任意 h 步策略按首个行动及下个观察条件化。由信念充分性,每项后续策略的奖励期望,至多等于相应后验的 。所以固定首个行动时,总值不超过方括号中的式子。随机选首个行动,只是这些有限个式子的加权平均,不会超过其中最大者。选一个达到最大值的行动,再于每个正概率观察之后,选归纳假设提供的最优后续策略,就构成达到上界的确定策略,完成归纳。
虽然 S 有限,S 上所有概率向量的集合通常仍是连续的。证明没有把信念空间变成有限状态表。对固定初始信念与有限时域,只有有限多条行动—观察历史,所以可以精确求值一棵有限决策树。若另用信念网格近似,就需要独立的误差分析。
概念视角结构
额外观察扩大了可选策略的集合
假设观察免费、不耗时间、不改变状态,而且保留所有后续可选行动。收到观察后,只要忽略它,就仍可执行任何旧策略。因此,在扩大的策略集合中取最大值,不会降低最优奖励期望。对损失而言,最优损失期望不会增加。收费检查、行动延误或受限制的控制器,未必满足这些假设。
对一次终端决策,同一论证亦可用代数核对。若观察 y 的概率为 、后验为 ,在每个 y 分别选最佳行动,至少不比事先统一选同一行动差,因为 。不等式比较的是最优表现的期望;个别不幸观察仍可能对应更差的实际结果。
控制算例
例题 21.1.5
(警报会改变决策,却不会揭示实际状态)
设备状况为故障 F 或良好 G,先验 。在状态不变的测试中,警报 + 的概率为 、。因此 ,贝叶斯(Bayes)公式给出 。负报告的概率为 ,故障后验为 。
现只作一次终端决策:若故障仍操作,损失为 10;若良好,损失为零。另一选项是终端修理,固定损失为 3;这个教学目标已把修理的全部后果包含于该数值。故障信念为 b 时,操作的损失期望为 ,修理为 3。当 时修理最优;等号时两者均最优。没有测试时,选操作,损失期望为 2;警报后修理,负报告后操作。任何一种报告都没有确定设备的实际状况。
例题 21.1.6
(信息应按决策改善定价,而非只看熵)
上述测试收费 ,且不延误、不改变状态。先测试再作最优行动的损失期望为
相对原来损失 2,改善了 。不计测试费,测试后的行动损失期望是 ,故测试费至多为 时,测试才不差于直接行动。收费 1 的测试仍有信息,却不值得在此购买。比较本来就容许忽略报告;取得信息并不强迫改变行动。
例题 21.1.7
(重置先改变预测,然后才用新警报修正)
改看另一个持续控制模型:警报后故障信念为 ,重置以 概率修好故障设备,良好设备则保持良好。这个转移模型不能套用前例的终端修理假设。重置后的预测故障概率为 。再由同一传感器收到警报,便有
若直接用旧信念 更新警报,则会得到 ;那描述的是没有重置、只再感知一次的情况。差异来自行动所改变的状态预测,并不是贝叶斯公式有两个版本。要判断重置是否最优,还要给出其奖励及尚余时域;这个状态估计算例并未指定两者。
不同架构实现模型的不同部分
简单反射智能体把目前观察直接映射为行动。若这个观察已包含决策所需的全部信息,它可以足够好。基于模型的智能体保留内部状态;后验 b 是一种有明确数学定义的选择。基于目标的规划者寻找通往可接受状况的行动;基于效用的规划者还可比较成本、风险或延误不同的可接受结果。这些是架构描述,并非“后列名称在每项任务都更好”的定理。
信念滤波器配合上述单步门槛,就是该终端问题的一种基于模型、按效用选择的控制器。以有限时域动态规划代替门槛,就可计算后续奖励与观察。学习部分可以由数据估计 T 或 Z,但控制定理假设这些核已指定。代入估计值,不等于已证明它们就是真实模型。若参数不确定性重要,就必须表示它,例如把固定而未知的模式加入隐藏状态。
反例模式
同一最新报告可以要求不同的行动
保留静态设备与条件独立报告的模型。先验故障胜算为 ;警报把胜算乘以 8,负报告则乘以 。三次报告历史 给出胜算 ,故后验为 ;历史 给出胜算 ,故后验为 。两者最新符号都是 +,历史长度相同,亦同样只余一次终端决策,但损失门槛要求前者修理、后者操作。只依赖最新符号及时间索引的确定规则,不可能同时作出这两个选择。修补方法是记住相关历史,而非替智能体换一个更复杂名称。
期望最优性总是相对于模型而言。错误失败成本会改变门槛;相关感知误差会使似然比相乘失效;会演变的设备会使静态计算不适用。反过来,即使选择理性,某次仍可能因低概率状态出现而失败。评估时应分清楚目标规格、状态估计、策略计算与实际结果。
常见错误
常见错误
(行动之后略去预测步骤)
重设之后,若把警报的似然直接用在旧信念 上,得到 ;模型的正确结果是 。贝叶斯公式应用于预测信念 ,而不是先前的信念 ,因为行动可能在报告产生之前已改变状态。只有当 不改变状态时,才可直接使用 。
常见错误
(以单次实际结果评判决策)
负报告之后,故障信念为 ,操作是最优选择。在其余 的情形下设备确实故障,损失为 10。这个结果并不表示决策不理性:选择应按作出决定时、模型下的损失期望评价;若这类意外反复出现,它反映的是模型有问题。
常见错误
(以为凡有信息的测试都值得购买)
在损失为 3 的问题中,含噪声测试至多值 ,所以收费 1 时应拒绝,即使报告确实改变了信念。信息的价值取决于它带来的决策改善;若报告不能改变最优行动,它就毫无价值。
练习
快速检查
(监察器只按成功报告的真故障数目得分,没有误报罚分。解释为何每次都发警告可以最大化该指标。提出一个分别计算漏报、误报与检查成本的有限目标,并列出相应 PEAS 项目。)
先问这个得分奖励什么、不惩罚什么。
解答 · 答案
若每个真故障只要报告就得分,每次报告便可取得全部可得分数;多余警告没有指定成本。一种有限序列的损失是 ,其中 M 是漏报数、F 是误报数、I 是付费检查数,各系数为指定正数。目标是最小化其期望,并把延后后果包含于选定时域。表现指标是此损失;环境包括故障产生与演变;执行器可报告、检查或暂不报告;传感器是已有读数。系数表达任务偏好,须由评估者提供理由。
快速检查
(在上述静态感知模型,用联合概率推导负报告后验。若终端修理成本改为 ,求感知前及每种报告后的最优行动。)
先算两个联合概率再归一化;把各信念与新门槛比较。
解答 · 答案
负报告与故障的联合概率为 ,负报告与良好的联合概率为 ,归一化得到 。新门槛为 。先验 与警报后验 都较大;连 ,所以负报告后仍应修理。此时测试改变信念,却不改变终端行动;未计测试费之前,它的决策价值为零。
快速检查
(在原来修理损失为 3 的问题,免费完美检查之后的终端行动损失期望是多少?最高值得支付多少检查费?解释为何与含噪声测试的 门槛不同。)
完美检查之后,后验不是 0 就是 1;把所得行动损失与 2 比较。
解答 · 答案
完美检查以 概率揭示 F、以 概率揭示 G,只在 F 修理,故行动损失期望为 。相对未感知的损失 2,最高值得付 。含噪声报告有时引致不必要修理,有时遗漏故障,行动损失期望因而为 。更多信息可以扩大依观察而选策略的空间,但每种测试均须根据实际决策问题定价。
快速检查
(观察核满足 ,与 无关。证明每个正概率观察都不改变预测信念。这是否表示行动本身不能改善物理状况?)
把 代入更新公式的分子与分母。
解答 · 答案
分母是 。分母为正时约去该因子,得 。给定所选行动,这个传感器没有额外状态信息。但转移 T 仍可把故障状态移至良好状态;缺乏信息与缺乏物理控制,是两种不同性质。
快速检查
(某信念下,两个首个行动的值(已包括最优后续行动)为 4 与 7。策略以 概率选第一个。求其期望值,并解释确定策略的结论。为何此计算没有证明某个固定行动在所有信念都最优?)
按给定权重对两个值取平均。
解答 · 答案
随机策略的值为 ,确定选第二个行动可达到 7。论证是在目前信念与尚余时域,比较使用同一组正确后续值的行动。换一个信念或时域,排序可能倒转,所以不能推出有一个到处最优的固定行动。