從任務描述走向決策問題
機械人即使正確執行搜尋算法,仍可能追逐錯誤目標。若故障監察器按警告次數得分,它可以不停發警告來提高分數。若控制器把最新讀數直接當成物理狀態,則可能忽略先前所有觀察,作出不合適的行動。因此,建立智能體模型,要先問清楚甚麼算成功、能觀察甚麼,以及行動如何改變環境,再選搜尋或學習算法。
一種有用的任務描述依次列出表現指標、環境、執行器與感測器,英文簡稱 PEAS。設備控制器的表現指標可以是整個工作時段內的停機、操作失敗與維修開支的綜合損失。環境包括設備狀況及其演變;執行器可以操作、檢查、重設;感測器提供診斷報告。這張清單的價值在於揭露遺漏:若檢查耗用一個時段,時間代價便要進入模型;若重設改變故障狀況,下次預測就必須使用重設對應的轉移規律。
外部用來評核的表現指標,與智能體內部使用的效用,是兩個不同物件。內部目標只是對任務的建議表示,並非自動等同任務本身。只計成功操作而忽略失敗,與成功次數減去失敗罰分,定義了不同目標。再好的最優化算法也不能修補這種規格錯誤。本節所說的理性,是根據已有歷史及模型,最大化已訂定目標的期望值;它不表示知道隱藏狀態、預知實際未來,或事後看來每次都選中最好結果。
狀態、歷史與行動前可用的資訊
設 S、A、Y 為非空有限集合,分別表示物理狀態、行動及感測符號。我們假設每個狀態都容許每個行動;若可行行動依賴狀態,就要另訂與可觀察資訊相容的政策。在時刻 t,智能體已收到目前觀察,然後選擇 。歷史 記錄觀察及所有先前行動。
定義 21.1.1
(信念狀態)
時刻 的信念狀態,是定義在 上的條件分布
它不是說設備同時具有多個實際狀況,而是表示對唯一實際狀態的不確定性。
若初始觀察 發生於所有行動之前,另訂初始核 與先驗 。對正概率觀察,有 。亦可直接指定初始信念,而沒有初始觀察。政策可以依賴整段歷史,以及尚餘多少次決策。
指定轉移核 與觀察核 。所有元素非負;對每組 s、a,轉移概率對 求和為一;對每組 、a,觀察概率對 y 求和為一。時間次序是先行動,再狀態轉移,最後觀察新狀態。我們假設以下條件獨立關係:
這表示兩個核沒有暗中依賴更早歷史。若未記錄的電池溫度或持續感測器故障會改變未來行為,現有狀態可能太少。應把變量加入狀態,或明言這只是近似。把某變量叫作狀態,並不等於已證明所需的條件獨立性。
固定有限時域 H,設 為有限實數獎勵,表現定義為往後 H 次決策的總獎勵期望。成本可以用負獎勵表示。為明確起見,本節不加折扣或終端獎勵;兩者都可以透過明示的遞推加入。對結果的效用函數可以表達風險態度,但最大化金額期望與最大化金額效用的期望,通常是不同任務。以下定理不會把這些偏好當成相同。
預測與修正是兩個步驟
由信念 b 執行行動 a,先預測下個物理狀態,再按感測報告修正:
定義 21.1.2
(信念更新)
對行動 及滿足 的觀察 ,更新後的信念是
分子是聯合概率,分母使各項總和為一。若分母為零,模型認為該觀察不可能發生,這個商便沒有給出條件分布。實作必須報告模型不符,或使用另行指定的復原政策。未加說明便改用均勻信念,等於自行增加假設。
命題 21.1.3
(在模型假設下,信念概括了預測所需的歷史)
對上述有限核及條件獨立假設,預測與修正公式給出每條正概率歷史之後的新狀態條件分布。給定目前信念與下一行動,下個觀察及更新信念的分布不再依賴其餘歷史。目前的獎勵期望是 。因此,信念加上尚餘時域,足以表達這個有限時域最優化問題。
證明
(信念作為充分統計量)
把已展示的條件規律對目前狀態求和,權重為 ,便得到聯合概率 。再對 求和得到 p;除以正數 p 就得到後驗。非負性直接成立;用轉移行與觀察行總和為一,可驗證正規化。獎勵期望則來自對目前狀態條件化。反覆使用同一推理,往後每次選行動時,未來分布均由更新信念決定。因此,若兩段歷史給出相同信念,且尚餘時域相同,它們就給出相同的未來決策問題。
證明透視
充分性取決於所選狀態是否足夠
證明只在使用核的分解假設時,才把歷史移除。若感測可靠度取決於一個隱藏而持續的模式,兩段歷史可能給出相同設備邊際信念,卻對感測模式有不同信念。這時設備的邊際信念並不足夠。若擴大後的狀態滿足假設,改用設備與感測模式的聯合信念,就可恢復上述論證。
在信念上規劃,以及資訊的價值
設 。尚餘 h 次決策時,最優獎勵期望滿足
行動同時決定即時獎勵與未來資訊。某行動的即時獎勵較差,卻可能改善下次決策。反過來,只追求最有資訊量的報告,會忽略哪些資訊對目標真正有用。
定理 21.1.4
(有限時域的最優性與確定行動)
在上述有限模型下,遞推值等於所有依賴歷史的政策所能達到的最大總獎勵期望,包括隨機政策。在每條正概率歷史,都有某個確定行動達到該值。這是有限時域結論,不表示同一條不隨時間改變的規則對所有時域都最優。
證明
(對尚餘決策次數作歸納)
對 h 作歸納。沒有決策時,每項政策的獎勵都是零。假設結論對 成立。把任意 h 步政策按首個行動及下個觀察條件化。由信念充分性,每項後續政策的獎勵期望,至多等於相應後驗的 。所以固定首個行動時,總值不超過方括號中的式子。隨機選首個行動,只是這些有限個式子的加權平均,不會超過其中最大者。選一個達到最大值的行動,再於每個正概率觀察之後,選歸納假設提供的最優後續政策,就構成達到上界的確定政策,完成歸納。
雖然 S 有限,S 上所有概率向量的集合通常仍是連續的。證明沒有把信念空間變成有限狀態表。對固定初始信念與有限時域,只有有限多條行動—觀察歷史,所以可以精確求值一棵有限決策樹。若另用信念網格近似,就需要獨立的誤差分析。
概念視角結構
額外觀察擴大了可選政策的集合
假設觀察免費、不耗時間、不改變狀態,而且保留所有後續可選行動。收到觀察後,只要忽略它,就仍可執行任何舊政策。因此,在擴大的政策集合中取最大值,不會降低最優獎勵期望。對損失而言,最優損失期望不會增加。收費檢查、行動延誤或受限制的控制器,未必滿足這些假設。
對一次終端決策,同一論證亦可用代數核對。若觀察 y 的概率為 、後驗為 ,在每個 y 分別選最佳行動,至少不比事先統一選同一行動差,因為 。不等式比較的是最優表現的期望;個別不幸觀察仍可能對應更差的實際結果。
控制算例
例題 21.1.5
(警報會改變決策,卻不會揭示實際狀態)
設備狀況為故障 F 或良好 G,先驗 。在狀態不變的測試中,警報 + 的概率為 、。因此 ,貝葉斯(Bayes)公式給出 。負報告的概率為 ,故障後驗為 。
現只作一次終端決策:若故障仍操作,損失為 10;若良好,損失為零。另一選項是終端修理,固定損失為 3;這個教學目標已把修理的全部後果包含於該數值。故障信念為 b 時,操作的損失期望為 ,修理為 3。當 時修理最優;等號時兩者均最優。沒有測試時,選操作,損失期望為 2;警報後修理,負報告後操作。任何一種報告都沒有確定設備的實際狀況。
例題 21.1.6
(資訊應按決策改善定價,而非只看熵)
上述測試收費 ,且不延誤、不改變狀態。先測試再作最優行動的損失期望為
相對原來損失 2,改善了 。不計測試費,測試後的行動損失期望是 ,故測試費至多為 時,測試才不差於直接行動。收費 1 的測試仍有資訊,卻不值得在此購買。比較本來就容許忽略報告;取得資訊並不強迫改變行動。
例題 21.1.7
(重設先改變預測,然後才用新警報修正)
改看另一個持續控制模型:警報後故障信念為 ,重設以 概率修好故障設備,良好設備則保持良好。這個轉移模型不能套用前例的終端修理假設。重設後的預測故障概率為 。再由同一感測器收到警報,便有
若直接用舊信念 更新警報,則會得到 ;那描述的是沒有重設、只再感測一次的情況。差異來自行動所改變的狀態預測,並不是貝葉斯公式有兩個版本。要判斷重設是否最優,還要給出其獎勵及尚餘時域;這個狀態估計算例並未指定兩者。
不同架構實作模型的不同部分
簡單反射智能體把目前觀察直接映射為行動。若這個觀察已包含決策所需的全部資訊,它可以足夠好。基於模型的智能體保留內部狀態;後驗 b 是一種有明確數學定義的選擇。基於目標的規劃者尋找通往可接受狀況的行動;基於效用的規劃者還可比較成本、風險或延誤不同的可接受結果。這些是架構描述,並非「後列名稱在每項任務都更好」的定理。
信念濾波器配合上述單步門檻,就是該終端問題的一種基於模型、按效用選擇的控制器。以有限時域動態規劃代替門檻,就可計算後續獎勵與觀察。學習部分可以由數據估計 T 或 Z,但控制定理假設這些核已指定。代入估計值,不等於已證明它們就是真實模型。若參數不確定性重要,就必須表示它,例如把固定而未知的模式加入隱藏狀態。
反例模式
同一最新報告可以要求不同的行動
保留靜態設備與條件獨立報告的模型。先驗故障勝算為 ;警報把勝算乘以 8,負報告則乘以 。三次報告歷史 給出勝算 ,故後驗為 ;歷史 給出勝算 ,故後驗為 。兩者最新符號都是 +,歷史長度相同,亦同樣只餘一次終端決策,但損失門檻要求前者修理、後者操作。只依賴最新符號及時間索引的確定規則,不可能同時作出這兩個選擇。修補方法是記住相關歷史,而非替智能體換一個更複雜名稱。
期望最優性總是相對於模型而言。錯誤失敗成本會改變門檻;相關感測誤差會使似然比相乘失效;會演變的設備會使靜態計算不適用。反過來,即使選擇理性,某次仍可能因低概率狀態出現而失敗。評估時應分清楚目標規格、狀態估計、政策計算與實際結果。
常見錯誤
常見錯誤
(行動之後略去預測步驟)
重設之後,若把警報的似然直接用在舊信念 上,得到 ;模型的正確結果是 。貝葉斯公式應用於預測信念 ,而非先前的信念 ,因為行動可能在報告產生之前已改變狀態。只有當 不改變狀態時,才可直接使用 。
常見錯誤
(以單次實際結果評斷決策)
負報告之後,故障信念為 ,操作是最優選擇。在其餘 的情況下設備確實故障,損失為 10。這個結果並不表示決策不理性:選擇應按作出決定時、模型下的損失期望評核;若這類意外反覆出現,它反映的是模型有問題。
常見錯誤
(以為凡有資訊的測試都值得購買)
在損失為 3 的問題中,含雜訊測試至多值 ,所以收費 1 時應拒絕,即使報告確實改變了信念。資訊的價值取決於它帶來的決策改善;若報告不能改變最優行動,它就毫無價值。
練習
快速檢查
(監察器只按成功報告的真故障數目得分,沒有誤報罰分。解釋為何每次都發警告可以最大化該指標。提出一個分別計算漏報、誤報與檢查成本的有限目標,並列出相應 PEAS 項目。)
先問這個得分獎勵甚麼、不懲罰甚麼。
解答 · 答案
若每個真故障只要報告就得分,每次報告便可取得全部可得分數;多餘警告沒有指定成本。一種有限序列的損失是 ,其中 M 是漏報數、F 是誤報數、I 是付費檢查數,各係數為指定正數。目標是最小化其期望,並把延後後果包含於選定時域。表現指標是此損失;環境包括故障產生與演變;執行器可報告、檢查或暫不報告;感測器是已有讀數。係數表達任務偏好,須由評核者提供理由。
快速檢查
(在上述靜態感測模型,用聯合概率推導負報告後驗。若終端修理成本改為 ,求感測前及每種報告後的最優行動。)
先算兩個聯合概率再正規化;把各信念與新門檻比較。
解答 · 答案
負報告與故障的聯合概率為 ,負報告與良好的聯合概率為 ,正規化得到 。新門檻為 。先驗 與警報後驗 都較大;連 ,所以負報告後仍應修理。此時測試改變信念,卻不改變終端行動;未計測試費之前,它的決策價值為零。
快速檢查
(在原來修理損失為 3 的問題,免費完美檢查之後的終端行動損失期望是多少?最高值得支付多少檢查費?解釋為何與含雜訊測試的 門檻不同。)
完美檢查之後,後驗不是 0 就是 1;把所得行動損失與 2 比較。
解答 · 答案
完美檢查以 概率揭示 F、以 概率揭示 G,只在 F 修理,故行動損失期望為 。相對未感測的損失 2,最高值得付 。含雜訊報告有時引致不必要修理,有時遺漏故障,行動損失期望因而為 。更多資訊可以擴大依觀察而選政策的空間,但每種測試均須根據實際決策問題定價。
快速檢查
(觀察核滿足 ,與 無關。證明每個正概率觀察都不改變預測信念。這是否表示行動本身不能改善物理狀況?)
把 代入更新公式的分子與分母。
解答 · 答案
分母是 。分母為正時約去該因子,得 。給定所選行動,這個感測器沒有額外狀態資訊。但轉移 T 仍可把故障狀態移至良好狀態;缺乏資訊與缺乏物理控制,是兩種不同性質。
快速檢查
(某信念下,兩個首個行動的值(已包括最優後續行動)為 4 與 7。政策以 概率選第一個。求其期望值,並解釋確定政策的結論。為何此計算沒有證明某個固定行動在所有信念都最優?)
按給定權重對兩個值取平均。
解答 · 答案
隨機政策的值為 ,確定選第二個行動可達到 7。論證是在目前信念與尚餘時域,比較使用同一組正確後續值的行動。換一個信念或時域,排序可能倒轉,所以不能推出有一個到處最優的固定行動。