5.1 線性預測、間隔與感知機

二元線性分類的原創補充筆記。

1. 輸出是標籤，而不是擬合的數值

迴歸與分類可以使用同一批特徵向量，卻解不同的數學問題。迴歸分數的好壞取決於其數值多接近響應；二元分類器則用分數在兩個標籤中作選擇。把負一和正一這些數值擬合得好，未必把決策邊界放在合適位置。

所需基礎是實向量與內積、Cauchy–Schwarz、仿射函數、有限和，以及有限維 Euclidean 空間中有界序列的子序列緊性。既有最小二乘筆記提供第一題重用的設計矩陣和正規方程結果。Fisher 判別已從有標籤散布選取分數，其目標不同於下文的分隔不等式。度量學習使用平方距離間隔，也必須與到超平面的距離區分。

固定有限且非空的訓練列表

$$(x_i,y_i),\qquad i=1,\ldots,m,\qquad x_i\in\mathbb R^d,\quad y_i\in\{-1,+1\}, \quad m\geq1,\quad d\geq1.$$

容許重複輸入，且它們的標籤可能不一致。本節所有結論都針對這個固定有限列表，不假定抽樣分佈，也不聲稱未來預測誤差的保證。

分數與預測約定。 參數對 $(w,b)\in\mathbb R^d\times\mathbb R$ 定義仿射分數及分類器

$$f_{w,b}(x)=w^\top x+b,\qquad h_{w,b}(x)= \begin{cases} +1,&f_{w,b}(x)\geq0,\\ -1,&f_{w,b}(x)<0. \end{cases}$$

所以零分數預測正類。分數對參數是線性的，但當截距 b 非零時，對 x 是仿射的。經驗分類錯誤率為

$$\operatorname{err}(w,b) =\frac1m\sum_{i=1}^m 1_{\{h_{w,b}(x_i)\ne y_i\}}.$$

它不是最小二乘目標 $\sum\limits_i(y_i-f_{w,b}(x_i))^2$。後者懲罰數值偏差的大小，前者則數出閾值化後的錯誤標籤。第一題給出兩者結論不同的精確數據。

帶符號分數 $y_i f_{w,b}(x_i)$ 很方便：正值表示樣本離開邊界且分類正確。但零值本身不能判定正確與否。按我們的規則，正標籤的零分數正確，負標籤的零分數則錯誤。因此，對所有 i 有 $y_i f_{w,b}(x_i)\geq0$，並不等價於此平局約定下的零分類錯誤。

若存在某 $(w,b)$，使每個 i 都有 $y_i f_{w,b}(x_i)>0$，稱列表為嚴格仿射可分。嚴格分隔比僅接受正類平局更強；這正是間隔及停止定理使用的假設。

2. 距離、函數間隔與幾何間隔

先設 $w\ne0$。方程 $w^\top x+b=0$ 定義真正的超平面 H。它非空，因 $-bw/\|w\|^2$ 位於其中。w 不僅給出法向方向，亦指定定向：正分數位於 w 指向的一側。

距離命題。 對每個 $x\in\mathbb R^d$，其在 H 上的唯一最近點和到 H 的距離為

$$p(x)=x-\frac{f_{w,b}(x)}{\|w\|^2}w,\qquad \operatorname{dist}(x,H)=\frac{|f_{w,b}(x)|}{\|w\|}.$$

代入可得 $w^\top p(x)+b=0$。對任意 $q\in H$， $w^\top(x-q)=f_{w,b}(x)$，所以 Cauchy–Schwarz 給 $\|x-q\|\geq |f_{w,b}(x)|/\|w\|$。上述 p 達到此界。要明確證唯一性，分解 $x-q=(x-p)+(p-q)$。第一個向量平行 w，第二個垂直 w，故 $\|x-q\|^2=\|x-p\|^2+\|p-q\|^2$。要等於最小距離，必須 $q=p$。

特別地，原點到 H 的距離是 $|b|/\|w\|$，一般不是 b。原點的最近點為 $-bw/\|w\|^2$，其沿定向單位法向量的座標是 $-b/\|w\|$。

距離計算例。 取 $w=(3,4)^\top$、$b=-10$、$x=(2,2)^\top$。則 $\|w\|=5$、$f(x)=4$，且

$$p=\left(\frac{38}{25},\frac{34}{25}\right)^\top, \qquad 3p_1+4p_2=10,\qquad \|x-p\|=\frac45.$$

若此點的標籤為正一，而原點標籤為負一，兩者帶標籤符號的距離分別為 $4/5$ 和二，最小值遂為 $4/5$。

對固定列表，定義函數間隔 $a(w,b)=\min\limits_i y_i f_{w,b}(x_i)$。當 $w\ne0$，定義帶符號幾何間隔

$$\delta(w,b)=\frac{a(w,b)}{\|w\|} =\min_i\frac{y_i(w^\top x_i+b)}{\|w\|}.$$

若 $a>0$，幾何間隔是訓練點到超平面的最小距離，而且全部位於指定側。若 $a\leq0$，它是帶符號量，不是正的穩健半徑。

對 $\lambda>0$，以 $(\lambda w,\lambda b)$ 代 $(w,b)$，會保持每個預測和超平面，把 a 乘 $\lambda$，並保持 $\delta$。因此，嚴格正的函數間隔可以藉參數伸縮變得任意大，而決策邊界完全不動。w 和 b 必須一起伸縮。例如 $2x+2=0$ 與 $x+1=0$ 的邊界相同，但只改 w 就會變成 $x+2=0$。負伸縮會反轉邊界外的分數符號；邊界上仍沿用正類平局約定。

有限數據穩健性。 若 $\delta(w,b)>0$ 且 $\|r_i\|<\delta(w,b)$，擾動後的訓練點 $x_i+r_i$ 仍嚴格分類正確。事實上，

$$y_i f_{w,b}(x_i+r_i) =y_i f_{w,b}(x_i)+y_i w^\top r_i \geq\|w\|\big(\delta(w,b)-\|r_i\|\big)>0.$$

半徑條件是嚴格的。對達到有限最小值的點，取 $r_i=-y_i\delta(w,b)w/\|w\|$ 便把它移到超平面。該處失去嚴格分隔，由平局規則決定預測；沿同方向稍加位移便會越過邊界。這是已觀測列表上的確定性擾動結論，不是機率界或泛化定理。

當 $w=0$，分數為常數。其零點集不是整個 $\mathbb R^d$ 就是空集，並非非退化超平面；不能除以 $\|w\|$。含兩種標籤的列表不可能由常數分數嚴格分隔，但單一類別的列表可以，所以兩種情形必須分開。

3. 增廣感知機：先固定更新，再作證明

把截距放在最後一個座標：

$$z_i=(x_i,1)\in\mathbb R^{d+1},\qquad \theta=(w,b),\qquad \theta^\top z_i=f_{w,b}(x_i),\qquad R=\max_i\|z_i\|=\max_i\sqrt{\|x_i\|^2+1}.$$

有限數 R 至少為一。若只用未增廣 x 的最大範數，便漏去截距座標。

假設存在單位向量 $v\in\mathbb R^{d+1}$ 及數 $\gamma>0$，使

$$\|v\|=1,\qquad y_i v^\top z_i\geq\gamma \quad\text{對每個 }i.$$

每個有限嚴格可分列表都有此類一對參數：任取非零嚴格分隔參數 $\theta_*$，令 $v=\theta_*/\|\theta_*\|$，並取 $\gamma=\min\limits_i y_i\theta_*^\top z_i/\|\theta_*\|$。有限多個嚴格正值的最小值仍正。反過來，此假設本身亦提供嚴格分隔器。Cauchy–Schwarz 還給 $\gamma\leq R$，所以毋須先知道最優間隔或先解間隔最佳化問題。

以下是一個確切演算法。

1. 設 $\theta=0$，更新次數 $t=0$。
2. 完整掃描指標 $1,\ldots,m$ 一輪，開始時把更新旗標設為假。
3. 到指標 i 時，若 $y_i\theta^\top z_i\leq0$，便以 $\theta+y_i z_i$ 代 $\theta$，把 t 加一，並把旗標設為真；否則保持不變。
4. 若整輪沒有更新便停止；否則再作完整一輪。

這裏刻意包含平局。若從零開始卻只在嚴格負分數更新，第一次更新根本不會發生。我們的條件亦會更新正標籤的零分數，即使預測規則把它判為正類。因此我們數的是誤分類或平局更新。真正預測錯誤是其中一部分，兩者的次數未必相等。

更新之間沒有正規化。單位步長和零初始化都是所證演算法的一部分。

更新次數界

令 $\theta_t$ 指恰好 t 次更新後的參數，不論已訪問多少數據點。若下一次更新的指標是 i，則

$$\theta_{t+1}^\top v =\theta_t^\top v+y_i z_i^\top v \geq\theta_t^\top v+\gamma.$$

由 $\theta_0=0$ 歸納，對每個真正發生的更新次數 T，都有 $\theta_T^\top v\geq T\gamma$。同一次更新又有

$$\begin{aligned} \|\theta_{t+1}\|^2 &=\|\theta_t\|^2+2y_i\theta_t^\top z_i+y_i^2\|z_i\|^2\\ &\leq\|\theta_t\|^2+R^2, \end{aligned}$$

因更新條件使中間項非正，而 $y_i^2=1$。再次歸納得 $\|\theta_T\|^2\leq TR^2$。

若 $T=0$，下述界立即成立。若 $T>0$，對單位 v 用 Cauchy–Schwarz：

$$T\gamma\leq\theta_T^\top v\leq\|\theta_T\| \leq R\sqrt T, \qquad T\leq\left(\frac R\gamma\right)^2.$$

這界控制總更新次數，所以亦控制此演算法所遇的真正預測錯誤次數。證明包含初始零向量，從沒有除以它的範數，也不要求 v 是最大間隔向量。

為何這個掃描真的停止

此界對每段真正發生的有限更新前綴都成立。若有無限更新，便可取長度大於 $(R/\gamma)^2$ 的整數長度前綴，矛盾。完整輪巡演算法不可能永遠運行：每個非末輪都有更新，無限多非末輪便給無限多更新。

若總更新數為 T，非末輪至多 T 輪，再加一個末輪，所以訪問數據點的次數至多 $m(T+1)$。末輪參數從未改變，每個訪問指標都滿足 $y_i\theta^\top z_i>0$。所有 m 個指標已檢查，故最後參數嚴格分隔整個訓練列表。

非空列表迫使至少一次更新，因初始全部帶符號分數皆零。因此最後參數非零，亦可從 $\theta_T^\top v\geq T\gamma>0$ 看出。可以最後才除以其正範數而不改預測；若每次更新後都這樣做，會改變遞推，須另作證明。

另一演算法可以每步完整搜尋有限列表，任選一個違反條件的指標，並僅在找不到時停止；同一更新界適用。但不公平地一直略過違反條件點的掃描，沒有這種證書。固定迭代上限亦不是證書，除非檢查全部最終不等式。次數界不會把任意掃描或停止規則自動變成本演算法。

一個有用的常數預測情形

只有一個正標籤樣本 $x_1=0$ 時，$z_1=(0,1)$、$R=1$，而 $v=(0,1)$ 有 $\gamma=1$。第一次更新給 $\theta=(0,1)$，再一輪無更新，恰達到 $T\leq1$ 的界。結果是常數分數一：增廣參數非零，但特徵法向量 w 為零。它是有效感知機結果，卻不能套特徵空間超平面距離公式。增廣不會消除這個區別。

4. 標準硬間隔：存在性必須處理截距

本節額外假設兩種標籤均出現，而有限列表嚴格仿射可分。標準硬間隔問題為

$$\min_{w\in\mathbb R^d,\ b\in\mathbb R}\frac12\|w\|^2 \quad\text{滿足}\quad y_i(w^\top x_i+b)\geq1,\quad i=1,\ldots,m.$$

截距 b 不受懲罰。這不是在增廣空間最小化 $\|\theta\|^2/2=(\|w\|^2+b^2)/2$。

可行集非空：若 $(u,c)$ 嚴格分隔，且 $a=\min\limits_i y_i(u^\top x_i+c)>0$，則 $(u/a,c/a)$ 可行。反過來，可行即嚴格分隔。兩種標籤皆有時，可行參數不能有 w 零，因正標籤要求 $b\geq1$，負標籤卻要求 $b\leq-1$。

有界可行次水平集上的取到性

選一組可行 $(w_0,b_0)$，令 $C=\|w_0\|>0$。固定一個正標籤指標 p、一個負標籤指標 q。每組 $\|w\|\leq C$ 的可行參數，其對應兩個約束給

$$b\geq1-w^\top x_p\geq1-C\|x_p\|, \qquad b\leq-1-w^\top x_q\leq-1+C\|x_q\|.$$

故即使目標不懲罰 b，相關次水平集上的 b 仍有界。令 K 為滿足 $\|w\|\leq C$ 且 b 在此固定閉區間中的可行參數。選定基準在 K。每個約束是連續仿射不等式，所以 K 閉；上述界使它在有限維 $\mathbb R^{d+1}$ 有界。

完整而言，取 K 中目標值趨於下確界的序列。有限維有界序列的子序列緊性給收斂子序列；閉性使極限在 K，$\|w\|^2/2$ 連續遂給 K 上最小值。任何 K 外可行參數必有 $\|w\|>C$，因在此範數球內的可行參數早已符合 b 的界。其目標因此大於基準值，故 K 上最小值也是所有可行參數的全域最小值。

這才證明取到。僅說約束閉，在無界集上不足夠；若沒有兩種標籤，單靠 w 的懲罰亦不會自動把 b 控制住。

法向量唯一

可行集凸，因兩個可行參數的任何凸組合都滿足各仿射約束。設 $(w_1,b_1)$、$(w_2,b_2)$ 都最小化，其可行中點的目標為

$$\frac12\left\|\frac{w_1+w_2}{2}\right\|^2 =\frac12\left(\frac{\|w_1\|^2}{2}+\frac{\|w_2\|^2}{2}\right) -\frac18\|w_1-w_2\|^2.$$

若 $w_1\ne w_2$，便嚴格小於共同最小值，矛盾，故最小化的 w 唯一。此論證沒有懲罰 b，也未證對 b 嚴格凸，不能從中推斷 b 的一般結論。第四題的特定約束將直接確定該例的 b 唯一。

為何這正是幾何間隔所需的範數

任取最優 $(w_*,b_*)$，令 $a_*=\min\limits_i y_i(w_*^\top x_i+b_*)$。可行給 $a_*\geq1$。若 $a_*>1$，把兩參數都除 $a_*$，仍可行且因 $w_*\ne0$ 而嚴格降低目標，矛盾。故 $a_*=1$，並且

$$\delta(w_*,b_*)=\frac1{\|w_*\|}.$$

對任何嚴格分隔 $(u,c)$，兩種標籤迫使 $u\ne0$。令 $a=\min\limits_i y_i(u^\top x_i+c)>0$，可行參數 $(u/a,c/a)$ 的法向量範數為 $\|u\|/a=1/\delta(u,c)$。由 $w_*$ 最優， $\|w_*\|\leq1/\delta(u,c)$，即 $\delta(u,c)\leq1/\|w_*\|$。最優參數本身達到等號，所以最大幾何間隔真正存在並被取到。

反過來，若嚴格分隔器達到此最大幾何間隔，把它伸縮至函數間隔一，目標便是 $1/(2\delta^2)$，等於最優值。因此在所列假設下，硬間隔形式與特徵空間幾何間隔最大化等價。伸縮的是參數，不是觀測特徵座標。

5. 增廣幾何是另一種幾何

感知機以 $\sqrt{\|w\|^2+b^2}$ 範數，估計相對於 $\mathbb R^{d+1}$ 單位向量的進展。其分隔假設在增廣空間；標準硬間隔則最小化特徵法向量範數 $\|w\|$，不懲罰 b。

即使約束同為 $y_i(w^\top x_i+b)\geq1$，最小化 $(\|w\|^2+b^2)/2$ 仍是不同目標。其距離在增廣空間量度，而數據最後一座標固定為一；它不自動等於只擾動原特徵可得到的距離。第四題會在同一對觀測上導出不同最優參數和特徵空間間隔。

兩種標籤的條件亦有實質作用。只有一個正樣本時，w 零、$b\geq1$ 使標準目標最小為零，而 b 可無界。最小化參數確實存在，但其特徵超平面退化；剛證的幾何間隔等價性不適用此情形。若相同輸入有相反標籤，兩個硬約束則直接矛盾，沒有可行參數。下列例子會明示分隔假設如何失效。

6. 定理究竟證明甚麼

感知機定理在嚴格可分有限數據上，保證有限次誤分類或平局更新，以及指定公平掃描的停止。其證明沒有最小化標準硬間隔目標，也沒有說最後參數是最大間隔解。

硬間隔定理在明確的可行模型中給出被取到的最優值，並證特徵法向量唯一。它沒有說每個分類數據集皆可分，也沒有說完美訓練分隔器能準確預測新數據。沒有使用軟間隔、核、對偶、KKT、機率界或浮點穩定性結果。

因此，常用檢查是模型本身的數學檢查：

• 解釋零帶符號分數前，先寫平局約定。
• 計算感知機半徑 R 時，包含常數座標。
• 分開數更新與訪問，並驗證完整無更新一輪。
• 比較同一超平面時，同時正規化 w 和 b。
• 檢查目標是否懲罰截距。
• 套間隔最優定理時，核對兩種標籤及嚴格分隔假設。

7. Questions 與完整詳解

Question 1: 最小二乘分數可選錯邊界

取一維輸入 $x=(-1,0,1,100)$、標籤 $y=(-1,-1,+1,+1)$。用既有正規方程定理擬合仿射最小二乘分數 $b+wx$。寫出二乘二系統，按正類平局規則計算四個預測，並與分數 $x-1/2$ 比較。解釋零分數對兩種標籤各如何預測，以及為何零特徵法向量沒有超平面距離公式。

詳解. 設計矩陣的橫行是 $(1,x_i)$，係數向量為 $(b,w)^\top$。直接有限求和得

$$A^\top A= \begin{bmatrix}4&100\\100&10002\end{bmatrix}, \qquad A^\top y=\begin{bmatrix}0\\102\end{bmatrix}.$$

第一正規方程給 $b=-25w$。代入第二式，$(10002-2500)w=102$，故

$$w=\frac{51}{3751},\qquad b=-\frac{1275}{3751},\qquad (f(x_1),f(x_2),f(x_3),f(x_4)) =\frac1{3751}(-1326,-1275,-1224,3825).$$

四個分數都非平局，閾值化得 $(-1,-1,-1,+1)$，只有輸入一分錯，經驗錯誤率 $1/4$。正規方程保證的是數值平方損失問題的最優值，不是標籤錯誤數目的最優值。

同一批輸入的分數 $g(x)=x-1/2$ 為 $(-3/2,-1/2,1/2,199/2)$。各帶符號分數都正，故分類錯誤零。它在100的大數值輸出可令平方損失昂貴，同時仍是正確的正類預測；兩目標並不矛盾。

分數零時，分類器輸出正一：正標籤正確、負標籤錯誤，但兩者帶符號乘積皆零，不能分辨。最後，w 零使分數為常數；其零水平集不是空集就是整條直線，不能除 $|w|$。常數預測規則可以定義，但非零法向量距離命題不適用。

Question 2: 用更新界前先追蹤每次訪問

使用固定順序 $((1,0),+1),((0,1),-1),((1,1),+1)$。以 $\theta=(0,0,0)$ 初始化上述增廣感知機，$z=(x_1,x_2,1)$。記錄每次訪問的帶符號分數和結果參數，僅在完整一輪無更新後停止。給出單位分隔器、R 和 $\gamma$，比較實際更新與訪問數及其界。

詳解. 每次帶符號分數都在該次更新之前計算。完整過程如下：

例如第二次訪問用 $z_2=(0,1,1)$、負一標籤，所以從 $(1,0,1)$ 減去此向量。第三次訪問標籤正、分數零；即使正類平局規則已正確預測，仍會更新。

共有 $T=4$ 次更新、三輪、九次訪問。取

$$v=\frac1{\sqrt5}(2,-1,0),\qquad (y_1v^\top z_1,y_2v^\top z_2,y_3v^\top z_3) =\frac1{\sqrt5}(2,1,1).$$

故 $\gamma=1/\sqrt5$。首兩個增廣向量範數 $\sqrt2$，第三個 $\sqrt3$，所以 $R=\sqrt3$。定理給 $T\leq R^2/\gamma^2=15$，有效但不緊。以實際 T 得訪問界 $m(T+1)=3(5)=15$，實際只有九次。

末輪很重要：三個正帶符號分數，對同一固定參數驗證整個列表。若更早只看到某一點正分數就停止，沒有此證書。最後參數嚴格分隔，但此計算沒有證明最大間隔最優性。

Question 3: 不同輸入的不可分與不一致標籤循環

先把 $(1,1),(-1,-1)$ 標為正類，$(1,-1),(-1,1)$ 標為負類，證沒有仿射分數嚴格分隔此 XOR 數據。再把同一一維輸入零列兩次，依次標正一、負一。明確展示零初始化感知機在重複掃描下的循環，並指出失效的定理假設。

詳解. 記仿射參數為 $(w_1,w_2,b)$。正類約束須有 $w_1+w_2+b>0$ 及 $-w_1-w_2+b>0$，相加得 $2b>0$。負類約束須有 $w_1-w_2+b<0$ 及 $-w_1+w_2+b<0$，相加得 $2b<0$，不可能。輸入互異並不保證仿射嚴格可分。

重複零輸入的兩個增廣向量都是 $(0,1)$，標籤相反。從 $(w,b)=(0,0)$ 開始，第一個正類帶符號分數零，更新得 $(0,1)$。負例隨後帶符號分數負一，減去 $(0,1)$ 又得 $(0,0)$。每個完整輪次都重複

$$(0,0)\longrightarrow(0,1)\longrightarrow(0,0).$$

每輪都有更新，故指定停止測試永不成功。不可能存在單位 v 和正 $\gamma$，同時滿足 $v^\top(0,1)\geq\gamma$、$-v^\top(0,1)\geq\gamma$，因相加會得 $0\geq2\gamma$。所以更新定理不適用，反覆出現的零參數亦不能正規化。

第二列表不只是仿射幾何失效：任何確定性標籤規則在同一輸入都不能同時輸出兩個不同標籤。引用分隔假設不成立的定理，不能解決兩例。本節沒有聲稱任何非線性或核構造。

Question 4: 偏置懲罰會改變分隔線

一維中，正例在一、負例在負五。推導不懲罰 b 的標準硬間隔最優解和特徵空間幾何間隔，再在同一約束下最小化 $(w^2+b^2)/2$，比較邊界和間隔。最後刪去負例，解釋退化情形，不可錯稱不存在最小值。

詳解. 兩個約束是

$$w+b\geq1,\qquad 5w-b\geq1.$$

相加給 $6w\geq2$，所以 $w\geq1/3$。標準目標 $w^2/2$ 因此在 $w=1/3$ 最小，只需驗可行。該處兩約束分別要求 $b\geq2/3$ 和 $b\leq2/3$，故 $b=2/3$。兩式均等號，證明可行，亦證本特例的 b 唯一。邊界是 $x=-b/w=-2$，兩點到它皆距離三；等價地，函數間隔一而 $\delta=1/|w|=3$。標準目標值為 $1/18$。

對增廣目標，正類約束及 Cauchy–Schwarz 給

$$w^2+b^2\geq\frac{(w+b)^2}{2}\geq\frac12.$$

等號須 $w=b$ 且 $w+b=1$，唯一可能是 $w=b=1/2$。它亦符合另一約束，因 $5/2-1/2=2\geq1$。所以它是唯一增廣範數最優解，目標值 $1/4$。

其邊界為 $x=-1$，正點距離二、負點距離四，故最小特徵空間間隔二。兩分類器訓練錯誤都零，但標準特徵間隔三較大。目標值來自不同目標，不能當成同一損失的競爭量度。

$(1/2,1/2)$ 的增廣間隔是 $1/\sqrt{1/2}=\sqrt2$，特徵間隔卻是二。標準參數的增廣範數為 $\sqrt5/3$，故增廣間隔 $3/\sqrt5$。這些數值明確展示兩種幾何。

若刪去負例，僅餘約束 $w+b\geq1$。所有 $w=0,b\geq1$ 都把標準目標取到零。存在性沒有失敗，但 b 不唯一，特徵法向量為零。非退化超平面間隔定理假設兩種標籤，不能套在此處。事實上固定單位法向量 $w=1$ 並增大 b，此單點的特徵間隔任意大，所以真正超平面之間沒有有限的最大間隔。這正是常數預測最優值與兩標籤幾何等價性的不同情形。

8. 知識連接與補充範圍

同一實特徵表可用於數值迴歸、有標籤投影、學習距離幾何及二元分類。由目標與輸出決定哪種計算合適。Fisher 方向未必解硬間隔約束，近鄰平方距離間隔亦不是本節推導的幾何量。

要計算光滑二次損失，可讀二次函數的梯度下降法；要區分擬合與評估，可讀模型驗證與嶺迴歸。這些連接不會把本節有限數據定理變成統計預測保證。

已證的端點是二元仿射幾何、指定感知機的更新及停止界，以及有限嚴格可分且兩種標籤皆有時被取到的標準硬間隔。軟間隔、核、對偶形式、多類模型及機率泛化是其他主題。上述四道題及完整詳解都是原創。