跳到正文

CSCI3320

機器學習之基礎課程

統計決策、線性判別、密度估計、潛在模型與因子模型、聚類、正則化、模型選擇與評估、決策樹及多層網絡。

26 章 · 28 節EN · 繁 · 简
我的課程筆記

你的進度

0/ 28 節已標記完成

下一節: 決策、估計與線性表示

完成記錄儲存在此瀏覽器中。

這門課在網上

CSCI3320 筆記裏的內容

定理卡
70
定義
53
反例
30
概念視角
21
思想史
6
證明透視
33

有思想史的節

這些思想史還沒有放上時間線。

這門課的概念視角還沒有記錄到網上。

在知識圖譜中打開這門課

數字只算這門課 28 節公開筆記裏寫了甚麼,不是網上已記錄的關係。目前其中 0 節已細緻地記錄到網上。

在網上定理卡 70 · 定義 53 · 反例 30 · 概念視角 21 · 思想史 6 · 證明透視 33

這些思想史還沒有放上時間線。

這門課的概念視角還沒有記錄到網上。

在知識圖譜中打開這門課

數字只算這門課 28 節公開筆記裏寫了甚麼,不是網上已記錄的關係。目前其中 0 節已細緻地記錄到網上。

第 1 章 · 1 節

統計基礎與線性幾何

區分預測損失與似然,推導最小二乘,並比較奇異值分解及費歇判別的幾何目的。

定理 3 · 定義 2反例 1視角 1證明透視 1

本章骨架 →在網上看本章 →本章還沒有記錄到網上

  1. 1.1

    決策、估計與線性表示

    區分預測損失與似然,推導最小二乘,並比較奇異值分解及費歇判別的幾何目的。

第 2 章 · 1 節

潛在概率模型

推導 EM 下界,計算高斯混合更新,並分析協方差塌縮與潛在因子的不可識別性。

定理 3 · 定義 2反例 1視角 1證明透視 1

本章骨架 →在網上看本章 →本章還沒有記錄到網上

  1. 2.1

    高斯混合、EM 與因子模型

    推導 EM 下界,計算高斯混合更新,並分析協方差塌縮與潛在因子的不可識別性。

第 3 章 · 1 節

聚類、正則化與模型選擇

證明 k-means 下降與圖拉普拉斯恆等式,再推導嶺回歸及稀疏收縮,並審慎處理模型選擇。

定理 3 · 定義 4反例 2視角 1證明透視 1

本章骨架 →在網上看本章 →本章還沒有記錄到網上

  1. 3.1

    聚類幾何、圖結構與小樣本控制

    證明 k-means 下降與圖拉普拉斯恆等式,再推導嶺回歸及稀疏收縮,並審慎處理模型選擇。

第 4 章 · 1 節

因子模型的估計與概率主成分分析

推導高斯後驗充分統計量,完成因子分析的 EM 更新,並說明等方差噪音與主成分的關係。

定理 3 · 定義 2反例 1思想史 1證明透視 2

本章骨架 →在網上看本章 →本章還沒有記錄到網上

  1. 4.1

    因子模型的估計與概率主成分分析

    推導高斯後驗充分統計量,完成因子分析的 EM 更新,並說明等方差噪音與主成分的關係。

第 5 章 · 1 節

正規化割與多路譜聚類

建立相似度圖,推導正規化割的跡鬆弛,並完成譜嵌入、行正規化及離散分組。

定理 2 · 定義 2反例 1思想史 1證明透視 1

本章骨架 →在網上看本章 →本章還沒有記錄到網上

  1. 5.1

    正規化割與多路譜聚類

    建立相似度圖,推導正規化割的跡鬆弛,並完成譜嵌入、行正規化及離散分組。

第 6 章 · 1 節

NMF 求解:乘法下降與非負最小二乘

以有效輔助函數證明下降,分析零鎖定,並推導交替非負最小二乘方法。

定理 2 · 定義 2反例 1視角 1思想史 1證明透視 1

本章骨架 →在網上看本章 →本章還沒有記錄到網上

  1. 6.1

    NMF 求解:乘法下降與非負最小二乘

    以有效輔助函數證明下降,分析零鎖定,並推導交替非負最小二乘方法。

第 7 章 · 1 節

RPCL 與學習過程中的模型選擇

精確指定頻率敏感的對手懲罰,分析局部作用與限制,並對照明確的懲罰式增刪程序。

定理 2 · 定義 2反例 1思想史 1證明透視 1

本章骨架 →在網上看本章 →本章還沒有記錄到網上

  1. 7.1

    RPCL 與學習過程中的模型選擇

    精確指定頻率敏感的對手懲罰,分析局部作用與限制,並對照明確的懲罰式增刪程序。

第 8 章 · 1 節

相關預測變量的稀疏求解與誠實驗證

推導一般設計下的 lasso 坐標與近端更新,證明下降及擬合值唯一性,並區分調參與評估。

定理 3 · 定義 2反例 1視角 1證明透視 1

本章骨架 →在網上看本章 →本章還沒有記錄到網上

  1. 8.1

    相關預測變量的稀疏求解與誠實驗證

    推導一般設計下的 lasso 坐標與近端更新,證明下降及擬合值唯一性,並區分調參與評估。

第 9 章 · 2 節

資訊量度

有限交叉熵、相對熵與對數損失。

定理 6 · 定義 5反例 2證明透視 2

本章骨架 →在網上看本章 →本章還沒有記錄到網上

  1. 9.1

    交叉熵與相對熵

    證明有限分佈的非負性,並把對數損失連接到經驗頻率。

  2. 9.2

    互資訊與數據處理不等式

    推導有限互資訊、其鏈式法則及數據處理不等式。

第 10 章 · 2 節

風險與正則化

重複訓練下的期望平方損失與收縮。

定理 3 · 定義 2反例 2視角 2證明透視 2

本章骨架 →在網上看本章 →本章還沒有記錄到網上

  1. 10.1

    平方損失下的偏差、方差與收縮

    推導逐點預測風險,並以收縮例子量化偏差與方差的取捨。

  2. 10.2

    以譜收縮理解嶺迴歸

    利用奇異值分解推導嶺迴歸係數與擬合值,涵蓋秩不足的設計矩陣。

第 11 章 · 1 節

排序與評估

ROC 曲線、分數並列及排序概率。

定理 1 · 定義 1反例 1視角 1證明透視 1

本章骨架 →在網上看本章 →本章還沒有記錄到網上

  1. 11.1

    ROC 曲線、並列分數與排序概率

    構造經驗 ROC 曲線,並證明梯形 AUC 對並列分數作半分處理的配對解釋。

第 12 章 · 1 節

隨機優化

無偏隨機梯度與期望下降。

定理 3 · 定義 2反例 1證明透視 2

本章骨架 →在網上看本章 →本章還沒有記錄到網上

  1. 12.1

    小批量隨機梯度與期望下降

    在明確抽樣假設下,推導無偏小批量梯度及光滑有限和的下降界。

第 18 章 · 1 節

密度估計的不確定性

在指定網格上區分有限樣本抽樣誤差與平滑偏差。

定理 2 · 定義 1反例 1視角 1證明透視 1

本章骨架 →在網上看本章 →本章還沒有記錄到網上

  1. 18.1

    有限網格上的密度不確定性

    推導箱形核估計的有限網格同時置信帶,區分抽樣誤差與平滑偏差,並處理有限候選帶寬的自適應選擇。

第 19 章 · 1 節

線性判別

費歇方向、分類與奇異散佈。

定理 3 · 定義 1反例 1視角 1證明透視 2

本章骨架 →在網上看本章 →本章還沒有記錄到網上

  1. 19.1

    Fisher 判別:散佈、投影方向與分類

    推導 Fisher 方向,分清投影準則與決策規則,並處理奇異散佈矩陣及特徵單位改變。

第 20 章 · 1 節

多類決策與核估計的準確度

最小化完整條件成本矩陣,比較代入式估計,並證明一維核密度的偏差、方差及積分誤差率。

定理 3 · 定義 2反例 1視角 1證明透視 2

本章骨架 →在網上看本章 →本章還沒有記錄到網上

  1. 20.1

    多類決策與核估計的準確度

    最小化完整條件成本矩陣,比較代入式估計,並證明一維核密度的偏差、方差及積分誤差率。

第 21 章 · 1 節

計算與核對低秩表示

推導兩種有限近似界,以間隙控制載荷擾動,並執行中心化主成分擬合與冪次迭代。

定理 3 · 定義 2反例 1視角 1證明透視 2

本章骨架 →在網上看本章 →本章還沒有記錄到網上

  1. 21.1

    計算主成分:奇異值、譜間隙與可靠重建

    擬合中心化的低秩表示,證明譜近似與有限擾動界,並辨認冪次迭代所需的假設。

第 22 章 · 1 節

層次聚類

用連結法與門檻圖解讀凝聚式樹狀圖。

定理 2 · 定義 2反例 1視角 1證明透視 1

本章骨架 →在網上看本章 →本章還沒有記錄到網上

  1. 22.1

    層次聚類:連結法與樹狀圖

    建立並解讀凝聚式樹狀圖,證明單連結與圖的關係,並比較連結規則。

第 23 章 · 1 節

Ward 聚類

推導基於方差的合併代價並構造層次聚類。

定理 2 · 定義 1反例 1視角 1證明透視 1

本章骨架 →在網上看本章 →本章還沒有記錄到網上

  1. 23.1

    Ward 聚類:方差與合併代價

    推導合併兩組時組內平方誤差的增量,並用它構造層次聚類。

第 24 章 · 1 節

局部密度構造與多變量平滑

構造近鄰及反射核估計,證明逐點一致性,並完整計算矩陣帶寬比較。

定理 3 · 定義 2反例 1視角 1證明透視 1

本章骨架 →在網上看本章 →本章還沒有記錄到網上

  1. 24.1

    構造局部密度估計:近鄰、邊界與帶寬

    計算近鄰密度高度,證明逐點一致性,修正支撐邊界,並在避免自身計數下選擇多變量高斯帶寬。

第 25 章 · 1 節

近鄰分類

聯繫局部類別投票、貝葉斯決策與逐點一致性。

定理 1 · 定義 1反例 1證明透視 1

本章骨架 →在網上看本章 →本章還沒有記錄到網上

  1. 25.1

    近鄰分類:局部投票與一致性

    構造局部類別投票,聯繫貝葉斯決策,並在明確條件下證明逐點一致性。

第 26 章 · 1 節

樂觀偏差、有效維度與資訊準則

證明有限高斯預測修正,推導線性模型 AICc,並界定 AIC 的似然論證與 BIC 的 Laplace 條件。

定理 3 · 定義 2反例 1視角 1思想史 1證明透視 1

本章骨架 →在網上看本章 →本章還沒有記錄到網上

  1. 26.1

    樂觀偏差、有效維度與資訊準則

    證明有限高斯預測修正,推導線性模型 AICc,並界定 AIC 的似然論證與 BIC 的 Laplace 條件。

第 27 章 · 1 節

巢狀選擇與程序評估

執行內層選擇與外層重新擬合,計算精確有限例子,區分較小樣本程序風險與最終預測器風險。

定理 3 · 定義 2反例 2視角 1證明透視 1

本章骨架 →在網上看本章 →本章還沒有記錄到網上

  1. 27.1

    巢狀交叉驗證:內層選擇與外層評估

    執行有限的巢狀選擇算法,推導精確的外層風險目標,重現六點精確計算,並辨認合併洩漏與相依的分摺誤差。

第 28 章 · 1 節

概率校準與決策成本

透過精確有限 Brier 恆等式,區分概率可靠性、保留的資訊與決策風險。

定理 2 · 定義 3反例 1視角 1思想史 1證明透視 1

本章骨架 →在網上看本章 →本章還沒有記錄到網上

  1. 28.1

    概率校準:Brier 分解與決策成本

    證明有限二元 Brier 分解,完整計算人造校準表,並區分分數可靠性、保留的資訊與成本敏感決策。

第 29 章 · 1 節

線性分類器

透過間隔處理感知機、邏輯回歸與最大間隔分類。

定理 4 · 定義 2反例 1視角 1證明透視 1

本章骨架 →在網上看本章 →本章還沒有記錄到網上

  1. 29.1

    線性分類器:感知機、邏輯回歸與最大間隔

    定義線性分類器的間隔,證明感知機的錯誤次數上界,推導邏輯損失的梯度與凸性,並精確計算硬間隔分離超平面。

第 30 章 · 1 節

多層網絡

前饋網絡,以及梯度的精確反向傳播計算。

定理 2 · 定義 2反例 1視角 1證明透視 1

本章骨架 →在網上看本章 →本章還沒有記錄到網上

  1. 30.1

    多層感知機與反向傳播

    定義前饋網絡,證明為何需要非線性激活函數,推導並證明反向傳播遞推式,並以手算驗證精確梯度與異或網絡。

第 31 章 · 1 節

決策樹

貪心的分類樹與回歸樹,及代價複雜度剪枝。

定理 3 · 定義 2反例 1視角 1證明透視 1

本章骨架 →在網上看本章 →本章還沒有記錄到網上

  1. 31.1

    決策樹:基尼不純度、回歸樹與代價複雜度剪枝

    以貪心的軸向分割生長分類樹與回歸樹,證明分割準則背後的凹性與方差下降恆等式,並精確計算代價複雜度剪枝。

Vercel 瀏覽統計與公開頁面效能量度均須分別取得同意,兩者均非使用網站的必要條件。

網站功能儲存(按需使用)

安全、登入及你選擇的偏好會按需使用儲存,與可選統計分開處理。

撤回會停止後續統計;需要卸載已載入的統計程式時,頁面會重新載入。已傳送的資料不會因此刪除。

查看 Cookie 與儲存詳情