News 👇👇

Most of my time now is focused on LLM/VLM Inference. Please check 📖Awesome-LLM-Inference , 📖Awesome-SD-Inference and 📖CUDA-Learn-Notes for more details.

📒Introduction

《统计学习方法-李航: 笔记-从原理到实现》 这是一份非常详细的学习笔记，200页，各种手推公式细节讲解，整理成PDF，有详细的目录，可结合《统计学习方法》提高学习效率。如果觉得有用，不妨给个🌟Star支持一下吧~

©️Citations

@misc{statistic-learning-R-note@2019,
  title={statistic-learning-R-note: A detail note book of statistic-learning with R codes},
  url={https://github.com/DefTruth/statistic-learning-R-note},
  note={Open-source software available at https://github.com/DefTruth/statistic-learning-R-note},
  author={DefTruth},
  year={2019}
}

🎉Download PDFs

• 李航《统计学习方法》笔记--从原理到实现：基于R.pdf 👆🏻<点击下载!>

wget https://github.com/DefTruth/statistic-learning-R-note/releases/download/v0.1.0/statistic.learning.R.Note.v0.1.0.pdf

📖Contents

• 第一章 统计学习方法概述
  • 1.6.2 泛化误差上界（P16-P17）
  • 1.4.2 过拟合与模型选择（P11）
• 第二章 感知机
  • 2.3.1 感知机算法的原始形式
  • 2.3.2 算法的收敛性（Novikoff 定理）（P31-P33）
  • 2.3.3 感知机学习算法的对偶形式（P33-P34）
  • 2.3.1 感知机算法的原始形式（P28-P29）
  • 2.3.3 感知机学习算法的对偶形式（P33-P34）
• 第三章 K 近邻法
  • 3.2.2 距离度量（P39）
  • 3.3.1 构造kd 树（P41-P42）
• 第四章 朴素贝叶斯算法
  • 4.1.1 基本方法（P47-P48）
  • 4.1.2 后验概率最大化的含义（P48-49）
  • 4.2.1 极大似然估计（P49）
  • 4.2.2 学习与分类算法（P50-51）
• 第五章 决策树
  • 5.2.2 信息增益（P60-P61）
  • 5.2.3 信息增益比（P63）
  • 5.3.1 ID3 算法/C4.5 算法（P63-P65）
  • 5.4 决策树的剪枝（P65-P67）
  • 5.5.1 CART 生成（P68-P71）
  • 5.5.2 CART 剪枝（P72-P73）
• 第六章 逻辑斯蒂回归与最大熵模型
  • 6.1.3 逻辑斯蒂回归模型的参数估计（P79）
  • 6.2.3 最大熵模型的学习（P83-P85）
  • 6.2.4 极大似然估计（P87）
  • 6.3.1 改进的迭代尺度算法（P89-P91）
• 第七章 支持向量机
  • 7.1.3 间隔最大化（P101）
  • 7.1.4 学习的对偶算法（P104）
  • 7.2.3 支持向量（P113）
  • 7.4 序列最小最优化算法（P126）
• 第八章 提升方法
  • 8.1.2 Adaboost 算法（P139）
  • 8.2 AdaBoost 算法的训练误差分析（P142-P145）
  • 8.3.2 前向分步算法与 AdaBoost（P145-P146）
  • 8.4.3 梯度提升（P151）
  • 8.1.3 AdaBoost 的例子（P140）
• 第九章 EM 算法及其推广
  • 9.2 EM 算法的收敛性（P161）
  • 9.3.1 高斯混合模型（P163）
  • 9.4 EM 算法的推广（P167）
  • 9.3.1 高斯混合模型的 EM 算法（165）
• 第十章 隐马尔可夫模型
  • 10.2.2 前向算法（P175-P176）
  • 10.2.3 后向算法（P178-P179）
  • 10.4.2 维特比算法（P185）
  • 10.2.4 一些概率与期望值的计算（P179-P180）
  • 10.2.2 前向算法（P175-P177）
  • 10.2.3 后向算法（P178）
  • 10.2.4 一些概率与期望值的计算（P179-P178）
  • 10.3.1 监督学习方法（P180）
  • 10.3.2 Baum-Welch 算法（P181-P184）
  • 10.4.1 近似算法（P184）
  • 10.4.2 维特比算法（P185-P186）
• 十一章 条件随机场
• 参考文献
• 附录 1 例 1.1 的 R 实现/训练误差与预测误差的对比
• 附录 2 线性可分/不可分感知机的 R 实现
• 附录 3 离散特征的 2 维平衡 kd 树 R 代码
• 附录 4 离散特征的朴素贝叶斯法 R 代码
• 附录 5 决策树的实现的 R 代码
• 附录 6 逻辑斯蒂回归及最大熵模型的 R 实现
• 附录 7 基于 SMO 算法的支持向量机的 R 实现
• 附录 8 提升算法的 R 代码
• 附录 9 EM 算法的 R 实现
• 附录 10 HMM 模型的 R 实现

©️License

GNU General Public License v3.0

🎉Contribute

🌟如果觉得有用，不妨给个🌟👆🏻Star支持一下吧~