Hello Friends! Click Here！
也许仅仅是这样的一个开始，就改变了人生 🎉初次见面 创建网站之初，就是为了记录自己的学习过程 以及记录我自己的学习历程和一些心得 也许其中的某一篇文章能够切切实实帮到你，我会感到开心 ✅目前已经完成的学习计划 学习C++语言 (2024.11.17-2024.11.25) 学习git的基本用法与扩展 (2024.11.26-2024.11.27) 学习Cmake的基本知识和用法 (2024.11.27-2024.11.28) 学习OpenCV 学习ing (2024.12.1-2024.12.31) 学习Python (2025.3.14-2025.3.31) 学习算法数据与结构 🪄个人正在准备的赛事 Robomaster 腾讯开悟人工智能大赛 大学生创新创业大赛 ✨目前的学习重心 视觉算法开源 深度学习入门 🪄个人的长期学习计划 学习...
第1章：绪论 — 西瓜书学习笔记
本文是周志华《机器学习》（西瓜书）第1章 绪论（Introduction）的学习笔记，涵盖本章所有核心知识点，配有通俗类比与公式推导。 1引言与基本术语机器学习致力于研究如何通过计算手段，利用经验来改善系统自身的性能。 核心术语速查 西瓜书用语 英文 含义（用西瓜举例） 数据集 data set 一筐西瓜的记录集合 样本 / 示例 sample / instance 一个具体的西瓜 属性 / 特征 attribute / feature 色泽、根蒂、敲声…… 属性值 attribute value 青绿、蜷缩、浊响…… 属性空间 / 样本空间 attribute space 所有色泽×根蒂×敲声组合张成的 3 维空间 标记 / 标签 label “好瓜”/“坏瓜” 样例 example 样本 + 标记（一个有标签的西瓜记录） 三类学习任务 监督学习 有标记（分类/回归） 给出标准答案 无监督学习 无标记（聚类/降维） 没有标准答案 半监督学习 少量有标记 有部分提...
第3章：线性模型 — 西瓜书学习笔记
本文是周志华《机器学习》（西瓜书）第3章 线性模型（Linear Models）的学习笔记，涵盖本章所有核心知识点，配有通俗类比与公式推导。 1基本形式线性模型试图学得一个通过属性的线性组合来进行预测的函数： 📐 公式 $$ f(\boldsymbol{x}) = w_1 x_1 + w_2 x_2 + \cdots + w_d x_d + b = \boldsymbol{w}^\top \boldsymbol{x} + b $$ 其中 $\boldsymbol{w} = (w_1,\dots,w_d)$ 是权重向量，$b$ 是偏置（bias），$\boldsymbol{x}$ 是 $d$ 维样本向量。 📌 核心定义 核心思想：用一条直线（二维）、一个平面（三维）、一个超平面（高维）去拟合数据。简单、可解释性强 —— 每个 $w_i$ 直接反映了对应属性 $x_i$ 对预测结果的影响大小和方向。 🍉 通俗类比 你可以把线性模型想象成打分卡：每个特征 $x_i$ 是一道题得分，权重 $w_i$ 是这道题的分值系数，$b$ 是基础分（不管答得怎样...
第4章：决策树 — 西瓜书学习笔记
本文是周志华《机器学习》（西瓜书）第4章 决策树（Decision Trees）的学习笔记，涵盖本章所有核心知识点，配有通俗类比与公式推导。 1基本流程决策树是一棵用于分类的树形结构：内部节点对应属性测试，分支对应该属性的可能取值，叶子节点给出分类结果。 算法：TreeGenerate(D) 生成节点 node if D 中样本全属于同一类别 C： 将 node 标记为 C 类叶节点；return if A = ∅ OR D 中样本在 A 上取值相同： 将 node 标记为 D 中样本数最多的类；return 从 A 中选最优划分属性 a* for a* 的每个取值 a_v： 为 node 生成一个分支；令 D_v 为在 a* 上取值为 a_v 的样本子集 if D_v = ∅：将分支节点标记为 D 中样本数最多的类 else：以 TreeGenerate(D_v, A \ {a*}) 为分支节点 🍉 通俗类比 决策树就像你玩**”是谁杀了小明”**的推理游戏。每个问题（节点）都是一个关于嫌疑人的属性测试：ta是男是女？有没有不在场证明？案发时在不...
第2章：模型评估与选择 — 西瓜书学习笔记
本文是周志华《机器学习》（西瓜书）第2章 模型评估与选择（Evaluation & Selection）的学习笔记，涵盖本章所有核心知识点，配有通俗类比与公式推导。 1经验误差与过拟合基础概念 术语 定义 备注 错误率 $E = a/m$（错分样本数/总样本数） 精度 $1 - E$ 正确率 训练误差（经验误差） 学习器在训练集上的误差 不是泛化能力的真实反映 泛化误差 学习器在新样本上的误差 我们真正关心但无法直接计算的 过拟合 vs 欠拟合 欠拟合 模型太简单 训练误差大 + 泛化误差大 刚刚好 训练误差小 泛化误差小 过拟合 模型太复杂 训练误差小 + 泛化误差大 🍉 通俗类比 欠拟合 = 小学生用”所有人均分”来预测考试成绩；过拟合 = 把”张三那天吃了韭菜饺子所以考砸了”也当成规律。机器学习最难的挑战就是找到那个”刚刚好”的中间地带。 📌 核心定义 过拟合是机器学习面临的关键障碍——无法彻底避免，只能缓解。NP 难问题（如 P ≠ NP），过拟合不可能完全消除。...
第5章：神经网络 — 西瓜书学习笔记
本文是周志华《机器学习》（西瓜书）第5章 神经网络（Neural Networks）的学习笔记，涵盖本章所有核心知识点，配有通俗类比与公式推导。 1神经元模型M-P 神经元神经网络的基本单元模拟了生物神经元：接收多个输入信号，加权求和，经激活函数后输出。 📐 公式 $$ y = f\left(\sum_{i=1}^n w_i x_i - \theta\right) $$ 其中 $f(\cdot)$ 为激活函数，$\theta$ 为偏置阈值。 常用激活函数 函数 表达式 特点 Sigmoid $\sigma(x)=\frac{1}{1+e^{-x} }$ 输出 (0,1)，梯度饱和问题 Tanh $\tanh(x)$ 输出 (-1,1)，零中心，仍有饱和 ReLU $\max(0,x)$ 缓解梯度消失，计算简单，但”死神经元”问题 LeakyReLU $\max(\alpha x, x)$ 解决死神经元，$\alpha$ 通常很小 🍉 通俗类比 一个神经元就像公司里的决策者：听取各个下属（输入）的汇报，每个人说话分量不同（权...
第7章：贝叶斯分类器 — 西瓜书学习笔记
本文是周志华《机器学习》（西瓜书）第7章 贝叶斯分类器（Bayesian）的学习笔记，涵盖本章所有核心知识点，配有通俗类比与公式推导。 1贝叶斯决策论贝叶斯决策论是概率框架下实施决策的基本方法。对于分类任务，在所有相关概率已知的理想情况下，最优分类器由贝叶斯公式给出： 📐 公式 $$ P(c \mid \boldsymbol{x}) = \frac{P(\boldsymbol{x} \mid c) P(c)}{P(\boldsymbol{x})} $$ $P(c)$：先验概率（在不知道样本长相的时候，猜它是 $c$ 类的概率） $P(\boldsymbol{x}|c)$：类条件概率（也叫”似然”，已知是 $c$ 类，样本长 $\boldsymbol{x}$ 样的概率） $P(c|\boldsymbol{x})$：后验概率（看到样本 $\boldsymbol{x}$ 后，它是 $c$ 类的更新后的概率） 贝叶斯最优分类器选择后验概率最大的类： 📐 公式 $$ h^*(\boldsymbol{x}) = \arg\max_{c \in \mathcal{Y...
第8章：集成学习 — 西瓜书学习笔记
本文是周志华《机器学习》（西瓜书）第8章 集成学习（Ensemble Learning）的学习笔记，涵盖本章所有核心知识点，配有通俗类比与公式推导。 1个体与集成集成学习通过投票法（分类）或平均法（回归）将多个”基学习器”组合起来。 集成有效的必要条件 个体学习器要有一定的**”准确性”**（至少比随机猜测好） 个体学习器之间要**”多样性”**（犯不同的错误） 误差-分歧分解（直观版本）： 📐 公式 $$ E = \bar{E} - \bar{A} $$ 其中 $E$ 是集成泛化误差，$\bar{E}$ 是个体泛化误差的加权平均，$\bar{A}$ 是分歧（个体之间有多不一致）。分歧越大，集成效果越好。 学习器1准确率 75% 学习器2准确率 75% 学习器3准确率 75% → 集成后 准确率 90%+ 只要错误不重叠，多数投票就能纠错！ 🍉 通俗类比 三个独立考官各自有 75% 准确率，但他们犯错的时候不一样。当一个人判断错误，另外两个很可能判断正确，多数投票后错误就被纠正了。这就是”好而不同”的力量。 两大范式 范式 个体关系 代...
第6章：支持向量机 — 西瓜书学习笔记
本文是周志华《机器学习》（西瓜书）第6章 支持向量机（SVM）的学习笔记，涵盖本章所有核心知识点，配有通俗类比与公式推导。 1间隔与支持向量SVM 的目标是找到一个超平面 $w^\top x + b = 0$，使两类样本到它的最小距离最大化： 📐 公式 $$ \max_{\boldsymbol{w},b} \frac{2}{\|\boldsymbol{w}\|} \quad \text{s.t.} \quad y_i(\boldsymbol{w}^\top \boldsymbol{x}_i + b) \ge 1,\; i=1,\dots,m $$ 等价于最小化 $\frac{1}{2}|\boldsymbol{w}|^2$。距离超平面最近的几个样本称为支持向量（Support Vectors），它们决定了超平面的位置。 wTx+b=0（决策边界） wTx+b=1 wTx+b=-1 间隔 = 2/||w|| ★ 支持向量（大圆点）决定边界位置 🍉 通俗类比 SVM 像是在两群人之间拉一条警戒隔离带。要的不是刚好把人分开...
第13章：半监督学习 — 西瓜书学习笔记
本文是周志华《机器学习》（西瓜书）第13章 半监督学习（Semi-Supervised）的学习笔记，涵盖本章所有核心知识点，配有通俗类比与公式推导。 ①. 问题概述与基本假设为什么半监督学习有效？三大核心假设 🎓 生活类比：考前临时抱佛脚 期末复习只有 10 道有答案的例题（标注数据），但你手里有 1000 份历年试卷但没有答案（无标签数据）。半监督学习就是：虽然不知道 1000 份的答案，但通过观察这些题目的规律和分布——“这类题总是一起出现”、”这两道题很像”——来辅助你学习那 10 道有答案的题，效果远好于只看 10 道题。 📌 问题设定 设有有标记样本集 $D_l = {(\boldsymbol{x}1, y_1), \ldots, (\boldsymbol{x}l, y_l)}$，以及无标记样本集 $D_u = {\boldsymbol{x}{l+1}, \ldots, \boldsymbol{x}{l+u}}$，通常 $l \ll u$（标注远少于未标注）。 半监督学习的目标：利用 $D_l \cup D_u$ 学习一个比仅用 $D_l...