引言

引言

统计学习的方法步骤

1. 得到一个有限的训练数据集合
2. 确定学习模型的集合 –––––––– 模型
3. 确定模型选择的准则 –––––––– 策略
4. 实现求解最优模型的算法 ———— 算法
5. 通过学习方法选择最优模型
6. 利用学习的最优模型对新数据进行预测或分析

统计学习方法的分类

统计学习的基本分类

监督学习

监督学习（Supervised Learning）是指从标注数据中学习预测模型的机器学习问题， 其本质是学习输入到输出的映射的统计规律。

• 输入空间（Input Space）：输入的所有可能取值的集合
• 实例（Instance）：每一个具体的输入，通常由特征向量（Feature Vector）表示
• 特征空间（Feature Space）：所有特征向量存在的空间
• 输出空间（Output Space）：输出的所有可能取值的集合

根据变量类型不同：

• 输入变量与输出变量均为连续变量的预测问题 –––– 回归问题
• 输出变量为有限个离散变量的预测问题 –––– 分类问题
• 输入变量与输出变量均为变量序列的预测问题 –––– 标注问题

符号表示

• 输入变量：$X$；输入变量的取值：$x$
• 输出变量：$Y$；输出变量的取值：$y$
• 输入实例 $x$ 的特征向量表示：

$$x = (x^{(1)},x^{(2)},\dots,x^{(j)},\dots,x^{(n)})^T$$

• 以 $x_i$ 表示多个输入变量中的第 $i$ 个变量：

$$x_i = (x_i^{(1)},x_i^{(2)},\dots,x_i^{(j)},\dots,x_i^{(n)})^T$$

• 样本容量为 $N$ 的训练集：

$$T = \{(x_1,y_1),(x_2,y_2)\dots,(x_N,y_N)\}$$

---

• 监督学习的基本假设：$X$ 和 $Y$ 具有联合概率分布 $P(X,Y)$
• 监督学习的目的：学习一个输入到输出的映射，这一映射以模型表示
• 模型的形式：条件概率分布 $P(Y|X)$ 或决策函数 $Y = f(X)$
• 假设空间（Hypothesis Space）：所有这些可能模型的集合。

对具体的输入进行相应的输出预测时，表达为： $P(y|x) \quad \text{或} \quad y = f(x)$

无监督学习

无监督学习（Unsupervised Learning）是指从无标注数据中学习预测模型的机器学习问题，其本质是学习数据中的统计规律或潜在结构。

监督学习

• 标注数据：表示输入输出的对应关系
• 预测模型：对给定的输入产生相应的输出
• 本质：学习输入到输出的映射的统计规律

无监督学习

• 无标注数据：自然得到的数据
• 预测模型：表示数据的类别、转换或概率
• 本质：学习数据中的统计规律或潜在结构

---

• 输入空间：$\mathcal{X}$
• 隐式结构空间：$\mathcal{Z}$
• 模型：函数 $z = g(x)$，条件概率分布 $P(z|x)$ 或条件概率分布 $P(x|z)$
• 假设空间（Hypothesis Space）：所有这些可能模型的集合。
• 目的：选出在给定评价标准下的最优模型。
• 样本容量为 $N$ 的训练集： $U = \{x_1, x_2, \dots, x_N\}$

强化学习

强化学习（reinforcement learning）是指智能系统在与环境的连续互动中学习最优行为策略的机器学习问题。

统计学习方法的三要素