绪论

基本概念

我们人类能做出有效的预判是因为我们已经积累了许多经验，而通过对经验的利用，就能对新情况做出有效的决策。

在计算机系统中，“经验”通常以“数据”形式存在，因此机器学习所研究的主要内容，是关于在计算机上从数据中产生”模型”的算法，即学习算法

本书用“模型”泛指从数据中学得的结果。有文献用”模型”指全局性结果(例如一棵决策树)，而用”模式”指局部性结果(例如一条规则).

属性$\Leftrightarrow$特征, 属性张成的空间称为”属性空间”、”样本空间”或”输入空间”。空间中每一个点对应一个坐标向量，因此我们也把一个示例称为一个”特征向量”。
假设：模型中学习到的关于数据的某种潜在的规律。之所所以称这种规律为假设是因为它并非反映了数据与标签的真实关系，而是我们学习到的一种可能的关系。
测试样本：学习模型后，使用其进行预测的过程称为”测试”，被预测的样本称为”测试样本”。
机器学习的目标：使学得的模型能很好地适用于”新样本”，而不是仅仅在训练样本上工作得很好。学得的模型适用于新样本的能力，称为泛化能力。具有泛化能力的模型能很好地适用于整个样本空间。通常假设样本空间中全体样本服从一个未知”分布”D,我们获得的每个样本都是独立地从这个分布上采样获得的，”即独立同分布”(iid).
归纳与演绎：归纳与演绎是科学推理的两大基本手段，前者是从特殊到一般的泛化过程，即从具体的事实归结出一般性规律；后者则是从一般到特殊的特化过程，即从基础原理推演出具体状况。例如，在数学公理系统中，基于一组公理和推理规则推导出与之相恰的定理，这就是演绎；而”从样例中学习”显然是一个归纳的过程，因此亦称”归纳学习”。
概念学习:狭义的归纳学习则要求从训练数据中学得概念。概念学习技术目前研究、应用都比较少，因为要学得泛化性能好且语义明确的概念实在太困难了，现实常用的技术大多是产生“黑箱”模型。而对概念学习有所了解，有助于理解机器学习的一些基础思想。
学习:我们可以把学习过程看成一个在所有假设组成的空间中进行检索的过程，检索目标是找到与训练集”匹配”的假设
可能有多个假设与训练集一致，即存在着一个与假设集一致的”假设集合”，我们称之为”版本空间”
任何一个有效的机器学习算法必有其归纳偏好，否则它将被假设空间中看似在训练集上”等效”的假设所迷惑，而无法产生确定的学习结果。学得的模型时而告诉我们它是好的，时而告诉我们它是不好的，这样的学习结果显然没有意义。归纳偏好可看作学习算法自身在一个可能很庞大的假设空间中对假设进行选择的启发式或”价值观”
奥卡姆剃刀是一种常用的、自然科学研究中最基本的原则，即”若有多个假设与观察一致，则选择最简单的那个”。这是一种归纳偏好选择的算法。但它不是唯一可行的原则。
NEL(No Free Lunch Theorem)”没有免费的午餐”定理
NEL
一种算法(算法A)在特定数据集上的表现优于另一种算法(算法B)的同时，一定伴随着算法A在另外某一个特定的数据集上有着不如算法B的表现;即不存在一个与具体应用无关的，普遍适用的”最优分类器”。但是NFL定理有一个重要的前提:所有”问题”出现的机会相同、或所有问题同等重要，但实际情形并不是这样。很多时候，我们只关注自己正在试图解决的问题，希望为它找到一个解决方案，至于这个解决方案在别的问题、甚至在相似的问题上是否为好方案，我们并不关心。因此脱离具体问题，空谈”什么学习算法更好”毫无意义。