集成学习
集成学习通过构建并结合多个学习器来完成学习任务，有时也被称为多分类器系统、基于委员会的学习等。
集成只包含同种类型的个体学习器，这样的集成称为”同质”的。
集成也可包含不同类型的个体学习器,这样集成是”异质”的.
一般经验中，把好坏不等的东西掺到一起，那么通常结果会是比最坏的要好一些，比最好的要坏一些.集成学习把多个学习器结合起来，如何能获得比最好的单一学习器更好的性能？
这个简单的例子显示出：要获得好的集成，个体学习器”好而不同”,即个体学习要有一定的准确性，即学习器不能太坏，并且要有“多样性”,即学习器间具有差异.
Boosting
Boosting 是一族可将弱学习器提升为强学习器的算法.这族算法的工作机制类似:先从初始训练集训练出一个基学习器,再根据基学习器的表现对训练样本的分布进行调整，使得先前基学习器做错的训练样本在后续受到更多关注，然后基于调整后的样本分布来训练下一个基学习器;如此重复进行,直至基学习器数目达到事先指定的值T,最终将这T个基学习器进行加权结合。
AaBoost
Boosting算法要求基学习器能对特定的数据分布进行学习，这可通过”重赋权法”实施，即在训练过程的每一轮种，根据样本分布为每个训练样本重新赋予一个权重。对无法接受带权样本的基学习算法,则可通过”重采样法”来处理,即在每一轮学习中，根据样本分布对训练集重新进行采样，再用重采样而得的样本集对基学习器进行训练.
从偏差-方差分解的角度来看,Boosting主要关注降低偏差,因此Boosting能基于泛化性能相当弱的学习器构建出很强的集成
Bagging
欲得到泛化性能强的集成,集成的个体学习器应尽可能相互独立;虽然”独立”在现实任务中无法做到,但可以设法使基学习器尽可能具有较大的差异,给定一个训练数据集,一种可能的做法是对训练样本进行采样,产生若干个不同的子集，再从每个数据子集中训练出一个基学习器。这样，由于训练数据不同，我们获得的基学习器可望具有较大的差异.然而，为获得好的集成，我们同时还希望个体学习器不能太差。如果采样出的每个子集都完全不同，则每个学习器只用到了一小部分训练数据,甚至不足以进行有效学习这显然无法确保产生出较好的基学习器。为解决这个问题,我们可考虑使用相互有交叠的采样子集.
Bagging可直接基于我们之前提到的自助采样法。给定包含m个样本的数据集,我们先随机取出一个样本放入采样集中，再把该样本放回初始数据集,使得下次采样时该样本仍有可能被选中，这样，经过m次随机采样操作,我们得到含m个样本的采样集，初始训练集中有的样本在采样集里多次出现,有的则从未出现.初始训练集中约有63.2%的样本出现在采样集中。
随机森林
随机森林是Bagging的一个扩展变体。随机森林在以决策树为基学习器构建Bagging集成的基础上,进一步在决策树的训练过程中引入了随机属性选择.
具体来说,传统的决策树在选择划分属性时是在当前结点的属性集合中选择一个最优属性;而在随机森林中,对基决策树的每个结点,先从该结点的属性集合中随机选择一个包含k个属性的子集,然后再从这个子集中选择一个最优属性用于划分。这里的参数k控制了随机性的引入程度。
随机森林对Bagging只做了小改动,但是与Bagging中基学习器的”多样性”仅通过样本扰动(通过对初始训练样本采样)而来不同,随机森林中基学习器的多样性不仅来自样本扰动，还来自属性扰动，这就使得最终集成的泛化性能可通过个体学习器之间差异度的增加而进一步提升.
结合策略
学习器结合可能会带来三大好处：
- 由于学习任务假设空间往往很大，可能有很多假设在训练集上达到同等性能,此时若使用但学习器可能因误选而导致泛化性能不佳,结合多个学习器则会减小这一风险
- 学习算法往往会陷入局部极小,经过多次结合,可降低陷入糟糕局部极小的风险
- 某些学习任务的真实假设可能不在当前学习算法所考虑的假设空间中,通过结合多个学习器会使假设空间扩大,可能会学得更好的近似.
多样性度量
多样性度量用于度量集成中个体分类器的多样性
- 不合度量值越大则多样性越大。
- 相关系数若$h_i$与$h_j$无关，则值为0.若正相关则为正，否则为负.
- Q-统计量
- k-统计量其中$p_1$是两个分类器取得一致的概率;$p_2$是两个分类器偶然达成一致的概率,它们可由数据集D估算:
如何增加多样性
- 数据样本扰动:基于采样法
- 输入属性扰动
- 输出表示扰动
- 算法参数扰动