bagging和boosting的区别
bagging和boosting的区别如下：区别：含义不同、用法不同。bagging作为bag的现在分词,是动词,含义为把…装进袋子、捕获、得分；boosting作为boost的现在分词；是动词，含义为使增长、使兴旺、偷窃。Bagging：训练集是碧拍在原始集中有放回选取的，从原始集中选出的各轮训练集之间是独立的。Boosting：每一轮的训练集不变，只是训练集中每个样例在分类器中的权裂慧誉重发生变化。而权值是根据上一轮的分类结果进行调整。样例权重：Bagging：使用肆段均匀取样，每个样例的权重相等。Boosting：根据错误率不断调整样例的权值，错误率越大则权重越大。预测函数：Bagging：所有预测函数的权重相等。Boosting：每个弱分类器都有相应的权重，对于分类误差小的分类器会有更大的权重。Bagging：1、抽样：抽取训练集中的样本，以构建一组新的训练集。例句：“He used bagging to sample the data set, creating 75 different models.”（他使用抽样从数据集中抽取样本，创建75个不同的模型。）2、并行：多个模型同时运行，完成训练。例句：“The bagging algorithm ran concurrently, creating 10 models in 10 minutes.”（该bagging算法并行运行，在10分钟内创建10个模型。）3、聚合：将多个模型的输出结果进行融合，以获得更好的性能。例句：“He used bagging to aggregate the models,improving the accuracy of the prediction.”（他使用bagging对模型进行聚合，提高预测的准确性。）
Bagging与Boosting的联系与区别
Bagging算法所利用的预测数据就是通过Bootstrap方法得到的，Bootstrap方法是非参数统计上的一种抽样方法，实质就是对观测数据进行抽样，通过新抽样样本对总体分布特征进行推断。例如我们熟知的随机森林算法中不同的分类回归树，所利用的数据集就是通过Boostrap方法重抽样得到的。而利用Boostrap方法所做的好处是避免了做交叉验证时的样本量少的问题。同时重抽样后的数据可以得到相较于原观测数据少的噪声点，所以更能获得好的分类器。
Boostrap步骤：
当然Bootstrap方法适合于小样本，难以有效划分训练集和测试集时很有用，在做集成学习中，样本集往往通过Bootstrap方法来获取，倘若样本足够多，那么交叉验证会比Bootstrap更好。
在理解了Bootsrap抽样方法后，Bagging实际就是对重抽样的多个样本集，分别建立一个分类器，进行并行模型训练。由于每个分类器之间相互独立，所以Bagging与只训练一个弱分类器相比，复杂度是相同的，所以这是一个高效的集成算法！利用Bagging的好处是它能在提高准确率、稳定性的同时，通过降低结果的方差，避免过拟合的发生。并且由于利用的Boostrap方法，所以能减少噪音的影响，体现样本真实的分布情况。
Bagging的算法流程为：
通过这个流程可以看出，由于是投票选出最终的预测结果，从而可以获得很高的精度，降低泛化误差，但是弊端就是如果对于某一块，大多数分类器给出了一个错误分类，最终分类的结果也会错误。所以Bagging就没有考虑到对于分类器错分类，或者说性能差的地方做出调整。
那我们在什么时候会利用到Bagging呢？ 学习算法不稳定的时候，例如神经网络、kNN算法、线性回归子集选取等，这些都是不稳定的（弱学习算法），如果利用Bagging，则可以增强原算法，倘若原算法本身就有很高的稳定性，使用Bagging可能会适得其反。
随机森林（Random Forest）就是一个很好的利用Bagging的模型，他采用的弱分类器是决策树算法，在此基础上，引入了一个随机属性选择，这使得每个分类器的差异度增加，进而提升集成后的模型泛化能力。这里不对RF展开叙述，读者可参看以下相关参考。
相关参考：
与Bagging一样，Boosting也是集成算法中重要的算法，他与Bagging不同的是，Bagging采取的是并行计算，而Boosting是串行计算，对多个模型预测结果相加得到最终的结果。
在之前我们也说过，Bagging没有考虑在基学习器性能差的地方做出调整，所以Boosting在整个运行机制上做出了改进，具体可描述为：先用基学习器在初始训练集中训练，再根据基学习器表现对预测错的样本赋予更大的权值，从而在后续的学习器训练中受到更多的关注。这样根据基学习器对样本分布做出调整后，再将其训练下一个基学习器，反复分布迭代，从而达到指定值。所以Boosting是基于权值的弱分类器集成！
Boosting的算法流程：
在Boosting的框架基础上，还提出了AdaBoost (Adaptive Boosting), GBDT（Gradient Boosting Decision Tree）, XGBoost（eXtreme Gradient Boosting），lightGBM（Light Gradient Boosting Machine）等。其中最具代表性的算法是AdaBoost，结合Boosting的算法流程，Adaboost主要是通过对迭代后的分类器权值与分类器的线性组合作为最终的分类器。其中最关键的就是如何得到权值的更新公式，而这是通过最小化AdaBoost的基本分类器的损失函数得到的。
下面对权值的更新进行推导：
AdaBoost的算法流程：
AdaBoost系列主要解决了: 两类问题、多类单标签问题、多类多标签问题、大类单标签问题，回归问题等,并且在实现过程中简单高效，没有超参数调节，但是Adaboost对于噪音数据和异常数据十分敏感，这种异常样本在迭代中可能会获得较高的权重，影响预测结果。此外，当其中的基分类器是分类回归树时，此时就变成了提升树，这里不阐述。
相关参考：
Bagging和Boosting都是集成学习的两种主流方法，都是由弱分类器融合成强分类器。
