简介
如果你的预测建模表现的不尽人意，请使用XGBoost。 XGBoost算法已经成为许多数据科学家的终极武器。这是一个非常复杂的算法，足以处理各种不规则的数据。
XGBoost算法是梯度提升算法（GBM）的改进版，使用XGBoost构建模型非常简单。但是，使用XGBoost改善模型很困难，这个算法包含很多参数。因此要提升模型的效果，调参尤为关键。但是，要说哪组参数要怎么调节、为了得到最佳效果参数应该设为多少，诸如此类的问题，也是很难给出统一答案的。
XGBoost算法的优点
正则化
标准的GBM算法并没有正则项，正则项可以有效防止模型过拟合。
XGBoost也是以“正则化提升”技术而闻名。并行计算
相比于GBM，XGBoost实现了并行处理，并且速度更快。
但众所周知，boosting不是一种串行的结构吗?怎么并行的？注意XGBoost的并行不是tree粒度的并行，XGBoost也是一次迭代完才能进行下一次迭代的（第t次迭代的代价函数里包含了前面t-1次迭代的预测值）。XGBoost的并行是在特征粒度上的。我们知道，决策树的学习最耗时的一个步骤就是对特征的值进行排序（因为要确定最佳分割点），xgboost在训练之前，预先对数据进行了排序，然后保存为block结构，后面的迭代中重复地使用这个结构，大大减小计算量。这个block结构也使得并行成为了可能，在进行节点的分裂时，需要计算每个特征的增益，最终选增益最大的那个特征去做分裂，那么各个特征的增益计算就可以开多线程进行。
XGBoost支持hadoop实现。高灵活性
算法支持自定义目标函数形式和评价标准。
这为模型增加了全新的维度，所以我们的处理不会受到任何限制。处理缺失值
XGBoost有一个内置的常规处理缺失值的方法
用户需要提供与其他样本不同的值，并将其作为参数传递。XGBoost在不同节点遇到缺失值时采用不同的处理方法，并且会学习未来遇到缺失值时的处理方法。树剪枝
对于GBM，当节点在分裂时产生负loss，就会停止分裂。因此，它更像是一种贪婪算法。
XGBoost不同，它会先分裂到树的深度为“max_depth”（参数指定），然后回过头来剪枝，如果某个节点之后不再有正值，它会去除这个分裂。
另一个优点在于，假设GBM发现分裂产生负loss，如-2，可能接下来继续分列会产生+10的loss，这样的话因为负loss，GBM会提前停止分列，但XGBoost会继续分列，从而会发现-2和+10组合后还有+8的loss，因此两次分列都会保留。内置交叉验证
XGBoost可以在每一轮boosting迭代的时候使用交叉验证。因此，可以方便获得最优boosting迭代的次数。
而GBM使用网格搜索，只能检测有限个值。在已有的模型基础上继续
XGBoost可以在上一轮的结果上继续训练，这个特征在某些应用上是一个很大的优势。
sklearn中的GBM的实现也有这个功能，两种算法在这一点上是一致的。
XGBoost参数
- 通用参数
booster [默认=gbtree]：
$\quad$ 选择每次迭代的基模型：gbtree(树模型)(通常用)、gbliner(线性模型)。
silent [默认=0]：
$\quad$ 设为1时，静态模式开启，不会有任何输出信息。
$\quad$ 所以一般都选择默认0，有助于通过输出信息理解模型。
nthread [默认系统最大线程数]：
$\quad$ 这个参数用来进行多线程控制，应当输入系统的核数。
$\quad$ 如果希望使用CPU全部的核，那就不要输入这个参数，算法会自动检测它。
- booster参数（ 尽管有两种booster可供选择，我这里只介绍tree booster，因为它的表现远远胜过linear booster，所以linear booster很少用到）
eta [默认=0.3]：
$\quad$ 和GBM的学习率(learing rate)类似。
$\quad$ 通过减少每一步的权重，可以提高模型的鲁棒性。
$\quad$ 典型取值0.01~0.2。
min_child_weight [默认=1]：
$\quad$ 决定叶子节点样本权重之和的最小值。
$\quad$ 和GBM的min_child_leaf类似，但不完全一致，XGBoost是最小样本权重和，GBM是最小样本数。
$\quad$ 控制模型过拟合，太大的值会阻碍模型学习局部样本之间的关系。
$\quad$ 因此值太大会导致欠拟合，需要通过交叉验证来学习。
max_depth [默认=6]：
$\quad$ 树的最大深度，和GBM一样。
$\quad$ 控制模型过拟合。值过大，会过度学习。
$\quad$ 需要通过交叉验证来学习。
$\quad$ 一般取值3~10。
max_leaf_nodes：
$\quad$ 树上最大叶子的数量。
$\quad$ 可以替代max_depth的作用。因为如果生成的是二叉树，一个深度为n的树最多生成n2个叶子。
$\quad$ 如果定义了这个参数，GBM会忽略max_depth参数。
gamma[默认=0]：
$\quad$ 在节点分裂时，只有分裂后损失函数的值下降了，才会分裂这个节点。Gamma指定了节点分裂所需的最小损失函数下降值。
$\quad$ 这个参数的值越大，算法越保守。这个参数的值和损失函数息息相关，所以是需要调参的。
max_delta_step[默认=0]：
$\quad$ 这参数限制每棵树权重改变的最大步长。如果这个参数的值为0，那就意味着没有约束。如果它被赋予了某个正值，那么它会让这个算法更加保守。
$\quad$ 通常，这个参数不需要设置。但是当各类别的样本十分不平衡时，它对逻辑回归是很有帮助的。
$\quad$ 这个参数一般用不到，但是你可以挖掘出来它更多的用处。
subsample[默认=1]：
$\quad$ 和GBM中的subsample参数一模一样。这个参数控制对于每棵树，随机采样的比例。
$\quad$ 减小这个参数的值，算法会更加保守，避免过拟合。但是，如果这个值设置得过小，它可能会导致欠拟合。
$\quad$ 典型值：0.5-1
colsample_bytree[默认=1]：
$\quad$ 和GBM里面的max_features参数类似。用来控制每棵树随机采样的列数的占比(每一列是一个特征)。
$\quad$ 典型值：0.5-1
colsample_bylevel[默认=1]：
$\quad$ 用来控制树的每一级的每一次分裂，对列数的采样的占比。
$\quad$ 一般不太用这个参数，因为subsample参数和colsample_bytree参数可以起到相同的作用。但是如果感兴趣，可以挖掘这个参数更多的用处。
lambda[默认=1]：
$\quad$ 权重的L2正则化项。(和Ridge regression类似)。
$\quad$ 这个参数是用来控制XGBoost的正则化部分的。虽然大部分数据科学家很少用到这个参数，但是这个参数在减少过拟合上还是可以挖掘出更多用处的。
alpha[默认=1]：
$\quad$ 权重的L1正则化项。(和Lasso regression类似)。
$\quad$ 可以应用在很高维度的情况下，使得算法的速度更快。
scale_pos_weight[默认=1]：
$\quad$ 在各类别样本十分不平衡时，把这个参数设定为一个正值，可以使算法更快收敛。
学习目标参数
objective[默认=reg:linear]：
$\quad$ binary:logistic，二分类的逻辑回归，返回预测的概率(不是类别)。
$\quad$ multi:softmax，使用softmax的多分类器，返回预测的类别(不是概率)。 在这种情况下，你还需要多设一个参数：num_class(类别数目)。
$\quad$ multi:softpro，和multi:softmax参数一样，但是返回的是每个数据属于各个类别的概率。
eval_metric[默认值取决于objective参数的取值]：
$\quad$ 对于有效数据的度量方法。
$\quad$ 对于回归问题，默认值是rmse，对于分类问题，默认值是error。
$\quad$ 典型值有：- rmse：均方根误差
- mae：平均绝对误差
- logloss：负对数似然函数值
- error：二分类错误率(阈值为0.5)
- merror：多分类错误率
- mlogloss：多分类logloss损失函数
- auc：曲线下面积
seed[默认=0]：
$\quad$ 随机数的种子。
$\quad$ 设置它可以复现随机数据的结果，也可以用于调整参数。
注意：
如果你之前用的是Scikit-learn，你可能不太熟悉这些参数。但是有个好消息，Python的XGBoost模块有一个sklearn包-XGBClassifier。这个包中的参数是按sklearn风格命名的，会改变的函数名:- eta -> learning_rate
- lambda -> reg_lambda
- alpha -> reg_alpha
你肯定在疑惑为啥咱们没有介绍和GBM中的n_estimators类似的参数。XGBClassifier中确实有一个类似的参数，但在标准XGBoost实现调用拟合函数时，把它作为num_boosting_rounds参数传入。
参数调优的一般方法
使用和GBM中相似的方法。需要进行如下步骤：
- 选择较高的学习速率(learning_rate)。一般情况下，学习速率的值为0.1。但是，对于不同的问题，理想的学习速率有时候会在0.05到0.3之间波动。选择对应于此学习速率的理想决策树数量。XGBoost有一个很有用的函数“cv”，这个函数可以在每一次迭代中使用交叉验证，并返回理想的决策树数量。
- 对于给定的学习速率和决策树数量，进行决策树特定参数调优(max_depth,min_child_weight, gamma,subsample,colsample_bytree)。在确定一棵树的过程中，我们可以选择不同的参数。
- xgboost的正则化参数的调优(lambda,alpha)。这些参数可以降低模型的复杂度，从而提高模型的表现。
- 降低学习速率learning_rate，确定理想参数。
第一步：确定学习速率和tree_based参数调优的决策树数量：
- 其他参数初始化：
1. max_depth = 5：这个参数的取值最好在3-10之间。我选的起始值为5，但是你 也可以选择其它的值。起始值在4-6之间都是不错的选择。 2. min_child_weight = 1：在这里选了一个比较小的值，因为这是一个极不平衡的分类问题。因此，某些叶子节点下的值会比较小。 3. gamma = 0： 起始值也可以选其它比较小的值，在0.1到0.2之间就可以。这个参数后继也是要调整的。 4. subsample, colsample_bytree = 0.8：这个是最常见的初始值了。典型值的范围在0.5-0.9之间。 5. scale_pos_weight = 1：这个值是因为类别十分不平衡。 6. 这里把学习速率就设成默认的0.1。然后用xgboost中的cv函数来确定最佳的决策树数量。
第二步： max_depth 和 min_child_weight 参数调优
第三步：gamma参数调优
第四步：subsample 和 colsample_bytree调优
第五步：正则化参数调优
第六步：降低学习速率，使用更多的决策树
