XGBoost入门及实战

kaggle比赛必备算法XGBoost入门及实战

xgboost一直在kaggle竞赛江湖里被传为神器，它在对结构化数据的应用占据主导地位，是目前开源的最快最好的工具包，与常见的工具包算法相比速度提高了10倍以上！

XGBoost is an implementation of gradient boosted decision trees (GBDT) designed for speed and performance.

xgboost 是对梯度增强决策树(GBDT)的一种实现，具有更高的性能以及速度，既可以用于分类也可以用于回归问题中。本文将尽量用通俗易懂的方式进行介绍并给出实战案例。

1.什么是XGBoost?

xgboost 是 eXtreme Gradient Boosting的简写。

The name xgboost, though, actually refers to the engineering goal to push the limit of computations resources for boosted tree algorithms. Which is the reason why many people use xgboost.

以上是xgboost作者陈天奇在Quora（类似国内的知乎）上对名字的解释。

xgboost是一个软件包，可以通过各种API接口访问使用：

  • Command Line Interface (CLI).命令行
  • C++
  • Java
  • R
  • python 和 scikit-learn
  • Julia
  • Scala

xgboost 的底层实现在我看来还是比较复杂的，想深入理解可以查看陈博士的Paper (XGBoost: A Scalable Tree Boosting System) ，它针对传统GBDT算法做了很多细节改进，包括损失函数、正则化、稀疏感知算法、并行化算法设计等等。

Szilard Pafka 数据科学家做了详细的性能对比，并发表的文章进行解释说明（githup：https://github.com/szilard/benchm-ml） 以下是 XGBoost 与其它 gradient boosting 和 bagged decision trees 实现的效果比较，可以看出它比 R, Python，Spark，H2O 中的基准配置要更快。

2.XGBoost的特性

说到Xgboost，不得不先从GBDT(Gradient Boosting Decision Tree)说起。因为xgboost本质上还是一个GBDT，但是力争把速度和效率发挥到极致，所以叫X (Extreme) GBoosted，两者都是boosting方法。

Gradient Boosting 是 boosting 的其中一种方法，所谓 Boosting ，就是将弱分离器 f_i(x) 组合起来形成强分类器 F(x) 的一种方法。

那什么是GBDT？？我们看一张图：

GBDT的原理很简单，我们反复循环构建新的模型并将它们组合成一个集成模型的，从初始Naive模型开始，我们从计算数据集中每个观测的误差，然后下一个树去拟合误差函数对预测值的残差(残差就是预测值与真实值之间的误差)，最终这样多个学习器相加在一起用来进行最终预测，准确率就会比单独的一个要高。

之所以称为 Gradient，是因为在添加新模型时使用了梯度下降算法来最小化的损失。

如图所示：Y = Y1 + Y2 + Y3。

Parallelization并行处理

XGBoost工具支持并行处理。Boosting不是一种串行的结构吗?怎么并行的？注意XGBoost的并行不是 tree 粒度的并行，XGBoost 也是一次迭代完才能进行下一次迭代的。

XGBoost的并行是在特征粒度上的，决策树的学习最耗时的一个步骤就是对特征的值进行排序，XGBoost在训练之前，预先对数据进行了排序，然后保存为block结构，后面的迭代中重复地使用这个结构，大大减小计算量。这个block结构也使得并行成为了可能，在进行节点的分裂时，需要计算每个特征的增益，最终选增益最大的那个特征去做分裂，那么各个特征的增益计算就可以开多线程进行。

正则化

XGBoost 在代价函数里加入了正则项，用于控制模型的复杂度。正则项里包含了树的叶子节点个数、每个叶子节点上输出的 score 的L2模的平方和。从Bias-variance tradeoff 角度来讲，正则项降低了模型的 variance，使学习出来的模型更加简单，防止过拟合，这也是xgboost优于传统GBDT的一个特性。

缺失值处理

对于特征的值有缺失的样本，xgboost可以自动学习出它的分裂方向。

损失函数

传统GBDT在优化时只用到一阶导数信息，xgboost则对代价函数进行了二阶泰勒展开，同时用到了一阶和二阶导数。

分布式计算

XGBoost is an optimized distributed gradient boosting library designed to be highly efficient, flexible and portable. It implements machine learning algorithms under the Gradient Boosting framework. XGBoost provides a parallel tree boosting (also known as GBDT, GBM) that solve many data science problems in a fast and accurate way.

3.实战示例

官方指导文档：
https://xgboost.readthedocs.io/en/latest/index.html

github 示例文档：
https://github.com/dmlc/xgboost/tree/master/demo/guide-python

本文将继续使用kaggle竞赛平台上的房价预测的数据，具体数据请移步kaggle实战之房价预测，了解一下？

准备数据

import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import Imputer

data = pd.read_csv(‘../input/train.csv‘)
data.dropna(axis=0, subset=[‘SalePrice‘], inplace=True)
y = data.SalePrice
X = data.drop([‘SalePrice‘], axis=1).select_dtypes(exclude=[‘object‘])
train_X, test_X, train_y, test_y = train_test_split(X.as_matrix(), y.as_matrix(), test_size=0.25)

my_imputer = Imputer()
train_X = my_imputer.fit_transform(train_X)
test_X = my_imputer.transform(test_X)
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13

构建模型

#引入xgboost
from xgboost import XGBRegressor
#xgboost 有封装好的分类器和回归器，可以直接用XGBRegressor建立模型
my_model = XGBRegressor()
# Add silent=True to avoid printing out updates with each cycle
my_model.fit(train_X, train_y, verbose=False)
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6

评估及预测

# make predictions
predictions = my_model.predict(test_X)

from sklearn.metrics import mean_absolute_error
print("Mean Absolute Error : " + str(mean_absolute_error(predictions, test_y)))
  • 1
  • 2
  • 3
  • 4
  • 5

模型调参

xgboost模型参数有几十种，以上我们只是使用的默认的参数进行训练预测，参数详解请参照：
Parameters (official guide)

XGBoost有几个参数会显著影响模型的准确性和训练速度，你应该需要特别关注，并适当的进行调参：

#1. n_estimators

n_estimators指定通过建模周期的次数，可以理解成迭代次数，值太大会导致过度拟合，这是对训练数据的准确预测，但对新数据的预测偏差很大。一般的范围在100-1000之间。

#2.early_stopping_rounds

这个参数 early_stopping_rounds 提供了一种自动查找理想值的方法，试验证分数停止改进时停止迭代。

我们可以为 n_estimators 设置一个较高值，然后使用 early_stopping_rounds来找到停止迭代的最佳时间。

my_model = XGBRegressor(n_estimators=1000)
#评价模型在测试集上的表现，也可以输出每一步的分数 verbose=True
my_model.fit(train_X, train_y, early_stopping_rounds=5,
             eval_set=[(test_X, test_y)], verbose=True)

#[0]	validation_0-rmse:181513
#Will train until validation_0-rmse hasn‘t improved in 5 rounds.
#[1]	validation_0-rmse:164369
#[2]	validation_0-rmse:149195
#[3]	validation_0-rmse:135397
#[4]	validation_0-rmse:123108
#[5]	validation_0-rmse:111850
#[6]	validation_0-rmse:102150
#[7]	validation_0-rmse:93362.6
#[8]	validation_0-rmse:85537.3
#[9]	validation_0-rmse:78620.8
#[10]	validation_0-rmse:72306.5
#[11]	validation_0-rmse:67021.3
#[12]	validation_0-rmse:62228.3
# XGBRegressor(base_score=0.5, booster=‘gbtree‘, colsample_bylevel=1,
#        colsample_bytree=1, gamma=0, learning_rate=0.1, max_delta_step=0,
#        max_depth=3, min_child_weight=1, missing=None, n_estimators=1000,
#        n_jobs=1, nthread=None, objective=‘reg:linear‘, random_state=0,
#        reg_alpha=0, reg_lambda=1, scale_pos_weight=1, seed=None,
#        silent=True, subsample=1)
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25

当使用 early_stopping_rounds 参数时，您需要留出一些数据来检查要使用的轮数，从以上实例代码可以看出 n_estimators=1000 为停止迭代次数。

#3.learning_rate

以下是一个小技巧但很重要，可用于训练更好的xgboost模型：

一般来说，一个较小的 learning_rate（和较大的 n_estimators ）将产生更精确的xgboost 模型，由于该模型在整个循环中进行了更多的迭代，因此它也需要更长的时间来训练。

我们用 GridSearchCV 来进行调整 learning_rate 的值，以找到最合适的参数：

from sklearn.model_selection import GridSearchCV
from sklearn.model_selection import StratifiedKFold

# 设定要调节的 learning_rate = [0.0001, 0.001, 0.01, 0.1, 0.2, 0.3]
my_model= XGBRegressor(n_estimators=1000)
learning_rate = [0.0001, 0.001, 0.01, 0.1, 0.2, 0.3]
param_grid = dict(learning_rate=learning_rate)
kfold = StratifiedKFold(n_splits=10, shuffle=True, random_state=7)
grid_search = GridSearchCV(my_model, param_grid, n_jobs=-1, cv=kfold)
grid_result = grid_search.fit(train_X, train_y)
print("Best: %f using %s" % (grid_result.best_score_, grid_result.best_params_))
#Best: 0.285843 using {‘learning_rate‘: 0.01}
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12

#4.n_jobs

在运行时的较大数据集上，可以使用并行性更快地构建模型，通常将参数n_jobs设置为机器上的CPU的数量。对于较小的数据集，这个参数没有任何作用。

可视化XGBoost树

训练完模型后, 一般只是看看特征重要性(feature importance score)，但是 XGBoost提供了一个方法plot_tree()，使得模型中每个决策树是可以画出来看看的。

import matplotlib.pyplot as plt
from xgboost import plot_tree

plot_tree(my_model,num_trees=0)
#设置图形的大小
plt.rcParams[‘figure.figsize‘] = [50, 20]
plt.show()
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7

可以得到以下这个的图，plot_tree有些参数可以调整, 比如num_trees=0表示画第一棵树，rankdir=‘LR’表示图片是从左到右(Left to Right)。

上图中f1,f2是feature ID，需要进行转换成特征属性显示：

#这个函数就是根据给定的特征名字(我直接使用了数据的列名称), 按照特定格式生成一个xgb.fmap文件
def ceate_feature_map(features):
    outfile = open(‘xgb.fmap‘, ‘w‘)
    i = 0
    for feat in features:
        outfile.write(‘{0}\t{1}\tq\n‘.format(i, feat))
        i = i + 1
    outfile.close()
ceate_feature_map(X.columns)
#在调用plot_tree函数的时候, 直接指定fmap文件即可
plot_tree(my_model,num_trees=0,fmap=‘xgb.fmap‘)
plt.rcParams[‘figure.figsize‘] = [50, 20]
plt.show()
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13

可视化XGBoost模型的另一种方法是显示模型中原始数据集中每个要属性的重要性，XGBoost有一个 plot_importance() 方法，可以展示特征的重要性。

from xgboost import plot_importance
plot_importance(my_model)
plt.rcParams[‘figure.figsize‘] = [10, 10]
plt.show()
  • 1
  • 2
  • 3
  • 4

从图中可以看出，特征属性 f16 - GrLivArea得分最高，可以展示特征的重要性。因此，XGBoost还为我们提供了一种进行特征选择的方法！！

4.参考资料

1.xgboost作者讲义PPT：https://homes.cs.washington.edu/~tqchen/pdf/BoostedTree.pdf
2.xgboost入门与实战（原理篇）：https://blog.csdn.net/sb19931201/article/details/52557382
3.史上最详细的XGBoost实战：https://zhuanlan.zhihu.com/p/31182879
4.一文读懂机器学习大杀器XGBOOST原理
5.A Gentle Introduction to XGBoost for Applied Machine Learning

原文地址：https://www.cnblogs.com/yumoye/p/10421153.html

时间： 2024-10-10 11:08:07

XGBoost入门及实战的相关文章

xgboost入门与实战（原理篇）

http://blog.csdn.net/sb19931201/article/details/52557382 xgboost入门与实战(原理篇) 前言: xgboost是大规模并行boosted tree的工具,它是目前最快最好的开源boosted tree工具包,比常见的工具包快10倍以上.在数据科学方面,有大量kaggle选手选用它进行数据挖掘比赛,其中包括两个以上kaggle比赛的夺冠方案.在工业界规模方面,xgboost的分布式版本有广泛的可移植性,支持在YARN, MPI, Sun

Extjs5.0从入门到实战开发信息管理系统（Extjs基础、Extjs5新特性、Spring、Spring mvc、Mybatis）视频教程

Extjs5.0从入门到实战开发信息管理系统(Extjs基础.Extjs5新特性.Spring.Spring mvc.Mybatis)视频教程下载   联系QQ:1026270010 Extjs作为一款优秀的JS前端开发框架以其良好的架构.丰富的UI组件库.完善的文档和社区支持等诸多优点拥有广泛的市场应用空间,开发人员无需过多的关注HTML.CSS甚至各种常用JS算法,只需把精力放在业务逻辑上,利用各种组件的相互组合调用便可轻松而高效的开发出系统的前端页面. Extjs5在之前版本的基础上又推出

《Docker技术入门与实战》pdf

下载地址:网盘下载 内容简介  · · · · · · [编辑推荐] <Docker技术入门与实战>是中国首部docker著作,一线Docker先驱实战经验结晶,来自IBM和新浪等多位技术专家联袂推荐! <Docker技术入门与实战>结合企业生产环境,深入浅出地剖析 Docker 的核心概念.应用技巧.实现原理以及生态环境,为解决各类问题提供了有价值的参考. [内容简介] 在云计算时代,开发者将应用转移到云上已经解决了硬件管理的问题,然而软件配置和管理相关的问题依然存在.Docke

CMake快速入门教程-实战

http://www.ibm.com/developerworks/cn/linux/l-cn-cmake/ http://blog.csdn.net/dbzhang800/article/details/6314073 http://www.cnblogs.com/coderfenghc/archive/2013/01/20/2846621.html http://blog.sina.com.cn/s/blog_4aa4593d0100q3bt.html http://hahack.com/c

docker-9 supervisord 参考docker从入门到实战

参考docker从入门到实战 使用 Supervisor 来管理进程 Docker 容器在启动的时候开启单个进程,比如,一个 ssh 或者 apache 的 daemon 服务.但我们经常需要在一个机器上开启多个服务,这可以有很多方法,最简单的就是把多个启动命令放到一个启动脚本里面,启动的时候直接启动这个脚本,另外就是安装进程管理工具. 本小节将使用进程管理工具 supervisor 来管理容器中的多个进程.使用 Supervisor 可以更好的控制.管理.重启我们希望运行的进程.在这里我们演示

从入门到实战，Netty多线程篇案例集锦

从入门到实战,Netty多线程篇案例集锦 原创 2015-09-10 李林峰 InfoQ Netty案例集锦系列文章介绍 1|Netty的特点 Netty入门比较简单,主要原因有如下几点: Netty的API封装比较简单,将复杂的网络通信通过BootStrap等工具类做了二次封装,用户使用起来比较简单: Netty源码自带的Demo比较多,通过Demo可以很快入门: Netty社区资料.相关学习书籍也比较多,学习资料比较丰富. 但是很多入门之后的Netty学习者遇到了很多困惑,例如不知道在实际项

Docker入门与实战系列：热点问题

Docker入门与实战--<Docker ABC>电子书 https://github.com/gudaoxuri/Docker_ABC 11. 热点问题 11.1. 容器如何使用静态IP 默认情况下Docker容器的IP是动态分配的,要使用静态IP时我们会思考一下: 为什么需要静态IP?如果是为了两个容器间通信可以 使用--link 指定-h来指定hostname并指定-dns到宿主机 让容器开放上层服务 如果这样都满足不了您的要求那么可以参考 http://huataihuang.gith

赞一个 kindle电子书有最新的计算机图书可买了【Docker技术入门与实战】

最近对docker这个比较感兴趣,找一个比较完整的书籍看看,在z.cn上找到了电子书,jd dangdang看来要加油啊 Docker技术入门与实战 [Kindle电子书] ~ 杨保华 戴王剑 曹亚仑 (作者) http://www.amazon.cn/Docker技术入门与实战-杨保华-戴王剑-曹亚仑/dp/B00SMJ0VFA/ref=sr_1_2?s=digital-text&ie=UTF8&qid=1435217727&sr=1-2&keywords=docker

Extjs视频教程_Extjs5.0从入门到实战开发信息管理系统

Extjs5.0从入门到实战开发信息管理系统(Extjs基础.Extjs5新特性.Spring.Spring mvc.Mybatis)适合人群:初级课时数量:40课时用到技术:Extjs基础,Extjs5新特性,sencha cmd,spring,spring mvc, mybatis涉及项目:信息管理系统核心框架(mvvm+mvc架构)咨询qq:1840215592课程内容简介:1.课程研发环境开发工具:eclipse,sencha cmd:数据库工具:mysql5,mysql workben