XGBoostは、最近人気のある機械学習アルゴリズムの1つです。 他の機械学習アルゴリズムよりも優れた結果をもたらすことはよく知られています。 XGBoostとは 複数の弱学習器を組み合わせることで強学習器を作る学習手法です。モデル結果は、前の瞬間の結果に基づいて重み付けされます。基本的に内部で行われていることは決定木を複数個作り、学習結果の修正を行っています。以前紹介したランダムフォレストとは違い、学習結果の修正が入っています。正しく分類されたインスタンスはますます重みが小さくなり、正しく分類されないインスタンスはますます重みが大きくなり続けます。最終的に、信頼度の重み付け平均の結果を用いて、最終的なモデルを作ります。 XGBoostの主な特徴 スピードとパフォーマンス：もともとC ++で書かれていて、他のアルゴリズムよりも高速です。 コアアルゴリズムは並列化可能：コアXGBoostアルゴリズムは並列化の恩恵が受けやすく、マルチコアコンピュータの能力を活用できます。 また、GPUやコンピュータのネットワークにも並列化が可能で、非常に大きなデータセットでも訓練が高速に可能です。 一貫して他のアルゴリズム手法よりも優れている事が多いです。さまざまなマシン学習ベンチマークデータセットでより優れたパフォーマンスを示しています。 幅広いチューニングパラメータ：XGBoost内部でクロスバリデーション、正則化、ユーザ定義の目的関数、欠損値、ツリーパラメータ、scikit-learn互換APIなどのパラメータがあります。 では、XGBoostで回帰問題を解きましょう。 サンプルデータのロード from sklearn.datasets import load_boston boston = load_boston() print(boston.keys()) print(boston.feature_names) print(boston.data.shape) dict_keys([‘data’, ‘target’, ‘feature_names’, ‘DESCR’, ‘filename’]) [‘CRIM’ ‘ZN’ ‘INDUS’ ‘CHAS’ ‘NOX’ ‘RM’ ‘AGE’ ‘DIS’ ‘RAD’ ‘TAX’ ‘PTRATIO’ ‘B’ ‘LSTAT’] (506, 13) import pandas as pd data = pd.DataFrame(boston.data) …
PythonでXgboost Read More »
