全て

関連記事：　決定木分析、ランダムフォレスト、Xgboost Kaggleなどのデータ分析競技といえば、XGBoost, Light GBM, CatBoost の決定木アルゴリズムをよく使われています。分類分析系と予測分析系の競技のKaggleの上位にランクされています。今回の記事はCatBoostの新しい決定木アルゴリズムを解説します。 目次 1. CatBoostとは 2. 実験・コード ＿＿2.1 データロード ＿＿2.2 10,000件くらいサンプルデータを作成 ＿＿2.3. XGBoost グリッドサーチで 81モデルから最適なパラメータを探索 ＿＿2.4 XGBoost　最適なパラメータのモデルを作成 ＿＿2.5. Light GBM グリッドサーチで 81モデルから最適なパラメータを探索 ＿＿2.6 Light GBM最適なパラメータのモデルを作成（Categorial Feature除く） ＿＿2.7 Light GBM最適なパラメータのモデルを作成（Categorial Feature含む） ＿＿2.8. CatBoost グリッドサーチで 81モデルから最適なパラメータを探索 ＿＿2.9 CatBoost　最適なパラメータのモデルを作成（Categorial Feature除く） ＿＿2.10 CatBoost　最適なパラメータのモデルを作成（Categorial Feature含む 3. モデル評価評価：学習時間　AUC 1. CatBoostとは CatBoostはCategory　Boostingの略で、決定木ベースの勾配ブースティングに基づく機械学習ライブラリ。2017にYandex社からCatBoostが発表されました。 特徴： １）回帰予測、分類の教師あり学習に対応 ２）過学習を減らして、高い精度、学習速度を誇る ３）GPU、マルチGPUに対応 決定木ベースのアルゴリズムの歴史 CatBoostは、オーバーフィットを減らし、データセット全体をトレーニングに使用できるようにする、より効率的な戦略を使用します。 …

PythonでCatBoostの解説 Read More »

前回の記事は密度ベースクラスタリングのOPTICSクラスタリングを解説しました。 今回の記事はもう一つの密度ベースクラスタリングのDBSCANクラスタリングを解説と実験します。 目次： １．DBSCANとは ２．Sci-kit LearnのDBSCAN ３．コード・実験　(K-Mean++ vs DBSCAN) ４．まとめ DBSCANとは DBSCAN (Density-based spatial clustering of applications with noise ) は、1996 年に Martin Ester, Hans-Peter Kriegel, Jörg Sander および Xiaowei Xu によって提案された密度準拠クラスタリングのアルゴリズムです。半径以内に点がいくつあるかでその領域をクラスタとして判断します。近傍の密度がある閾値を超えている限り，クラスタを成長させ続けます。半径以内に近く点がない点はノイズになります。 長所 １）k-meansと違って，最初にクラスタ数を決めなくてもクラスターを作成できます。 ２）とがったクラスターでも分類できます。クラスターが球状であることを前提としない。 ３）近傍の密度でクラスターを判断します。 短所 １）border点の概念が微妙で，データによりどのクラスタに属するか変わる可能性があります。 ２）データがわからないとパラメータを決めるのが難しいです。 DBSCANの計算プロセスの例１ DBSCANのアルゴリズムは半径以内に確認します。半径以内に３個以上の点があれば、グループを成長させ続けます。左の2列は２点しかないなので、グループに属しません。また、一番下の行は半径以外なので、グループに属しません。 DBSCANの計算プロセスの例２ 以上の例と同じ、DBSCANは半径以内に確認して、グループに属するかどうか判断します。最初は上からと下からでグループを確認します。上の確認は半径以外になると、途中に止まりました。このようにDBSCANのアルゴリズムはすべての点はグループを確認します。   DBSCANの論文： A Density-Based Algorithm for Discovering Clusters in Large Spatial Databases …

DBSCANクラスタリングの解説と実験 Read More »

前回の記事はアルゴリズム評価を解説しました。 今回はクラスタリングのアルゴリズム評価するFMIを解説します。 FMI (Fowlkes-Mallows index）とは The Fowlkes-Mallows 指標　または、Fowlkes-Mallows スコアはクラスタリングのアルゴリズム評価する方法です。2つのクラスタリングアルゴリズムの結果間の類似性を判断するために使用されるこの方法。さらに、クラスタリングアルゴリズムの結果と実際のラベルも使われます。FMIの形式は下記になります。 TPは真陽性の数です。つまり、真のラベルと予測ラベルの両方で同じクラスターに属するポイントの数です。 FPはFalse Positiveの数です。予測ラベルではなく、真のラベルの同じクラスターに属するポイントの数です。 FNはFalse Negativeの数です。真のラベルではなく、予測ラベルの同じクラスター内です。 スコアの範囲は0〜1です。高い値は、2つのクラスター間の類似性が高いと示します。 今回は、ラベルがあるクラスタリング方法の評価をしていきます。 FMIのサンプル データセット：digitデータ　8×8の画像が1797枚（0〜9のラベル） クラスターアルゴリズム： K-Means, MeanShift モデル評価：FMI (Fowlkes-Mallows index） ライブラリの読み込む import numpy as np import pandas as pd import os import seaborn as sns import matplotlib.pyplot as plt from tqdm import tqdm_notebook from sklearn import datasets from sklearn.cluster import KMeans …

クラスタリングのアルゴリズム評価するFMI( Fowlkes-Mallows Index) Read More »