Azure ML Studioでの Permutation Feature Importance 特徴の重要度
前回の記事は「Azure ML Studioで顧客データ分析」を説明しました。今回はPermutation Feature Importance を使ってモデルの変数の重要度を判断する機能を説明します。 機械学習モデルを作成するとき、機械学習の開発者、意思決定者、およびモデルによって影響を受ける担当者は、機械学習モデルがどのように決定を行うか、またそのパフォーマンスにどの特徴が関係するかを理解する必要があります。Permutation Feature Importance (PFI) はモデルについて説明するツールであり、機械学習開発者がモデルの変数の重要性をよく理解できるようにします。 Permutation Feature Importanceとは Breiman 著「Random Forests」論文から機械学習モデルのグローバルな特徴の重要性を判断する技術です。特徴量がランダムな値に設定されたら、どのような影響がモデルに及ぼされるかを判明する方法になります。 メリット モデルに依存しない点です。評価することができるすべてのモデルに使用できます。 特徴の重要性を計算するために、トレーニング セットだけでなく任意のデータセットを使用できます。 Permutation Feature Importanceの使い方 Feature Selection ＞ Permutation Feature Importanceを選択します。trained model と左のインプットと接続し、右のインプットはテストデータと接続します。 Permutation Feature Importanceの設定 Random seed このシードを同じ数値にすることで、毎回同じ擬似乱数が生成されます。 Metric for measuring performance このドロップボックスから、一つのメトリックを選択することができます。 Classification Accuracy, Precision, Recall, Average Log Loss Regression Precision, …
Azure ML Studioでの Permutation Feature Importance 特徴の重要度 Read More »
過学習の対策
今回は前回の記事の続きの過学習Overfittingの対策」を紹介します。過学習と未学習の説明はこちらです。 訓練誤差とテスト誤差の理論 学習が進むほど訓練誤差が低下していきます。つまりテストデータに対する予測精度は向上するが、テストのデータセットに入っていないデータに対する予測精度が下がり、テスト誤差が上がってしまうものです。いわゆる過学習(Over Fitting)という状態になっていきます。 過学習は訓練データとテストデータの影響があります。訓練データが少ないほど、訓練誤差は小さく、汎化誤差は大きくなります。訓練データが十分に多いと、訓練誤差も汎化誤差も、ノイズの強さで頭打ちになります。 過学習の対策Overfitting prevention １）データセットを増やす トレーニングデータが多ければ多いほど、それが過剰適合する可能性がより低いになります。 最初の過学習対策、過学習に対して最も効果がある対処法は訓練データを増やすことです ２）Data augmentation & Noiseの加工 データセットを増やすことは面倒と手間のことです。またデータセットを増やすことができない場合もあります。その場合は Data augmentation と Noiseのデータ加工の方法が役に立ちます。学習用のデータに対し人工的なノイズなどを付加した画像を生成し，生成した画像を元の学習用データに追加することで性能の向上が期待される技術になります。 前回の記事の「Data Augmentationの解説」はこちらです。 ３）単純なモデルへ変化する 複雑すぎるモデルは過学習の原因の事があります。モデルはあまりにも強力であるかもしれません。 そのモデルの複雑さを軽減することができます。推定量の数を減らしたり、モデルのパラメーターを変更したりするには、モデルを単純にしても当てはまりませんが、データから学習するには複雑にすることができます。 これには、モデルをより軽量にし、より速く訓練し、そしてより速く走らせるという利点もあります。 ４）早期停止 早期停はニューラル ネットワークの過学習対策です。早期停止とは、基本的に、テストデータの損失が増加し始めたら（つまり検証精度が低下し始めたら）、トレーニングを停止することです。監視する値、監視する値について改善として判定される最小変化値、訓練が停止し，値が改善しなくなってからのエポック数のパラメーターを設定することができます。 ５）L1 と L2 正則化 機械学習では、過学習を防ぐ方法として正則化が行われることが多いです。過学習を避けるためには、学習モデルの選択、特徴量・次元の選定およびそれらに対応した学習データの数を注意深く考慮して設定していく必要があります。正則化とは、複雑さが増すことに対するペナルティを設け、このペナルティを訓練誤差に加えた量が最も小さくなる学習モデルを求めるようにすることにより汎化性能を高めようとするものです。一般的に使用されるのは、L1正則化とL2正則化です。 L1正則化 特定のデータの重みを0にする事で、不要なデータを削除します。 L2正則化 データの大きさに応じて0に近づけて、滑らかなモデルです。 正則化の例はこちらです。 ６）DropoutとDropConnect ニューラルネットワークにおける過学習対策になりますが、DropoutとDropConnectです。 Dropoutは、設定した割合に応じて、ランダムにユニットを選択し、そのユニットの重みを「ゼロ」にします。 DropConnectは、上記の「ゼロ」を任意の重みに設定できます。さらに言うと、中間層の線形結合の「結合」に注目し、設定した割合に応じて、ランダムに「結合」を取り上げます。そして、結合に重みをかけて、活性化関数にかけます。 まとめ 今回は過学習対策を説明しました。過学習はデータサイエンティストの一般的な問題です。この記事で紹介したテクニックを使えば、過学習問題を克服して、良いモデルを作成することができるでしょう。
Azure ML Studioで顧客データ分析の実験（CRM analysis）
前回の記事は「Azure ML Studioでの機械学習の設定」を解説しました。 今回の記事はAzure ML Studioで顧客データ分析の実験を紹介します。 今回のデータセットはThe KDD Cup 2009 のデータです。 230特徴量の顧客属性とアップセル、新製品販売、解約の顧客行動履歴のフランスの通信会社Orangeデータです。50,000件のデータから3つの分類分析モデルを作成します。 解決課題 １）アップセルデータでアップセルしやすい人を見つけます。 ２）新製品販売のデータで新製品を買う可能性高い人を見つけます。 ３）解約データで解約したい人を見つけます 全体のExperimentの図は下記になります。特徴量の顧客属性と3つの過去行動のターゲットを結合して、モデルを作成します。 Var1からVar230は特徴量の５万件のデータセットです。 特徴データは欠損値がありますので、欠損値を0に置き換えます。 「Add Columns」 のモジュールで特徴量のと各ターゲットを結合します。 次に、vol1の層別化でテストとトレーニングを半分に分割します。 次に、予測モデルを構築するために、既定のパラメーターを持つ2クラスブーストデシジョンツリーバイナリ分類器を使用します。 ブースト デシジョン ツリーとは第２の木が第１の木の誤差を補正し、第３の木が第１および第２の木の誤差を補正するというように、集団学習法である。 ツリー全体の集合に基づいて予測あします。 Evaluate Model：アップセルタ テストセットに対するモデルのパフォーマンスは、Evaluate Modelモジュールの出力を視覚化することで確認できます。 「アップセルタ」では、ROC曲線は、モデルがランダムモデルよりも優れていること、および曲線下面積（AUC）が0.857であることを示しています。 しきい値が0.5の場合、精度は0.663、再現率は0.463、F1スコアは0.545です。 Evaluate Model：新製品販売 「新製品販売」のROC曲線では、AUCが0.727であることを示しています。 Evaluate Model：解約 「解約」のROC曲線では、AUCが0.711であります。 モデルの確認 [Train Model]のモジュールの Visualization 決定木図が表します。 モデルの判断を確認することができます。 決定木は、葉が分類を表し、枝がその分類に至るまでの特徴の集まりを表すような木構造を示します。データの持つ素性の中で集められたデータを一番よく分割する素性と閾値の組を選びます．その素性と閾値で分割後、またそれぞれのノードで分割を繰り返し行っていきます。分割が実行不可能となった場合、または、部分集合の個々の要素が各々1つずつの分類となってしまう段階で終了します。 …
グリッドサーチ（ハイパーパラメータ最適化）のまとめと例
（2019年7月27日の更新） 前回の記事は「モデル評価」を話しました。 今回の記事はグリッドサーチでのハイパーパラメータ最適化を解説します。 １）グリッドサーチ とは グリッドサーチとは、モデルの精度を向上させるために用いられる手法です。全てのパラメータの組み合わせを試してみる方法のことです。機械学習モデルのハイパーパラメータを自動的に最適化してくれるというありがたい機能。例えば、SVMならCや、kernelやgammaとか ２）GridSearchCV関数の説明 Pythonの機械学習ライブラリscikit-learnにはモデルのハイパーパラメータを調整する方法としてGridSearchCVが用意されています。 class sklearn.model_selection.GridSearchCV(estimator, param_grid, scoring=None, n_jobs=None, iid=’warn’, refit=True, cv=’warn’, verbose=0, pre_dispatch=‘2*n_jobs’, error_score=’raise-deprecating’, return_train_score=False) パラメータ名 説明 estimator : estimator object チューニングを行うモデル param_grid : dict or list of dictionaries パラメタ候補値を「パラメタ名, 候補値リスト」の辞書で与える scoring : string, callable, list/tuple, dict or None, default: None 複数のメトリックを評価するには、文字例のリストか、の辞書で与える n_jobs : int or None, optional (default=None) 同時実行数(-1にするとコア数で同時実行) pre_dispatch …
グラフィカルラッソ(Graphical Lasso)変数関係の可視化
今回の記事はグラフィカルラッソで変数関係の可視化を説明します。 グラフィカルラッソとは グラフィカルラッソはガウシアングラフィカルモデルに従う、確率変数ベクトルがあった時、変数間の関係を指定し、グラフ化する手法です。回帰問題を以前取扱いましたが、回帰の分析が中で行われています sklearnからBostonデータセットの各変数間の関係をグラフ化します。 下記はボストンの物件の価格にその物件の人口統計に関する情報です。 sklearnからBostonデータセットの各変数間の関係をグラフ化します。 下記はボストンの物件の価格にその物件の人口統計に関する情報です。 CRIM 人口 1 人当たりの犯罪発生数 （人口単位） ZN 25,000 平方フィート以上の住居区画の占める割合 INDUS 非小売業の土地面積の割合 （人口単位） CHAS チャールズ川沿いかどうか（1:Yes、0:No） NOX 窒素酸化物の濃度（pphm単位） RM 住居の平均部屋数 AGE 1940 年より前に建てられた物件の割合 DIS 5 つのボストン市の雇用施設からの距離 (重み付け済) RAD 環状高速道路へのアクセスしやすさ TAX $10,000 ドルあたりの不動産税率の総計 PTRATIO 町毎の児童と教師の比率 （人口単位） B アフリカ系アメリカ人居住者の割合（人口単位） LSTAT 給与の低い職業に従事する人口の割合 (%) import pydot import numpy as np import pandas as pd import seaborn as …