前回の記事は「Azure ML Studioで顧客データ分析」を説明しました。今回はPermutation Feature Importance を使ってモデルの変数の重要度を判断する機能を説明します。
機械学習モデルを作成するとき、機械学習の開発者、意思決定者、およびモデルによって影響を受ける担当者は、機械学習モデルがどのように決定を行うか、またそのパフォーマンスにどの特徴が関係するかを理解する必要があります。Permutation Feature Importance (PFI) はモデルについて説明するツールであり、機械学習開発者がモデルの変数の重要性をよく理解できるようにします。
Permutation Feature Importanceとは
Breiman 著「Random Forests」論文から機械学習モデルのグローバルな特徴の重要性を判断する技術です。特徴量がランダムな値に設定されたら、どのような影響がモデルに及ぼされるかを判明する方法になります。
メリット
モデルに依存しない点です。評価することができるすべてのモデルに使用できます。
特徴の重要性を計算するために、トレーニング セットだけでなく任意のデータセットを使用できます。
Permutation Feature Importanceの使い方
Feature Selection ＞ Permutation Feature Importanceを選択します。trained model と左のインプットと接続し、右のインプットはテストデータと接続します。
Permutation Feature Importanceの設定
Random seed
このシードを同じ数値にすることで、毎回同じ擬似乱数が生成されます。
Metric for measuring performance
このドロップボックスから、一つのメトリックを選択することができます。
- Classification
Accuracy, Precision, Recall, Average Log Loss
- Regression
Precision, Recall, Mean Absolute Error , Root Mean Squared Error, Relative Absolute Error, Relative Squared Error, Coefficient of Determination
Permutation Feature Importanceの結果
Permutation Feature Importanceのアウトプットから「Visualize」を選択すると、特徴量が判明します。