kaggle1位の解析手法：Help Protect the Great Barrier Reef 手法 【2 第2版】
kaggle1位の解析手法：Help Protect the Great Barrier Reef：Googleが協力してサンゴ礁の水中ビデオで物体検出のコンペ｜1位のパイプライン｜データセット作成｜モデル作成｜モデル評価
kaggle1位の解析手法：Help Protect the Great Barrier Reef 概要【1 第2版】
kaggle1位の解析手法：Help Protect the Great Barrier Reef：Googleが協力してサンゴ礁の水中ビデオで物体検出のコンペ｜概要｜評価｜タイムライン｜データ｜探索的データ分析(EDA)
mlxtendの可視化
mlxtendの可視化の紹介と実験です。主成分分析（PCA Correlation）｜学習曲線（Learning Curve）｜混同行列（Confusion Matrix）｜決定境界（Decision Regions）｜線形回帰（Linear Regression）
TensorFlowの公平性指標（Fairness Indicators）
目次 1. TensorFlowのFairness Indicators 1.1 公平性指標（Fairness Indicators）とは 1.2 Fairness IndicatorsのAPI 2. 実験 2.1 環境構築 2.2 データセット 2.3 公平性指標 関連記事： 機械学習モデルを解釈するSHAP eli5でモデルの解釈 1. TensorFlowのFairness Indicators 1.1 公平性指標（Fairness Indicators）とは Fairness Indicators はTensorFlow Model Analysis (TFMA)のパッケージにあり、公平性メトリックの計算するライブラリです。既存のツールの多くは、大規模なデータセットやモデルではうまく機能しません。しかしTensorflowのFairness Indicatorsでは、10億ユーザーのシステムで動作できるツールで大規模に強いのが特徴です。 公平性指標でやることは、 データセットの分布 定義されたユーザーグループ間のモデルのパフォーマンスを評価 個々のスライスを深く掘り下げて、根本的な原因で改善 です。 1.2 Fairness IndicatorsのAPI パッケージ： Tensorflowデータ検証（TFDV） Tensorflowモデル分析（TFMA）公平性指標 What-Ifツール（WIT） 資料https://www.tensorflow.org/tfx/guide/fairness_indicators#render_fairness_indicators GitHub: https://github.com/tensorflow/fairness-indicators 2. 実験 環境：Google Colab …
MLXTENDのでのアソシエーション分析
目次 1. Mlxtendの概要 1.1 Mlxtendとは 1.2 頻繁なパターンのモジュール 1.3 mlxtendのインストール 2. Apriori 2.1 Aprioriのアルゴリズム 2.2 Aprioriの実験 3. 相関ルール 2.1 Association Rulesのアルゴリズム 2.2 Association Rulesの実験 関連記事： 協調フィルタリング（Collaborative filtering）レコメンドエンジン レコメンドのランキングの評価指標 (PR曲線とAUC, MRR, MAP, nDCG) 1. Mlxtendの概要 1.1 Mlxtendとは Mlxtendは machine learning extensionsの英語略称で、データサイエンティストの作業のライブラリです。サンプルデータ、前処理、モデル作成、モデル評価、可視化などのモジュールを提供しています。今回はfrequent_patternsのモジュールを解説したいと思います。 Mlxtendのモジュール：http://rasbt.github.io/mlxtend/USER_GUIDE_INDEX/ Mlxtendのgithub：https://github.com/rasbt/mlxtend 1.2 頻繁なパターンのモジュール 頻繁なパターン（frequent_patterns）のモジュールはapriori、association_rules、fpgrowth、fpmaxがあります。一緒に何が変われるかというパターンを理解するために、アソシエーション分析のアルゴリズムのモジュールです。 1.3 mlxtendのインストール Colabの環境で、mlxtendを更新します。 !pip install mlxtend –upgrade import mlxtend mlxtend.__version__ 0.19.0 …
TensorFlow2.7の新機能
目次 １. tf.function エラーメッセージの改善 ２. tf.experimental.ExtensionTypeのリリース ３. TF2の移行が容易になりました ４. 新しいコミュニティがTensorFlow Hubでモデルを提供 関連記事：https://data-analysis-stats.jp/深属学習/tensorflow-2-0-主な変更 TensorFlowは2021年11月10日にリリースされました。このリリースでは、エラーメッセージが明確になり、スタックトレースが簡素化されて使いやすさが向上し、TF2に移行するユーザー向けの新しいツールとドキュメントが追加されています。 今回はTensorFlow2.7の新機能を紹介したいと思います。 詳細は下記のパスのご参照ください。 https://blog.tensorflow.org/2021/11/whats-new-in-tensorflow-27.html １. tf.function エラーメッセージの改善 スタックトレースがより単純かつ短くなり、コードの問題を理解して修正することが容易になります。 レイヤーをデバッグするときに最初に行うことは、入力の形状とdtype、およびトレーニング引数とマスク引数の値を出力することです。 この情報を、カスタムKerasレイヤーから発生するすべてのスタックトレースに自動的に追加するようになりました。 エラーメッセージは、フレームワークが期待したこと、フレームワークの期待と一致しなかったことを示し、問題を修正するためのヒントを提供する必要があります。 主な違いは、tf.functionの実行中に発生するランタイムエラーに、エラーの原因を示すスタックトレースがユーザーのコードに含まれるようになったことです。 # … Python stack trace of the function call … TypeError: Originated from a graph execution error. The graph execution error is detected at a node built …
時系列データの外れ値の統計的な求め方（1次元）
時系列データの外れ値の統計的な求め方（1次元）の解説 – S-Analysis
外れ値とは、統計において他の値と比べて極端に大きな値かもしくは極端に小さな値のことを指します。
外れ値とは｜外れ値と異常値の違い｜四分位範囲（IQR）｜zスコア｜pythonの実験
PyCaretでの異常検知
目次 1. 異常検知のPyCaretの概要 1.1異常検知とは 1.2異常検知の種類 1.3 PyCaretのライブラリ 2. 実験 2.1 環境構築 2.2 データロード 2.3 モデル学習 2.4 モデル推論 2.5 モデルの保存と読み込む 関連記事：PyCaret（オープンソースの自動機械学習：AutoML） 1. 異常検知のPyCaretの概要 1.1異常検知とは 異常検知（Anomaly detection) とは、データの中から異常な状態、通常のパターンとは異なる挙動を検出することです。 1.2異常検知の種類 異常検出の手法は主に3つの種類があります。 １）教師なし異常検出：ラベルがなくデータで異常モデルを学習します。 ２）教師あり異常検出：「正常」および「異常」とラベル付けされたデータセットで異常モデルを学習します。 ３）半教師あり異常検出：正常データのみで学習されます（異常はありません）。正常データからテストデータを推測します。 1.3 PyCaretのライブラリ pycaret.anomalyモジュールは、教師なし異常検出と教師あり異常検出の手法を提供します。 PyCaretは異常検出のアルゴリズムが12つあります。 abod Angle-base Outlier Detection cluster Clustering-Based Local Outlier cof Connectivity-Based Local Outlier iforest Isolation Forest histogram Histogram-based Outlier Detection …
SPARSEMAXの活性化関数
目次 1. SPARSEMAX活性化関数の概要 1.1 SPARSEMAX活性化関数とは 1.2 SPARSEMAX関数 2. 実験 2.1 ライブラリインポート 2.2 データ読み込み 2.3 データ加工 2.4 SPARSEMAXの活性化関数を作成 2.5 RELUの活性化関数を作成 2.6 まとめ 関連記事：活性化関数のまとめ 1. SPARSEMAX活性化関数の概要 1.1 SPARSEMAX活性化関数とは SPARSEMAXとは、ソフトマックスに似たが、スパース確率を出力できる新しい活性化関数です。SPARSEMAX損失関数は、滑らかで凸状のロジスティック損失のスパースアナログです。 1.2 SPARSEMAX関数 softmaxとsparsemaxの比較 実験の結果 SPARSEMAXは、一般的なアクティベーションに比較して優れたパフォーマンスになります。 sparsemaxは、ラベルの数が多い問題に適しているようです。 SPARSEMAXの論文：From Softmax to Sparsemax: A Sparse Model of Attention and Multi-Label Classification. https://arxiv.org/abs/1602.02068 TensorFlowの資料：https://www.tensorflow.org/addons/api_docs/python/tfa/activations/sparsemax PyTorchの資料：https://github.com/KrisKorrel/sparsemax-pytorch 2. 実験 データセット：CIFAR-10 は、32×32 のカラー画像からなるデータセットで、その名の通り10クラスあります。全体画像数は60000件となり、そのうち50000件が訓練用データ、残り10000件がテスト用データに分けます。 モデル：SPARSEMAXの活性化関数のモデル …
RRELUの活性化関数
目次 1. RRELU活性化関数の概要 1.1 RRELU活性化関数とは 1.2 RRELU関数 2. 実験 2.1 ライブラリインポート 2.2 データ読み込み 2.3 データ加工 2.4 RRELUの活性化関数を作成 2.5 RELUの活性化関数を作成 2.6 まとめ 関連記事：活性化関数のまとめ 1. RRELU活性化関数の概要 1.1 RRELU活性化関数とは RRELUとは、randomized leaky rectified linear units の略称で、ランダム化されたReLU関数です。RRELUは、活性化関数の負の部分にゼロ以外の勾配を組み込むことで、一貫して結果の改善を期待されて導入されました。最初にはKaggleNDSBコンペで使用されました。大規模な画像分類タスクでは、パフォーマンスはReLUよりもはるかに優れていると言われています。 1.2 RRELU関数 乱数はサンプリングされます。 RRELUの論文：Empirical Evaluation of Rectified Activations in Convolution Network https://arxiv.org/abs/1505.00853 TensorFlowの資料： https://www.tensorflow.org/addons/api_docs/python/tfa/activations/rrelu?hl=ja PyTorchの資料： https://pytorch.org/docs/stable/generated/torch.nn.RReLU.html 2. 実験 データセット：CIFAR-10 は、32×32 …