関連記事：　Xgboost、LightGBM 今回の記事はヒストグラムベースの特徴の新たなLiteMORTを解説します。         目次： 1.　 LiteMORTとは 2. 　LiteMORTの特徴 3. 実験・コード ＿＿3.1 データ読み込み ＿＿3.2　LiteMORT xgboost lightGBM ＿＿3.3 モデル評価 4. まとめ 1.　 LiteMORTとは LiteMORT（A memory efficient gradient boosting tree system on adaptive compact distributions）は、分割の際にヒストグラムを用いていきます。ノイズの多い特徴をよりコンパクトで堅牢に評価します。このアルゴリズムにより、速度が向上し、メモリ使用量が大幅に削減され、精度が維持されます。 LiteMORTの論文 LiteMORT: A memory efficient gradient boosting tree system on adaptive compact distributions  2. LiteMORTの特徴 2.1 適応的なサイズ変更されたビンでの機能の分布。 ヒストグラムのビンは、実際にはさまざまな変数の分布を計算する基礎です。 より洗練されたビンを使用すると、より良い分布パラメーターを取得できます。 一部のビンがより重要な場合は、そのサイズを縮小するか、2つのビンに分割します。 …

LiteMORTの解説 Read More »

関連記事：　画像解析 今回の記事はOpenCVに入っている顕著性(Saliency)について解説したいと思います。 目次 1. Saliency Detectionの概要 2. 実験・コード ＿＿2.1 データロード ＿＿2.2 サリエンシーディテクションの関数 ＿＿2.3. SpectralResidualの顕著性 ＿＿2.4. FineGrainedの顕著性 1. Saliency Detectionの概要 顕著性を検出するには多くの方法があります。 OpenCVでは、顕著性検出用に提供されているアルゴリズムは3つのカテゴリに分類されます。 Static saliency : 画像から検出するモジュールです。Motion saliency : 動画のフレームに依存するモジュールです。今回は static saliencyについて解説します。static saliencyのアルゴリズムは、画像の人が良く注目する部分を検出できるようにするさまざまな画像機能を使用します。 OpenCVには、スペクトル残差と細粒度の2つのアルゴリズムがすでに実装されています。 Spectral Residual このアルゴリズムは、入力画像の対数スペクトルを分析し、スペクトルドメイン内の画像のスペクトル残差を抽出し、プロトオブジェクトの位置を示唆する顕著性マップを構築する高速な方法が実装されています。 Fine Grained 人間の目の網膜は神経節細胞で構成されています。 神経節細胞には、オンセンターとオフセンターの2種類があります。 オンセンターは、暗い背景に囲まれた明るい領域に反応します。 オフセンターは、明るい背景に囲まれた暗い領域に反応します。 このアルゴリズムは、オンセンター（on-center ）とオフセンター（off-center）の違いに基づいて顕著性を計算します。 opencv/opencv_contribのモジュール： cv2.saliency.StaticSaliencySpectralResidual_create() cv2.saliency.StaticSaliencyFineGrained_create() 2. 実験・コード 概要： 入力データ：　ウィキペディアからの画像 環境：Google Colab GPU ライブラリ: OpenCV …

OpenCVで顕著性検出(Saliency Detection) Read More »

Stanford ML Groupは予測の不確かさを扱える新しい勾配ブースティング「NGBoost」を発表された。今回の記事はNGBoostを解説と実験したいです。 関連記事：　決定木分析、ランダムフォレスト、Xgboost、LightGBM 目次： 1.　 NGBoostとは 2. 　NGBoostの特徴 3. 実験・コード ＿＿3.1 データ読み込み ＿＿3.2　Xgboost、LightGBM、NGBoost ＿＿3.3 モデル評価 ＿＿3.4 可視化 4. まとめ 1.　 NGBoostとは 勾配ブースティング（Gradient Boosting）は、いくつかの弱学習器（または基本学習器）が加法アンサンブルで結合されています。NGBoostアルゴリズムは、ブースティングを使用して条件付き確率分布のパラメーターを推定する、確率的予測のための教師あり学習方法です。 NGBoostの論文:  NGBoost: Natural Gradient Boosting for Probabilistic Prediction https://arxiv.org/abs/1910.03225 https://stanfordmlgroup.github.io/projects/ngboost/ アルゴリズムには3つの構成要素があります。 Base learner (f) Parametric probability distribution (Pθ) Proper scoring rule (S) Base Learner 決定木などのアルゴリズム Probability Distribution 出力する確率分布、正規分布、ラプラス分布などの分布設定 Scoring rule MLE, …

NGBoostの解説 Read More »

OpenCVのfindContours hierarchy（輪郭の階層情報）の解説 前回の記事はOpenCVでの直線検出と図形検出、図形数えるについて説明しました。今回はOpenCVのfindContours hierarchy（輪郭の階層情報）について解説したいと思います。 目次 1.　 OpenCVのfindContours hierarchy（輪郭の階層情報） 2. 　RETR_LIST 3. 　RETR_TREE 4. 　RETR_CCOMP 5. 　RETR_EXTERNAL 1.  findContours hierarchy（輪郭の階層情報） OpenCVのPython版のfindcontours関数はオブジェクトの輪郭を検出する関数です。時には物体が難しい場所に位置，ある形状の中に別の形状が観測されることもあります。画像中に含まれるすべてのオブジェクトを検出して、それぞれのオブジェクトにラベル番号を振り分けています。輪郭線の情報およびオブジェクトの階層構造情報を返します。この関数表現方法を 階層情報 と呼びます。 第一引数に入力画像、第二引数に抽出モード、第三引数に近似手法を取ります。 image, contours, hierarchy = cv2.findContours(入力画像, 抽出モード, 近似手法) 実験 環境：Google Colab (CPU)でfindContours hierarchyの関数を実験します。 先ず、入力画像を表示します。 import cv2 import numpy as np from IPython.display import Image img_file = “box_a.png” Image(img_file) findContoursのhierarchy の関数を作成します。画像をロードして加工します。そして、輪郭の階層情報を出します。最後は輪郭を可視化します。 def findContours_summary(img, method, output): …

OpenCVのfindContours hierarchy（輪郭の階層情報）の解説 Read More »

前回の記事はランダムフォレスト（Random Forest）について解説しました。今回はランダムフォレストに似ているExtraTreesについて解説します。 関連記事：　決定木分析、ランダムフォレスト、Xgboost、CatBoost、LightGBM 目次： 1.　 エクストラツリー ExtraTreesとは 2. 　エクストラツリー ExtraTreesの特徴 3. 　SklearnのExtraTreesのパラメーター 4. 　実験・コード ＿＿4.1 データ読み込み ＿＿4.2 決定木、ランダムフォレスト、ExtraTrees ＿＿4.3 モデル評価 1.　 エクストラツリー ExtraTreesとは ExtraTrees とは　Extremely Randomized Treesの略称です。ExtraTreesClassifierは、基本的に決定木に基づくアンサンブル学習方法です。RandomForestのようなExtraTreesClassifierは、特定の決定とデータのサブセットをランダム化して、データからの過剰学習をランダムフォレストよりも少なくすることを想定されています。 論文はこれになります。 Extremely randomized trees Pierre Geurts · Damien Ernst · Louis Wehenkel https://link.springer.com/content/pdf/10.1007/s10994-006-6226-1.pdf 2. 　エクストラツリー ExtraTreesの特徴 決定木とランダムフォレストとExtraTreesを比較します。 決定木 通常、単一の決定木はめ、学習元のデータに対してオーバーフィッテングになりやすいです。通常、ランダムフォレストのほうが精度高い事が多いです。 ランダムフォレスト ランダムフォレストモデルは、複数ツリー(n_estimators)を作成し、過学習を減らす事が出来ます。 Extra Trees Extra Treesはランダムフォレストに似ています。複数のツリーを構築する所は、一緒ですが、木のノード（葉）を分割する所の特徴量(ジニ係数、エントロピー)のどちらかをランダムに選びます。 3. 　SklearnのExtraTreesのパラメーター class …

エクストラツリー（ExtraTree）の解説 Read More »