機械学習 – Page 5

生存分析のKaplan-Meier

目次 1. 生存分析の概要 2. 使用事例 3. 実験 _3.1 Kaplan-Meier _3.2 Kaplan-Meierの比較 _3.3 ログランク検定（Log-rank） 1. 生存分析の概要生存分析とは、生存分析は何らかのイベントが起きるまでの時間とイベント発生率の統計的手法です。イベントは、死、回復、誕生、退職のような目的変数です。どのような分析：・患者が症状を示すまでの日数を見つけること・複数のグループ間のイベントを比較すること・どの治療法が最も高い生存確率があるかを見つけること・患者の生存数の中央値を見つけること・どの要因が患者の生存により大きな影響を与えるかを比較すること生存時間とは、被験者が生きているか、または積極的に調査期間に参加するまでの時間のことです。イベントの主な種類： 1) 再発（Relapse: relapse-free survival）：治療後、元気になるまでの時間。 2)プログレッション（Progression: progression-free survival）：治療後、まだ病気で生きているが悪化しない時間。 3) 死(Death)：破壊または研究の永久的な終了です。打ち切り(Censoring) は、データの欠落の問題の一種であり、何らかの理由でイベントまでの時間が観察されません。 2. 使用事例医療・患者の生存時間分析・治療時間分析製造・機械故障時間分析・運用生産障害分析・機械のクリティカルレベル・修理期間分析ビジネス・保証請求期間の分析・販売時間分析につながる・最初の販売分析に販売員の分析 3. 実験環境：Google Colab ライブラリ：lifelines …

生存分析のKaplan-Meier Read More »

距離と類似度の解説

機械学習

目次 1. 距離とは 2. ユークリッド距離 (euclidean distance) 3. マンハッタン距離 (manhattan distance) 4. ミンコフスキー距離 (Minkowski distance) 5. チェビシェフ距離（Chebyshev distance） 6. ハミング距離（Hamming distance） 1. 距離とは距離とは２つのデータが似ている度合いを，類似度の大きさや距離の近さといった数値にしてあらわすことです。機械学習では、多くの機械学習タスクで使用されるデータの類似性と距離を測定します。クラスター分析、レコメンダシステム、自然言語処理（NLP）に色々な距離アルゴリズムが必要です。今回の記事は下記の距離と類似度を解説します。・ユークリッド距離 (euclidean distance) ・マンハッタン距離 (manhattan distance) ・ミンコフスキー距離 (Minkowski distance) ・チェビシェフ距離（Chebyshev distance）・ハミング距離（Hamming distance） 2. ユークリッド距離 (英：euclidean distance) ユークリッド距離は、2つのベクトル間の直線距離です。点pとqの間のユークリッド距離は、それらを結ぶ線分の長さです。高次元でマンハッタン距離やチェビシェフ距離よりノイズに強いので、距離差が出にくいです。計算式： Python script: import scipy.spatial.distance …

距離と類似度の解説 Read More »

OpenCVで画像のInpaintingの解説

機械学習

目次１．画像のInpaintingの概要 __1.1 画像のInpaintingとは __1.2 OpenCVのInpainting __1.3 Navier-Stokesのアルゴリズム vs Fast Marching のアルゴリズム 2. 実験 __2.1 実験1: 兎画像に墨痕の削除 __2.2 実験2: 人の画像にウォーターマークの削除１．画像のInpaintingの概要 1.1 画像のInpaintingとは Inpaint は日本語では修復するという意味です。引っかき傷や，画像の上に書かれた文字などがナチュラルに復元される方法です。今回はOpenCVでのinpaintを説明と実験したいと思います。 1.2 OpenCVのInpainting cv2.inpaint(image, mask, radius, method) –image：修復作業を行う損傷した写真への道 –mask：写真の損傷部分に対応するマスクへのパス –radius：デフォルトの修復半径は3ピクセルに設定されています。この値を調整して、画像復元の範囲を大きくします。 –method：「telea」または「ns」アルゴリズムの選択ができます。アルゴリズムは、以下のようになっています。 Navier-Stokesのアルゴリズム（INPAINT_NS）流体力学の理論を適用して、コンピュータービジョンの問題を解決します。下の画像の目的は、黒い領域を塗りつぶして、右のような画像を取得する事です。領域内の画像強度を上記の制約で更新する偏微分方程式（partial differential equation　－　PDE）を用いて補完をおこなっていきます。画像の滑らかさの情報は、画像のラプラシアンによって推定され、等輝度線（強度が等しい輪郭）に沿って伝播されます。等輝度線は、90度回転した画像勾配によって推定されます。 Fast Marching のアルゴリズム（INPAINT_TELEA） Fast Marching のアルゴリズムは、異なる手法を使用して補完をしていきます。滑らかさの推定量として画像ラプラシアンを使用する代わりに、ピクセルの既知の画像近傍の加重平均を使用して修復します。及び既知の近傍ピクセルと勾配を使用して、修復されるピクセルの色を推定します。逐次的なアルゴリズムであり、ピクセルが修復されると、境界を更新していきます。長所と短所理論と論文によれば、Navier-Stokesベースのインペインティングは遅い傾向があり、Fast Marchingベースの方法よりもぼやけた結果を生成する傾向があります。INPAINT_NSはテストでより良い結果を生成し、速度もINPAINT_TELEAよりわずかに優れていました。しかし以下で実験したところそうとは限らないことがわかりました。アルゴリズムの論文： cv2.INPAINT_TELEA: An …

OpenCVで画像のInpaintingの解説 Read More »

OpenCVでのモルフォロジー変換（Morphological Transformations）の解説

機械学習

目次モルフォロジー変換の概要 1. 収縮(Erosion) 2. 膨張(Dilation) 3. オープニング(Opening) 4. クロージング(Closing) 5. モルフォロジー勾配 6. トップハット変換 7. ブラックハット変換モルフォロジー変換とは（Morphological Transformations）モルフォロジー変換は、2値画像に関して，「膨張」や「収縮」などのシンプルな画像処理のことです。モルフォロジー変換には入力画像とと構造的要素（Kernel）の二つを入力として与えます。基本的なモルフォロジー処理として，収縮(Erosion)と膨張(Dilation)が挙げられます．他には，この二つの処理を組み合わせたオープニングとクロージングといった処理も挙げられます。ライブラリのインポート import cv2 from google.colab.patches import cv2_imshow 1. 収縮(Erosion) 収縮処理は、収縮処理が施された画像中のオブジェクトは細くなる処理です。オブジェクトの境界付近の情報が消えやすくなることです。下記の図は収縮処理です。 # 画像を読み込む img = cv2.imread(‘input_image01.jpg’, 0) kernel = np.ones((5,5), np.uint8) # 処理 img_erosion1 = cv2.erode(img,kernel,iterations = 1) img_erosion2 = cv2.erode(img,kernel,iterations = 2) # 結果表示 cv2_imshow(img) …

OpenCVでのモルフォロジー変換（Morphological Transformations）の解説 Read More »

ピンボールロス（Pinball loss）の解説

機械学習

目次 1. ピンボールロス（Pinball loss）の概要＿＿1.1ピンボールロス（Pinball loss）とは＿＿1.2ピンボールロスのロジック 2. 実験・コード＿＿2.1 環境の準備＿＿2.2 データロード＿＿2.3 モデル・結果作成＿＿2.4可視化・評価 3. まとめ 1. ピンボールロス（Pinball loss）の概要 1.1 ピンボールロス（Pinball loss）とは　分位点ロス（quantile loss）ピンボールロス関数または分位点ロス（quantile loss）、分位予測の学習する時に、使用される損失関数です。分位回帰は、偏りに強い回帰の種類になります。予測される変数の平均を求める代わりに、分位点回帰では中央値と他の分位点を求めます。 τをターゲット分位数、yを実際の値、zを分位数予測とすると、ピンボール損失関数であるLτは次のように記述できます。 1.2ピンボールロスのロジック「下記の図」ピンボールロス関数（赤）は、ピンボール上のボールの軌道の形状にちなんで名付けられました。関数は常に正であり、ターゲットyから離れるほど、Lτ（y、z）の値は大きくなります。傾斜は、分位数予測における望ましい不均衡を反映するために使用されます。観測値から可能な限り近い予測を目標とする従来の予測とは異なり、分位点を予測するのに適した損失関数です。上のグラフは、3つの異なる予測を示しています。赤字は75％の分位数予測黒字、平均の予測緑色で、25％分位数予測 2. 実験・コード環境：Google Colab データセット：scikit-learnのBoston house-prices (ボストン市の住宅価格) モデル：１）線形回帰（LinearRegression）２）勾配ブースティング（Gradient Boosting）３）分位点回帰（Quantile Regression）モデル評価：ピンボールロス（Pinball loss） 2.1 環境の準備ライブラリのインポート …

ピンボールロス（Pinball loss）の解説 Read More »

Scikit-learnを用いた階層的クラスタリング (Hierarchical clustering)の解説

機械学習

目次 1. 階層的クラスタリングの概要＿＿1.1階層的クラスタリング (hierarchical clustering)とは＿＿1.2所と短所＿＿1.3 凝集クラスタリングの作成手順＿＿1.4 sklearn のAgglomerativeClustering ＿＿1.5 距離メトリック　(Affinity) ＿＿1.6 距離の計算（linkage） 2. 実験・コード＿＿2.1 環境の準備＿＿2.2 データロード＿＿2.3 Euclidean距離のモデル学習・可視化＿＿2.4 Manhattan距離のモデル学習・可視化＿＿2.5 Cosine距離のモデル学習・可視化 1.1 階層的クラスタリング (hierarchical clustering)とは階層的クラスタリングとは、個体からクラスターへ階層構造で分類する分析方法の一つです。樹形図（デンドログラム）ができます。デンドログラムとは、クラスター分析において各個体がクラスターにまとめられていくさまを樹形図の形で表したもののことです。ツリーのルートは、すべてのデータをクラスターで分類しており、一番下の部分は1件のデータになっています。左側の図はクラスタリングする前のデータ分布で例えばこれを階層型クラスタリングしたものが右側の図になります(gifで過程が見えるようになっています)。この樹形図のグラフをよく階層型クラスターと呼びます。 1.2 階層的クラスタリングの長所と短所クラスタリング手法の中でもkmeanのような非階層型クラスタリングと比べた時に以下のメリットとデメリットがあります。長所・特定の数のクラスター（すなわち、k平均）の仮定なし・可視化でクラスタリングの様子が自分で確認できる短所・ノイズや外れ値に敏感です。・分類の対象が多い場合はkmeanよりも遅くなりがちなことがある。代表的な階層型クラスタリングアルゴリズムには2つあります。凝集性（Agglomerative）—ボトムアップアプローチ。多くの小さなクラスターから始め、それらを結合して大きなクラスターを作成します。分割型（Divisive） —トップダウンアプローチ。小さなクラスターに分割するのではなく、単一のクラスターから始めます。 1.3 凝集クラスタリングの作成手順 1. 個々のデータが，それぞれ孤立したクラスタを形成している状態から開始します。 2. 全てのクラスタ対の間の距離を計算し，最も近いクラスタ対を見つけます。最も近いクラスタを併合し，この新しいクラスタにします。 …

Scikit-learnを用いた階層的クラスタリング (Hierarchical clustering)の解説 Read More »

LogitBoostの解析

機械学習

関連記事：　NGBoost CatBoost LightGBM 目次 1. LogitBoostの概要＿＿1.1 LogitBoostとは＿＿1.2 LogitBoostのライブラリ 2. 実験・コード＿＿2.1 環境の準備＿＿2.2 ライブラリのインポート＿＿2.3. データロード＿＿2.4. データ加工＿＿2.5. モデル学習＿＿2.6. モデル評価 1. LogitBoostの概要 1.1 LogitBoostとは LogitBoostは、バイナリまたはマルチクラス分類アルゴリズムの一つになります（一応回帰も可能です）。LogitBoost と AdaBoost は、どちらも加法ロジスティック回帰を行うという点で似ています。違いは、AdaBoost が指数損失を最小化し、LogitBoost がロジスティック関数の損失関数を最小化するように学習する事です。 1.2 LogitBoostのライブラリ下記のようにScikit-learnライクに使う事ができます。 logitboost.LogitBoost(base_estimator=None, n_estimators=50, weight_trim_quantile=0.05, max_response=4.0, learning_rate=1.0, bootstrap=False, random_state=None) パラメータの意味です。 base_estimator (object, optional (default=None)) classifierまたはregressorを指定することができます。 base_estimatorが指定されていない場合は、decision stump(分ける時に２値のフラグでわけます)が使用されます。 n_estimators …

LogitBoostの解析 Read More »

Kaggle新型コロナウイルスの感染人数を予測するコンペ（COVID19 Global Forecasting）

kaggle, 機械学習

関連記事： kaggleの記事　昨年末から始まった新型コロナウイルス感染症（COVID-19）感染者拡大の影響は、いまや世界中に広がっています。世界中のさまざまな業界の組織はCOVID-19の対策を支援しています。やはりデータサイエンティストや機械学習エンジニアもCOVID-19）の感染対策や治療方針の策定を支援しています。今回の記事は世界中のデータサイエンティストの競い合うプラットフォームKaggleからの「COVID19 Global Forecasting」について紹介したいと思います。目次 1.　 COVID19 Global Forecastingの概要 ___1.1 コンペの概要 ___1.2 データセットの概要 2. モデル作成 ___2.1 データの理解 ___2.2 モデル 1. ASHRAE 消費エネルギー予測のコンペの概要 1.1 コンペの概要概要 Kaggleでは今回の一連のコンペを通じて、感染者数の推移の予測によって世界保健機関（WHO)と全米科学・工学・医学アカデミー（NASEM）が抱える新型コロナウイルスに関連する疑問にも答えることです。今回のKaggleのコンペでは、米ホワイトハウスらを通じて集められた感染者数などの各種関連データを使って、１ヶ月後の感染者数を予測するモデルを構築することになります。賞金：　- 期間：　2020/3/19 ~ 第１週目のの評価：RMSLE nは観測の総数です piは予測値です aiは実測値です log（x）はxの自然対数です最終スコアは、すべての列のRMSLEの平均です詳細：RMSLE を用いた評価指標第5週目の評価：Weighted Scaled Pinball Loss (WSPL) y は実測値です。 y^ は予測値です。 τ は分位予測です。　例 [0.05, 0.50, 0.95] Nf …

Kaggle新型コロナウイルスの感染人数を予測するコンペ（COVID19 Global Forecasting） Read More »

LiteMORTの解説

機械学習

関連記事：　Xgboost、LightGBM 今回の記事はヒストグラムベースの特徴の新たなLiteMORTを解説します。目次： 1.　 LiteMORTとは 2. 　LiteMORTの特徴 3. 実験・コード＿＿3.1 データ読み込み＿＿3.2　LiteMORT xgboost lightGBM ＿＿3.3 モデル評価 4. まとめ 1.　 LiteMORTとは LiteMORT（A memory efficient gradient boosting tree system on adaptive compact distributions）は、分割の際にヒストグラムを用いていきます。ノイズの多い特徴をよりコンパクトで堅牢に評価します。このアルゴリズムにより、速度が向上し、メモリ使用量が大幅に削減され、精度が維持されます。 LiteMORTの論文 LiteMORT: A memory efficient gradient boosting tree system on adaptive compact distributions 2. LiteMORTの特徴 2.1 適応的なサイズ変更されたビンでの機能の分布。ヒストグラムのビンは、実際にはさまざまな変数の分布を計算する基礎です。より洗練されたビンを使用すると、より良い分布パラメーターを取得できます。一部のビンがより重要な場合は、そのサイズを縮小するか、2つのビンに分割します。 …

LiteMORTの解説 Read More »

kaggle1位の解析手法　「ASHRAE 消費エネルギー予測」2. 1位の解析手法

kaggle, 機械学習

目次 1. ASHRAE 消費エネルギー予測のコンペの概要 ___1.1 コンペの概要 ___1.2 データセットの概要 ___1.3 データの理解 2. 1位の解析手法 ___2.1 前処理 ___2.2 フィギュア・エンジニアリング ___2.3 モデル 2. 1位の解析手法 Isamu & Mattのチームのコメントを解説します。 https://www.kaggle.com/c/ashrae-energy-prediction/discussion/124709 2.1 前処理 2.1.1 異常値削除（Remove anomalies）このコンペでは、データのクリーンアップが非常に重要でした。想定されているのは、データに予測不可能な、したがって学習不可能な異常があり、トレーニングされた場合、予測の品質が低下するということです。 3種類の異常を特定して除外しました。１．長い定数値 2．大きな正/負のスパイク３．目視検査によって決定された追加の異常これらの異常のいくつかは、サイトの複数の建物にわたって一貫していることがわかりました。サイト内のすべての建物を使用して潜在的な異常を検証しました。複数の建物で同時に異常が発生した場合、これが実際に真の異常であると合理的に確信できます。これにより、必ずしも一定値の長いストリークや大きなスパイクの一部ではない異常を取り除くことができました。 2.1.2 温度のデータを欠損値代入法Impute Missing Temperature Values 温度メタデータに多くの欠損値がありました。線形補間を使用して欠落データを補完することがわかりました。 2.1.3 タイムゾーンの加工（Local Time Zone Correlation）トレイン/テストデータのタイムゾーンは、気象メタデータのタイムゾーンとは異なりましたので、タイムゾーンのデータを加工しました。 2.1.4 ラベルの加工（Target Transformations）最初はlog1p(meter_reading)を予測しました。site 0のkBTUをkWhに変換します。最後はlog1p(meter_reading/square_feet)の標準化にしました。（スコアが0.002上がった） …

kaggle1位の解析手法　「ASHRAE 消費エネルギー予測」2. 1位の解析手法 Read More »