目次 1. 線形判別分析 (LDA) とは 2. 実験 _2.1 データロード _2.2 データ前処理 _2.3 主成分分析 (PCA) _2.4 線形判別分析 (LDA) 1. 線形判別分析 (LDA) とは 線形判別分析（Linear Discriminant Analysis, LDA）は、次元削減を用いた統計学上の特徴抽出手法のひとつです。主成分分析 (Principle Component Analysis, PCA) は、データの分散が最大となるような次元を探すのに対して、線形判別分析は、データのクラスを最もよく分けられる次元を探します。ここでは、主成分分析 (PCA)と線形判別分析 (LDA)を比較していきたいと思います。 線形判別分析の手法 グループ間の分散を最大にグループの分類を最小にする軸を選びます。 1. クラス内およびクラス間の散布行列を計算します。 2. 散布行列の固有ベクトルと対応する固有値を計算します。 3. 固有値を並べ替えて、上位kを選択します。 4. k個の固有値にマップする固有ベクトルを含む新しい行列を作成します。 5. ステップ4のデータと行列の内積を取得して、新しい特徴（つまり、LDAコンポーネント）を取得します。 線形判別分析の特徴： ・分離を最適化する特徴部分空間を探す ・教師あり ・正規分布が仮定される ・サンプル間が独立であることが仮定される scikit learnの線形判別分析 sklearn.discriminant_analysis.LinearDiscriminantAnalysis(*, solver=’svd’, shrinkage=None, …

線形判別分析(Linear Discriminant Analysis) LDA 次元削減 Read More »

目次 1. 生存分析の概要 2. 使用事例 3. 実験 _3.1 Kaplan-Meier _3.2 Kaplan-Meierの比較 _3.3 ログランク検定（Log-rank） 1. 生存分析の概要 生存分析とは、 生存分析は何らかのイベントが起きるまでの時間とイベント発生率の統計的手法です。イベントは、死、回復、誕生、退職のような目的変数です。 どのような分析： ・患者が症状を示すまでの日数を見つけること ・複数のグループ間のイベントを比較すること ・どの治療法が最も高い生存確率があるかを見つけること ・患者の生存数の中央値を見つけること ・どの要因が患者の生存により大きな影響を与えるかを比較すること 生存時間とは、被験者が生きているか、または積極的に調査期間に参加するまでの時間のことです。 イベントの主な種類： 1) 再発（Relapse: relapse-free survival）：治療後、元気になるまでの時間。 2)プログレッション（Progression: progression-free survival）：治療後、まだ病気で生きているが悪化しない時間。 3) 死(Death)：破壊または研究の永久的な終了です。 打ち切り(Censoring) は、データの欠落の問題の一種であり、何らかの理由でイベントまでの時間が観察されません。 2. 使用事例 医療 ・患者の生存時間分析 ・治療時間分析 製造 ・機械故障時間分析 ・運用生産障害分析 ・機械のクリティカルレベル ・修理期間分析 ビジネス ・保証請求期間の分析 ・販売時間分析につながる ・最初の販売分析に販売員の分析 3. 実験 環境：Google Colab ライブラリ：lifelines …

生存分析のKaplan-Meier Read More »

目次 1. 疎行列（sparse matrix）の概要 2. 密行列（dense matrix） 3. 疎行列の処理 ―3.1 COO方式 ―3.2 CSR方式 ―3.3 CSC方式 4. まとめ 1. 疎行列（sparse matrix）の概要 疎行列とは、ほとんど行列の要素がゼロであるような行列です。行列内のほとんどが0という特徴から、0を無視する工夫をすれば、メモリや計算速度を節約が可能になります。疎行列ではない、よくある行列を「密行列」（dense matrix）と呼ぶこともあります。数値計算や機械学習や自然言語処理など幅広い分野で扱われています。 以下の図は10×10の密行列と10×10の疎行列になります。8割近くが0の疎行列で非ゼロ部分だけ用いて計算すれば、計算時間が約2/10になり計算が早く終わらせることが可能になります。 PythonのSciPyライブラリには、疎行列を作成、保存、操作するための多くのオプションがあります。PythonのScipyを用いて、疎行列計算について解説していきます。 密行列（dense matrix） 85、90、99ゼロ率の10,000 x 10,000密行列のデータを作成します。 # Create Sparse Data import numpy as np from scipy import sparse from scipy.stats import uniform from sys import getsizeof np.random.seed(seed=42) array = uniform.rvs(size=100000000, loc = …

SciPyでの疎行列（sparse matrix）の膨大な量のデータ前処理 Read More »

関連記事：　U-net（画像セグメンテーション）の解説 先日の記事はU-net（画像セグメンテーション）の解説について解説しました。画像認識技術は画像分類・物体検出・セグメンテーションなどの技術があります。今回の記事は画像認識技術の違いを開設したいと思います。 目次 1. 画像認識（Image Recognition）とは 2. 画像分類（Image Classification）とは 3. 画像分類・物体位置特定（Image Classification・Localization）とは 4. 物体検出（Object Detection）とは 5. セグメンテーション（Segmentation） ＿5.1 セマンティック・セグメンテーション（Semantic Segmentation）とは ＿5.2 インスタント・セグメンテーション（Instant Segmentation）とは ＿5.3 パノプティック・セグメンテーション（Panoptic Segmentation）とは 6. まとめ 1. 画像認識（Image Recognition）とは 画像認識(Image Recognition)とは、画像や動画データから特徴をつかみ、対象物を識別するパターン認識技術の一つです。画像データから、対象物や、対象物の特徴(形状、寸法、数、明暗、色など)を抽出/分析/識別して認識検出する手法です。 コンピュータが画像認識を行うためには、前段階として、画像から対象物を抽出する必要があります。 下記の8ビットのグレースケール画像から、すべてのデジタル画像は0〜255の範囲の値を持つピクセルによって形成されます。0は黒、255は白です。 カラフルな画像の場合は、赤、緑、青の3つのマップと、0〜255の範囲のすべてのピクセルが含まれます。 画像認識を利用することで、顔認証システムや不審者検知、文字認識（OCR）、不適切画像の検出、 工場でのイレギュラー検知など幅広い分野で活用することができます。 今回の記事は物体検出の分野を中心にします。 2. 画像分類（Image Classification）とは 画像分類とは、機械学習やディープラーニングモデルで、画像を何らかの主題に基づき分類する処理方法です。いくつかの分類手法があります。教師あり学習では、ラベル付けされたデータセットを用いて、モデルを学習させていきます。 画像分類の結果は各クラスの予測信頼度です。 classes = [“dog”, “cat”, “nothing”] prediction = [ 0.8 , 0.1 …

画像分類・物体検出・セグメンテーションの比較 Read More »