Jupyter Notebook拡張機能の８つ紹介
Jupyter Notebook拡張機能「Move selected cell」、「Hinterland」
、「Snippets Menu」、「Runtools」、「Hide input」、「Hide input all」、「Table of Contents (2)」、Collapsible Headings」、絵文字
Python
ウォルラス演算子のユースケース（Walrus Operator：Use cases）
目次 ウォルラス演算子 Walrus Operatorとは ユースケース _2.1 If-Statementsからの値の再利用 _2.2 List Comprehensionsでのフィルタリング _2.3 While-Loopsでのデータ読み取り _2.4 計算されたの再利用 1. ウォルラス演算子 Walrus Operatorとは Python のバージョン 3.8 （ 2019 年 10 月リリース）はウォルラス演算子 （:=）というassignment expressions を導入されました。セイウチの牙に少し似ているため、「セイウチ演算子」（:=）とも呼ばれます。ウォルラス演算子はvarが「value」に設定され、同時に値が出力されます。 2. ユースケース 2.1 If-Statementsからの値の再利用 リストの数量を確認し、リストが指定された値を表示します。warningとリストの数量を出力します。 下記の例は、リストの値が5を超えると、warningとリストの数量を表示します。 values = [1, 2, 3, 4, 5, 6] if (n := len(values)) > 5: print(f’The list is longer …
LightGBMの解説
LightGBMの解説 – S-Analysis
PythonLibraryにおけるLightGBMとは、（ライト・ジービーエム）決定木アルゴリズムに基づいた勾配ブースティングの機械学習です。
LightGBMとは｜LightGBMの特徴｜LightGBMのパラメーター｜Pythonの実験
scikit-learnでのホールドアウト検証と交差検証
交差検定では、用意したデータをK個に分割して、1回目はそのうちの一つをテストデータ、それ以外を学習データとして、学習・評価します。
ホールドアウト検証 ｜ K-分割交差検証 ｜ python実装
モデルの評価モジュールのsklearn.metrics
scikit-learnには、作成したモデルの評価を行うモジュールとしてsklearn.metricsが搭載されています。 今回はsklearn.metricsをまとめた話をしていきます。 https://scikit-learn.org/stable/modules/classes.html 目次 1. sklearn.metricsモジュール 2. モデル選択インターフェース 3. 分類のメトリック 4. 回帰のメトリック 5. マルチラベルランキングのメトリック 6. クラスタリングのメトリック 7. バイクラスタリングのメトリック 8. ペアワイズのメトリック 1. sklearn.metricsモジュール sklearn.metricsモジュールには、スコア関数、パフォーマンスメトリック、ペアワイズメトリック、および距離計算が含まれます。 2. モデル選択インターフェース metrics.check_scoring（estimator [、scoring、…]）ユーザーオプションからスコアラーを決定します。 metrics.get_scorer（スコアリング）文字列からスコアラーを取得します。 metrics.make_scorer（score_func [、…]）パフォーマンスメトリックまたは損失関数からスコアラーを作成します。 3. 分類のメトリック クラス分類 (Classification) を行った際の識別結果 (予測結果) の精度を評価するモジュールを実装します。 metrics.accuracy_score（y_true、y_pred [、…]）精度分類スコアです。 metrics.auc（x、y [、reorder]）trapezoidal ruleを使用したArea Under the Curve（AUC）。 metrics.average_precision_score（y_true、y_score）予測スコアから平均精度（AP） metrics.balanced_accuracy_score（y_true、y_pred）バランスの精度 metrics.brier_score_loss（y_true、y_prob [、…]）ブライアースコア metrics.classification_report（y_true、y_pred）主な分類指標を示すテキストレポートを作成します。 metrics.cohen_kappa_score（y1、y2 [、labels、…]）Cohen’s kappa：アノテーター間の合意を測定する統計指標です。 metrics.confusion_matrix（y_true、y_pred …
ランク学習の解説
今回の記事はPythonのsklearnでランク学習を解説します。 目次 1. ランク学習とは 2. ランク学習のアプローチ 1. ランク学習とは ランク学習は英語では ”Learning to rank” といってLTRの略称、または ”Machine-learned rankingといってMLRとよく省略されます。ランク学習は一般に教師あり、半教師あり、または強化学習を用いてランキング問題を解く方法です。たとえば、どこかの検索エンジンでキーワードを入力して、これらのウェブページをどういう順番で表示するのが良いのかを学習するのがランク学習になります。ランク学習を利用することで、検索エンジンではユーザーに見られる確率が高いページを上位に表示したり、ショッピングサイトではおすすめの商品を提示することができるようになります。 ランク学習機械学習と別の機械学習の違い – LTRの入力データはアイテムのリストです。LTRの目的は、これらのアイテムの最適な順序を見つけることです。 – LTRのアイテムが正確なスコアより、アイテム間の相対的な順序のほうが大切です。 2. ランク学習のアプローチ ポイントワイズアプローチ（Pointwise Approach） ポイントワイズアプローチの入力データには、各単一ドキュメントの特徴ベクトルが含まれています。 出力スペースには、個々のドキュメントの関連度が含まれます。 関連度の観点から、さまざまな種類の判断をグラウンドトゥルースラベルに変換できます。 ペアワイズアプローチ（Pairwise Approach） ペアワイズアプローチの入力データには、特徴ベクトルで表されるドキュメントのペアが含まれています。 出力スペースには、ドキュメントの各ペア間のペアワイズ設定（{+ 1、-1}から値を取得）が含まれます。 さまざまな種類の判断は、ペアワイズ設定の観点からグラウンドトゥルースラベルに変換できます。 リストワイズアプローチ（Listwise Approach） リストワイズアプローチの入力データには、クエリに関連付けられたドキュメントのセットが含まれます。リスト方式の出力スペースには、ドキュメントのランク付けされたリスト（または順列）が含まれます。 ランク付けされたリストの観点から、さまざまな種類の判断をグラウンドトゥルースラベルに変換できます。 論文：”Learning to Rank for Information Retrieval”、Tie-Yan Liu of Microsoft Research Asia https://www.cda.cn/uploadfile/image/20151220/20151220115436_46293.pdf
PythonのJoblibで並列処理
前回の記事はPysparkの分散処理でビックデータ処理の時間を大きく短縮させる方法を解説しました。今回は複数のCPUコアで並列処理の高速に計算の方法を解説します。 目次 1. joblibの概要 ＿＿1.1 分散処理 並列処理の違い ＿＿1.2 joblib.Parallelの解説 2. 実験・コード ＿＿2.1 ライブラリーのインストール ＿＿2.2 環境情報を表示 ＿＿2.3. 普通のPythonの処理 ＿＿2.4. Joblibの並列処理 ＿＿2.5. 結果比較（可視化） 3. まとめ 1. joblibの概要 1.1分散処理 並列処理の違い 並列（Parallel）：複数の計算機や複数の計算ユニットで構成される1つの自律的な処理です。1つの自律的なシステムであるため，当該処理系を構成する複数の計算機は，常に同一の状態を維持している必要があります。並列とは、計算速度を向上させるために同時に行うという物理的な概念です。 分散（Distributed）：複数の自律的なシステムをネットワークとおして連携する処理です。分散システム技術をレプリケーションと呼びます。クラスター構成を構築して、やるようなSpark等がこれに当てはまります。 この2つは、そもそも目的が違う概念です。並行というのは、世の中一般、同時進行するものごとをプログラムとして表現する際に用いる広い概念です。一方で並列というのは、主に計算速度を稼ぐために計算を同時に進めることを言います。 1.2 joblib.Parallelの解説 joblib.Parallel(n_jobs=None, backend=None, verbose=0, timeout=None, pre_dispatch=’2 * n_jobs’, batch_size=’auto’, temp_folder=None, max_nbytes=’1M’, mmap_mode=’r’, prefer=None, require=None) n_jobsはタスクを何分割するかという指定をする部分です。-1でコア数をマックスで使うように計らってくれます。 verboseは途中経過を表示する頻度を指定する引数で0~10の値です。0ではなにも表示せず、10で最頻になります。 backendで”threading”を選べばマルチスレッドで動作して、オーバーヘッドは減るがPythonのGILにより通常の処理中は並列処理できない（GILをリリースする部分だけが並列で動作できる＝DBアクセスの待ちなどが大きいプログラムの場合のみ有効で小さい場合は速度低下の恐れもある）、デフォルトは”multiprocessing”のマルチプロセス動作です。 Timeout 完了する各タスクのタイムアウト制限です。タスクに時間がかかると、TimeOutErrorが発生します。 pre_dispatch 事前発送されるタスクのバッチの数。 batch_size 各ワーカーに一度にディスパッチする自動的のタスクの数。 temp_folder ワーカープロセスとメモリを共有するために大きな配列をマッピングするためにプールで使用されるフォルダーです。 …
ハフ変換とLSDによる直線検出の比較
関連記事： 画像解析 前回の記事は「OpenCV + Pythonでの直線検出」を解説しました。今回はPythonでハフ変換（Hough）とLSDによる直線検出を比較します。 目次 1. ハフ変換（Hough Transform） 2. LSD (Line Segment Detector) 3. ハフとLSDの比較 4. 実験・コード ＿＿4.1 データロード ＿＿4.2 ライブラリのインストール ＿＿4.3. 直線検出 ＿＿4.4. 結果比較 1. ハフ変換とは ハフ変換 (Hough変換) は、画像処理で画像の特徴抽出法の一つです。現在広く用いられている変換法はRichard Duda及びPeter Hartが1972年に発明しました。ハフ変換の基本原理は点を通る直線は無限個存在し、それぞれが様々な方向を向きます。ハフ変換の目的は、それらの直線の中で、画像の「特徴点」を最も多く通るものを決定します。 直線の式は次のようになる: ハフ変換では画像空間からρ-θパラメータ空間への変換を行います。ある画像空間上に孤立点があり、点の座標が(x, y)である場合、パラメータ空間への変換を行うとどのような結果が得られるのか、考えることにします。 ρ : 座標(x, y)を通る直線に対し、原点から垂線を下ろしたときの長さ θ : 座標(x, y)を通る直線に対し、原点から垂線を下ろしたときにx軸となす角度 論文：Use of the Hough Transformation To. Detect Lines and Curves in Pictures …
PythonでCatBoostの解説
関連記事： 決定木分析、ランダムフォレスト、Xgboost Kaggleなどのデータ分析競技といえば、XGBoost, Light GBM, CatBoost の決定木アルゴリズムをよく使われています。分類分析系と予測分析系の競技のKaggleの上位にランクされています。今回の記事はCatBoostの新しい決定木アルゴリズムを解説します。 目次 1. CatBoostとは 2. 実験・コード ＿＿2.1 データロード ＿＿2.2 10,000件くらいサンプルデータを作成 ＿＿2.3. XGBoost グリッドサーチで 81モデルから最適なパラメータを探索 ＿＿2.4 XGBoost 最適なパラメータのモデルを作成 ＿＿2.5. Light GBM グリッドサーチで 81モデルから最適なパラメータを探索 ＿＿2.6 Light GBM最適なパラメータのモデルを作成（Categorial Feature除く） ＿＿2.7 Light GBM最適なパラメータのモデルを作成（Categorial Feature含む） ＿＿2.8. CatBoost グリッドサーチで 81モデルから最適なパラメータを探索 ＿＿2.9 CatBoost 最適なパラメータのモデルを作成（Categorial Feature除く） ＿＿2.10 CatBoost 最適なパラメータのモデルを作成（Categorial Feature含む 3. モデル評価評価：学習時間 AUC 1. CatBoostとは CatBoostはCategory Boostingの略で、決定木ベースの勾配ブースティングに基づく機械学習ライブラリ。2017にYandex社からCatBoostが発表されました。 特徴： １）回帰予測、分類の教師あり学習に対応 ２）過学習を減らして、高い精度、学習速度を誇る ３）GPU、マルチGPUに対応 決定木ベースのアルゴリズムの歴史 CatBoostは、オーバーフィットを減らし、データセット全体をトレーニングに使用できるようにする、より効率的な戦略を使用します。 …
Python-OpenCVでのRGBからHSVに変換
画像解析一覧 画像解析では、画像の色空間を変換することは一般的な操作になります。OpenCVは150種類以上の色空間の変換を用意しているが，その中で最も広く使われている変換方法は、BGR からGrayに変換とBGRから HSVに変換であります。今回の記事はBGRから HSVに変換する方法を解説します。 目次 1. 色空間とは 1.1 RGB色空間モデル 1.2 HSV色空間モデル 2. RGBからHSVに変換の換算式 3. PythonのOpenCVコード：RGBからHSVに変換 3.1データロード 3.2 RGBの画像を可視化 3.3 HSVに変換 3.4 HSVの画像を可視化 1. 色空間とは 色空間(カラースペース)とは色を定量的に表現方法です。代表的な色空間にはRGBがあるが、これは、赤（Red）、緑（Green）、青（Blue）の光の3原色を利用した色空間であり、コンピュータのモニタへの出力や、アプリケーション上の色設定などでよく用いられます。他には、テレビで用いられているYCbCr/YPbPr、印刷分野で主流であるCMYKやDICなどがあります。 1.1 RGB色空間モデル コンピュータやテレビの映像表示に使われるディスプレイでは、色を区別する方法として RGB モデル（RGB model）が広く使われています。それに合わせて、Webサイトを制作する際に色を指定する場合にも RGB にもとづく色表記が使われます。赤（red）、緑（green）、青（blue）の 3 つであり、これらを総称して原色（primary colors）と呼びます。それぞれの要素の明度を最小の 0 から最大の 255 の間に置きます。すべての原色が混ざると白（white）になります。他方で、すべての原色が欠けると黒（black）になります。 1.2 HSV色空間モデル HSV モデル（HSV model）とは、色相（hue）・明度（lightness）・彩度（saturation）の 3 つの基準から色を分類するモデルです。HSV モデルにおいて使われる 3 つの基準を総称して色の三属性（three attributes of color）と呼びます。HSV モデルは人間が色を知覚する方法と似ていることからデザイナーの間で広く使われています。 …