PySparkでデータ読み込み

Spark, 全て

PySparkのデータ処理一覧 今回はdatabricksでtableとcsvと parquetと圧縮ファイルの gzファイルを読み込むコードの例を紹介します。 1. tableからデータ読み込む spark.table と spark.sqlでデータを読み込みます。   Pyspark df = spark.table(“list”) df.show() +—+—-+—+| id|name|age|+—+—-+—+|  1|Andy| 20||  2|Jack| 31||  3| Tom| 41|+—+—-+—+ Pyspark df = spark.sql(“select * from list”) df.show() +—+—-+—+| id|name|age|+—+—-+—+|  1|Andy| 20||  2|Jack| 31||  3| Tom| 41|+—+—-+—+   2. csvファイルを読み込む spark.readでcsvファイルを読み込みます。   Pyspark 例１ df = (spark.read      .option(“inferSchema”, “True”)      …

PySparkでデータ読み込み Read More »

TensorFlow 2.0 主な変更点

全て, 深属学習

前回、【深属学習】について色んな記事を話しました。 今回の記事はGoogleが2019年初に公開したTensorFlow 2.0について紹介します。 本番リリースではないですが、現在の時点TensorFlow 2.0 Betaです。   リリース日のタイムライン: 2019年3月4日　TensorFlow 2.0 Alphaのリリース 2019年6月日8　TensorFlow 2.0 Betaのリリース >  pip install tensorflow==2.0.0-beta0 本記事では、TensorFlow 2.0の変更点についてまとめたいと思います。 Google I/O’19のアナウンスとDesign Documentを参考しました。 TensorFlowのアナウンスにもある通り、TensorFlow 2.0における大きな変更点は以下の４つになります。 １．Eager Modeのデフォルト化 ２．Sessionとplaceholder消滅 ３．kerasが、TensorFlow標準の高レベルAPIに ４．TensorFlow 2.0の全体構成 1. Eager Modeのデフォルト化 eager executionはDefine-by-runの機能になります。Define by Runでは、計算グラフ（ニューラルネットの構造）の構築とデータを流しながら行います。Define and Runでは、計算グラフを構築してから、そこにデータを流していきます。 従来の tensorflow は Define-and-run で、 PyTorch やChainer は Define-by-run です。 eager execution は tensorflow で …

TensorFlow 2.0 主な変更点 Read More »

X-means法でクラスタ数を推定する方法

全て, 機械学習

  前回、【クラスタ数の決め方の１つシルエット分析】について説明しました。 今回の記事はもう一つのクラスタ数を自動推定するX-meansについて紹介します。 x-meansとは x-meansは、k-meansのクラスター数kを自動推定しつつクラスタリングしてくれる手法です。k-meansの逐次繰り返しとBIC（Bayesian information criterion）による分割停止基準を用いて最適なクラスター数を決定します。 BICは重心の近くにガウス分布している仮定してBICを計算します。   詳細はx-meansの論文になります。 今回は「pyclustering」のライブラリを使用して、x-meansのクラスタ数推定を行います。 先ず、ライブラリの読み込み %matplotlib inline import pyclustering from pyclustering.cluster import xmeans import numpy as np import matplotlib import matplotlib.pyplot as plt from sklearn.cluster import KMeans from sklearn.datasets import make_blobs   サンプルの作成 X, y = make_blobs(n_samples=5000,                   n_features=2,                   centers=4,                   cluster_std=1,                   center_box=(-10.0, 10.0),                   shuffle=True, …

X-means法でクラスタ数を推定する方法 Read More »

PySparkで欠損値(Null)の取り扱い方法

Spark, 全て

PySparkのデータ処理一覧   データ分析でよく問題になるのが欠損値の処理です。今回の記事はPySparkで欠損値(Null)の取り扱い方法を紹介します。 先ず、欠損値があるデータを作成します。 Pyspark df = spark.createDataFrame([   (“p001”, 1020, None),   (“p002”, 560, “delivered”),   (“p003”, None, “delivered”),   (“p004”, None, None)],   [“productID”, “unit”, “status”]) df.show() df.count()   +———+—-+———+|productID|unit|   status|+———+—-+———+|     p001|1020|     null||     p002| 560|delivered||     p003|null|delivered||     p004|null|     null|+———+—-+———+Out[1]: 4   １）欠損値の件数 isNull isNotNillで欠損値がない列をフィルタして数えます。 PySpark df2 = df.filter((df[“productID”].isNotNull() & df[“unit”].isNotNull() & df[“status”].isNotNull()))df2.show()df2.count() +———+—-+———+ |productID|unit| …

PySparkで欠損値(Null)の取り扱い方法 Read More »

AdaBound 新しい深層学習のoptimizer

全て, 深属学習

前回の記事は色々な【深属学習】について話しました。今回の深層学習の最適化手法のAdaBoundを紹介します。AdaBoundはAdamの収束の速さとSGDの汎化性能の良さの良いとこ取りなoptimizerです。   Adamの弱点としては、汎化性能が劣る・未知のデータに弱い・極端な学習率を使うため上手く収束しないことがあります。例えばですが、収束が近くなると学習率は0.01以下の小さすぎる値になったり1000以上の大きすぎる値になったりしてしまうことがあります。逆にメリットとしては、収束が早いという事になります。 この大きすぎたり、小さすぎるを解消するために新しく提案されたのが、AMSBoundという手法になります。   AMSBound の論文はこちらです。   今回はColab（GPU）でKerasのRestNet34のモデルを作成します。Keras-adabound はこちらから参照します。   概要 データセット：cifar10 cifar10は、kerasのdatasetsで提供されている、5万枚の訓練画像と1万枚のテスト画像のデータセットです。画像は32×32のRGBで、画像の下に表示されている数字が正解ラベルです。 0 – airplane　　1 – automobile　　2 – bird　　3 – cat　　4 – deer 5 – dog　　6 – frog　　7 – horse　　8 – ship　　9 – truck   Optimizer：Adam,と AdaBound のOptimizerを比較します。 モデル評価：速い収束、正解率を確認します。   学習条件 共通設定 モデル:　 ResNet34 バッチサイズ　= 512 エポック数　= 100 クラス数　= 10   Optimizerの設定 adabound  …

AdaBound 新しい深層学習のoptimizer Read More »

RMSLE を用いた評価指標

全て, 機械学習

前回の記事は【ROC曲線とAUC】機械学習の評価指標を説明しました。今回は連続値回帰モデルの評価指標のRMSLEを紹介したいと思います。 先ず、RMSEを説明します。 RMSE (Root Mean Squared Error) 定義式   （n = 件数 、y = 実測の値、ŷ =予測の値） RMSEとか平均平方二乗誤差といいます。すべての誤差の平方根の平均です。 連続値の値でどれぐらい離れているかを平均を取り、平方根で評価します。   コード： from sklearn.metrics import mean_squared_error import numpy as np y_true = [100, 110, 120, 130] y_pred = [110, 120, 130, 140] RMSE=np.sqrt(mean_squared_error(y_true, y_pred)) print(RMSE) 10   RMSLE (Root Mean Squared Logarithmic Error) 定義式   （n = …

RMSLE を用いた評価指標 Read More »

OpenCV + Pythonでの色認識・色検出

全て, 機械学習

前回の記事は OpenCVで画像の図形検出と直線検出について説明しました。 「OpenCV + Pythonでの図形検出、図形数える」 「OpenCV + Pythonでの直線検出」 今回の記事は画像解析についてOpenCVで画像から色認識し、色検出を説明します。 OpenCVライブラリのInRangeはビデオ、画像の色範囲を認識する機能です。下界と上界を設定すれば、対象の色を検出ができます。InRangeのクラスは下記に説明します。 InRange InRange(src, lower, upper, dst) パラメタ: src (CvArr) – 入力画像 lower (CvArr) – 下界（その値を含む）を表す配列 upper (CvArr) – 上界（その値は含まない）を表す配列 dst (CvArr) – 出力画像 (引数経由で受け取る場合) この関数は，入力配列の要素毎に範囲チェックを行います。

PySparkでDataFrameに行を追加する方法

Spark, 全て

PySparkのデータ処理一覧 今回はDataFrameに行を追加する方法を説明します。前回と同じPython とPysparkで比較して色んな例を作成します。 １）DataFrameを作成します。 Python import pandas as pd import numpy as  np pdf = pd.DataFrame(data={‘ColumnA’:np.linspace(1, 3, 3),                         ‘ColumnB’:[‘red’, ‘yellow’,’green’],                         ‘ColumnC’: np.array(1) }) pdf Pyspark data = [(1, ‘red’, 1), (2, ‘yellow’, 1), (3, ‘green’, 1)] sdf = sqlContext.createDataFrame(data, [“ColumnA”, “ColumnB”, “ColumnC”]) display(sdf) Out[1]:    ColumnA ColumnB  ColumnC 0      1.0     red        1 1      …

PySparkでDataFrameに行を追加する方法 Read More »

PySparkでDataFrameに列を追加する方法

Spark, 全て

PySparkのデータ処理一覧 大量データ処理するとき、高速でスケーラブルな汎用分散処理エンジンのSparkが、よく使われます。　PySparkはSparkを実行するためのPython APIです。今回は PySparkでDataFrameに列を追加する方法を説明します。PythonとPySparkで比較して色んな例を作成します。 １）DataFrame作成します。 Python import pandas as pd import numpy as np df = pd.DataFrame(data=np.array(range(5)), columns=[‘number’]) df       PySpark sdf = spark.range(5).toDF(“number”) display(sdf)   Out[1]:    number 0       0 1       1 2       2 3       3 4       4   ２）DataFrameに値の列を追加します。 WithColumn関数を用いて新しく追加します。またlit関数を用いて、複数の値にしています。 new_column1 = 10 Python df[‘new_column1’] = 10 df     PySpark …

PySparkでDataFrameに列を追加する方法 Read More »

ランダムフォレストのアンサンブル【Random Forest Ensemble】

全て, 機械学習

前回の記事 「ランダムフォレスト（分類分析）」はランダムフォレストの特徴とランダムフォレストの例について話しました。ランダムフォレストは分類や回帰に使える機械学習の手法です。今回は別のランダムフォレストアンサンブルのクラスター分析の一つを説明します。 先ずアンサンブルはなんのことでしょう？ アンサンブル手法 (Ensemble methods) 同じ学習アルゴリズムの多数のEstimatorからの予測結果を組み合わせた技術。この方法は、一つのEstimatorと比較して一般化可能性/ロバスト性を向上させます。 ランダムフォレストアンサンブル (Random Forest Ensemble) 教師なしデータセットの高次元スパース表現への変換の手法。データポイントは、各ツリーのどのリーフに分類されるかによってコード化されます。 葉のワンホットエンコーディングを使用して、これは森の中に木があるのと同じくらい多くのものとのバイナリコーディングをもたらします。 次元削減法を適用した高次元表現を学びます。 ただし、データセットをクラスが線形分離可能な表現にキャストすると便利なことがよくあります。