MLXTENDのでのアソシエーション分析

1. Mlxtendの概要

1.1 Mlxtendとは

Mlxtendは machine learning extensionsの英語略称で、データサイエンティストの作業のライブラリです。サンプルデータ、前処理、モデル作成、モデル評価、可視化などのモジュールを提供しています。今回はfrequent_patternsのモジュールを解説したいと思います。

Mlxtendのモジュール：http://rasbt.github.io/mlxtend/USER_GUIDE_INDEX/

Mlxtendのgithub：https://github.com/rasbt/mlxtend

1.2 頻繁なパターンのモジュール

頻繁なパターン（frequent_patterns）のモジュールはapriori、association_rules、fpgrowth、fpmaxがあります。一緒に何が変われるかというパターンを理解するために、アソシエーション分析のアルゴリズムのモジュールです。

1.3 mlxtendのインストール

Colabの環境で、mlxtendを更新します。

!pip install mlxtend –upgrade

import mlxtend

mlxtend.__version__

0.19.0

2. Apriori

2.1 Aprioriのアルゴリズム

Aprioriは、相関ルール学習のために頻繁なアイテムセットを抽出するための一般的なアルゴリズムです。店舗の顧客による購入などのトランザクションを含むデータベースで動作するように設計されています。アイテムセットは、ユーザー指定のサポートしきい値を超える場合、「頻繁」にします。たとえば、サポートしきい値が0.5（50％）に設定されている場合、頻繁なアイテムセットは、データベース内のすべてのトランザクションの少なくとも50％で一緒に買うアイテムのセットとして定義されます。

2.2 Aprioriの実験

データ作成

dataset = [[‘Milk’, ‘Onion’, ‘Nutmeg’, ‘Kidney Beans’, ‘Eggs’, ‘Yogurt’],

[‘Dill’, ‘Onion’, ‘Nutmeg’, ‘Kidney Beans’, ‘Eggs’, ‘Yogurt’],

[‘Milk’, ‘Apple’, ‘Kidney Beans’, ‘Eggs’],

[‘Milk’, ‘Unicorn’, ‘Corn’, ‘Kidney Beans’, ‘Yogurt’],

[‘Corn’, ‘Onion’, ‘Onion’, ‘Kidney Beans’, ‘Ice cream’, ‘Eggs’]]

前処理

import pandas as pd

from mlxtend.preprocessing import TransactionEncoder

te = TransactionEncoder()

te_ary = te.fit(dataset).transform(dataset)

df = pd.DataFrame(te_ary, columns=te.columns_)

Aprioriアルコール

from mlxtend.frequent_patterns import apriori

frequent_itemsets = apriori(df, min_support=0.6, use_colnames=True)

frequent_itemsets[‘length’] = frequent_itemsets[‘itemsets’].apply(lambda x: len(x))

frequent_itemsets

サポートしきい値が0.7にして、頻繁なアイテムセットを出します。

frequent_itemsets[ (frequent_itemsets[‘length’] == 2) &

(frequent_itemsets[‘support’] >= 0.7) ]

3. 相関ルール

2.1 相関ルールのアルゴリズム

相関ルールは、頻繁なパターンのマイニングにおける一般的なタスクです。相関ルールは、X→Yの形式の含意式です。ここで、XとYは互いに素なアイテムセットです[1]。消費者行動に基づくより具体的な例は、{おむつ}→{ビール}であり、おむつを購入する人はビールも購入する可能性が高いことを示唆しています。このような相関ルールの「関心」を評価するために、信頼度とリフトの指標などを作成できます。

支持度（support）

支持度とは、全体の中で、AとCが同時に買われる確率です。