cas-pml/SL/aufgaben/template/4_WS/WS 15 Vorlage.ipynb

WS 15 Schwellenwert für Accuracy

• .predict_proba() gibt bei allen Klassifikatoren die Wahrscheinlichkeit für die Zugehörigkeit zu den einlenen Klassen zurück, predict() dagegen die wahrscheinlichtste Klasse selber

• für Zwei-Klassen Fragestellungen bedeutet dies, dass bei einer Wahrscheinlickkeit (proba) > 0.5 für die erste Klasse diese zurückgegeben wird, andernfalls die zweite Klasse, 0.5 ist somit ein scheinbar willkürlicher Schwellenwert

• untersuchen Sie die Auswirkung anderer Schwellenwerte auf die Accuracy mit RandomForestClassifier auf den aufbereiteten Bankkunden-Datan

• vorgeschlagenes Vorgehen:

  • trainieren eines RandomForestClassifier mit den vorbereiteten Bankkundendaten (Trainingsdaten)
  • bestimmen der Wahrscheinlichkeit für jede Beobachtung der entsprechenden Testdaten zur Klasse 'no'
  • erstellen einens Range der zu untersuchenden Schwellenwerte, z.B. mit np.arange()
  • in einem Loop über alle Werte dieses Ranges
    • y_pred für den jeweiligen Schwellenwert berechnen (wiederum als ['no', 'yes'])
    • accuracy_score() der jeweiligen Prediction (und sammeln in einer Liste)
  • ausgeben des besten Score-Wertes und des zugehörigen Schwellenwertes in der Konsole
  • visualisieren der Ergebnisse auch als Lineplot

In [3]:

## prepare env, read and prepare data
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns; sns.set()

codepath = '../2_code' ## for import of user defined module
datapath = '../3_data'

from sys import path; path.insert(1, codepath)
from os import chdir; chdir(datapath)

from bfh_cas_pml import prep_data
X_train, X_test, y_train, y_test = prep_data('bank_data_prep.csv', target='y', seed=1234)

In [4]:

## train a model
from sklearn.ensemble import RandomForestClassifier 
model = RandomForestClassifier(random_state=1234)
model.fit(X_train, y_train) 

## prediction using .predict_proba()
y_pred_p_no = model.predict_proba(X_test)[:, 0]

In [5]:

## inspect different threshold values
from sklearn.metrics import accuracy_score

thresholds = np.arange(0, 1.01, 0.1) ## test over 10
#thresholds = np.arange(0, 1.01, 0.01)

scores = []

for threshold in thresholds:
    ## tbd
    print(threshold)

    
    

0.0
0.1
0.2
0.30000000000000004
0.4
0.5
0.6000000000000001
0.7000000000000001
0.8
0.9
1.0

In [6]:

## results
## tbd

In [7]:

## viszalization
## tbd