cas-pml/SL/aufgaben/template/4_WS/WS 09 Vorlage.ipynb

WS 09 Tune AdaBoostRegressor

• es wurde festgestellt, dass z.B. AdaBoostRegressor unter Standard-Parametrisierung ein unbrauchbares Ergebnis liefert
• untersuchen Sie das Potential von Parameter-Tuning für diesen Regressor
• konzentrieren Sie sich auf folgende Parameter
  • learning_rate, Parameter von AdaBoostRegressor
  • max_depth, interner Parameter des Basis-Estimators, hier DecisionTreeRegressor
• falls Zeit übrig, untersuchen Sie noch andere Regressoren Ihrer Wahl dahingehend

In [3]:

## prepare env, read and prepare data
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns; sns.set()

codepath = '../2_code' ## for import of user defined module
datapath = '../3_data'
#codepath = '.././2_code' ## for import of user defined module
#datapath = '../../3_data'

from sys import path; path.insert(1, codepath)
from os import chdir; chdir(datapath)

from bfh_cas_pml import prep_data
X_train, X_test, y_train, y_test = prep_data('melb_data_prep.csv', target='Price', seed=1234)

from bfh_cas_pml import test_regression_model

In [4]:

## baseline
from sklearn.ensemble import AdaBoostRegressor
this_model = test_regression_model(
    AdaBoostRegressor(random_state=1234), 
    X_train, y_train, X_test, y_test,
    show_plot=False)

R2 = -0.3023

In [5]:

## tune learning_rate
## tbd: find parameter range here

In [6]:

## tune max_depth
from sklearn.tree import DecisionTreeRegressor
## tbd: find parameter range here

In [7]:

## best combination of single parameters
## tbd

Fazit:

• tbd