Fitting

• Modelle sind eigentlich Familie von Modellen, wobei jede Parameterkombination ein unterschiedliches Modell definiert
• Ein Modell zu fitten bedeutet, von der Familie von Modellen dasjenige zu identifizieren welches die Daten am besten abbildet.

• Eines zentrales Konzepte in der Statistik und im maschinellen Lernen.
• Die Loss Funktion ist eine Zusammenfassung der durch ein Modell begangenen Fehler.

$$\Large Loss = f(Fehler)$$

Zwei Zwecke

Zweck	Beschreibung
Fitting	Finde Parameter, die die Verlustfunktion minimieren.
Evaluation	Berechne den Verlust für ein gefittetes Modell.

In der Regression, wird ein Kriterium $y$ modelliert, als Summe der Features $x_1, x_2, ...$ mal Gewichte $b_1, b_2, ...$ plus $b_0$, der sogenannte Intercept oder Ordinatenabschnitt.

$$\large \hat{y} = b_{0} + b_{1} \times x_1 + b_{2} \times x2 + ...$$

Ein Regressionskoeffizient $b_{i}$ gibt an, wie stark sich $\hat{y}$ verändert, wenn sich $x_{i}$ um 1 verändert.

Ceteris paribus, je extremer $b_{i}$, desto wichtiger ist $x_{i}$ für die Vorhersage von $y$ (Cave: die Skala von $x_{i}$ beeinflusst $b_i$!).

Wenn $b_{i} = 0$, heisst das, $x_{i}$ bringt keinen Zusatznutzen bei der Vorhersage von $y$.

• Mean Squared Error (MSE)
  
  
  • Mittlere Quadratsumme der Abweichungen zwischen vorhergesagten und tatsächlichen Werten.

$$MSE = \frac{1}{n}\sum_{i \in 1,...,n}(y_{i} - \hat{y}_{i})^{2}$$

• Mean Absolute Error (MAE)
  
  
  • Mittlere absolute Abweichungen zwischen vorhergesagten und tatsächlichen Werten.

$$MAE = \frac{1}{n}\sum_{i \in 1,...,n} \lvert y_{i} - \hat{y}_{i} \rvert$$

Fitting

• Analytisch
  
  
  • In gewissen Fällen, können die Parameterwerte direkt berechnet werden, z.B., mit der Normalgleichung:

$$\large \boldsymbol b = (\boldsymbol X^T\boldsymbol X)^{-1}\boldsymbol X^T\boldsymbol y$$

• Numerisch
  
  
  • In den meisten Fällen, müssen die Parameter jedoch mittels gerichtetem trial and error Verfahren gefunden werden, z.B., mittels gradient descent:

$$\large \boldsymbol b_{n+1} = \boldsymbol b_{n}+\gamma \nabla F(\boldsymbol b_{n})$$

Fitting

• Analytisch
  
  
  • In gewissen Fällen, können die Parameterwerte direkt berechnet werden, z.B., mit der Normalgleichung:

$$\large \boldsymbol b = (\boldsymbol X^T\boldsymbol X)^{-1}\boldsymbol X^T\boldsymbol y$$

• Numerisch
  
  
  • In den meisten Fällen, müssen die Parameter jedoch mittels gerichtetem trial and error Verfahren gefunden werden, z.B., mittels gradient descent:

$$\large \boldsymbol b_{n+1} = \boldsymbol b_{n}+\gamma \nabla F(\boldsymbol b_{n})$$

• Regression


• Vorhersage eines numerischen, kontinuierlichen Kriteriums.


• Vorhersage des Cholesterinspiegels mit Alter


• Klassifikation


• Vorhersage eines kategorialen, diskreten Kriteriums.


• Vorhersage, ob Herzinfarkt ja oder nein

• In der logistischen Regression, modellieren wir eine kategoriale Variable y ∈ (0,1) als gewichtete Summe der Features, wobei wir die Vorhersage mit einer logistischen Linkfunktion transformieren:

$$\large \hat{y} = logistisch(b_{0} + b_{1} \times x_1 + ...)$$

• Die logistische Funktion bildet Vorhersagen auf den Bereich von 0 und 1 – die beiden Kategorien – ab.

$$logistisch(x) = \frac{1}{1+exp(-x)}$$

• In der logistischen Regression, modellieren wir eine kategoriale Variable y ∈ (0,1) als gewichtete Summe der Features, wobei wir die Vorhersage mit einer logistischen Linkfunktion transformieren:

$$\large \hat{y} = logistisch(b_{0} + b_{1} \times x_1 + ...)$$

• Die logistische Funktion bildet Vorhersagen auf den Bereich von 0 und 1 – die beiden Kategorien – ab.

$$logistisch(x) = \frac{1}{1+exp(-x)}$$

• Distanz
• LogLoss wird i.A.R. zum Fitten von Parametern, verwendet, und wie MSE und MAE auch zur Evaluation.

$$\small LogLoss = -\frac{1}{n}\sum_{i}^{n}(log(\hat{y})y+log(1-\hat{y})(1-y))$$ $$\small MSE = \frac{1}{n}\sum_{i}^{n}(y-\hat{y})^2; \: MAE = \frac{1}{n}\sum_{i}^{n} \lvert y-\hat{y} \rvert$$

• Übereinstimmung
• 0-1 loss evaluiert die Übereinstimmung zwischen vorhergesagter Klasse und tatsächlicher Klasse , was im Vergleich leicht zu interpretieren ist.

$$\small Loss_{01}=\frac{1}{n}\sum_i^n I(y \neq \lfloor \hat{y} \rceil)$$

• Die Wahrheitsmatrix (confusion matrix) enthält die Anzahl einer bestimmten Klasse zugeordneter Werte als Funktion der tatsächlichen Klasse.
• Anhand der Wahrheitsmatrix können unterschiedliche statistische Gütekriterien berechnet werden.

Wahrheitsmatrix

	y = 1	y = 0
ŷ = 1	Richtig positiv (RP)	Falsch positiv (FP)
ŷ = 0	Falsch negativ (FN)	Richtig negativ (RN)

• Die Wahrheitsmatrix (confusion matrix) enthält die Anzahl einer bestimmten Klasse zugeordneter Werte als Funktion der tatsächlichen Klasse.
• Anhand der Wahrheitsmatrix können unterschiedliche statistische Gütekriterien berechnet werden.

Wahrheitsmatrix

	Krank	Gesund
"Krank"	RP = 3	FP = 1
"Gesund"	FN = 1	RN = 2

Funktion	Beschreibung
trainControl()	Wähle Spezifikationen dafür, wie das Modell gefittet werden soll.
train()	Spezifiziere das Modell und finde die besten Parameterschätzwerte.
postResample()	Evaluiere die Modellperformanz (Fitting oder Vorhersage) für Regressionsprobleme.
confusionMatrix()	Evaluiere die Modellperformanz (Fitting oder Vorhersage) für Klassifikationsprobleme.

# Schritt 1: Definiere Kontrollparameter
#   trainControl()
ctrl <- trainControl(...)
# Schritt 2: Fitte und exploriere Modell
#   train()
mod <- train(...)
summary(mod)
mod$finalModel   # bestes Modell
# Schritt 3: Beurteile Fit
#   predict(), postResample(),
#   confusionMatrix()
fit <- predict(mod)
postResample(fit, truth)
confusionMatrix(fit, truth)

• trainControl() steuert, wie caret ein Modell fittet.
• Bis zur Session Optimisierung verwenden wir method = "none".

# Fitte das Modell ohne fortgeschrittene
#  Tuningmethoden der Parameter
ctrl <- trainControl(method = "none")
# zeige Dokumentation
?trainControl

• train() ist caret's Zugpferd, wenn es um Fitting geht. Es können über 200 Modelle mit nur leichten Änderungen im method Argument gefittet werden.

Argument	Beschreibung
form	Modellformel, zur Spezifikation von Kriterium und Features.
data	Datensatz für die Parameterschätzung.
method	Der Modellalgorithmus.
trControl	Kontrollparameter für den Fittingprozess.
tuneGrid, preProcess	Coole Dinge für später.

# Fitte eine Regression zur Vorhersage des 
# Einkommens
eink_mod <-
  train(form = einkommen ~ ., # Formel
        data = basel,         # Daten
        method = "glm",       # Regression
        trControl = ctrl)     # Kontroll-
                              # parameter
eink_mod

Generalized Linear Model 
6120 samples
  19 predictor
No pre-processing
Resampling: None

• train() ist caret's Zugpferd, wenn es um Fitting geht. Es können über 200 Modelle mit nur leichten Änderungen im method Argument gefittet werden.

Argument	Beschreibung
form	Modellformel, zur Spezifikation von Kriterium und Features.
data	Datensatz für die Parameterschätzung.
method	Der Modellalgorithmus.
trControl	Kontrollparameter für den Fittingprozess.
tuneGrid, preProcess	Coole Dinge für später.

# Fitte random forest zur Vorhersage von 
# Einkommen
eink_mod <-
  train(form = einkommen ~ ., # Formel
        data = basel,         # Daten
        method = "rf",        # Random Forest
        trControl = ctrl)     # Kontroll-
                              # parameter
eink_mod

Random Forest 
6120 samples
  19 predictor
No pre-processing
Resampling: None

train()

• train() ist caret's Zugpferd, wenn es um Fitting geht. Es können über 200 Modelle mit nur leichten Änderungen im method Argument gefittet werden.
• Alle 200+ Modelle findest du hier.

• Das Kriterium muss die richtige Klasse haben:
  
  
  • numeric Kriterium → Regression
    
  • factor Kriterium → Klassifkation
    

# A tibble: 5 x 5
  Ausfall Alter Geschlecht Karten Bildung
    <dbl> <dbl> <chr>       <dbl>   <dbl>
1       0    45 M               3      11
2       1    36 F               2      14
3       0    76 F               5      12
4       1    25 M               2      17
5       1    36 F               3      12

# Regressionsproblem
loan_mod <- train(form = Ausfall ~ .,
                  data = Loans,
                  method = "glm",
                  trControl = ctrl)
# Klassifikationsproblem
load_mod <- train(form = factor(Ausfall) ~ .,
                  data = Loans,
                  method = "glm",
                  trControl = ctrl)

• Die train() Funktion gibt eine liste zurück. Diese enthält ein finalModel Element - das ist unser bestes gefittetes Model.
• Greife auf das Modell mit .$finalModel zu und exploriere das Objekt mit generischen Funktionen:

Funktion	Beschreibung
summary()	Überblick über die wichtigsten Resultate.
names()	Zeige Namen aller benannten Elemente (häufig mit `$` ansteuerbar).

# Fitte Regressionsmodell
eink_mod <-
  train(form = einkommen ~ alter + groesse,
        data = basel,       # Daten
        method = "glm",    # Regression
        trControl = ctrl)  # Kontrollparameter
# Zeige benannte Elemente
names(eink_mod$finalModel)

[1] "coefficients"  "residuals"     "fitted.values"
[4] "effects"       "R"             "rank"         
 [ reached getOption("max.print") -- omitted 28 entries ]

• Die train() Funktion gibt eine liste zurück. Diese enthält ein finalModel Element - das ist unser bestes gefittetes Model.
• Greife auf das Modell mit .$finalModel zu und exploriere das Objekt mit generischen Funktionen:

Funktion	Beschreibung
summary()	Überblick über die wichtigsten Resultate.
names()	Zeige Namen aller benannten Elemente (häufig mit `$` ansteuerbar).

# Fitte Regressionsmodell
eink_mod <-
  train(form = einkommen ~ alter + groesse,
        data = basel,       # Daten
        method = "glm",    # Regression
        trControl = ctrl)  # Kontrollparameter
# Zugriff auf spezifische Elemente
eink_mod$finalModel$coefficients

(Intercept)       alter     groesse 
   877.2395    149.0087      0.6194

• Die train() Funktion gibt eine liste zurück. Diese enthält ein finalModel Element - das ist unser bestes gefittetes Model.
• Greife auf das Modell mit .$finalModel zu und exploriere das Objekt mit generischen Funktionen:

Funktion	Beschreibung
summary()	Überblick über die wichtigsten Resultate.
names()	Zeige Namen aller benannten Elemente (häufig mit `$` ansteuerbar).

# Zeige Modelloutput
summary(eink_mod)

Call:
NULL
Deviance Residuals: 
   Min      1Q  Median      3Q     Max  
 -4042    -849      11     842    4748  
Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)  877.239    220.726    3.97  7.1e-05 ***
 [ erreichte getOption("max.print") --  2 Zeilen ausgelassen ]
---
Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
(Dispersion parameter for gaussian family taken to be 1543046)
    Null deviance: 5.1695e+10  on 6119  degrees of freedom
Residual deviance: 9.4388e+09  on 6117  degrees of freedom
AIC: 104578
Number of Fisher Scoring iterations: 2

• Die predict() Funktion macht Modellvorhersagen. Dazu muss man lediglich den Modelloutput als erstes Argument spezifizieren.

# Extrahiere gefittete Werte
glm_fits <- predict(object = eink_mod)
glm_fits[1:8]

    1     2     3     4     5     6     7     8 
 9032  6035  4565  8119  8884  8432 10221 11858

• Die postResample() Funktion erstellt eine einfache Zusammenfassung der Modellperformanz bei Regressionsproblemen. Zu spezifizierende Argumente sind die vorhergesagten Werte und die tatsächlichen Werte.

# Evaluiere Modellperformanz
postResample(glm_fits,
             basel$einkommen)

     RMSE  Rsquared       MAE 
1241.8895    0.8174  993.5378

confusionMatrix()

• confusionMatrix() erstellt eine Zusammenfassung der Modellperformanz bei Klassifikationsproblemen. Inputs sind wiederum die vorhergesagten und tatsächlichen Werte.

# Regressionsmodell zur Klassifikation
sehhilfe_mod <-
  train(form = factor(sehhilfe) ~ alter + geschlecht,
        data = basel,   
        method = "glm",   
        trControl = ctrl)
# Evaluiere Modellperformanz
confusionMatrix(predict(sehhilfe_mod),
                basel$sehhilfe)

Confusion Matrix and Statistics
          Reference
Prediction   ja nein
      ja   3984 2136
      nein    0    0
               Accuracy : 0.651         
                 95% CI : (0.639, 0.663)
    No Information Rate : 0.651         
    P-Value [Acc > NIR] : 0.506         
                  Kappa : 0             
 Mcnemar's Test P-Value : <2e-16        
            Sensitivity : 1.000         
            Specificity : 0.000         
         Pos Pred Value : 0.651         
         Neg Pred Value :   NaN         
             Prevalence : 0.651         
         Detection Rate : 0.651         
 [ erreichte getOption("max.print") --  5 Zeilen ausgelassen ]