"The no-free-lunch theorem of optimization is an impossibility theorem telling us that a general-purpose, universal optimization strategy is impossible. The only way one strategy can outperform another is if it is specialized to the structure of the specific problem under consideration."

Ho & Pepyne, 1997 Wolpert & Macready, 1997

Bias-Variance Dilemma

$$\large Error = Bias + Variance\;(+ Noise)$$

• Bias
• Ensteht, wenn Modellannahmen nicht mit dem Problem übereinstimmen.


• Variance
• Ensteht, wenn Modellflexibilität zu hoch ist.


• Noise
• (Absolut) zufälliges Rauschen.

Linear oder Nicht-linear

• Lineare Modelle
• Machen die Annahme, dass die Welt linear ist. Stimmt selten, führt jedoch zu weniger overfitting.


• Nicht-lineare Modelle
• Beinhaltet (meist) lineare Modelle als Spezialfall und neigen damit zu mehr overfitting. Lohnt sich i.A. nur, wenn lineare Modelle das Problem schlecht approximieren.

Kernel Trick

• Transformiert ursprünglichen Featurespace in einen neuen, der damit z.B. das Trennen von Klassen ermöglicht.


• Verwendet z.B. in Support Vector Machines (z.B. method = "svmRadial") meist unter Verwendung einer radial basis function (rdf).

• Deep learning (insbesondere Convolutional Neural Networks) sind besonders gut darin, Features selber zu entwickeln.


• Das tensorflow Paket bietet Zugang zu Google's mächtiger Tensorflow Library für Deep Learning.

• Es gibt eine Reihe von Tricks um Modelle robuster zu machen, d.h. um den Variance Fehler zu minimieren.

from istockphoto.com

• Regularisierung bestraft den Fit für die modell-spezifische Komplexität.

Loss = Misfit + Penalty

Name	Penalty	`caret`
AIC/BIC		-
Lasso		`method = "glmnet"`
Ridge		`method = "glmnet"`
Elastic Net		`method = "glmnet"`

Bagging

• Aggregieren der Vorhersagen multipler Modelle, die auf Basis von Stichproben aus den Daten gefitted werden.


• Besonders nützlich bei Modellen mit moderat guter, varierender Performanz.


• Algorithmus:
1. Stichprobe aus den Daten mit zurücklegen
2. Fitte Modelle zu Stichproben
3. Mittele die Vorhersage

• Eine Art iteratives Bagging auf Basis einer adaptiven Gewichtung der Daten.


• Variante Extreme Gradient Boosting xgbTree zählt zu den besten verfügbaren Modellen.


• Algorithmus:
1. Gewichte alle Datenpunkte gleich.
2. Fitte ein moderat flexibles Modell.
3. Erhöhe Gewicht schlecht vorhergesagter Punkte.
4. Wiederhole iterativ.
5. Mittele Vorhersage proportional zum Modellfit.

• LASSO


• Schätzt oft beta = 0, was effektiv das Feature aus dem Modell eliminiert.



• Decision Tree / Random forests


• Features müssen nicht für die Vorhersage verwendet werden (bei hohem mtry).

"…some machine learning projects succeed and some fail. What makes the difference? Easily the most important factor is the features used."

Pedro Domingos

"The algorithms we used are very standard for Kagglers. […] We spent most of our efforts in feature engineering. [...] We were also very careful to discard features likely to expose us to the risk of over-fitting our model."

Xavier Conort