Features

# Features
### Maschinelles Lernen mit R <a href='https://therbootcamp.github.io'> The R Bootcamp </a> <a href='https://therbootcamp.github.io/ML_2020Apr/'> </a>  <a href='https://therbootcamp.github.io'> </a>  <a href='mailto:therbootcamp@gmail.com'> </a>  <a href='https://www.linkedin.com/company/basel-r-bootcamp/'> </a>
### April 2020

---

<div class="my-footer">
 
 
 <img src="https://raw.githubusercontent.com/therbootcamp/therbootcamp.github.io/master/_sessions/_image/by-sa.png" height=14 style="vertical-align: middle"/>
 
 <a href="https://therbootcamp.github.io/">
 
 
 www.therbootcamp.com
 
 
 </a>
 <a href="https://therbootcamp.github.io/">
 
 Maschinelles Lernen mit R | April 2020
 
 </a>
 
 </div>

---

# Feature Probleme

<ul>
 <li class="m1">Zu viele Features</li>
 <ul class="level">
 <li>Fluch der <high>Dimensionalität</high></li>
 <li>Feature <high>Wichtigkeit</high></li>
 </ul> 
 <li class="m2">Falsche Features
 <ul class="level">
 <li><high>Skalierung</high> der Features</li>
 <li><high>Korrelation</high> der Features</li>
 <li><high>Qualität</high> der Features</li>
 </ul>
 <li class="m3">Neue Features kreieren
 <ul class="level">
 <li><high>"Engineerig"</high> der Features</li>
 </ul>
 </li>
</ul>

]

]

---

# Fluch der Dimensionalität

<ul>
 <li class="m1">Dichte</li>
 <ul class="level">
 <li>Die Menge der Fälle, die notwendig sind um den <high>Datenraum abzudecken</high> steigt exponentiell mit der Menge der Features.</li>
 </ul> 
 <li class="m2">Redundanz</li>
 <ul class="level">
 <li>Redundanz zwischen den Features steigt i.a.R. mit der Anzahl der Features, was zu <high>Unsicherheiten</high> in der Schätzung führt.</li>
 </ul> 
 <li class="m3">Effizienz</li>
 <ul class="level">
 <li>Mit der Menge der Feature steigt i.a.R die Anzahl der <high>Parameter</high> und damit auch i.a.R die benötigten <high>komputationalen Ressourcen</high>.</li>
 </ul>
 </li>
</ul>

]

<img src="image/cod.png"> 
from <a href="https://medium.freecodecamp.org/the-curse-of-dimensionality-how-we-can-save-big-data-from-itself-d9fa0f872335?gi=6e6735e00188">medium.freecodecamp.org</a>

]

---

# Wie Dimensionalität reduzieren?

<ul>
 <li class="m1">Manuelle Selektion</li>
 <ul class="level">
 <li>Features können manuell auf Basis <high>statistischer oder theoretischer Gesichtspunkte</high> ausgewählt werden.</li>
 </ul> 
 <li class="m2">Automatische Selektion</li>
 <ul class="level">
 <li>Verwende <high>Modelle</high> die automatisch Features selegieren, z.B., Lasso Regression, oder Algorithmen für Featureselektion</li>
 </ul> 
 <li class="m3">Automatische Reduktion</li>
 <ul class="level">
 <li><high>Komprimiere die Dimensionalität</high> mit Methoden der Dimensionsreduktion, z.B. mit Principal Component Analysis (PCA).</li>
 </ul>
 </li>
</ul>

]

<img src="image/highd.jpeg" height=350>
from <a href="">Interstellar</a>

]

---

# Feature Wichtigkeit

<ul>
 <li class="m1">Die Feature Wichtigkeit ist ein Mass für die <high>Bedeutung eines Features für Fit/Vorhersage der Daten</high>.</li>
 <li class="m2"><mono>caret</mono> berechnet die Feature Wichtigkeit <high>Modell-spezifisch und skaliert</high> sie auf Werte innerhalb <mono>[0, 100]</mono></li>
 <li class="m3">Strategien</li>
 <ul class="level">
 <li><high>1-Feature</high> Modelle (z.B. <mono>LOESS</mono>)</li>
 <li>Loss durch <high>Scrambling</high></li>
 <li>Wichtigkeit in <high>komplexen Modellen</high> (z.B. Random Forest)</li>
 <li>etc.</li>
 </ul>
</ul>

]

```r
# Plotte Feature Wichtigkeit für lm(einkommen ~ .)
plot(varImp(einkommen_lm))
```

]

---

# `varImp()`

<ul>
 <li class="m1">Die <mono>varImp()</mono> Funktion liefert <high>Modell-spezifische Schätzungen</high> der Feature Wichtigkeit</li>
</ul>

```r
varImp(einkommen_lm)
```

```
lm variable importance

Overall
alter   100.000
essen    53.793
glueck   32.530
alkohol  29.211
kinder    5.732
tattoos   4.987
fitness   4.689
groesse   3.463
```

]

```r
# Plotte Feature Wichtigkeit für lm(einkommen ~ .)
plot(varImp(einkommen_lm))
```

]

---

# `rfe()`

<ul>
 <li class="m1">Die rekursive Featureselektion <mono>rfe()</mono> verwendet <high>Cross-Validation</high> um die besten n Features zu identifizieren.</li>
 <li class="m2">Algorithmus</li>
 <ol>
 <li><high>Kandidatenset</high> <mono>n = [2, 3, 5, 10]</mono>.</li>
 <li>Wiederholtes <high>Resampling</high> und Aufteilen der Daten.</li>
 <li>Evaluiere <high>Vorhersageleistung</high> für jeweils die besten <mono>n</mono> Features.</li>
 <li>Selegiere bestes <mono>n</mono> auf Basis der <high>aggregierten Vorhersageleistung</high>.</li>
 </ol>
</ul>

]

```r
# Rekursive Featureselektion
rfe(x = ..., y = ..., 
    sizes = c(3, 4, 5, 10), # Kandidaten für N
    rfeControl = rfeControl(functions = lmFuncs))
```

```

Recursive feature selection

Outer resampling method: Bootstrapped (25 reps)

Resampling performance over subset size:

Variables  RMSE Rsquared   MAE RMSESD RsquaredSD   MAESD Selected
         3 0.392    0.853 0.312 0.0125     0.0105 0.00987         
         4 0.364    0.873 0.289 0.0123     0.0104 0.01019        *
         5 0.365    0.872 0.290 0.0127     0.0109 0.01087         
        10 0.367    0.871 0.292 0.0125     0.0109 0.01052         
        14 0.367    0.871 0.292 0.0125     0.0110 0.01046

The top 4 variables (out of 4):
   alter, essen, alkohol, glueck
```

]

---

# Principal component analysis

<ul>
 <li class="m1">Das <high>Standardmodell</high> für Dimensionsreduktion.</li> 
 <li class="m2">Verwendet ein lineares Modell (Regression) um die Features in einem <high>neuen, kleineren Featureraum</high> zu re-repräsentieren.</li> 
 <li class="m3">Der neue Featureraum wird so gewählt, dass er die <high>maximal mögliche Varianz</high> an den ursprünglichen Features präserviert.</li>
</ul>

]

<img src="image/pca.png" height=350>
from <a href="https://blog.umetrics.com/what-is-principal-component-analysis-pca-and-how-it-is-used
">blog.umetrics.com</a>

]

---

# `preProc = c('pca')`

```r
# Trainiere Modell OHNE PCA
model = train(einkommen ~ ., method = 'lm', 
           data = bas_train)

plot(varImp(model))
```

]

```r
# Trainiere Modell MIT PCA
model = train(einkommen ~ ., method = 'lm', 
              data = bas_train,
              preProc = c('pca'))
plot(varImp(model))
```

]

---

# Andere, einfache Feature Probleme

### Multikollinearität

<ul>
 <li class="m1">Multikollinearität bedeutet, dass Features zu stark korreliert sind, was in schädlicher Redundanz, <high>instabilen Fits resultiert</high>, und zu <high>schlechteren Vorhersagen führt</high>.</li>
</ul>

```r
# Identifiziere redundante Features
findCorrelation(cor(basel))
```

```
[1] 5
```

```r
# Entferne redundante Features
remove <- findCorrelation(cor(basel))
basel <- basel %>%
 select(-remove)
```

]

### Ungleiche oder zu niedrige Varianz

<ul>
 <li class="m2">Ungleiche Varianzen <high>verzerren</high> Methoden, die gleiche Varianz erwarten (z.B. LASSO).</li>
</ul>

```r
# Standardisiere Features
train(..., preProc = c("center", "scale"))
```

<ul>
 <li class="m3">Features ohne "Varianz" tragen nicht zur Vorhersage bei, aber <high>vergrössern die Komplexität des Modells.</li>
</ul>

```r
# Identifiziere Feature ohne Varianz
nearZeroVar(basel)
```

```
integer(0)
```

]

---

# Schwierige Feature Probleme

<ul>
 <li class="m1">Triviale Features</li>
 <ul>
 <li>Erfolgreiche Vorhersage bedeutet nicht, dass ein <high>bedeutsames Muster</high> identifiziert wurde</li>
 </ul> 
 <li class="m2">Fehlende Features</li>
 <ul>
 <li>Erfolgreiche Vorhersage basiert i.d.R. auf der Entwicklung <high>neuer, relvanterer Features</high>.</li> 
 </ul>
</ul>

]

]

---

# Triviale Features

<a href="https://www.gwern.net/Tanks">Ein urban myth?!</a>

"The Army trained a program to differentiate American tanks from Russian tanks with 100% accuracy. Only later did analysts realize that the American tanks had been photographed on a sunny day and the Russian tanks had been photographed on a cloudy day. The computer had learned to detect brightness." 
New York Times <a href="https://www.nytimes.com/2017/10/09/science/stanford-sexual-orientation-study.html" style="font-size:8px">[Full text]</a>

]

<img src="image/tank.jpg">
from <a href="https://en.wikipedia.org/wiki/British_heavy_tanks_of_World_War_I#/media/File:Mark_I_series_tank.jpg">wikipedia.org</a>

]

---

# Triviale Features

In 2012 sagte [Nate Silver](https://en.wikipedia.org/wiki/Nate_Silver) die Ausgänge der Präsidentschaftswahlen in 50 Staaten voraus, nachdem er dies für 49 Staaten in 2008 getan hat. <high>Wie ist dieser Erfolg zu bewerten?</high>

]

]

---

# (Immer!) fehlende Features

"…some machine learning projects succeed and some fail. What makes the difference? <high>Easily the most important factor is the features used</high>."

[Pedro Domingos](https://en.wikipedia.org/wiki/Pedro_Domingos)

"The algorithms we used are very standard for Kagglers. […] <high>We spent most of our efforts in feature engineering</high>. [...] We were also very careful to discard features likely to expose us to the risk of over-fitting our model."

[Xavier Conort]()

"Coming up with features is difficult, time-consuming, requires expert knowledge. <high>Applied machine learning is basically feature engineering</high>."

[Andrew Ng](https://en.wikipedia.org/wiki/Andrew_Ng)

]

---

# Feature Engineering

“Feature engineering is the process of <high>transforming raw data</high> into features that <high>better represent the underlying problem</high> to the predictive models, resulting in improved model accuracy on unseen data.”

[Jason Brownlee]()

"...while avoiding the <high>curse of dimensionality</high>."

[duw]()

]

]

---

<h1><a href="https://therbootcamp.github.io/ML_2020Apr/_sessions/Features/Features_practical.html">Practical</a></h1>