Unsupervised learning

class: center, middle, inverse, title-slide

# Unsupervised learning
### Maschinelles Lernen mit R <a href='https://therbootcamp.github.io'> The R Bootcamp </a> <a href='https://therbootcamp.github.io/ML_2020Oct/'> </a>  <a href='https://therbootcamp.github.io'> </a>  <a href='mailto:therbootcamp@gmail.com'> </a>  <a href='https://www.linkedin.com/company/basel-r-bootcamp/'> </a>
### Oktober 2020

---

layout: true

<div class="my-footer">
 
 
 <img src="https://raw.githubusercontent.com/therbootcamp/therbootcamp.github.io/master/_sessions/_image/by-sa.png" height=14 style="vertical-align: middle"/>
 
 <a href="https://therbootcamp.github.io/">
 
 
 www.therbootcamp.com
 
 
 </a>
 <a href="https://therbootcamp.github.io/">
 
 Maschinelles Lernen mit R | Oktober 2020
 
 </a>
 
 </div>

---

# Unsupervised learning

.pull-left45[

<ul>
 <li class="m1">Ziel des Unsupervised learning ist die Identifikation <high>versteckter Muster</high> in den <high>Ähnlichkeiten</high> zwischen Cases oder Features.</li> 
 <li class="m2">Man unterscheidet zwei Unterbereiche: <high>Clusteranalyse</high> und <high>Dimensionsreduktion</high>.</li> 
</ul>

]

.pull-right45[

]

---

.pull-left35[

# Zwei Kernbereiche des UL

<ul>
 <li class="m1">Dimensionsreduktion</li>
 <ul>
 <li>Basiert auf den Ähnlichkeiten der <high>Features</high>.</li>
 <li>Dient der <high>Identifikation der relevanten Dimensionen</high> in den Daten und ist ein Kernbestandteil des Deep Learnings.</li>
 </ul> 
 <li class="m2">Clusteranalyse</li>
 <ul>
 <li>Basiert auf den Ähnlichkeiten der <high>Cases</high>.</li>
 <li>Dient der <high>Identifikation von Gruppen und Ausreissern</high> in den Daten.</li>
 </ul> 
</ul>

]

.pull-right55[

]

---

.pull-left4[

# Gapminder

<ul>
 <li class="m1">Hans Rosling's Gapminder Projekt kartographiert die <high>gesundheitliche und ökonomische Entwicklung in den Ländern</high> der Welt.</li>
 <li class="m2">Gibt es klar abgrenzbare Klassen von Ländern</high>: z.B. <high>Entwickelte versus Entwicklungsländer</high>.</li>
</ul>

<img src="image/rosling.png" height=200px> 
Hans Rosling, 1948-2017, adapted from <a href="https://www.volkskrant.nl/cultuur-media/hans-rosling-68-volksverheffer-met-rocksterstatus~b3746a58/?referer=https%3A%2F%2Fwww.google.com%2F">volkskrant.nl</a>

]

.pull-right5[
 

<img src="image/gapminder.png" height=520px> 
adapted from <a href="https://www.ullstein-buchverlage.de/nc/buch/details/factfulness-9783548060415.html">Factfulness, Hans Rosling, Ullstein</a>

]

---

.pull-left4[

# Gapminder

<ul>
 <li class="m1">Hans Rosling's Gapminder Projekt kartographiert die <high>gesundheitlichz und ökonomische Entwicklung in den Ländern</high> der Welt.</li>
 <li class="m2">Gibt es klar abgrenzbare Klassen von Ländern</high>: z.B. <high>Entwickelte versus Entwicklungsländer</high>.</li>
</ul>

]

.pull-right5[
 

<img src="image/data.gif"> 
data from <a href="https://cran.r-project.org/web/packages/gapminder/README.html">gapminder</a>

]

---

.pull-left4[

# Gap in 1952

<ul>
 <li class="m1">Gibt es <high>in 1952 Klassen von Ländern</high> gemäss Lebenserwartung und BIP pro Kopf in 1952?</li> 
 <li class="m2">Verfahren:</li> 
 <ul>
 <li><high>k-means</high></li> 
 <li><high>DBSCAN</high></li> 
 <li><high>Gaussian mixtures</high></li>
 </ul>
</ul>

]

.pull-right5[
 

<img src="image/gap1952.png">

]

---

.pull-left4[

# k-means

<ul>
 <li class="m1">Das Standardverfahren für Clusteranalyse.</li> 
 <li class="m2">Algorithmus</li> 
 <ol class="">
 <li>Zufällige <high>Startpunkte</high> für die Clusterzentroide wählen.</li> 
 <li>Cases dem nächstgelegenen <high>Klassenzentroid zuweisen</high>.</li> 
 <li><high>Neue Clusterzentroide</high> als Mittel aller Cases eines Clusters berechnen.</li>
 </ol>
</ul>

]

.pull-right5[

]

---

.pull-left4[

# k-means

]

.pull-right5[

```r
# berechne k-means
gap_kmeans <- kmeans(gap1952, 
 centers = 3)

# zeige Inhalte
names(gap_kmeans)
```

```
## [1] "cluster"      "centers"      "totss"       
## [4] "withinss"     "tot.withinss" "betweenss"   
## [7] "size"         "iter"         "ifault"
```

```r
# zeige Cluster
gap_kmeans$cluster
```

```
##   [1] 3 3 3 1 1 2 1 2 3 2 3 1 3 3 3 3 3 3 3 3 2 3
##  [23] 3 1 3 3 3 3 3 1 3 1 1 2 2 1 3 1 3 1 3 3 3 1
##  [45] 2 1 3 2 3 1 3 3 3 3 3 1 1 2 3 3 1 1 1 1 1 1
##  [67] 1 3 3 3 3 1 3 3 3 3 3 3 3 3 3 1 3 1 3 3 3 3
##  [89] 3 2 2 1 3 3 2 3 3 3 3 1 3 1 1 1 1 1 3 3 1 3
## [111] 1 3 3 1 1 3 1 1 3 3 3 2 2 3 3 3 3 3 1 3 3 3
## [133] 2 2 1 2 3 3 3 3 3
```

]

---

.pull-left4[

# k-selection

<ul>
 <li class="m1">Es gibt <high>kein richtiges k</high>!.</li> 
 <li class="m2">Durch Abwägung folgender zwei Aspekte können <high>angemessene k</high> identifziert werden:</li>
 <ul>
 <li>k sollte <high>möglichst klein</high> sein.</li>
 <li>Mit k sollte das Modell die <high>Daten möglichst gut beschreiben</high>.</li>
 </ul> 
 <li class="m3">Ansätze</li>
 <ul>
 <li>Ellbogen der <high>Binnenvarianz</high>.</li>
 <li>Gap-Statistik.</li>
 <li>Slope-Statistik.</li>
 <li>Cluster-Instabilität.</li>
 <li>etc.</li>
 </ul>
 </ul>
</ul>

]

.pull-right5[

]

---

.pull-left4[

# k-selection

]

.pull-right5[

```r
# lade cstab
library(cstab)

# berechne k-sel
gap_ksel <- cDistance(as.matrix(gap1952), 
 kseq = 2:10,
 method = "kmeans")

# zeige geschätze Clusteranzahl
gap_ksel$k_Gap
```

```
## [1] 1
```

```r
gap_ksel$k_Slope
```

```
## [1] 2
```
]

---

.pull-left4[

# k-selection

]

.pull-right5[

```r
# lade cstab
library(cstab)

# berechne k-sel
gap_ksel <- cStability(as.matrix(gap1952), 
 kseq = 2:10,
 method = "kmeans")
```

```r
# zeige geschätze Clusteranzahl
gap_ksel$k_instab
```

```
## [1] 2
```

]

---

.pull-left4[

# DBSCAN

<ul>
 <li class="m1">DBSCAN = Density-Based Spatial Clustering of Applications with Noise.</li> 
 <li class="m2">Algorithmus</li> 
 <ol>
 <li>Für jeden Punkt Anzahl anderer <high>Punkte im Abstand von &epsilon;</high> überprüfen: a. N = 0 &rarr; <high>Ausreisser</high> b. N &ge; minPts &rarr; <high>Kernpunkt</high> c. minPts &gt; N &gt; 0 &rarr; <high>unbestimmt</high></li> 
 <li><high>Kernpunkte</high> mit Abstand &lt &epsilon;; zueinander zu Clustern verbinden.</li> 
 <li><high>Unbestimmte Punkte</high> mit Abstand &lt &epsilon;; zu Kernpunkten dem Cluster hinzufügen, sonst Ausreisser.</li>
 </ol>
</ul>

]

.pull-right5[

&epsilon; = .2
<img src="image/dbscan_1.gif">

]

---

.pull-left4[

# DBSCAN

]

.pull-right5[

&epsilon; = .3
<img src="image/dbscan_2.gif">

]

---

.pull-left4[

# DBSCAN

]

.pull-right5[

```r
# lade dbscan
library(dbscan)

# berechne dbscan
gap_dbscan <- dbscan(scale(gap1952), 
 eps = .2)

# zeige Ergebnis
gap_dbscan
```

```
## DBSCAN clustering for 141 objects.
## Parameters: eps = 0.2, minPts = 5
## The clustering contains 2 cluster(s) and 57 noise points.
## 
##  0  1  2 
## 57 72 12 
## 
## Available fields: cluster, eps, minPts
```

]

---

.pull-left4[

# Eigenschaften von DBSCAN

<ul>
 <li class="m1">Vorteile</li>
 <ul>
 <li><high>Identifiziert k</high> eigenständig.</li>
 <li>Kann <high>"komplexe" Cluster</high> identifizieren.</li>
 <li>Eignet sich für die Erkennung von <high>Anomalien</high>.</li>
 </ul>
<li class="m2">Nachteile.</li>
 <ul>
 <li>Reagiert <high>sehr sensibel</high> auf Änderungen der Parameter.</li>
 <li>Schwierigkeiten mit <high>Clustern ungleicher Dichte</high>.</li>
 </ul>
</ul>

]

.pull-right5[

]

---

.pull-left4[

# Eigenschaften von DBSCAN

<ul>
 <li class="m1">Vorteile</li>
 <ul>
 <li><high>Identifiziert k</high> eigenständig.</li>
 <li>Kann <high>"komplexe" Cluster</high> identifizieren.</li>
 <li>Eignet sich für die Erkennung von <high>Anomalien</high>.</li>
 </ul> 
<li class="m2">Nachteile.</li>
 <ul>
 <li>Reagiert <high>sehr sensibel</high> auf Änderungen der Parameter.</li>
 <li>Schwierigkeiten mit <high>Clustern ungleicher Dichte</high>.</li>
 </ul>
</ul>

]

.pull-right5[

]

---

.pull-left4[

# Eigenschaften von DBSCAN

<ul>
 <li class="m1">Vorteile</li>
 <ul>
 <li><high>Identifiziert k</high> eigenständig.</li>
 <li>Kann <high>"komplexe" Cluster</high> identifizieren.</li>
 <li>Eignet sich für die Erkennung von <high>Anomalien</high>.</li>
 </ul> 
<li class="m2">Nachteile.</li>
 <ul>
 <li>Reagiert <high>sehr sensibel</high> auf Änderungen der Parameter.</li>
 <li>Schwierigkeiten mit <high>Clustern ungleicher Dichte</high>.</li>
 </ul>
</ul>

]

.pull-right5[

]

---

.pull-left4[

# Gaussian mixtures

<ul>
 <li class="m1">Eine probabilistische <high>Erweiterung des k-means Algorithmus</high> auf Basis multivariater Normalverteilungen</li>
 <li class="m2">Guter Umgang mit Clustern verschiedener <high>Orientierungen und Dichten</high></li>
 <li class="m3">Einfache Schätzung k über <high>Modellvergleiche</high></li>
 <li class="m4"><high>Komplexe Topologien</high> bereiten Gaussian mixtures jedoch Schwierigkeiten</li>
</ul>

]

.pull-right5[

]

---

.pull-left4[

# Gaussian mixtures

]

.pull-right5[

]

---

.pull-left4[

# Gaussian mixtures

]

.pull-right5[

```r
# lade gaussian mixture
library(mclust)

# berechne gaussian mixture
gap_mclust <- Mclust(gap1952)

# zeige Ergebnis
gap_mclust
```

```
## 'Mclust' model object: (VVE,3) 
## 
## Available components: 
##  [1] "call"           "data"          
##  [3] "modelName"      "n"             
##  [5] "d"              "G"             
##  [7] "BIC"            "loglik"        
##  [9] "df"             "bic"           
## [11] "icl"            "hypvol"        
## [13] "parameters"     "z"             
## [15] "classification" "uncertainty"
```

]

---

.pull-left4[

# Gaussian mixtures

]

.pull-right5[

```r
# lade gaussian mixture
library(mclust)

# berechne gaussian mixture
gap_mclust <- Mclust(gap1952)

# zeige Ergebnis
gap_mclust$classification
```

```
##   [1] 1 2 2 2 3 3 3 2 1 3 1 2 2 1 2 2 1 1 1 1 3 1
##  [23] 1 2 1 2 1 1 2 2 1 2 2 3 3 2 1 2 1 2 1 1 1 3
##  [45] 3 2 1 3 1 3 2 1 1 1 2 2 3 3 1 1 2 2 3 3 3 2
##  [67] 3 1 1 2 1 2 1 1 2 1 1 2 1 1 2 2 1 2 1 1 1 2
##  [89] 1 3 3 2 1 1 3 1 1 2 3 2 1 2 2 3 2 2 1 1 2 1
## [111] 2 1 2 3 3 1 2 3 2 1 1 3 3 2 2 1 2 1 2 1 2 1
## [133] 3 3 3 2 1 1 1 1 1
```

]

---
class: middle, center

<h1><a href=https://therbootcamp.github.io/ML_2020Oct/_sessions/Unsupervised/Unsupervised_practical.html>Practical</a></h1>