Wrangling

# Wrangling
### Explorative Datenanalyse mit R <a href='https://therbootcamp.github.io'>The R Bootcamp @ CSS</a> <a href='https://therbootcamp.github.io/EDA_2019CSS/'> </a>  <a href='https://therbootcamp.github.io'> </a>  <a href='mailto:therbootcamp@gmail.com'> </a>  <a href='https://www.linkedin.com/company/basel-r-bootcamp/'> </a>
### Dezember 2019

---

<div class="my-footer">
 
 
 <img src="https://raw.githubusercontent.com/therbootcamp/therbootcamp.github.io/master/_sessions/_image/by-sa.png" height=14 style="vertical-align: middle"/>
 
 <a href="https://therbootcamp.github.io/">
 
 
 www.therbootcamp.com
 
 
 </a>
 <a href="https://therbootcamp.github.io/">
 
 Explorative Datenanalyse mit R @ CSS | Dezember 2019
 
 </a>
 
 </div>

---

# Was ist Wrangling?

<img src="image/wrangling.jpeg" height=450px> 
from <a href="https://datasciencebe.com/tag/data-wrangling/">datasciencebe.com</a>

---

# Das ist Wrangling!

<ul>
 <li class="m1"><high>Transformieren</high>
 
 <ul class="level">
 <li>Spaltennamen verändern</li>
 <li>Neue Variablen kreieren</li>
 </ul></li>
 <li class="m2"><high>Organisieren</high>
 
 <ul class="level">
 <li>Sortieren</li>
 <li>Datensätze zusammenführen</li>
 <li>Spalten zu Zeilen flippen</li>
 </ul></li>
 <li class="m3"><high>Aggregieren</high>
 
 <ul class="level">
 <li>Datengruppen bilden</li>
 <li>Statistiken für Gruppen berechnen</li>
 </ul></li>
</ul>

]

]

---

# 2 'dreckige' Datensätze

<ul>
 <li class="m1"><high>Umbenennen</high>: Intuitive Spaltennamen vergeben.</li>
 <li class="m2"><high>Umkodieren</high>: Angemessene Einheiten und Datenlabels vergeben.</li>
 <li class="m3"><high>Verbinden</high>: Datensätze zusammenführen.</li>
 <li class="m4"><high>Sortieren</high>: Datensatz ordnen.</li>
 <li class="m5"><high>Filtern</high>: Relevante Fälle auswählen.</li>
 <li class="m6"><high>Auswählen</high>: Relevante Variablen auswählen.</li>
</ul>

]

```r
patienten
```

```
## # A tibble: 5 x 3
## id X1 X2
## <dbl> <dbl> <dbl>
## 1 1 37 1
## 2 2 65 2
## 3 3 57 2
## 4 4 34 1
## 5 5 45 2
```

```r
ergebnisse
```

```
## # A tibble: 5 x 3
## id t_1 t_2
## <dbl> <dbl> <dbl>
## 1 4 100 105
## 2 92 134 150
## 3 1 123 135
## 4 2 143 140
## 5 99 102 68
```

]

---

# Das mächtige `tidyverse`

Das [`tidyverse`](https://www.tidyverse.org/) ist im Kern eine Sammlung hoch-performanter, nutzerfreundlicher Pakete, die speziell für eine effizientere Datenanalyse entwickelt wurden. 
1. `ggplot2` für Grafiken.
2. <high><mono>dplyr</mono> für Datenverarbeitung</high>.
3. <high><mono>tidyr</mono> für Datenverarbeitung</high>.
4. `readr` für Daten I/O.
5. `purrr` für funktionales Programmieren.
6. `tibble` für moderne `data.frame`s.

---

# <mono>`%>%`</mono>

Der präferierte Gebrauch von `dplyr` beinhaltet einen <high>neuen Operator</high>, die Pipe <high>`%>%`</high>.

<img src="image/pipe.jpg" width = "300px"> 
from <a href="https://upload.wikimedia.org/wikipedia/en/thumb/b/b9/MagrittePipe.jpg">wikimedia.org</a>

]

```r
# Numerischer Vektor
score <- c(8, 4, 6, 3, 7, 3)
score
```

```
## [1] 8 4 6 3 7 3
```

```r
# Mittelwert: Base-R-style
mean(score)
```

```
## [1] 5.167
```

```r
# Mittelwert: dplyr-style
score %>%  
  mean()  
```

```
## [1] 5.167
```

]

---

# `%>%`

Der präferierte Gebrauch von `dplyr` beinhaltet einen <high>neuen Operator</high>, die Pipe <high>`%>%`</high>.

]

]

---

# Transformation

<ul>
 <li class="m1"><high>Umbenennen</high>: Intuitive Spaltennamen vergeben.
 
 <ul class="level">
 <li><mono>rename()</mono></li>
 </ul>
 </li>
 <li class="m2"><high>Umkodieren</high>: Angemessene Einheiten und Datenlabels vergeben.
 
 <ul class="level">
 <li><mono>mutate()</mono></li>
 <li><mono>case_when()</mono></li>
 </ul>
 </li>
 <li class="m3"><high>Verbinden</high>: Datensätze zusammenführen.
 
 <ul class="level">
 <li><mono>left_join()</mono></li>
 </ul>
 </li>
</ul>

]

```r
patienten
```

```
## # A tibble: 5 x 3
## id X1 X2
## <dbl> <dbl> <dbl>
## 1 1 37 1
## 2 2 65 2
## 3 3 57 2
## 4 4 34 1
## 5 5 45 2
```

```r
ergebnisse
```

```
## # A tibble: 5 x 3
## id t_1 t_2
## <dbl> <dbl> <dbl>
## 1 4 100 105
## 2 92 134 150
## 3 1 123 135
## 4 2 143 140
## 5 99 102 68
```

]

---

# `rename()`

```r
patienten %>%
  rename(NEU = ALT,
         NEU = ALT)
```

]

```r
# Starte mit Datensatz
patienten %>%

# Ändere Spaltennamen
  rename(alter = X1,
         bedingung = X2)
```

```
## # A tibble: 5 x 3
## id alter bedingung
## <dbl> <dbl> <dbl>
## 1 1 37 1
## 2 2 65 2
## 3 3 57 2
## 4 4 34 1
## 5 5 45 2
```

]

---

# `mutate()`

```r
tibble %>%
  mutate(
   NEU1 = DEFINITION1,
   NEU2 = DEFINITION2,
   NEU3 = DEFINITION3,
   ...
  )
```
]

```r
patienten %>% 
  rename(alter = X1, 
         bedingung = X2) %>%
  
# Kreiere neue Variablen
  mutate(monate = alter * 12,
         dekaden = alter / 10)
```

```
## # A tibble: 5 x 5
## id alter bedingung monate dekaden
## <dbl> <dbl> <dbl> <dbl> <dbl>
## 1 1 37 1 444 3.7
## 2 2 65 2 780 6.5
## 3 3 57 2 684 5.7
## 4 4 34 1 408 3.4
## 5 5 45 2 540 4.5
```

]

---

# `case_when()`

```r
tibble %>%
  mutate(
    NEU = case_when(
      LOGICAL1 ~ WERT1,
      LOGICAL2 ~ WERT2,
      ...
      )
    )
```

]

```r
patienten %>% 
  rename(alter = X1, 
         bedingung = X2) %>%
  
# Kreiere bed_label von bedingung
  mutate(bed_label = case_when(
    bedingung == 1 ~ "placebo",
    bedingung == 2 ~ "medikament"))
```

```
## # A tibble: 5 x 4
## id alter bedingung bed_label 
## <dbl> <dbl> <dbl> <chr> 
## 1 1 37 1 placebo 
## 2 2 65 2 medikament
## 3 3 57 2 medikament
## 4 4 34 1 placebo 
## 5 5 45 2 medikament
```

]

---

# Verbinde Daten
 

 <img src="image/joining_data.png" height="450px">

---

# `inner_join()`

```r
tibble_1 %>%
  inner_join(tibble_2, 
            by = c("KEY"))
```

]

```r
patienten %>% 
  rename(alter = X1, bedingung = X2) %>%
  mutate(bed_label = case_when(
    bedingung == 1 ~ "placebo",
    bedingung == 2 ~ "medikament")) %>%
  
  # Verbinde mit ergebnisse
  inner_join(ergebnisse, by = "id")
```

```
## # A tibble: 3 x 6
## id alter bedingung bed_label t_1 t_2
## <dbl> <dbl> <dbl> <chr> <dbl> <dbl>
## 1 1 37 1 placebo 123 135
## 2 2 65 2 medikament 143 140
## 3 4 34 1 placebo 100 105
```
]

---

# `left_join()`

```r
tibble_1 %>%
  left_join(tibble_2, 
            by = c("KEY"))
```

]

```
## # A tibble: 5 x 6
## id alter bedingung bed_label t_1 t_2
## <dbl> <dbl> <dbl> <chr> <dbl> <dbl>
## 1 1 37 1 placebo 123 135
## 2 2 65 2 medikament 143 140
## 3 3 57 2 medikament NA NA
## 4 4 34 1 placebo 100 105
## 5 5 45 2 medikament NA NA
```
]

---

# Organisation

<ul>
 <li class="m4"><high>Sortieren</high>: Datensatz ordnen.
 
 <ul class="level">
 <li><mono>arrange()</mono></li>
 </ul>
 </li>
 <li class="m5"><high>Filtern</high>: Relevante Fälle auswählen.
 
 <ul class="level">
 <li><mono>slice()</mono></li>
 <li><mono>filter()</mono></li>
 </ul>
 </li>
 <li class="m6"><high>Auswählen</high>: Relevante Variablen auswählen.
 
 <ul class="level">
 <li><mono>select()</mono></li>
 </ul>
 </li>
</ul>

]

```r
# Verbundener tibble
patienten_ergebnisse
```

]

---

# `arrange()`

```r
# Sortiere aufsteigend
tibble %>%
  arrange(A, B)

# Sortiere absteigend (mit desc())
tibble %>%
  arrange(desc(A), B)
```

]

```r
patienten_ergebnisse %>%
  
  # Sortiere nach bedingung
  arrange(bedingung)
```

```
## # A tibble: 5 x 6
## id alter bedingung bed_label t_1 t_2
## <dbl> <dbl> <dbl> <chr> <dbl> <dbl>
## 1 1 37 1 placebo 123 135
## 2 4 34 1 placebo 100 105
## 3 2 65 2 medikament 143 140
## 4 3 57 2 medikament NA NA
## 5 5 45 2 medikament NA NA
```

]

---

# `arrange()`

```r
# Sortiere aufsteigend
tibble %>%
  arrange(A, B)

# Sortiere absteigend (mit desc())
tibble %>%
  arrange(desc(A), B)
```
]

```r
patienten_ergebnisse %>%
  
  # Sortiere nach beidem
  arrange(bedingung, alter) 
```

```
## # A tibble: 5 x 6
## id alter bedingung bed_label t_1 t_2
## <dbl> <dbl> <dbl> <chr> <dbl> <dbl>
## 1 4 34 1 placebo 100 105
## 2 1 37 1 placebo 123 135
## 3 5 45 2 medikament NA NA
## 4 3 57 2 medikament NA NA
## 5 2 65 2 medikament 143 140
```

]

---

# `slice()`

```r
# Slice mit Sequenz
patienten_ergebnisse %>%
  slice(START:STOP)

# Slice mit Vektor  
patienten_ergebnisse %>%
  slice(c(ZEILE1, ZEILE2, ...))
```

]

```r
patienten_ergebnisse %>%

# Zeilen 3 und 5 
  slice(c(3, 5))
```

```
## # A tibble: 2 x 6
## id alter bedingung bed_label t_1 t_2
## <dbl> <dbl> <dbl> <chr> <dbl> <dbl>
## 1 3 57 2 medikament NA NA
## 2 5 45 2 medikament NA NA
```

]

---

# `slice()`

```r
# Slice mit Sequenz
patienten_ergebnisse %>%
  slice(START:STOP)

# Slice mit Vektor  
patienten_ergebnisse %>%
  slice(c(ZEILE1, ZEILE2, ...))
```

]

```r
patienten_ergebnisse %>%

# Erste 4 Zeilen
  slice(1:4)
```

```
## # A tibble: 4 x 6
## id alter bedingung bed_label t_1 t_2
## <dbl> <dbl> <dbl> <chr> <dbl> <dbl>
## 1 1 37 1 placebo 123 135
## 2 2 65 2 medikament 143 140
## 3 3 57 2 medikament NA NA
## 4 4 34 1 placebo 100 105
```

]

---

# `filter()`

```r
patienten_ergebnisse %>%
 filter(VAR1 == WERT1,
 VAR2 > WERT2,
 VAR3 < WERT3,
 VAR4 == WERT4 | VAR5 < WERT5)
```
]

```r
patienten_ergebnisse %>%
  
  # Patienten mit alter > 40
  filter(alter > 40)
```

```
## # A tibble: 3 x 6
## id alter bedingung bed_label t_1 t_2
## <dbl> <dbl> <dbl> <chr> <dbl> <dbl>
## 1 2 65 2 medikament 143 140
## 2 3 57 2 medikament NA NA
## 3 5 45 2 medikament NA NA
```

]

---

# `filter()`

```r
patienten_ergebnisse %>%
 filter(VAR1 == WERT1,
 VAR2 > WERT2,
 VAR3 < WERT3,
 VAR4 == WERT4 | VAR5 < WERT5)
```

]

```r
# alter grösser 40 & bed_label ist medikament
patienten_ergebnisse %>%
  filter(alter > 40,
         bed_label == "medikament")
```

]

---

# `select()`

```r
# Wähle Variablen A und B aus
tibble %>% 
  select(A, B)

# Wähle alles ausser A aus
tibble %>% 
  select(-A)
```

]

```r
patienten_ergebnisse %>%
  
  # Wähle id und bedingung aus
  select(id, bedingung)
```

```
## # A tibble: 5 x 2
## id bedingung
## <dbl> <dbl>
## 1 1 1
## 2 2 2
## 3 3 2
## 4 4 1
## 5 5 2
```

]

---

# `select()`

```r
# Wähle Variablen A und B aus
tibble %>% 
  select(A, B)

# Wähle alles ausser A aus
tibble %>% 
  select(-A)
```

]

```r
patienten_ergebnisse %>%
  
  # Alles ausser id
  select(-id)
```

```
## # A tibble: 5 x 5
## alter bedingung bed_label t_1 t_2
## <dbl> <dbl> <chr> <dbl> <dbl>
## 1 37 1 placebo 123 135
## 2 65 2 medikament 143 140
## 3 57 2 medikament NA NA
## 4 34 1 placebo 100 105
## 5 45 2 medikament NA NA
```

]

---

<h1><a href="https://therbootcamp.github.io/EDA_2019CSS/_sessions/Wrangling/Wrangling_practical.html">Practical</a></h1>