Daten

# Daten
### Explorative Datenanalyse mit R <a href='https://therbootcamp.github.io'>The R Bootcamp</a> <a href='https://therbootcamp.github.io/EDA_2021Sep/'> </a>  <a href='https://therbootcamp.github.io'> </a>  <a href='mailto:therbootcamp@gmail.com'> </a>  <a href='https://www.linkedin.com/company/basel-r-bootcamp/'> </a>
### September 2021

---

<div class="my-footer">
 
 
 <img src="https://raw.githubusercontent.com/therbootcamp/therbootcamp.github.io/master/_sessions/_image/by-sa.png" height=14 style="vertical-align: middle"/>
 
 <a href="https://therbootcamp.github.io/">
 
 
 www.therbootcamp.com
 
 
 </a>
 <a href="https://therbootcamp.github.io/">
 
 Explorative Datenanalyse mit R | September 2021
 
 </a>
 
 </div>

---

<!---

# `Tidy` Daten

<ul>
 <li class="m1">Jede Spalte ist eine Variable.</li>
 <li class="m2">Jede Zeile ist eine Beobachtung.</li>
 <li class="m3">Jede Zelle beinhaltet nur einen Wert.</li>
</ul>

...nach <a href="https://github.com/tidyverse/tidyr">Hadley Wickham</a>

]

--->

# 3 Klassen von Datenobjekten

<high>`list`</high> - R's Mehrzweck-Container
- Kann alle Daten beinhalten, inkl. `list`s
- Nützlich für komplexe Funktionsoutputs

<high>`data.frame`</high> - R's Tabelle
- Spezialfall einer `list`
- R's `Tidy`-Format für Daten

<high>`vector`</high> - R's Daten-Container
- Primärer Daten-Container
- Beinhaltet Daten genau einer Klasse

]

---

# data frame

<ul>
 <li class="m1">Eine <mono>list</mono>e bestehend aus <high><mono>vector</mono>en gleicher Länge</high>.</li>
 <li class="m2">Die <mono>vector</mono>en haben verschiedene <high>Klassen</high>: <mono>numeric</mono>, <mono>character</mono>, etc.</li>
 <li class="m3">Verschiedene Varianten: <mono>data.frame</mono>, <mono>data.table</mono>, <highm>tibble</highm>.</li>
</ul>

]

---

# Inhalt ansehen

```r
# printe basel
basel
```

```
## # A tibble: 10,000 × 20
## id geschlecht alter groesse gewicht
## <dbl> <chr> <dbl> <dbl> <dbl>
## 1 1 W 44 174 NA 
## 2 2 M 65 180 85.6
## 3 3 M 31 168 53.9
## 4 4 M 31 166. 105 
## 5 5 M 24 180. 102. 
## # … with 9,995 more rows
```
]

---

# Inhalt ansehen

```r
# Zeige den data frame in neuem tab
View(basel)
```

<img src="image/view.png"></img>
]

---

# Zugriff mit <high>`$`</high>

```r
# Extrahiere die Variable Alter
basel$alter
```

```
##  [1] 44 65 31 31 24 59 48 53 50 62 73 53
## [13] 38 26
##  [ reached getOption("max.print") -- omitted 9986 entries ]
```

```r
# Extrahiere die Variable Bildung
basel$bildung
```

```
##  [1] "obligatorisch" "sek III"      
##  [3] "sek III"       "lehre"        
##  [5] "obligatorisch" "sek III"      
##  [7] "obligatorisch" "lehre"        
##  [9] "sek III"       "lehre"        
## [11] "sek III"       "lehre"        
## [13] "lehre"         "obligatorisch"
##  [ reached getOption("max.print") -- omitted 9986 entries ]
```

]

---

# Verändern mit <high>`$`</high>

```r
# Teile die Variable einkommen durch 1000
basel$einkommen <- basel$einkommen / 1000

# zeige data frame
basel
```

]

---

# `vector`

<ul>
 <li class="m1">R's <high>primärer Daten-Container</high></li>
 <li class="m2">Kann nur eine einzelne <high>Daten-Klasse</high> beinhalten (und fehlende Werte).</li>
 <li class="m3">Daten-Klassen 
 <ul class="level">
 <li><highm>numeric</highm> - Alle Zahlen</li>
 <li><highm>character</highm> - Alle Zeichen (e.g., Namen)</li>
 <li><highm>logical</highm> - <mono>TRUE</mono> oder <mono>FALSE</mono></li>
 <li>...</li>
 <li><highm>NA</highm> - fehlende Werte</li>
 </ul>
 </li>
</ul>

]

<img src="image/vector.png"></img>
 ]

---

# `numeric`

<highm>numeric</highm> Vektoren <high>beinhalten Zahlen</high> und nur Zahlen.

```r
# Extrahiere die Variable Alter
basel$alter
```

```
##  [1] 44 65 31 31 24 59 48 53 50 62
```

```r
# Zeige die Klasse von Alter
class(basel$alter)
```

```
## [1] "numeric"
```

```r
# Ist Alter numeric
is.numeric(basel$alter)
```

```
## [1] TRUE
```

]

---

# `character`

<highm>character</highm> Vektoren <high>beinhalten alle Zeichen</high> um die herum <high>Anführungszeichen</high> stehen.

```r
# Extrahiere die Variable Geschlecht
basel$geschlecht
```

```
## [1] "W" "M" "M" "M" "M" "M" "W" "W"
```

```r
# Extrahiere die Variable Bildung
basel$bildung
```

```
## [1] "obligatorisch" "sek III"      
## [3] "sek III"       "lehre"        
## [5] "obligatorisch" "sek III"      
## [7] "obligatorisch" "lehre"
```

]

---

# `character`

<highm>character</highm> Vektoren <high>beinhalten alle Zeichen</high> um die herum <high>Anführungszeichen</high> stehen.

```r
# Extrahiere die Variable Alter
basel$alter
```

```
##  [1] 44 65 31 31 24 59 48 53 50 62
```

```r
# Wandle Alter in character um
as.character(basel$alter)
```

```
##  [1] "44" "65" "31" "31" "24" "59" "48"
##  [8] "53" "50" "62"
```

]

---

# `logical`

<highm>logical</highm> Vektoren werden typischerweise durch <high>logische Vergleiche</high> erstellt und benutzt um in Data Frames oder Vektoren bestimmte <high>Fälle auszuwählen</high>.

```r
# Welche Werte in Geschlecht sind m
basel$geschlecht == "M"
```

```
##  [1] FALSE  TRUE  TRUE  TRUE  TRUE  TRUE
##  [7] FALSE FALSE  TRUE FALSE
```

```r
# Welche Werte in Alteer sind kleiner 30
basel$alter < 50
```

```
##  [1]  TRUE FALSE  TRUE  TRUE  TRUE FALSE
##  [7]  TRUE FALSE FALSE FALSE
```

]

---

# `logical`

<highm>logical</highm> Vektoren werden typischerweise durch <high>logische Vergleiche</high> erstellt und benutzt um in Data Frames oder Vektoren bestimmte <high>Fälle auszuwählen</high>.

Logische Operatoren

<high>`==`</high> - ist gleich 
<high>`<`</high>, <high>`>`</high> - kleiner/grösser als 
<high>`<=`</high>, <high>`>=`</high> - kleiner/grösser als oder gleich 
<high>`&`</high>, <high>`&&`</high> - logisches UND 
<high>`|`</high>, <high>`||`</high> - logisches ODER

]

---

# Zugriff / Ändern via `[ ]`

```r
# Extrahiere die Variable Alter
alter <- basel$alter
alter
```

```
##  [1] 44 65 31 31 24 59 48 53 50 62
```

```r
# Extrahiere zweiten Wert
alter[2]
```

```
## [1] 65
```

```r
# Ändere zweiten Wert
alter[2] <- 100
alter
```

Mehr Info [hier](http://rspatial.org/intr/rst/4-indexing.html).

]

<img src="image/vector.png"></img>
 ]

---

<div class="center_text">
 
 Input/Ouput
 
</div>

---

# Das <mono>tidyverse</mono>

<ul>
 <li class="m1">Das <a href="https://www.tidyverse.org/"><mono>tidyverse</mono></a> ist eine Sammlung hoch-performanter, nutzerfreundlicher Pakete für eine effiziente Datenaufbereitung und -analyse.</li>
</ul>

<ol style="padding-left:72px">
 <li><high><mono>readr</mono> für Daten I/O</high>.</li>
 <li><high><mono>tibble</mono> für moderne <mono>data_frame</mono>'s</high>.</li>
 <li><mono>dplyr</mono> für Datenverarbeitung.</li>
 <li><mono>tidyr</mono> für Datenverarbeitung.</li>
 <li><mono>ggplot2</mono> für Grafiken.</li>
</ol>

---

# Datentypen ausserhalb von R

<table class="tg" style="cellspacing:0; cellpadding:0; border:none;" width="95%">
<col width=30%>
<col width=30%>
<col width=30%>
<tr>
 <td bgcolor = 'white' style='vertical-align:top'>
 <ul>
 <li class="m1"><high>Strukturierte Daten</high>
 <ul class="level">
 <li>Delimiter getrennt: <mono>.csv</mono>, <mono>.txt</mono>, etc.</li>
 <li>Relationale Datenbanken: <mono>SQL</mono></li>
 </ul>
 <img src="image/structured.png" height=250px>
 </li>
 </ul>
 </td>
 <td bgcolor = 'white' style='vertical-align:top'>
 <ul>
 <li class="m2"><high>Semi-strukturierte Daten</high>
 <ul class="level">
 <li>Markup: <mono>.xml</mono>, <mono>.xls</mono>, <mono>.html</mono> etc.</li>
 <li>Non markup: <mono>JSON</mono>, <mono>MongoDB</mono></li>
 </ul>
 <img src="image/html.png" height=250px>
 </li>
 </ul>
 </td>
 <td bgcolor = 'white' style='vertical-align:top'>
 <ul>
 <li class="m3"><high>Unstrukturierte Daten</high>
 <ul class="level">
 <li>z.B. Text</li>
 </ul>
 <br2><img src="image/text.png" height=250px>
 </li>
 </ul>
 </td>
 </tr>
</table>

---

# <mono>readr</mono>

<ul>
 <li class="m1"><high>Delimiter</high> separieren die Spalten.</li>
 <li class="m2">Meist als <high>lokale Textdatei</high> vorliegend.</li>
 <li class="m3"><high>Datenklassen</high> werden inferiert.</li>
</ul>

]

]

---

# <mono>readr</mono>

]

```r
# Lese Basel Datensatz ein
basel <- read_csv("1_Data/basel.csv")

# Benutze expliziten Delimiter
basel <- read_delim("1_Data/basel.csv",
 delim = ",")
basel
```

```
## # A tibble: 10,000 × 20
## id geschlecht alter groesse
## <dbl> <chr> <dbl> <dbl>
## 1 1 f 87 165 
## 2 2 m 54 175.
## 3 3 f 34 147.
## 4 4 m 31 166.
## 5 5 m 24 180.
## # … with 9,995 more rows
```

]

---

# <mono>tibble</mono>

<ul>
 <li class="m1">Schlanke Version des <high>data frames</high> mit:</li>
 <ul class="level">
 <li>Informativeren <high>Print</high></li>
 <li>Keinen <high>Faktoren</high></li>
 <li>Konsistenteres <high>Subsetting</high></li>
 </ul>
</ul>

]

```r
# Lese Basel Datensatz ein
basel <- read_csv("1_Data/basel.csv")

# Benutze expliziten Delimiter
basel <- read_delim("1_Data/basel.csv",
 delim = ",")
basel
```

]

---

# Den Filepath finden

<ul>
 <li class="m1">Finde den Filepath mittels RStudio's <high>Auto-Complete</high>.</li>
 <li class="m2">Setze den Cursor zwischen Anführungszeichen und drücke <highm>Tab</highm>.</li>
</ul>

]

]

---

# Den Filepath finden

]

]

---

# Inferierte Datentypen

```r
# Lese Basel Datensatz ein
basel <- read_csv("1_Data/basel.csv")
```

```
## Rows: 10000 Columns: 20
```

```
## ── Column specification ────────────────
## Delimiter: ","
## chr  (5): geschlecht, bildung, konfe...
## dbl (15): id, alter, groesse, gewich...
```

```
## 
## ℹ Use `spec()` to retrieve the full column specification for this data.
## ℹ Specify the column types or set `show_col_types = FALSE` to quiet this message.
```

]

]

---

# Inferierte Datentypen

Manchmal ist es nötig `readr` etwas auf die Sprünge zu helfen, damit <high>Datentypen korrekt inferiert</high> werden.

```r
# Setze Symbol für fehlende Werte
basel <- read_csv("1_Data/basel.csv",
 na = c('NA'))

# Re-inferiere Datentypen
basel <- type_convert(basel)
```
]

]

---

# Relationale Datenbanken siehe <a href="https://db.rstudio.com/">db.rstudio.com</a>

<ul>
 <li class="m1">R kann direkt <high>auf Datenbanken arbeiten</high>: <mono>MySQL</mono>, <mono>MariaDB</mono>, <mono>BigQuery</mono>, <mono>Redshift</mono>, etc. Siehe <a href="https://db.rstudio.com/databases">hier</a>.</li>
 <li class="m2"><mono>dplyr</mono> wird z.B. <high>automatisch übersetzt.</high></li>
</ul>

]

```r
# Verbinge mit MySQL Datenbank
con <- dbConnect(MySQL(), 
 user='studiech_rbootca', 
 password='Du*5hA+7NU:8T', 
 dbname='studiech_rbootcamp', 
 host='studie.ch',
 port = 3306)

# Zeige Tabellen
dbListTables(con)
```

```
## [1] "basel"
```

]

---

# Relationale Datenbanken siehe <a href="https://db.rstudio.com/">db.rstudio.com</a>

]

```r
# Extrahiere Tabelle Customers
basel <- tbl(con, "basel")
basel
```

```
## # Source: table<basel> [?? x 20]
## # Database: mysql 5.7.26-log-cll-lve
## # [@studie.ch:/studiech_rbootcamp]
## id geschlecht alter_jahre groesse
## <dbl> <chr> <dbl> <dbl>
## 1 1 f 87 165 
## 2 2 m 54 175.
## 3 3 f 34 147.
## 4 4 m 31 166.
## 5 5 m 24 180.
## # … with more rows
```

]

---

# Relationale Datenbanken siehe <a href="https://db.rstudio.com/">db.rstudio.com</a>

]

```r
# Extrahiere Tabelle Customers
basel <- tbl(con, "basel")

# Extrahiere CompanyNamer Variable
basel %>% pull(konfession)
```

```
##  [1] "katholisch"     "konfessionslos"
##  [3] "konfessionslos" "katholisch"    
##  [5] "katholisch"     NA              
##  [7] "konfessionslos" "katholisch"    
##  [9] "konfessionslos" "andere"        
##  [ reached getOption("max.print") -- omitted 9990 entries ]
```

]

---

# Semi-strukturierte Daten mit <a href="https://github.com/r-lib/xml2"><mono>xml2</mono></a> und <a href="https://github.com/hadley/rvest"><mono>rvest</mono></a>

```r
# Tabelle laden von Wikipedia (mit xml2 und rvest)
read_html("https://en.wikipedia.org/wiki/R_(programming_language)") %>%
  html_node(xpath = '//*[@id="mw-content-text"]/div/table[2]') %>%
  html_table() %>% as_tibble()
```

```
## # A tibble: 22 × 3
## Release Date Description 
## <chr> <chr> <chr> 
## 1 0.16 "" "This is the last alpha version developed primarily by Ihaka and G…
## 2 0.49 "1997-04-2… "This is the oldest source release which is currently available on…
## 3 0.60 "1997-12-0… "R becomes an official part of the GNU Project. The code is hosted…
## 4 0.65.1 "1999-10-0… "First versions of update.packages and install.packages functions …
## 5 1.0 "2000-02-2… "Considered by its developers stable enough for production use.[57…
## 6 1.4 "2001-12-1… "S4 methods are introduced and the first version for Mac OS X is m…
## 7 1.8 "2003-10-0… "Introduced a flexible condition handling mechanism for signalling…
## 8 2.0 "2004-10-0… "Introduced lazy loading, which enables fast loading of data with …
## 9 2.1 "2005-04-1… "Support for UTF-8 encoding, and the beginnings of internationaliz…
## 10 2.6.2 "2008-02-0… "Last version to support Windows 95, 98, Me and NT 4.0[58]" 
## # … with 12 more rows
```

---

# Other data siehe <a href="https://cran.r-project.org/web/packages/rio/vignettes/rio.html">rio</a>

```r
# read fixed width files (can be fast)
data <- read_fwf(file, ...)

# read Apache style log files
data <- read_log(file, ...)
```

### `haven` <img src="image/haven.png" width="50" align="right">

```r
# read SAS's .sas7bat and sas7bcat files
data <- read_sas(file, ...)

# read SPSS's .sav files
data <- read_sav(file, ...)

# etc
```
]

```r
# read Excel's .xls and xlsx files
data <- read_excel(file, ...)
```
 
### Other

```r
# Read Matlab .mat files
data <- R.matlab::readMat(file, ...)

# Read and wrangle .xml and .html
data <- XML::xmlParseParse(file, ...)

# from package jsonlite: read .json files
data <- jsonlite::read_json(file, ...)
```
]

---

<h1><a href="https://therbootcamp.github.io/EDA_2021Sep/_sessions/Data/Data_practical.html">Practical</a></h1>