Lineare Modelle III

# Lineare Modelle III
### Statistik mit R <a href='https://therbootcamp.github.io'> The R Bootcamp </a> <a href='https://therbootcamp.github.io/SmR_2020Sep/'> </a>  <a href='https://therbootcamp.github.io'> </a>  <a href='mailto:therbootcamp@gmail.com'> </a>  <a href='https://www.linkedin.com/company/basel-r-bootcamp/'> </a>
### September 2020

---

<div class="my-footer">
 
 
 <img src="https://raw.githubusercontent.com/therbootcamp/therbootcamp.github.io/master/_sessions/_image/by-sa.png" height=14 style="vertical-align: middle"/>
 
 <a href="https://therbootcamp.github.io/">
 
 
 www.therbootcamp.com
 
 
 </a>
 <a href="https://therbootcamp.github.io/">
 
 Statistik mit R | September 2020
 
 </a>
 
 </div>

---

# Generalisiertes lineares Modell

<ul>
 <li class="m1">Das generalisierte lineare Modell ist <high>das eigentliche schweizer Taschenmesser</high> der Statistik.</li>
 <li class="m2">Ermöglicht gegenüber dem allgemeinen Linearen Modell <high>verschiedene Datenmodelle und Link-Funktionen</high></li>
</ul>

]

]

---

# Link-Funktionen

<ul>
 <li class="m1">Link-Funktionen sind <high>Transformationen des Kriteriums</high>.</li>
 <li class="m2">Gehen i.d.R. Hand in Hand mit <high>alternativen Datenmodellen</high>.</li>
</ul>

`$$\Large \rho(\mu)=\textbf{X}\boldsymbol{\beta}$$`
]

Identität - Normal

`$$\Large \rho(\mu)=\mu, \;\;\;\ y \sim \mathcal{N}(\mu,\,\sigma)$$`
Logit - Binomial

`$$\Large \rho(\mu)=log \Big(\frac{\mu}{1-\mu}\Big), \;\;\;\ y \sim B(\mu)$$`
Log - Negative binomial

$$\Large \rho(\mu)=log (\mu), \;\;\;\ y \sim NB(\mu) $$

Log - Poisson

`$$\Large \rho(\mu)=log (\mu), \;\;\;\ y\sim Pois(\mu)$$`

]

---

# Logistische Regression

<ul>
 <li class="m1">Dient der Vorhersage von <high>dichotomen Variablen</high>, d.h., Ja/Nein, 1/0, etc.</li>
 <li class="m2">Basiert auf einem <high>logit-link mit Binomialem Datenmodell</high>.</li>
</ul>

`$$\Large \hat{y} = p(y = 1) = \frac{1}{1 + e^{-b_0+b_1*x}}$$`
]

]

---

# Maximum Likelihood

<ul>
 <li class="m1">Maximum Likelihood ist neben Kleinste-Quadrate (OLS) die <high>wichtigste "Loss"-function der Statistik</high>.</li>
 <li class="m2"><high>Koinzidiert mit OLS</high> für nicht-generalisierte Modelle.</li>
</ul>

`$$\large \mathbf{b} = \underset{\mathbf{b}}{\operatorname{argmax}} L\big(y_i|{\mathbf{b}}\big)$$`

Binomialmodell

`$$\large L(y_i|\mathbf{b}) = \binom{n}{k} p_{y_i=1}^k(1-p_{y_i=1})^{n-k}$$`

]

]

---

# `glm()`

<ul>
 <li class="m1"><high>Generalisierte lineare Modelle</high> können mit <mono>glm()</mono> spezifiziert werden.</high></li>
 <li class="m2">Argument <mono>family</mono> bestimmt <high>Link und Datenmodell</high>.</li>
</ul>

]

]

---

# `glm()`

]

```r
# Logistische Regression
mod <- glm(Europa ~ Besucher, 
 data = tour, 
 family = 'binomial')
mod
```

```
## 
## Call:  glm(formula = Europa ~ Besucher, family = "binomial", data = tour)
## 
## Coefficients:
## (Intercept)     Besucher  
##   -0.030579     0.000221  
## 
## Degrees of Freedom: 70 Total (i.e. Null);  69 Residual
## Null Deviance:	    98.3 
## Residual Deviance: 96.9 	AIC: 101
```

]

---

# `glm()`

`$$\large e^{b_{x}} = OR_{x}$$`

`$$\large OR_x = \frac{\frac{p_{x+1}}{1-p_{x+1}}}{\frac{p_x}{1-p_x}}$$`

]

```r
# Logistische Regression
summary(mod)
```

```
## 
## Call:
## glm(formula = Europa ~ Besucher, family = "binomial", data = tour)
## 
## Deviance Residuals: 
##    Min      1Q  Median      3Q     Max  
## -1.797  -1.174   0.844   1.173   1.189  
## 
## Coefficients:
##              Estimate Std. Error z value Pr(>|z|)
## (Intercept) -0.030579   0.258185   -0.12     0.91
## Besucher     0.000221   0.000217    1.02     0.31
## 
## (Dispersion parameter for binomial family taken to be 1)
## 
##     Null deviance: 98.300  on 70  degrees of freedom
## Residual deviance: 96.876  on 69  degrees of freedom
## AIC: 100.9
## 
## Number of Fisher Scoring iterations: 3
```

]

---

# Poisson-Regression

<ul>
 <li class="m1">Dient der Vorhersage von <high>Häufigkeiten</high>.</li>
 <li class="m2">Basiert auf einem <high>log-link mit Poisson Datenmodell</high>.</li>
</ul>

`$$\Large \hat{y} = e^{-b_0+b_1*x}$$`

Poisson-Modell

`$$\Large L(y_i|b) = \prod_i \frac{\hat{y_i}^{y_i}}{y_{i}!}e^{-\hat{y}}$$`
]

]

---

# `glm()`

]

```r
# Poisson Regression
mod <- glm(Nächte ~ Äquivalenzeinkommen, 
 data = tour, 
 family = 'poisson')
mod
```

```
## 
## Call:  glm(formula = Nächte ~ Äquivalenzeinkommen, family = "poisson", 
##     data = tour)
## 
## Coefficients:
##         (Intercept)  Äquivalenzeinkommen  
##            6.02e+00             7.59e-05  
## 
## Degrees of Freedom: 33 Total (i.e. Null);  32 Residual
## Null Deviance:	    117000 
## Residual Deviance: 104000 	AIC: 104000
```

]

---

# `glm()`

]

```r
# Poisson Regression
summary(mod)
```

```
## 
## Call:
## glm(formula = Nächte ~ Äquivalenzeinkommen, family = "poisson", 
## data = tour)
## 
## Deviance Residuals: 
## Min 1Q Median 3Q Max 
## -72.31 -38.90 -24.25 -3.29 215.85 
## 
## Coefficients:
## Estimate Std. Error z value
## (Intercept) 6.02e+00 1.32e-02 454
## Äquivalenzeinkommen 7.59e-05 6.60e-07 115
## Pr(>|z|) 
## (Intercept) <2e-16 ***
## Äquivalenzeinkommen <2e-16 ***
## ---
## Signif. codes: 
## 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
## 
## (Dispersion parameter for poisson family taken to be 1)
## 
## Null deviance: 117456 on 33 degrees of freedom
## Residual deviance: 103814 on 32 degrees of freedom
## AIC: 104087
## 
## Number of Fisher Scoring iterations: 6
```

]

---

# `glm.nb()`

<ul>
 <li class="m1"><high>Negativ-Binomialmodelle</high> sind eine alternative für Häufigkeitsdaten.</li>
 <li class="m2">Entsprechen einer <high>Generalisierung des Poisson-Modells</high>.</li>
</ul>

]

```r
# Negativ-binomial Regression
mod <- glm.nb(Nächte ~ Äquivalenzeinkommen, 
 data = tour)
mod
```

```
## 
## Call:  glm.nb(formula = Nächte ~ Äquivalenzeinkommen, data = tour, 
##     init.theta = 0.621467307, link = log)
## 
## Coefficients:
##         (Intercept)  Äquivalenzeinkommen  
##            4.966653             0.000135  
## 
## Degrees of Freedom: 33 Total (i.e. Null);  32 Residual
## Null Deviance:	    52.9 
## Residual Deviance: 41.7 	AIC: 547
```

]

---

# `glm.nb()`

<ul>
 <li class="m1"><high>Negativ-Binomialmodellen</high> sind eine alternative für Häufigkeitsdaten.</li>
 <li class="m2">Entsprechen einer <high>Generalisierung des Poisson-Modells</high>.</li>
</ul>

]

```r
# Negativ-binomial Regression
mod <- glm.nb(Nächte ~ Äquivalenzeinkommen, 
 data = tour)
summary(mod)
```

```
## 
## Call:
## glm.nb(formula = Nächte ~ Äquivalenzeinkommen, data = tour, 
## init.theta = 0.621467307, link = log)
## 
## Deviance Residuals: 
## Min 1Q Median 3Q Max 
## -2.0292 -1.2143 -0.5210 0.0366 2.2702 
## 
## Coefficients:
## Estimate Std. Error z value
## (Intercept) 4.97e+00 5.40e-01 9.20
## Äquivalenzeinkommen 1.35e-04 3.21e-05 4.23
## Pr(>|z|) 
## (Intercept) < 2e-16 ***
## Äquivalenzeinkommen 2.4e-05 ***
## ---
## Signif. codes: 
## 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
## 
## (Dispersion parameter for Negative Binomial(0.6215) family taken to be 1)
## 
## Null deviance: 52.932 on 33 degrees of freedom
## Residual deviance: 41.729 on 32 degrees of freedom
## AIC: 547.5
## 
## Number of Fisher Scoring iterations: 1
## 
## 
## Theta: 0.621 
## Std. Err.: 0.127 
## 
## 2 x log-likelihood: -541.464
```

]

---

# `AIC`

<ul>
 <li class="m1">Generalisierte lineare Modelle können mit dem <high>Akaike Informationskriterium (AIC)</high> verglichen werden.</high></li>
 <li class="m2">Es drückt den <high>Fit relativ zur Anzahl Parameter</high> k aus</high>.</li>
</ul>

`$$AIC = -2logL + 2k$$`

]

```r
# Negativ-binomial Regression
pois <- glm(Nächte ~ Äquivalenzeinkommen, 
 data = tour, family = 'poisson')

# Negativ-binomial Regression
nb <- glm.nb(Nächte ~ Äquivalenzeinkommen, 
 data = tour)

# Vergleich
pois$aic
```

```
## [1] 104087
```

```r
nb$aic
```

```
## [1] 547.5
```

]

---

# `AIC`

]

Poisson vs. Negative-binomial

]

---

<h1><a href="https://therbootcamp.github.io/SmR_2020Sep/_sessions/LinearModelsIII/LinearModelsIII_practical.html">Practical</a></h1>