diff --git a/NSL/notizen/L1_Notizen.md b/NSL/notizen/L1_Notizen.md index e17e5cd..582eb3f 100644 --- a/NSL/notizen/L1_Notizen.md +++ b/NSL/notizen/L1_Notizen.md @@ -136,42 +136,26 @@ - Streuung um den Mittelwert - Population vs. Stichprobe (Bessel-Korrektur mit $n-1$): -$$ -\sigma^2 = \frac{1}{n}\sum_{i=1}^{n}(x_i - \bar{x})^2 -\qquad -s^2 = \frac{1}{n-1}\sum_{i=1}^{n}(x_i - \bar{x})^2 -$$ +$$ \sigma^2 = \frac{1}{n}\sum_{i=1}^{n}(x_i - \bar{x})^2 \qquad s^2 = \frac{1}{n-1}\sum_{i=1}^{n}(x_i - \bar{x})^2 $$ - Kovarianz - Mass für das *gemeinsame* Streuen zweier Variablen (steigen sie zusammen oder gegenläufig?) - Hinweis: Kovarianz ist *nicht* die Steigung — die Regressionssteigung ist $\beta = \mathrm{Cov}(X,Y)/\mathrm{Var}(X)$ - Ist nicht begrenzt im Gegensatz zur Korrelation ($\rho = \mathrm{Cov}(X,Y)/(\sigma_X \sigma_Y) \in [-1, 1]$) -$$ -\mathrm{Cov}(X,Y) = \frac{1}{n}\sum_{i=1}^{n}(x_i - \bar{x})(y_i - \bar{y}) -$$ +$$ \mathrm{Cov}(X,Y) = \frac{1}{n}\sum_{i=1}^{n}(x_i - \bar{x})(y_i - \bar{y}) $$ - Kovarianz-Matrix - - Für zentrierte Datenmatrix $X_c \in \mathbb{R}^{n \times d}$ (Mittelwert pro Spalte abgezogen): - -$$ -\Sigma = \frac{1}{n}\, X_c^{\top} X_c -\qquad -\Sigma_{jk} = \mathrm{Cov}(X_j, X_k) -$$ - + - Für zentrierte Datenmatrix $X_c \in \mathbb{R}^{n \times d}$ (Mittelwert pro Spalte abgezogen) - $d \times d$, symmetrisch, positiv semidefinit - Diagonale = Varianzen, off-diagonal = Kovarianzen +$$ \Sigma = \frac{1}{n}\, X_c^{\top} X_c \qquad \Sigma_{jk} = \mathrm{Cov}(X_j, X_k) $$ + - Eigenwert-Problem (Lambda) - Korrektur: die *Eigenwerte* $\lambda$ sind die Nullstellen des charakteristischen Polynoms (nicht die Eigenvektoren) - - $A\mathbf{v} = \lambda \mathbf{v} \iff (A - \lambda I)\mathbf{v} = \mathbf{0}$ - - Nicht-triviale Lösung existiert nur, wenn: - -$$ -\det(A - \lambda I) = 0 \quad \text{(charakteristisches Polynom)} -$$ - + - Definition: $A\mathbf{v} = \lambda \mathbf{v} \iff (A - \lambda I)\mathbf{v} = \mathbf{0}$ + - Nicht-triviale Lösung existiert nur, wenn $\det(A - \lambda I) = 0$ (charakteristisches Polynom) - Vorgehen: 1) $\lambda$ aus dem char. Polynom bestimmen, 2) je $\lambda$ den Eigenvektor $\mathbf{v}$ aus $(A - \lambda I)\mathbf{v} = \mathbf{0}$ lösen - In der PCA: Eigenwert $\lambda_i$ = Varianz entlang PC$_i$; Gesamtvarianz $= \mathrm{tr}(\Sigma) = \sum_i \lambda_i$; erklärter Varianzanteil $= \lambda_i / \sum_j \lambda_j$