feature(notizen): add notes from l2 morning

This commit is contained in:
2026-04-30 10:59:51 +02:00
parent 5a7f4dfe38
commit 96a9f2e550
+29 -5
View File
@@ -126,13 +126,37 @@ Bewertung:
- Bsp. Welche Seiten die der Mensch (Gold Standard) als relevant klassifiziert hat, werden tatsächlich angezeigt? - Bsp. Welche Seiten die der Mensch (Gold Standard) als relevant klassifiziert hat, werden tatsächlich angezeigt?
- Perfekt wenn all relevanten Seiten angezeigt wurden - Perfekt wenn all relevanten Seiten angezeigt wurden
- Schlecht wenn keine relevanten Seiten gefunden wurden - Schlecht wenn keine relevanten Seiten gefunden wurden
- Erweiterte Metrik: Confusion Matrix
- Precision vs Recall
- There is often a trafe-off between Precision and Recall
- improving the algorithm towards one weakens the other
- Will ich das Modell in richtung Precision verbessern, wird der Recall schlechter und umgekehrt
- Entweder das eine oder andere kann optimiert werden
- Bspw. Suchmaschine: Einfach alles anzeigen, dann gibts keine False Negatives weil das Gesuchte immer gefunden wird
- Die Precision wird dabei aber sehr sehr schlecht, weil ganz viele False Positives dabei sind
- 100% Recall 0% Precision
- Oft muss ein Kompromiss getroffen werden zwischen Precision und Recall
- Die Entscheidung was optimiert werden soll, muss vom Entwicklungsteam getroffen werden
- Precision-oriented users
- Web Surfers
- Recall-oriented users
- Professional searches, legal, etc
- Dafür gibt es aber folgendes Hilfsmittel: **F-measure**
- Das gewichtete, harmonische Mittel zwischen Precision und Recall
- Formel: Skript Seite 7
- F = 1/( alpha* 1/P + [1-alpha] * 1/R) = (beta^2 + 1)PR / (beta^2P+R) = beta^2 = 1 - alpha / alpha
- Ist parametrisierbar
- Beta < emphasize precision
- Beta > emphasize recall
### Other metrics
- the generalization of our binary classifier result matrix (classification result vs. gold standard) is called a confusion matrix
- many different metrics can be derived from this
- https.//en.wikipedia.org/wiki/Confusion_matrix
- other widely used metrics include ROC, K-S, gail/lift, ...
- for specific ML problems and algorithms many additional metrics exists