From 96a9f2e550c7931fde95b65842510c4eaf8bf40e Mon Sep 17 00:00:00 2001 From: aaron Date: Thu, 30 Apr 2026 10:59:51 +0200 Subject: [PATCH] feature(notizen): add notes from l2 morning --- ML/notizen/L2_Notizen.md | 34 +++++++++++++++++++++++++++++----- 1 file changed, 29 insertions(+), 5 deletions(-) diff --git a/ML/notizen/L2_Notizen.md b/ML/notizen/L2_Notizen.md index e848a23..37c3951 100644 --- a/ML/notizen/L2_Notizen.md +++ b/ML/notizen/L2_Notizen.md @@ -126,13 +126,37 @@ Bewertung: - Bsp. Welche Seiten die der Mensch (Gold Standard) als relevant klassifiziert hat, werden tatsächlich angezeigt? - Perfekt wenn all relevanten Seiten angezeigt wurden - Schlecht wenn keine relevanten Seiten gefunden wurden +- Erweiterte Metrik: Confusion Matrix +- Precision vs Recall + - There is often a trafe-off between Precision and Recall + - improving the algorithm towards one weakens the other + - Will ich das Modell in richtung Precision verbessern, wird der Recall schlechter und umgekehrt + - Entweder das eine oder andere kann optimiert werden + - Bspw. Suchmaschine: Einfach alles anzeigen, dann gibts keine False Negatives weil das Gesuchte immer gefunden wird + - Die Precision wird dabei aber sehr sehr schlecht, weil ganz viele False Positives dabei sind + - 100% Recall 0% Precision + - Oft muss ein Kompromiss getroffen werden zwischen Precision und Recall + - Die Entscheidung was optimiert werden soll, muss vom Entwicklungsteam getroffen werden + - Precision-oriented users + - Web Surfers + - Recall-oriented users + - Professional searches, legal, etc + +- Dafür gibt es aber folgendes Hilfsmittel: **F-measure** + - Das gewichtete, harmonische Mittel zwischen Precision und Recall + - Formel: Skript Seite 7 + - F = 1/( alpha* 1/P + [1-alpha] * 1/R) = (beta^2 + 1)PR / (beta^2P+R) = beta^2 = 1 - alpha / alpha + - Ist parametrisierbar + - Beta < emphasize precision + - Beta > emphasize recall +### Other metrics - - - - - +- the generalization of our binary classifier result matrix (classification result vs. gold standard) is called a confusion matrix + - many different metrics can be derived from this + - https.//en.wikipedia.org/wiki/Confusion_matrix + - other widely used metrics include ROC, K-S, gail/lift, ... +- for specific ML problems and algorithms many additional metrics exists