feature(notizen): add notes from l2 morning
This commit is contained in:
@@ -126,13 +126,37 @@ Bewertung:
|
||||
- Bsp. Welche Seiten die der Mensch (Gold Standard) als relevant klassifiziert hat, werden tatsächlich angezeigt?
|
||||
- Perfekt wenn all relevanten Seiten angezeigt wurden
|
||||
- Schlecht wenn keine relevanten Seiten gefunden wurden
|
||||
- Erweiterte Metrik: Confusion Matrix
|
||||
|
||||
|
||||
- Precision vs Recall
|
||||
- There is often a trafe-off between Precision and Recall
|
||||
- improving the algorithm towards one weakens the other
|
||||
- Will ich das Modell in richtung Precision verbessern, wird der Recall schlechter und umgekehrt
|
||||
- Entweder das eine oder andere kann optimiert werden
|
||||
- Bspw. Suchmaschine: Einfach alles anzeigen, dann gibts keine False Negatives weil das Gesuchte immer gefunden wird
|
||||
- Die Precision wird dabei aber sehr sehr schlecht, weil ganz viele False Positives dabei sind
|
||||
- 100% Recall 0% Precision
|
||||
- Oft muss ein Kompromiss getroffen werden zwischen Precision und Recall
|
||||
- Die Entscheidung was optimiert werden soll, muss vom Entwicklungsteam getroffen werden
|
||||
- Precision-oriented users
|
||||
- Web Surfers
|
||||
- Recall-oriented users
|
||||
- Professional searches, legal, etc
|
||||
|
||||
- Dafür gibt es aber folgendes Hilfsmittel: **F-measure**
|
||||
- Das gewichtete, harmonische Mittel zwischen Precision und Recall
|
||||
- Formel: Skript Seite 7
|
||||
- F = 1/( alpha* 1/P + [1-alpha] * 1/R) = (beta^2 + 1)PR / (beta^2P+R) = beta^2 = 1 - alpha / alpha
|
||||
- Ist parametrisierbar
|
||||
- Beta < emphasize precision
|
||||
- Beta > emphasize recall
|
||||
|
||||
|
||||
### Other metrics
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
- the generalization of our binary classifier result matrix (classification result vs. gold standard) is called a confusion matrix
|
||||
- many different metrics can be derived from this
|
||||
- https.//en.wikipedia.org/wiki/Confusion_matrix
|
||||
- other widely used metrics include ROC, K-S, gail/lift, ...
|
||||
- for specific ML problems and algorithms many additional metrics exists
|
||||
|
||||
Reference in New Issue
Block a user