feature(notizen): add notes from l2 morning
This commit is contained in:
@@ -126,13 +126,37 @@ Bewertung:
|
|||||||
- Bsp. Welche Seiten die der Mensch (Gold Standard) als relevant klassifiziert hat, werden tatsächlich angezeigt?
|
- Bsp. Welche Seiten die der Mensch (Gold Standard) als relevant klassifiziert hat, werden tatsächlich angezeigt?
|
||||||
- Perfekt wenn all relevanten Seiten angezeigt wurden
|
- Perfekt wenn all relevanten Seiten angezeigt wurden
|
||||||
- Schlecht wenn keine relevanten Seiten gefunden wurden
|
- Schlecht wenn keine relevanten Seiten gefunden wurden
|
||||||
|
- Erweiterte Metrik: Confusion Matrix
|
||||||
|
|
||||||
|
|
||||||
|
- Precision vs Recall
|
||||||
|
- There is often a trafe-off between Precision and Recall
|
||||||
|
- improving the algorithm towards one weakens the other
|
||||||
|
- Will ich das Modell in richtung Precision verbessern, wird der Recall schlechter und umgekehrt
|
||||||
|
- Entweder das eine oder andere kann optimiert werden
|
||||||
|
- Bspw. Suchmaschine: Einfach alles anzeigen, dann gibts keine False Negatives weil das Gesuchte immer gefunden wird
|
||||||
|
- Die Precision wird dabei aber sehr sehr schlecht, weil ganz viele False Positives dabei sind
|
||||||
|
- 100% Recall 0% Precision
|
||||||
|
- Oft muss ein Kompromiss getroffen werden zwischen Precision und Recall
|
||||||
|
- Die Entscheidung was optimiert werden soll, muss vom Entwicklungsteam getroffen werden
|
||||||
|
- Precision-oriented users
|
||||||
|
- Web Surfers
|
||||||
|
- Recall-oriented users
|
||||||
|
- Professional searches, legal, etc
|
||||||
|
|
||||||
|
- Dafür gibt es aber folgendes Hilfsmittel: **F-measure**
|
||||||
|
- Das gewichtete, harmonische Mittel zwischen Precision und Recall
|
||||||
|
- Formel: Skript Seite 7
|
||||||
|
- F = 1/( alpha* 1/P + [1-alpha] * 1/R) = (beta^2 + 1)PR / (beta^2P+R) = beta^2 = 1 - alpha / alpha
|
||||||
|
- Ist parametrisierbar
|
||||||
|
- Beta < emphasize precision
|
||||||
|
- Beta > emphasize recall
|
||||||
|
|
||||||
|
|
||||||
|
### Other metrics
|
||||||
|
|
||||||
|
- the generalization of our binary classifier result matrix (classification result vs. gold standard) is called a confusion matrix
|
||||||
|
- many different metrics can be derived from this
|
||||||
|
- https.//en.wikipedia.org/wiki/Confusion_matrix
|
||||||
|
- other widely used metrics include ROC, K-S, gail/lift, ...
|
||||||
|
- for specific ML problems and algorithms many additional metrics exists
|
||||||
|
|||||||
Reference in New Issue
Block a user