Podsumowanie
Błędy w klasyfikacji Macierz pomyłek
Czułość, precyzja i ich znajomi Krzywa ROC
Ocena klasyfikacji
Wnioskowanie Ocena klasyfikacji Podsumowanie
Błędy w klasyfikacji Macierz pomyłek
Czułość, precyzja i ich znajomi Krzywa ROC
Ocena klasyfikacji
Błędy w klasyfikacji
Wróćmy do przykładu ze spamem.
Przykład ze spamem
Celem naszego systemu uczenia maszynowego jest określenie czy dana wiadomość jest spamem.
Hipoteza: na podstawie występujących słów, wiadomość jest spamem.
Hipoteza zerowa: skład wiadomości wskazuje, iż jest ona zwykłą wiadomością.
Wnioskowanie Ocena klasyfikacji Podsumowanie
Błędy w klasyfikacji Macierz pomyłek
Czułość, precyzja i ich znajomi Krzywa ROC
Ocena klasyfikacji
Błędy w klasyfikacji
Wróćmy do przykładu ze spamem.
Przykład ze spamem
Celem naszego systemu uczenia maszynowego jest określenie czy dana wiadomość jest spamem.
Hipoteza: na podstawie występujących słów, wiadomość jest spamem.
Hipoteza zerowa: skład wiadomości wskazuje, iż jest ona zwykłą wiadomością.
Wnioskowanie Ocena klasyfikacji Podsumowanie
Błędy w klasyfikacji Macierz pomyłek
Czułość, precyzja i ich znajomi Krzywa ROC
Ocena klasyfikacji
Błędy w klasyfikacji
Wróćmy do przykładu ze spamem.
Przykład ze spamem
Celem naszego systemu uczenia maszynowego jest określenie czy dana wiadomość jest spamem.
Hipoteza: na podstawie występujących słów, wiadomość jest spamem.
Hipoteza zerowa: skład wiadomości wskazuje, iż jest ona zwykłą wiadomością.
Wnioskowanie Ocena klasyfikacji Podsumowanie
Błędy w klasyfikacji Macierz pomyłek
Czułość, precyzja i ich znajomi Krzywa ROC
Ocena klasyfikacji
Błędy w klasyfikacji
Wróćmy do przykładu ze spamem.
Przykład ze spamem
Celem naszego systemu uczenia maszynowego jest określenie czy dana wiadomość jest spamem.
Hipoteza: na podstawie występujących słów, wiadomość jest spamem.
Hipoteza zerowa: skład wiadomości wskazuje, iż jest ona zwykłą wiadomością.
Wnioskowanie Ocena klasyfikacji Podsumowanie
Błędy w klasyfikacji Macierz pomyłek
Czułość, precyzja i ich znajomi Krzywa ROC
Ocena klasyfikacji
Błędy w klasyfikacji
Wróćmy do przykładu ze spamem.
Przykład ze spamem
Celem naszego systemu uczenia maszynowego jest określenie czy dana wiadomość jest spamem.
Hipoteza: na podstawie występujących słów, wiadomość jest spamem.
Hipoteza zerowa: skład wiadomości wskazuje, iż jest ona zwykłą wiadomością.
Wnioskowanie Ocena klasyfikacji Podsumowanie
Błędy w klasyfikacji Macierz pomyłek
Czułość, precyzja i ich znajomi Krzywa ROC
Ocena klasyfikacji
Błędy w klasyfikacji
Ocena poprawności klasyfikacji
Zastanówmy się teraz w jaki sposób nasz klasyfikator może dokonać klasyfikacji.
Oraz w jaki sposób może się pomylić....
Wnioskowanie Ocena klasyfikacji Podsumowanie
Błędy w klasyfikacji Macierz pomyłek
Czułość, precyzja i ich znajomi Krzywa ROC
Ocena klasyfikacji
Błędy w klasyfikacji
Ocena poprawności klasyfikacji
Zastanówmy się teraz w jaki sposób nasz klasyfikator może dokonać klasyfikacji. Oraz w jaki sposób może się pomylić....
Wnioskowanie Ocena klasyfikacji Podsumowanie
Błędy w klasyfikacji Macierz pomyłek
Czułość, precyzja i ich znajomi Krzywa ROC
Ocena klasyfikacji
Błędy w klasyfikacji
Najprostszym sposobem oceny trafności predykcji jest sprawdzenie ile razy element z klasy A został zaklasyfikowany do klasy B.
Powstaje w ten sposób tabela z ilością źle sklasyfikowanych przypadków nazywana macierzą pomyłek lub macierzą niezgodności.
Jeżeli dokonujemy klasyfikacji binarnej – na przykład na spam s i nie-spam n – to sytuacja jest bardzo prosta.
Wnioskowanie Ocena klasyfikacji Podsumowanie
Błędy w klasyfikacji Macierz pomyłek
Czułość, precyzja i ich znajomi Krzywa ROC
Ocena klasyfikacji
Błędy w klasyfikacji
Najprostszym sposobem oceny trafności predykcji jest sprawdzenie ile razy element z klasy A został zaklasyfikowany do klasy B.
Powstaje w ten sposób tabela z ilością źle sklasyfikowanych przypadków nazywana macierzą pomyłek lub macierzą niezgodności.
Jeżeli dokonujemy klasyfikacji binarnej – na przykład na spam s i nie-spam n – to sytuacja jest bardzo prosta.
Wnioskowanie Ocena klasyfikacji Podsumowanie
Błędy w klasyfikacji Macierz pomyłek
Czułość, precyzja i ich znajomi Krzywa ROC
Ocena klasyfikacji
Błędy w klasyfikacji
Najprostszym sposobem oceny trafności predykcji jest sprawdzenie ile razy element z klasy A został zaklasyfikowany do klasy B.
Powstaje w ten sposób tabela z ilością źle sklasyfikowanych przypadków nazywana macierzą pomyłek lub macierzą niezgodności.
Jeżeli dokonujemy klasyfikacji binarnej – na przykład na spam s i nie-spam n – to sytuacja jest bardzo prosta.
Wnioskowanie Ocena klasyfikacji Podsumowanie
Błędy w klasyfikacji Macierz pomyłek
Czułość, precyzja i ich znajomi Krzywa ROC
Ocena klasyfikacji
Macierz pomyłek
predykcja
rzeczywistość nie-spamspam
nie-spam spam
Wnioskowanie Ocena klasyfikacji Podsumowanie
Błędy w klasyfikacji Macierz pomyłek
Czułość, precyzja i ich znajomi Krzywa ROC
Ocena klasyfikacji
Macierz pomyłek
predykcja
rzeczywistość nie-spamspam
nie-spam spam
TN
TP
Wnioskowanie Ocena klasyfikacji Podsumowanie
Błędy w klasyfikacji Macierz pomyłek
Czułość, precyzja i ich znajomi Krzywa ROC
Ocena klasyfikacji
Macierz pomyłek
predykcja
rzeczywistość nie-spamspam
nie-spam spam
TP
FP
Wnioskowanie Ocena klasyfikacji Podsumowanie
Błędy w klasyfikacji Macierz pomyłek
Czułość, precyzja i ich znajomi Krzywa ROC
Ocena klasyfikacji
Macierz pomyłek
predykcja
rzeczywistość nie-spamspam
nie-spam spam
FN TP
FP
Wnioskowanie Ocena klasyfikacji Podsumowanie
Błędy w klasyfikacji Macierz pomyłek
Czułość, precyzja i ich znajomi Krzywa ROC
Ocena klasyfikacji
Czułość, precyzja i ich znajomi
Oczywiście zamiast patrzeć na całą macierz lepiej określić kilka parametrów syntetycznych.
Wnioskowanie Ocena klasyfikacji Podsumowanie
Błędy w klasyfikacji Macierz pomyłek
Czułość, precyzja i ich znajomi Krzywa ROC
Ocena klasyfikacji
Czułość, precyzja i ich znajomi
predykcja
rzeczywistość nie-spamspam
nie-spam spam
FN TP
FP
Czułość
Czułość (ang. recall lub sensitivity) określa jak dobrze nasz klasyfikator określa klasę dla przypadków z postulowanej klasy. Określona jest ona jako ułamek poprawnie zaklasyfikowanych przypadków postulowanej klasy,
TPR = TP
TP + FN.
Wnioskowanie Ocena klasyfikacji Podsumowanie
Błędy w klasyfikacji Macierz pomyłek
Czułość, precyzja i ich znajomi Krzywa ROC
Ocena klasyfikacji
Czułość, precyzja i ich znajomi
predykcja
rzeczywistość nie-spamspam
nie-spam spam
FN TP
FP
Czułość
Czułość (ang. recall lub sensitivity) określa jak dobrze nasz klasyfikator określa klasę dla przypadków z postulowanej klasy.
Określona jest ona jako ułamek poprawnie zaklasyfikowanych przypadków postulowanej klasy,
TPR = TP
TP + FN.
Wnioskowanie Ocena klasyfikacji Podsumowanie
Błędy w klasyfikacji Macierz pomyłek
Czułość, precyzja i ich znajomi Krzywa ROC
Ocena klasyfikacji
Czułość, precyzja i ich znajomi
predykcja
rzeczywistość nie-spamspam
nie-spam spam
FN TP
FP
Czułość
Czułość (ang. recall lub sensitivity) określa jak dobrze nasz klasyfikator określa klasę dla przypadków z postulowanej klasy.
Określona jest ona jako ułamek poprawnie zaklasyfikowanych przypadków postulowanej klasy,
Wnioskowanie Ocena klasyfikacji Podsumowanie
Błędy w klasyfikacji Macierz pomyłek
Czułość, precyzja i ich znajomi Krzywa ROC
Ocena klasyfikacji
Czułość, precyzja i ich znajomi
Czułość ≡ True Positive Rate
TPR = TP
TP + FN
Czułość odpowiada na pytanie: Jaka część pozytywnie zidentyfikowanych przypadków jest zidentyfikowana porawnie? Dlatego czułość to cześć przypadków które są określone poprawnie jako pozytywne (ang. true positive rate)
1 − TPR odpowiada prawdopodobieństwu popełnienia błędu II rodzaju. . .
. . . czyli czułość jest odpowiednikiem mocy testu statystycznego.
Wnioskowanie Ocena klasyfikacji Podsumowanie
Błędy w klasyfikacji Macierz pomyłek
Czułość, precyzja i ich znajomi Krzywa ROC
Ocena klasyfikacji
Czułość, precyzja i ich znajomi
Czułość ≡ True Positive Rate
TPR = TP
TP + FN
Czułość odpowiada na pytanie: Jaka część pozytywnie zidentyfikowanych przypadków jest zidentyfikowana porawnie? Dlatego czułość to cześć przypadków które są określone poprawnie jako pozytywne (ang. true positive rate)
1 − TPR odpowiada prawdopodobieństwu popełnienia błędu II rodzaju. . .
. . . czyli czułość jest odpowiednikiem mocy testu statystycznego.
Wnioskowanie Ocena klasyfikacji Podsumowanie
Błędy w klasyfikacji Macierz pomyłek
Czułość, precyzja i ich znajomi Krzywa ROC
Ocena klasyfikacji
Czułość, precyzja i ich znajomi
Czułość ≡ True Positive Rate
TPR = TP
TP + FN
Czułość odpowiada na pytanie: Jaka część pozytywnie zidentyfikowanych przypadków jest zidentyfikowana porawnie?
Dlatego czułość to cześć przypadków które są określone poprawnie jako pozytywne (ang. true positive rate)
1 − TPR odpowiada prawdopodobieństwu popełnienia błędu II rodzaju. . .
. . . czyli czułość jest odpowiednikiem mocy testu statystycznego.
Wnioskowanie Ocena klasyfikacji Podsumowanie
Błędy w klasyfikacji Macierz pomyłek
Czułość, precyzja i ich znajomi Krzywa ROC
Ocena klasyfikacji
Czułość, precyzja i ich znajomi
Czułość ≡ True Positive Rate
TPR = TP
TP + FN
Czułość odpowiada na pytanie: Jaka część pozytywnie zidentyfikowanych przypadków jest zidentyfikowana porawnie?
Dlatego czułość to cześć przypadków które są określone poprawnie jako pozytywne (ang. true positive rate)
1 − TPR odpowiada prawdopodobieństwu popełnienia błędu II rodzaju. . .
. . . czyli czułość jest odpowiednikiem mocy testu statystycznego.
Wnioskowanie Ocena klasyfikacji Podsumowanie
Błędy w klasyfikacji Macierz pomyłek
Czułość, precyzja i ich znajomi Krzywa ROC
Ocena klasyfikacji
Czułość, precyzja i ich znajomi
Czułość ≡ True Positive Rate
TPR = TP
TP + FN
Czułość odpowiada na pytanie: Jaka część pozytywnie zidentyfikowanych przypadków jest zidentyfikowana porawnie?
Dlatego czułość to cześć przypadków które są określone poprawnie jako pozytywne (ang. true positive rate)
1 − TPR odpowiada prawdopodobieństwu popełnienia błędu II rodzaju. . .
. . . czyli czułość jest odpowiednikiem mocy testu statystycznego.
Wnioskowanie Ocena klasyfikacji Podsumowanie
Błędy w klasyfikacji Macierz pomyłek
Czułość, precyzja i ich znajomi Krzywa ROC
Ocena klasyfikacji
Czułość, precyzja i ich znajomi
Czułość ≡ True Positive Rate
TPR = TP
TP + FN
Czułość odpowiada na pytanie: Jaka część pozytywnie zidentyfikowanych przypadków jest zidentyfikowana porawnie?
Dlatego czułość to cześć przypadków które są określone poprawnie jako pozytywne (ang. true positive rate)
1 − TPR odpowiada prawdopodobieństwu popełnienia błędu II rodzaju. . .
. . . czyli czułość jest odpowiednikiem mocy testu
Wnioskowanie Ocena klasyfikacji Podsumowanie
Błędy w klasyfikacji Macierz pomyłek
Czułość, precyzja i ich znajomi Krzywa ROC
Ocena klasyfikacji
Czułość, precyzja i ich znajomi
predykcja
rzeczywistość zdrowychory
zdrowy chory
FN TP
FP
Duża czułość
Na dużej czułości zależy nam jeżeli strata wynikająca z nie wykrycia przypadku klasy (czyli FN) przewyższ stratę, wynikającą z nieprawidłowego zaklasyfikowania (czyli FP). Na przykład ważniejsze jest zaklasyfikowanie do drogiego badania chorej osoby, niż zbadanie zdrowego pacjenta.
Wnioskowanie Ocena klasyfikacji Podsumowanie
Błędy w klasyfikacji Macierz pomyłek
Czułość, precyzja i ich znajomi Krzywa ROC
Ocena klasyfikacji
Czułość, precyzja i ich znajomi
predykcja
rzeczywistość zdrowychory
zdrowy chory
FN TP
FP
Duża czułość
Na dużej czułości zależy nam jeżeli strata wynikająca z nie wykrycia przypadku klasy (czyli FN) przewyższ stratę, wynikającą z nieprawidłowego zaklasyfikowania (czyli FP).
Na przykład ważniejsze jest zaklasyfikowanie do drogiego badania chorej osoby, niż zbadanie zdrowego pacjenta.
Wnioskowanie Ocena klasyfikacji Podsumowanie
Błędy w klasyfikacji Macierz pomyłek
Czułość, precyzja i ich znajomi Krzywa ROC
Ocena klasyfikacji
Czułość, precyzja i ich znajomi
predykcja
rzeczywistość zdrowychory
zdrowy chory
FN TP
FP
Duża czułość
Na dużej czułości zależy nam jeżeli strata wynikająca z nie wykrycia przypadku klasy (czyli FN) przewyższ stratę, wynikającą z nieprawidłowego zaklasyfikowania (czyli FP).
Na przykład ważniejsze jest zaklasyfikowanie do drogiego badania chorej osoby, niż zbadanie zdrowego pacjenta.
Wnioskowanie Ocena klasyfikacji Podsumowanie
Błędy w klasyfikacji Macierz pomyłek
Czułość, precyzja i ich znajomi Krzywa ROC
Ocena klasyfikacji
Czułość, precyzja i ich znajomi
predykcja
rzeczywistość nie-spamspam
nie-spam spam
FN TP
FP
Precyzja
Precyzja (ang. precision) określa jak dobrze nasz klasyfikator przypisuje przypadki do postulowanej klasy.
Określona jest ona jako
PPV = TP
TP + FP.
Wnioskowanie Ocena klasyfikacji Podsumowanie
Błędy w klasyfikacji Macierz pomyłek
Czułość, precyzja i ich znajomi Krzywa ROC
Ocena klasyfikacji
Czułość, precyzja i ich znajomi
predykcja
rzeczywistość nie-spamspam
nie-spam spam
FN TP
FP
Precyzja
Precyzja (ang. precision) określa jak dobrze nasz klasyfikator przypisuje przypadki do postulowanej klasy.
Określona jest ona jako
PPV = TP
TP + FP.
Wnioskowanie Ocena klasyfikacji Podsumowanie
Błędy w klasyfikacji Macierz pomyłek
Czułość, precyzja i ich znajomi Krzywa ROC
Ocena klasyfikacji
Czułość, precyzja i ich znajomi
predykcja
rzeczywistość nie-spamspam
nie-spam spam
FN TP
FP
Precyzja
Precyzja (ang. precision) określa jak dobrze nasz klasyfikator przypisuje przypadki do postulowanej klasy.
Określona jest ona jako
TP .
Wnioskowanie Ocena klasyfikacji Podsumowanie
Błędy w klasyfikacji Macierz pomyłek
Czułość, precyzja i ich znajomi Krzywa ROC
Ocena klasyfikacji
Czułość, precyzja i ich znajomi
Precyzja ≡ Positive Predictive Value
PPV = TP
TP + FP Precyzja
Precyzja (ang. precision) określa ile przypadków z postulowanej klasy było zaklasyfikowanych poprawnie. 1 − PPV to FDR czyli False Discovery Rate.
Wnioskowanie Ocena klasyfikacji Podsumowanie
Błędy w klasyfikacji Macierz pomyłek
Czułość, precyzja i ich znajomi Krzywa ROC
Ocena klasyfikacji
Czułość, precyzja i ich znajomi
Precyzja ≡ Positive Predictive Value
PPV = TP
TP + FP Precyzja
Precyzja (ang. precision) określa ile przypadków z postulowanej klasy było zaklasyfikowanych poprawnie.
1 − PPV to FDR czyli False Discovery Rate.
Wnioskowanie Ocena klasyfikacji Podsumowanie
Błędy w klasyfikacji Macierz pomyłek
Czułość, precyzja i ich znajomi Krzywa ROC
Ocena klasyfikacji
Czułość, precyzja i ich znajomi
Precyzja ≡ Positive Predictive Value
PPV = TP
TP + FP Precyzja
Precyzja (ang. precision) określa ile przypadków z postulowanej klasy było zaklasyfikowanych poprawnie.
1 − PPV to FDR czyli False Discovery Rate.
Wnioskowanie Ocena klasyfikacji Podsumowanie
Błędy w klasyfikacji Macierz pomyłek
Czułość, precyzja i ich znajomi Krzywa ROC
Ocena klasyfikacji
Czułość, precyzja i ich znajomi
Duża precyzja
Precyzja określa na ile można ufać klasyfikacji jeżeli przypisuje ona przypadek do postulowanej klasy.
Jeżeli system na sprawdzać czy obraz jest odpowiedni dla nieletnich, to chcemy mieć dużą precyzję.
Wnioskowanie Ocena klasyfikacji Podsumowanie
Błędy w klasyfikacji Macierz pomyłek
Czułość, precyzja i ich znajomi Krzywa ROC
Ocena klasyfikacji
Czułość, precyzja i ich znajomi
Duża precyzja
Precyzja określa na ile można ufać klasyfikacji jeżeli przypisuje ona przypadek do postulowanej klasy.
Jeżeli system na sprawdzać czy obraz jest odpowiedni dla nieletnich, to chcemy mieć dużą precyzję.
Wnioskowanie Ocena klasyfikacji Podsumowanie
Błędy w klasyfikacji Macierz pomyłek
Czułość, precyzja i ich znajomi Krzywa ROC
Ocena klasyfikacji
Czułość, precyzja i ich znajomi
Duża precyzja
Precyzja określa na ile można ufać klasyfikacji jeżeli przypisuje ona przypadek do postulowanej klasy.
Jeżeli system na sprawdzać czy obraz jest odpowiedni dla nieletnich, to chcemy mieć dużą precyzję.
Wnioskowanie Ocena klasyfikacji Podsumowanie
Błędy w klasyfikacji Macierz pomyłek
Czułość, precyzja i ich znajomi Krzywa ROC
Ocena klasyfikacji
Czułość, precyzja i ich znajomi
Miara F1
Miarą ujmującą balas między czułością i precyzją jest F1.
Zdefiniowana jest ona jako średnia harmoniczna tych miar,
F1 = 2
1
TPR+ 1
PPV
Wnioskowanie Ocena klasyfikacji Podsumowanie
Błędy w klasyfikacji Macierz pomyłek
Czułość, precyzja i ich znajomi Krzywa ROC
Ocena klasyfikacji
Czułość, precyzja i ich znajomi
Miara F1
Miarą ujmującą balas między czułością i precyzją jest F1. Zdefiniowana jest ona jako średnia harmoniczna tych miar,
F1 = 2
1
TPR+ 1
PPV
Wnioskowanie Ocena klasyfikacji Podsumowanie
Błędy w klasyfikacji Macierz pomyłek
Czułość, precyzja i ich znajomi Krzywa ROC
Ocena klasyfikacji
Czułość, precyzja i ich znajomi
predykcja
rzeczywistość nie-spamspam
nie-spam spam
FN TP
FP
Specyficzność
Specyficzność (ang. specificty) to ułamek przypadków poprawnie nie przypisanych do zakładanej klasy. Określona jest ona jako
TNR = TN
TN + FP.
Wnioskowanie Ocena klasyfikacji Podsumowanie
Błędy w klasyfikacji Macierz pomyłek
Czułość, precyzja i ich znajomi Krzywa ROC
Ocena klasyfikacji
Czułość, precyzja i ich znajomi
predykcja
rzeczywistość nie-spamspam
nie-spam spam
FN TP
FP
Specyficzność
Specyficzność (ang. specificty) to ułamek przypadków poprawnie nie przypisanych do zakładanej klasy.
Określona jest ona jako
TNR = TN
TN + FP.
Wnioskowanie Ocena klasyfikacji Podsumowanie
Błędy w klasyfikacji Macierz pomyłek
Czułość, precyzja i ich znajomi Krzywa ROC
Ocena klasyfikacji
Czułość, precyzja i ich znajomi
predykcja
rzeczywistość nie-spamspam
nie-spam spam
FN TP
FP
Specyficzność
Specyficzność (ang. specificty) to ułamek przypadków poprawnie nie przypisanych do zakładanej klasy.
Określona jest ona jako
TNR = TN
TN + FP.
Wnioskowanie Ocena klasyfikacji Podsumowanie
Błędy w klasyfikacji Macierz pomyłek
Czułość, precyzja i ich znajomi Krzywa ROC
Ocena klasyfikacji
Czułość, precyzja i ich znajomi
predykcja
rzeczywistość nie-spamspam
nie-spam spam
FN TP
FP
Dokładność
Dokładność (ang. accuracy) to ułamek przypadków zaklasyfikowanych poprawnie.
Określona jest ona jako
ACC = TN + TP
TP + TN + FP + FN.
Wnioskowanie Ocena klasyfikacji Podsumowanie
Błędy w klasyfikacji Macierz pomyłek
Czułość, precyzja i ich znajomi Krzywa ROC
Ocena klasyfikacji
Czułość, precyzja i ich znajomi
predykcja
rzeczywistość nie-spamspam
nie-spam spam
FN TP
FP
Dokładność
Dokładność (ang. accuracy) to ułamek przypadków zaklasyfikowanych poprawnie.
Określona jest ona jako
ACC = TN + TP
TP + TN + FP + FN.
Wnioskowanie Ocena klasyfikacji Podsumowanie
Błędy w klasyfikacji Macierz pomyłek
Czułość, precyzja i ich znajomi Krzywa ROC
Ocena klasyfikacji
Czułość, precyzja i ich znajomi
predykcja
rzeczywistość nie-spamspam
nie-spam spam
FN TP
FP
Dokładność
Dokładność (ang. accuracy) to ułamek przypadków zaklasyfikowanych poprawnie.
Określona jest ona jako
TN + TP
.
Wnioskowanie Ocena klasyfikacji Podsumowanie
Błędy w klasyfikacji Macierz pomyłek
Czułość, precyzja i ich znajomi Krzywa ROC
Ocena klasyfikacji
Czułość, precyzja i ich znajomi
Problem przy niezbalansowanych przypadkach
Jeżeli klasy mają znacząco różną liczbę reprezentantów, to ACC może być myląca.
Jeżeli 95% przypadków reprezentuje jedną klasę, to klasyfikator zawsze przypisujący do tej klasy osiągnie ACC wynoszącą 95%.
Zbalansowana dokładność
Aby tego uniknąć stosuje się zbalansowaną dokładność określoną jako średnia arytmetyczna czułości (TPR) i specyficzności (TNR)
TPR + TNR 2
Wnioskowanie Ocena klasyfikacji Podsumowanie
Błędy w klasyfikacji Macierz pomyłek
Czułość, precyzja i ich znajomi Krzywa ROC
Ocena klasyfikacji
Czułość, precyzja i ich znajomi
Problem przy niezbalansowanych przypadkach
Jeżeli klasy mają znacząco różną liczbę reprezentantów, to ACC może być myląca. Jeżeli 95% przypadków reprezentuje jedną klasę, to klasyfikator zawsze przypisujący do tej klasy osiągnie ACC wynoszącą 95%.
Zbalansowana dokładność
Aby tego uniknąć stosuje się zbalansowaną dokładność określoną jako średnia arytmetyczna czułości (TPR) i specyficzności (TNR)
TPR + TNR 2
Wnioskowanie Ocena klasyfikacji Podsumowanie
Błędy w klasyfikacji Macierz pomyłek
Czułość, precyzja i ich znajomi Krzywa ROC
Ocena klasyfikacji
Czułość, precyzja i ich znajomi
Problem przy niezbalansowanych przypadkach
Jeżeli klasy mają znacząco różną liczbę reprezentantów, to ACC może być myląca. Jeżeli 95% przypadków reprezentuje jedną klasę, to klasyfikator zawsze przypisujący do tej klasy osiągnie ACC wynoszącą 95%.
Zbalansowana dokładność
Aby tego uniknąć stosuje się zbalansowaną dokładność określoną jako średnia arytmetyczna czułości (TPR) i specyficzności (TNR)
TPR + TNR 2
Wnioskowanie Ocena klasyfikacji Podsumowanie
Błędy w klasyfikacji Macierz pomyłek
Czułość, precyzja i ich znajomi Krzywa ROC
Ocena klasyfikacji
Krzywa ROC
Jak to wszystko porównać?
Macierz pomyłek daje charakterystykę konkretnego wykorzystania klasyfikatora.
Jeżeli klasyfikator zwraca prawdopodobieństwo przynależności do klasy, to możemy określić jakie jest próg dla którego dokonamy ostatecznej klasyfikacji.
Zmiana progu zmienia macierz pomyłek.
Jeżeli zmniejszymy próg przynależności do postulowanej klasy, to zwiększamy czułość.
Ale jednocześnie zwiększamy ilość przypadków niepoprawnie zaklasyfikowanych do danej klasy (FP).
Wnioskowanie Ocena klasyfikacji Podsumowanie
Błędy w klasyfikacji Macierz pomyłek
Czułość, precyzja i ich znajomi Krzywa ROC
Ocena klasyfikacji
Krzywa ROC
Jak to wszystko porównać?
Macierz pomyłek daje charakterystykę konkretnego wykorzystania klasyfikatora.
Jeżeli klasyfikator zwraca prawdopodobieństwo przynależności do klasy, to możemy określić jakie jest próg dla którego dokonamy ostatecznej klasyfikacji.
Zmiana progu zmienia macierz pomyłek.
Jeżeli zmniejszymy próg przynależności do postulowanej klasy, to zwiększamy czułość.
Ale jednocześnie zwiększamy ilość przypadków niepoprawnie zaklasyfikowanych do danej klasy (FP).
Wnioskowanie Ocena klasyfikacji Podsumowanie
Błędy w klasyfikacji Macierz pomyłek
Czułość, precyzja i ich znajomi Krzywa ROC
Ocena klasyfikacji
Krzywa ROC
Jak to wszystko porównać?
Macierz pomyłek daje charakterystykę konkretnego wykorzystania klasyfikatora.
Jeżeli klasyfikator zwraca prawdopodobieństwo przynależności do klasy, to możemy określić jakie jest próg dla którego dokonamy ostatecznej klasyfikacji.
Zmiana progu zmienia macierz pomyłek.
Jeżeli zmniejszymy próg przynależności do postulowanej klasy, to zwiększamy czułość.
Ale jednocześnie zwiększamy ilość przypadków niepoprawnie zaklasyfikowanych do danej klasy (FP).
Wnioskowanie Ocena klasyfikacji Podsumowanie
Błędy w klasyfikacji Macierz pomyłek
Czułość, precyzja i ich znajomi Krzywa ROC
Ocena klasyfikacji
Krzywa ROC
Jak to wszystko porównać?
Macierz pomyłek daje charakterystykę konkretnego wykorzystania klasyfikatora.
Jeżeli klasyfikator zwraca prawdopodobieństwo przynależności do klasy, to możemy określić jakie jest próg dla którego dokonamy ostatecznej klasyfikacji.
Jeżeli klasyfikator zwraca prawdopodobieństwo przynależności do klasy, to możemy określić jakie jest próg dla którego dokonamy ostatecznej klasyfikacji.