• Nie Znaleziono Wyników

Wykład 08 – Metody oceny klasyfikatorów

N/A
N/A
Protected

Academic year: 2021

Share "Wykład 08 – Metody oceny klasyfikatorów"

Copied!
102
0
0

Pełen tekst

(1)

Wnioskowanie Ocena klasyfikacji Podsumowanie

Podstawy uczenia maszynowego

Wykład 08 – Metody oceny klasyfikatorów

Jarosław Miszczak

(2)

Wnioskowanie Ocena klasyfikacji Podsumowanie 1 Wnioskowanie 2 Ocena klasyfikacji 3 Podsumowanie

(3)

Wnioskowanie Ocena klasyfikacji Podsumowanie Hipotezy Błędy

Wnioskowanie

(4)

Wnioskowanie Ocena klasyfikacji Podsumowanie Hipotezy Błędy

Wnioskowanie

Hipotezy

System uczenia maszynowego ma za zadanie podpowiadanie nam odpowiedzi jak najlepiej odpowiadających prawdzie (≡ rzeczywistości którą badamy).

Dokonuje tego biorąc pod uwagę dane, które są w tym wypadku przesłankami do podjęcia decyzji.

Zatem nasz system określa czy i jak pewne cechy mają wpływ na zaliczenie do interesujących nas kategorii.

(5)

Wnioskowanie Ocena klasyfikacji Podsumowanie Hipotezy Błędy

Wnioskowanie

Hipotezy

System uczenia maszynowego ma za zadanie podpowiadanie nam odpowiedzi jak najlepiej odpowiadających prawdzie (≡ rzeczywistości którą badamy).

Dokonuje tego biorąc pod uwagę dane, które są w tym wypadku przesłankami do podjęcia decyzji.

Zatem nasz system określa czy i jak pewne cechy mają wpływ na zaliczenie do interesujących nas kategorii.

(6)

Wnioskowanie Ocena klasyfikacji Podsumowanie Hipotezy Błędy

Wnioskowanie

Hipotezy

System uczenia maszynowego ma za zadanie podpowiadanie nam odpowiedzi jak najlepiej odpowiadających prawdzie (≡ rzeczywistości którą badamy).

Dokonuje tego biorąc pod uwagę dane, które są w tym wypadku przesłankami do podjęcia decyzji.

Zatem nasz system określa czy i jak pewne cechy mają wpływ na zaliczenie do interesujących nas kategorii.

(7)

Wnioskowanie Ocena klasyfikacji Podsumowanie Hipotezy Błędy

Wnioskowanie

Hipotezy

System uczenia maszynowego ma za zadanie podpowiadanie nam odpowiedzi jak najlepiej odpowiadających prawdzie (≡ rzeczywistości którą badamy).

Dokonuje tego biorąc pod uwagę dane, które są w tym wypadku przesłankami do podjęcia decyzji.

Zatem nasz system określa czy i jak pewne cechy mają wpływ na zaliczenie do interesujących nas kategorii.

(8)

Wnioskowanie Ocena klasyfikacji Podsumowanie Hipotezy Błędy

Wnioskowanie

Hipotezy

Załóżmy, że naszym celem jest określenie, czy dany element jest z pewnej wyróżniającej się klasy:

chorzy pacjenci;

akcje finansowane na Kickstarterze; samochody luksusowe.

W każdym z tych przypadków nasz system ma za zadanie weryfikację pewnej hipotezy:

pacjent jest chory;

akcja na Kickstarterze będzie finansowana;

samochód należy do kategorii samochodów luksusowych.

Dla każdej z powyższych hipotez można podać hipotezę zerową,

wyniki badań nie wskazują, że pacjent jest chory; dane o akcji nie potwierdzają, iż będzie ona finansowana; posiadane dane na temat samochodu, potwierdzają, że nie jest luksusowy.

(9)

Wnioskowanie Ocena klasyfikacji Podsumowanie Hipotezy Błędy

Wnioskowanie

Hipotezy

Załóżmy, że naszym celem jest określenie, czy dany element jest z pewnej wyróżniającej się klasy:

chorzy pacjenci;

akcje finansowane na Kickstarterze; samochody luksusowe.

W każdym z tych przypadków nasz system ma za zadanie weryfikację pewnej hipotezy:

pacjent jest chory;

akcja na Kickstarterze będzie finansowana;

samochód należy do kategorii samochodów luksusowych.

Dla każdej z powyższych hipotez można podać hipotezę zerową,

wyniki badań nie wskazują, że pacjent jest chory; dane o akcji nie potwierdzają, iż będzie ona finansowana; posiadane dane na temat samochodu, potwierdzają, że nie jest luksusowy.

(10)

Wnioskowanie Ocena klasyfikacji Podsumowanie Hipotezy Błędy

Wnioskowanie

Hipotezy

Załóżmy, że naszym celem jest określenie, czy dany element jest z pewnej wyróżniającej się klasy:

chorzy pacjenci;

akcje finansowane na Kickstarterze;

samochody luksusowe.

W każdym z tych przypadków nasz system ma za zadanie weryfikację pewnej hipotezy:

pacjent jest chory;

akcja na Kickstarterze będzie finansowana;

samochód należy do kategorii samochodów luksusowych.

Dla każdej z powyższych hipotez można podać hipotezę zerową,

wyniki badań nie wskazują, że pacjent jest chory; dane o akcji nie potwierdzają, iż będzie ona finansowana; posiadane dane na temat samochodu, potwierdzają, że nie jest luksusowy.

(11)

Wnioskowanie Ocena klasyfikacji Podsumowanie Hipotezy Błędy

Wnioskowanie

Hipotezy

Załóżmy, że naszym celem jest określenie, czy dany element jest z pewnej wyróżniającej się klasy:

chorzy pacjenci;

akcje finansowane na Kickstarterze; samochody luksusowe.

W każdym z tych przypadków nasz system ma za zadanie weryfikację pewnej hipotezy:

pacjent jest chory;

akcja na Kickstarterze będzie finansowana;

samochód należy do kategorii samochodów luksusowych.

Dla każdej z powyższych hipotez można podać hipotezę zerową,

wyniki badań nie wskazują, że pacjent jest chory; dane o akcji nie potwierdzają, iż będzie ona finansowana; posiadane dane na temat samochodu, potwierdzają, że nie jest luksusowy.

(12)

Wnioskowanie Ocena klasyfikacji Podsumowanie Hipotezy Błędy

Wnioskowanie

Hipotezy

Załóżmy, że naszym celem jest określenie, czy dany element jest z pewnej wyróżniającej się klasy:

chorzy pacjenci;

akcje finansowane na Kickstarterze; samochody luksusowe.

W każdym z tych przypadków nasz system ma za zadanie weryfikację pewnej hipotezy:

pacjent jest chory;

akcja na Kickstarterze będzie finansowana;

samochód należy do kategorii samochodów luksusowych. Dla każdej z powyższych hipotez można podać hipotezę zerową,

wyniki badań nie wskazują, że pacjent jest chory; dane o akcji nie potwierdzają, iż będzie ona finansowana; posiadane dane na temat samochodu, potwierdzają, że nie jest luksusowy.

(13)

Wnioskowanie Ocena klasyfikacji Podsumowanie Hipotezy Błędy

Wnioskowanie

Hipotezy

Załóżmy, że naszym celem jest określenie, czy dany element jest z pewnej wyróżniającej się klasy:

chorzy pacjenci;

akcje finansowane na Kickstarterze; samochody luksusowe.

W każdym z tych przypadków nasz system ma za zadanie weryfikację pewnej hipotezy:

pacjent jest chory;

akcja na Kickstarterze będzie finansowana;

samochód należy do kategorii samochodów luksusowych. Dla każdej z powyższych hipotez można podać hipotezę zerową,

wyniki badań nie wskazują, że pacjent jest chory; dane o akcji nie potwierdzają, iż będzie ona finansowana; posiadane dane na temat samochodu, potwierdzają, że nie jest luksusowy.

(14)

Wnioskowanie Ocena klasyfikacji Podsumowanie Hipotezy Błędy

Wnioskowanie

Hipotezy

Załóżmy, że naszym celem jest określenie, czy dany element jest z pewnej wyróżniającej się klasy:

chorzy pacjenci;

akcje finansowane na Kickstarterze; samochody luksusowe.

W każdym z tych przypadków nasz system ma za zadanie weryfikację pewnej hipotezy:

pacjent jest chory;

akcja na Kickstarterze będzie finansowana;

samochód należy do kategorii samochodów luksusowych. Dla każdej z powyższych hipotez można podać hipotezę zerową,

wyniki badań nie wskazują, że pacjent jest chory; dane o akcji nie potwierdzają, iż będzie ona finansowana; posiadane dane na temat samochodu, potwierdzają, że nie jest luksusowy.

(15)

Wnioskowanie Ocena klasyfikacji Podsumowanie Hipotezy Błędy

Wnioskowanie

Hipotezy

Załóżmy, że naszym celem jest określenie, czy dany element jest z pewnej wyróżniającej się klasy:

chorzy pacjenci;

akcje finansowane na Kickstarterze; samochody luksusowe.

W każdym z tych przypadków nasz system ma za zadanie weryfikację pewnej hipotezy:

pacjent jest chory;

akcja na Kickstarterze będzie finansowana;

samochód należy do kategorii samochodów luksusowych.

Dla każdej z powyższych hipotez można podać hipotezę zerową,

wyniki badań nie wskazują, że pacjent jest chory; dane o akcji nie potwierdzają, iż będzie ona finansowana; posiadane dane na temat samochodu, potwierdzają, że nie jest luksusowy.

(16)

Wnioskowanie Ocena klasyfikacji Podsumowanie Hipotezy Błędy

Wnioskowanie

Hipotezy

Załóżmy, że naszym celem jest określenie, czy dany element jest z pewnej wyróżniającej się klasy:

chorzy pacjenci;

akcje finansowane na Kickstarterze; samochody luksusowe.

W każdym z tych przypadków nasz system ma za zadanie weryfikację pewnej hipotezy:

pacjent jest chory;

akcja na Kickstarterze będzie finansowana;

samochód należy do kategorii samochodów luksusowych. Dla każdej z powyższych hipotez można podać hipotezę zerową,

wyniki badań nie wskazują, że pacjent jest chory; dane o akcji nie potwierdzają, iż będzie ona finansowana; posiadane dane na temat samochodu, potwierdzają, że nie jest luksusowy.

(17)

Wnioskowanie Ocena klasyfikacji Podsumowanie Hipotezy Błędy

Wnioskowanie

Hipotezy

Załóżmy, że naszym celem jest określenie, czy dany element jest z pewnej wyróżniającej się klasy:

chorzy pacjenci;

akcje finansowane na Kickstarterze; samochody luksusowe.

W każdym z tych przypadków nasz system ma za zadanie weryfikację pewnej hipotezy:

pacjent jest chory;

akcja na Kickstarterze będzie finansowana;

samochód należy do kategorii samochodów luksusowych. Dla każdej z powyższych hipotez można podać hipotezę zerową,

wyniki badań nie wskazują, że pacjent jest chory;

dane o akcji nie potwierdzają, iż będzie ona finansowana; posiadane dane na temat samochodu, potwierdzają, że nie jest luksusowy.

(18)

Wnioskowanie Ocena klasyfikacji Podsumowanie Hipotezy Błędy

Wnioskowanie

Hipotezy

Załóżmy, że naszym celem jest określenie, czy dany element jest z pewnej wyróżniającej się klasy:

chorzy pacjenci;

akcje finansowane na Kickstarterze; samochody luksusowe.

W każdym z tych przypadków nasz system ma za zadanie weryfikację pewnej hipotezy:

pacjent jest chory;

akcja na Kickstarterze będzie finansowana;

samochód należy do kategorii samochodów luksusowych. Dla każdej z powyższych hipotez można podać hipotezę zerową,

wyniki badań nie wskazują, że pacjent jest chory; dane o akcji nie potwierdzają, iż będzie ona finansowana;

posiadane dane na temat samochodu, potwierdzają, że nie jest luksusowy.

(19)

Wnioskowanie Ocena klasyfikacji Podsumowanie Hipotezy Błędy

Wnioskowanie

Hipotezy

Załóżmy, że naszym celem jest określenie, czy dany element jest z pewnej wyróżniającej się klasy:

chorzy pacjenci;

akcje finansowane na Kickstarterze; samochody luksusowe.

W każdym z tych przypadków nasz system ma za zadanie weryfikację pewnej hipotezy:

pacjent jest chory;

akcja na Kickstarterze będzie finansowana;

samochód należy do kategorii samochodów luksusowych. Dla każdej z powyższych hipotez można podać hipotezę zerową,

wyniki badań nie wskazują, że pacjent jest chory; dane o akcji nie potwierdzają, iż będzie ona finansowana;

(20)

Wnioskowanie Ocena klasyfikacji Podsumowanie Hipotezy Błędy

Wnioskowanie

Błędy decyzja systemu potwierdzenie H0 odrzucenie H0 rzeczywistość H0 jest prawdziwa OK błąd I rodzaju H0 jest fałszywa błąd II rodzaju OK

(21)

Wnioskowanie Ocena klasyfikacji Podsumowanie Hipotezy Błędy

Wnioskowanie

Błędy decyzja systemu potwierdzenie H0 odrzucenie H0 rzeczywistość H0 jest prawdziwa OK błąd I rodzaju H0 jest fałszywa błąd II rodzaju OK

(22)

Wnioskowanie Ocena klasyfikacji Podsumowanie Hipotezy Błędy

Wnioskowanie

Błędy decyzja systemu potwierdzenie H0 odrzucenie H0 rzeczywistość H0 jest prawdziwa OK błąd I rodzaju H0 jest fałszywa błąd II rodzaju OK

(23)

Wnioskowanie Ocena klasyfikacji Podsumowanie Hipotezy Błędy

Wnioskowanie

Błędy decyzja systemu potwierdzenie H0 odrzucenie H0 rzeczywistość

H0 jest prawdziwa OK błąd I rodzaju

(24)

Wnioskowanie Ocena klasyfikacji Podsumowanie Hipotezy Błędy

Wnioskowanie

Błędy

Prawdopodobieństwo popełnienia błędu pierwszego rodzaju oznaczane jest zwykle symbolem α.

Wartość α to prawdopodobieństwo dokonania decyzji false positive.

W przypadku testu statystycznego α określa poziom istotności.

Odrzucenie H0 kiedy jest ona prawdziwa oznacza, że

potwierdzamy alternatywną hipotezę nie mając ku temu podstaw, czyli

potwierdzamy, że pacjent jest chory, chociaż tak nie jest; bezpodstawnie oceniamy, że akcja powinna być finansowana; zbyt wysoko szacujemy wartość samochodu.

(25)

Wnioskowanie Ocena klasyfikacji Podsumowanie Hipotezy Błędy

Wnioskowanie

Błędy

Prawdopodobieństwo popełnienia błędu pierwszego rodzaju oznaczane jest zwykle symbolem α.

Wartość α to prawdopodobieństwo dokonania decyzji false positive.

W przypadku testu statystycznego α określa poziom istotności.

Odrzucenie H0 kiedy jest ona prawdziwa oznacza, że

potwierdzamy alternatywną hipotezę nie mając ku temu podstaw, czyli

potwierdzamy, że pacjent jest chory, chociaż tak nie jest; bezpodstawnie oceniamy, że akcja powinna być finansowana; zbyt wysoko szacujemy wartość samochodu.

(26)

Wnioskowanie Ocena klasyfikacji Podsumowanie Hipotezy Błędy

Wnioskowanie

Błędy

Prawdopodobieństwo popełnienia błędu pierwszego rodzaju oznaczane jest zwykle symbolem α.

Wartość α to prawdopodobieństwo dokonania decyzji false positive.

W przypadku testu statystycznego α określa poziom istotności.

Odrzucenie H0 kiedy jest ona prawdziwa oznacza, że

potwierdzamy alternatywną hipotezę nie mając ku temu podstaw, czyli

potwierdzamy, że pacjent jest chory, chociaż tak nie jest; bezpodstawnie oceniamy, że akcja powinna być finansowana; zbyt wysoko szacujemy wartość samochodu.

(27)

Wnioskowanie Ocena klasyfikacji Podsumowanie Hipotezy Błędy

Wnioskowanie

Błędy

Prawdopodobieństwo popełnienia błędu pierwszego rodzaju oznaczane jest zwykle symbolem α.

Wartość α to prawdopodobieństwo dokonania decyzji false positive.

W przypadku testu statystycznego α określa poziom istotności.

Odrzucenie H0 kiedy jest ona prawdziwa oznacza, że

potwierdzamy alternatywną hipotezę nie mając ku temu podstaw, czyli

potwierdzamy, że pacjent jest chory, chociaż tak nie jest; bezpodstawnie oceniamy, że akcja powinna być finansowana; zbyt wysoko szacujemy wartość samochodu.

(28)

Wnioskowanie Ocena klasyfikacji Podsumowanie Hipotezy Błędy

Wnioskowanie

Błędy

Prawdopodobieństwo popełnienia błędu pierwszego rodzaju oznaczane jest zwykle symbolem α.

Wartość α to prawdopodobieństwo dokonania decyzji false positive.

W przypadku testu statystycznego α określa poziom istotności.

Odrzucenie H0 kiedy jest ona prawdziwa oznacza, że

potwierdzamy alternatywną hipotezę nie mając ku temu podstaw, czyli

potwierdzamy, że pacjent jest chory, chociaż tak nie jest;

bezpodstawnie oceniamy, że akcja powinna być finansowana; zbyt wysoko szacujemy wartość samochodu.

(29)

Wnioskowanie Ocena klasyfikacji Podsumowanie Hipotezy Błędy

Wnioskowanie

Błędy

Prawdopodobieństwo popełnienia błędu pierwszego rodzaju oznaczane jest zwykle symbolem α.

Wartość α to prawdopodobieństwo dokonania decyzji false positive.

W przypadku testu statystycznego α określa poziom istotności.

Odrzucenie H0 kiedy jest ona prawdziwa oznacza, że

potwierdzamy alternatywną hipotezę nie mając ku temu podstaw, czyli

potwierdzamy, że pacjent jest chory, chociaż tak nie jest; bezpodstawnie oceniamy, że akcja powinna być finansowana;

(30)

Wnioskowanie Ocena klasyfikacji Podsumowanie Hipotezy Błędy

Wnioskowanie

Błędy

Prawdopodobieństwo popełnienia błędu pierwszego rodzaju oznaczane jest zwykle symbolem α.

Wartość α to prawdopodobieństwo dokonania decyzji false positive.

W przypadku testu statystycznego α określa poziom istotności.

Odrzucenie H0 kiedy jest ona prawdziwa oznacza, że

potwierdzamy alternatywną hipotezę nie mając ku temu podstaw, czyli

potwierdzamy, że pacjent jest chory, chociaż tak nie jest; bezpodstawnie oceniamy, że akcja powinna być finansowana; zbyt wysoko szacujemy wartość samochodu.

(31)

Wnioskowanie Ocena klasyfikacji Podsumowanie Hipotezy Błędy

Wnioskowanie

Błędy

Prawdopodobieństwo popełnienia błędu drugiego rodzaju oznaczane jest zwykle symbolem β.

Wartość β to prawdopodobieństwo decyzji false negative. W przypadku testu statystycznego wartość 1 − β, czyli

prawdopodobieństwo, że poprawnie odrzucimy hipotezę H0,

określa moc.

Przyjęcie H0 kiedy jest ona fałszywa oznacza, że odrzucamy

alternatywną hipotezę pomimo tego, że jest poparta

potwierdzamy, że pacjent jest zdrowy, chociaż wyniki wskazują na coś innego;

oceniamy, że mająca szansę akcja nie powinna być finansowana;

(32)

Wnioskowanie Ocena klasyfikacji Podsumowanie Hipotezy Błędy

Wnioskowanie

Błędy

Prawdopodobieństwo popełnienia błędu drugiego rodzaju oznaczane jest zwykle symbolem β.

Wartość β to prawdopodobieństwo decyzji false negative.

W przypadku testu statystycznego wartość 1 − β, czyli

prawdopodobieństwo, że poprawnie odrzucimy hipotezę H0,

określa moc.

Przyjęcie H0 kiedy jest ona fałszywa oznacza, że odrzucamy

alternatywną hipotezę pomimo tego, że jest poparta

potwierdzamy, że pacjent jest zdrowy, chociaż wyniki wskazują na coś innego;

oceniamy, że mająca szansę akcja nie powinna być finansowana;

(33)

Wnioskowanie Ocena klasyfikacji Podsumowanie Hipotezy Błędy

Wnioskowanie

Błędy

Prawdopodobieństwo popełnienia błędu drugiego rodzaju oznaczane jest zwykle symbolem β.

Wartość β to prawdopodobieństwo decyzji false negative. W przypadku testu statystycznego wartość 1 − β, czyli

prawdopodobieństwo, że poprawnie odrzucimy hipotezę H0,

określa moc.

Przyjęcie H0 kiedy jest ona fałszywa oznacza, że odrzucamy

alternatywną hipotezę pomimo tego, że jest poparta

potwierdzamy, że pacjent jest zdrowy, chociaż wyniki wskazują na coś innego;

oceniamy, że mająca szansę akcja nie powinna być finansowana;

(34)

Wnioskowanie Ocena klasyfikacji Podsumowanie Hipotezy Błędy

Wnioskowanie

Błędy

Prawdopodobieństwo popełnienia błędu drugiego rodzaju oznaczane jest zwykle symbolem β.

Wartość β to prawdopodobieństwo decyzji false negative. W przypadku testu statystycznego wartość 1 − β, czyli

prawdopodobieństwo, że poprawnie odrzucimy hipotezę H0,

określa moc.

Przyjęcie H0 kiedy jest ona fałszywa oznacza, że odrzucamy

alternatywną hipotezę pomimo tego, że jest poparta

potwierdzamy, że pacjent jest zdrowy, chociaż wyniki wskazują na coś innego;

oceniamy, że mająca szansę akcja nie powinna być finansowana;

(35)

Wnioskowanie Ocena klasyfikacji Podsumowanie Hipotezy Błędy

Wnioskowanie

Błędy

Prawdopodobieństwo popełnienia błędu drugiego rodzaju oznaczane jest zwykle symbolem β.

Wartość β to prawdopodobieństwo decyzji false negative. W przypadku testu statystycznego wartość 1 − β, czyli

prawdopodobieństwo, że poprawnie odrzucimy hipotezę H0,

określa moc.

Przyjęcie H0 kiedy jest ona fałszywa oznacza, że odrzucamy

alternatywną hipotezę pomimo tego, że jest poparta

potwierdzamy, że pacjent jest zdrowy, chociaż wyniki wskazują na coś innego;

oceniamy, że mająca szansę akcja nie powinna być finansowana;

(36)

Wnioskowanie Ocena klasyfikacji Podsumowanie Hipotezy Błędy

Wnioskowanie

Błędy

Prawdopodobieństwo popełnienia błędu drugiego rodzaju oznaczane jest zwykle symbolem β.

Wartość β to prawdopodobieństwo decyzji false negative. W przypadku testu statystycznego wartość 1 − β, czyli

prawdopodobieństwo, że poprawnie odrzucimy hipotezę H0,

określa moc.

Przyjęcie H0 kiedy jest ona fałszywa oznacza, że odrzucamy

alternatywną hipotezę pomimo tego, że jest poparta

potwierdzamy, że pacjent jest zdrowy, chociaż wyniki wskazują na coś innego;

oceniamy, że mająca szansę akcja nie powinna być finansowana;

(37)

Wnioskowanie Ocena klasyfikacji Podsumowanie Hipotezy Błędy

Wnioskowanie

Błędy

Prawdopodobieństwo popełnienia błędu drugiego rodzaju oznaczane jest zwykle symbolem β.

Wartość β to prawdopodobieństwo decyzji false negative. W przypadku testu statystycznego wartość 1 − β, czyli

prawdopodobieństwo, że poprawnie odrzucimy hipotezę H0,

określa moc.

Przyjęcie H0 kiedy jest ona fałszywa oznacza, że odrzucamy

alternatywną hipotezę pomimo tego, że jest poparta

potwierdzamy, że pacjent jest zdrowy, chociaż wyniki wskazują na coś innego;

oceniamy, że mająca szansę akcja nie powinna być finansowana;

(38)

Wnioskowanie Ocena klasyfikacji Podsumowanie Hipotezy Błędy

Wnioskowanie

Błędy Rzeczywistość

Przyjęcie bądź odrzucenie hipotezy nie oznacza, że jest ona prawdziwa bądź fałszywa!

(39)

Wnioskowanie

Ocena klasyfikacji

Podsumowanie

Błędy w klasyfikacji Macierz pomyłek

Czułość, precyzja i ich znajomi Krzywa ROC

(40)

Wnioskowanie

Ocena klasyfikacji

Podsumowanie

Błędy w klasyfikacji

Macierz pomyłek

Czułość, precyzja i ich znajomi Krzywa ROC

Ocena klasyfikacji

Błędy w klasyfikacji

Wróćmy do przykładu ze spamem.

Przykład ze spamem

Celem naszego systemu uczenia maszynowego jest określenie czy dana wiadomość jest spamem.

Hipoteza: na podstawie występujących słów, wiadomość jest

spamem.

Hipoteza zerowa: skład wiadomości wskazuje, iż jest ona zwykłą

(41)

Wnioskowanie

Ocena klasyfikacji

Podsumowanie

Błędy w klasyfikacji

Macierz pomyłek

Czułość, precyzja i ich znajomi Krzywa ROC

Ocena klasyfikacji

Błędy w klasyfikacji

Wróćmy do przykładu ze spamem. Przykład ze spamem

Celem naszego systemu uczenia maszynowego jest określenie czy dana wiadomość jest spamem.

Hipoteza: na podstawie występujących słów, wiadomość jest

spamem.

Hipoteza zerowa: skład wiadomości wskazuje, iż jest ona zwykłą

(42)

Wnioskowanie

Ocena klasyfikacji

Podsumowanie

Błędy w klasyfikacji

Macierz pomyłek

Czułość, precyzja i ich znajomi Krzywa ROC

Ocena klasyfikacji

Błędy w klasyfikacji

Wróćmy do przykładu ze spamem. Przykład ze spamem

Celem naszego systemu uczenia maszynowego jest określenie czy dana wiadomość jest spamem.

Hipoteza: na podstawie występujących słów, wiadomość jest

spamem.

Hipoteza zerowa: skład wiadomości wskazuje, iż jest ona zwykłą

(43)

Wnioskowanie

Ocena klasyfikacji

Podsumowanie

Błędy w klasyfikacji

Macierz pomyłek

Czułość, precyzja i ich znajomi Krzywa ROC

Ocena klasyfikacji

Błędy w klasyfikacji

Wróćmy do przykładu ze spamem. Przykład ze spamem

Celem naszego systemu uczenia maszynowego jest określenie czy dana wiadomość jest spamem.

Hipoteza: na podstawie występujących słów, wiadomość jest

spamem.

Hipoteza zerowa: skład wiadomości wskazuje, iż jest ona zwykłą

(44)

Wnioskowanie

Ocena klasyfikacji

Podsumowanie

Błędy w klasyfikacji

Macierz pomyłek

Czułość, precyzja i ich znajomi Krzywa ROC

Ocena klasyfikacji

Błędy w klasyfikacji

Wróćmy do przykładu ze spamem. Przykład ze spamem

Celem naszego systemu uczenia maszynowego jest określenie czy dana wiadomość jest spamem.

Hipoteza: na podstawie występujących słów, wiadomość jest

spamem.

Hipoteza zerowa: skład wiadomości wskazuje, iż jest ona zwykłą

(45)

Wnioskowanie

Ocena klasyfikacji

Podsumowanie

Błędy w klasyfikacji

Macierz pomyłek

Czułość, precyzja i ich znajomi Krzywa ROC

Ocena klasyfikacji

Błędy w klasyfikacji

Ocena poprawności klasyfikacji

Zastanówmy się teraz w jaki sposób nasz klasyfikator może dokonać klasyfikacji.

(46)

Wnioskowanie

Ocena klasyfikacji

Podsumowanie

Błędy w klasyfikacji

Macierz pomyłek

Czułość, precyzja i ich znajomi Krzywa ROC

Ocena klasyfikacji

Błędy w klasyfikacji

Ocena poprawności klasyfikacji

Zastanówmy się teraz w jaki sposób nasz klasyfikator może dokonać klasyfikacji. Oraz w jaki sposób może się pomylić....

(47)

Wnioskowanie

Ocena klasyfikacji

Podsumowanie

Błędy w klasyfikacji

Macierz pomyłek

Czułość, precyzja i ich znajomi Krzywa ROC

Ocena klasyfikacji

Błędy w klasyfikacji

Najprostszym sposobem oceny trafności predykcji jest sprawdzenie ile razy element z klasy A został zaklasyfikowany do klasy B.

Powstaje w ten sposób tabela z ilością źle sklasyfikowanych przypadków nazywana macierzą pomyłek lub macierzą niezgodności.

Jeżeli dokonujemy klasyfikacji binarnej – na przykład na spam s i nie-spam n – to sytuacja jest bardzo prosta.

(48)

Wnioskowanie

Ocena klasyfikacji

Podsumowanie

Błędy w klasyfikacji

Macierz pomyłek

Czułość, precyzja i ich znajomi Krzywa ROC

Ocena klasyfikacji

Błędy w klasyfikacji

Najprostszym sposobem oceny trafności predykcji jest sprawdzenie ile razy element z klasy A został zaklasyfikowany do klasy B. Powstaje w ten sposób tabela z ilością źle sklasyfikowanych przypadków nazywana macierzą pomyłek lub macierzą niezgodności.

Jeżeli dokonujemy klasyfikacji binarnej – na przykład na spam s i nie-spam n – to sytuacja jest bardzo prosta.

(49)

Wnioskowanie

Ocena klasyfikacji

Podsumowanie

Błędy w klasyfikacji

Macierz pomyłek

Czułość, precyzja i ich znajomi Krzywa ROC

Ocena klasyfikacji

Błędy w klasyfikacji

Najprostszym sposobem oceny trafności predykcji jest sprawdzenie ile razy element z klasy A został zaklasyfikowany do klasy B. Powstaje w ten sposób tabela z ilością źle sklasyfikowanych przypadków nazywana macierzą pomyłek lub macierzą niezgodności.

Jeżeli dokonujemy klasyfikacji binarnej – na przykład na spam s i nie-spam n – to sytuacja jest bardzo prosta.

(50)

Wnioskowanie

Ocena klasyfikacji

Podsumowanie

Błędy w klasyfikacji

Macierz pomyłek

Czułość, precyzja i ich znajomi Krzywa ROC

Ocena klasyfikacji

Macierz pomyłek predykcja rzeczywisto ść nie-spam spam nie-spam spam

(51)

Wnioskowanie

Ocena klasyfikacji

Podsumowanie

Błędy w klasyfikacji

Macierz pomyłek

Czułość, precyzja i ich znajomi Krzywa ROC

Ocena klasyfikacji

Macierz pomyłek predykcja rzeczywisto ść nie-spam spam nie-spam spam

TN

TP

(52)

Wnioskowanie

Ocena klasyfikacji

Podsumowanie

Błędy w klasyfikacji

Macierz pomyłek

Czułość, precyzja i ich znajomi Krzywa ROC

Ocena klasyfikacji

Macierz pomyłek predykcja rzeczywisto ść nie-spam spam nie-spam spam

TP

FP

(53)

Wnioskowanie

Ocena klasyfikacji

Podsumowanie

Błędy w klasyfikacji

Macierz pomyłek

Czułość, precyzja i ich znajomi Krzywa ROC

Ocena klasyfikacji

Macierz pomyłek predykcja rzeczywisto ść nie-spam spam nie-spam spam

TP

FN

FP

(54)

Wnioskowanie

Ocena klasyfikacji

Podsumowanie

Błędy w klasyfikacji Macierz pomyłek

Czułość, precyzja i ich znajomi

Krzywa ROC

Ocena klasyfikacji

Czułość, precyzja i ich znajomi

Oczywiście zamiast patrzeć na całą macierz lepiej określić kilka parametrów syntetycznych.

(55)

Wnioskowanie

Ocena klasyfikacji

Podsumowanie

Błędy w klasyfikacji Macierz pomyłek

Czułość, precyzja i ich znajomi

Krzywa ROC

Ocena klasyfikacji

Czułość, precyzja i ich znajomi

predykcja rzeczywisto ść nie-spam spam nie-spam spam TP FN FP Czułość

Czułość (ang. recall lub sensitivity) określa jak dobrze nasz

klasyfikator określa klasę dla przypadków z postulowanej klasy. Określona jest ona jako ułamek poprawnie zaklasyfikowanych przypadków postulowanej klasy,

TPR = TP

(56)

Wnioskowanie

Ocena klasyfikacji

Podsumowanie

Błędy w klasyfikacji Macierz pomyłek

Czułość, precyzja i ich znajomi

Krzywa ROC

Ocena klasyfikacji

Czułość, precyzja i ich znajomi

predykcja rzeczywisto ść nie-spam spam nie-spam spam TP FN FP Czułość

Czułość (ang. recall lub sensitivity) określa jak dobrze nasz

klasyfikator określa klasę dla przypadków z postulowanej klasy.

Określona jest ona jako ułamek poprawnie zaklasyfikowanych przypadków postulowanej klasy,

TPR = TP

(57)

Wnioskowanie

Ocena klasyfikacji

Podsumowanie

Błędy w klasyfikacji Macierz pomyłek

Czułość, precyzja i ich znajomi

Krzywa ROC

Ocena klasyfikacji

Czułość, precyzja i ich znajomi

predykcja rzeczywisto ść nie-spam spam nie-spam spam TP FN FP Czułość

Czułość (ang. recall lub sensitivity) określa jak dobrze nasz

klasyfikator określa klasę dla przypadków z postulowanej klasy. Określona jest ona jako ułamek poprawnie zaklasyfikowanych przypadków postulowanej klasy,

(58)

Wnioskowanie

Ocena klasyfikacji

Podsumowanie

Błędy w klasyfikacji Macierz pomyłek

Czułość, precyzja i ich znajomi

Krzywa ROC

Ocena klasyfikacji

Czułość, precyzja i ich znajomi

Czułość ≡ True Positive Rate

TPR = TP

TP + FN

Czułość odpowiada na pytanie: Jaka część pozytywnie

zidentyfikowanych przypadków jest zidentyfikowana porawnie? Dlatego czułość to cześć przypadków które są określone poprawnie jako pozytywne (ang. true positive rate)

1 − TPR odpowiada prawdopodobieństwu popełnienia błędu II rodzaju. . .

. . . czyli czułość jest odpowiednikiem mocy testu statystycznego.

(59)

Wnioskowanie

Ocena klasyfikacji

Podsumowanie

Błędy w klasyfikacji Macierz pomyłek

Czułość, precyzja i ich znajomi

Krzywa ROC

Ocena klasyfikacji

Czułość, precyzja i ich znajomi

Czułość ≡ True Positive Rate

TPR = TP

TP + FN

Czułość odpowiada na pytanie: Jaka część pozytywnie

zidentyfikowanych przypadków jest zidentyfikowana porawnie? Dlatego czułość to cześć przypadków które są określone poprawnie jako pozytywne (ang. true positive rate)

1 − TPR odpowiada prawdopodobieństwu popełnienia błędu II rodzaju. . .

. . . czyli czułość jest odpowiednikiem mocy testu statystycznego.

(60)

Wnioskowanie

Ocena klasyfikacji

Podsumowanie

Błędy w klasyfikacji Macierz pomyłek

Czułość, precyzja i ich znajomi

Krzywa ROC

Ocena klasyfikacji

Czułość, precyzja i ich znajomi

Czułość ≡ True Positive Rate

TPR = TP

TP + FN

Czułość odpowiada na pytanie: Jaka część pozytywnie

zidentyfikowanych przypadków jest zidentyfikowana porawnie?

Dlatego czułość to cześć przypadków które są określone poprawnie jako pozytywne (ang. true positive rate)

1 − TPR odpowiada prawdopodobieństwu popełnienia błędu II rodzaju. . .

. . . czyli czułość jest odpowiednikiem mocy testu statystycznego.

(61)

Wnioskowanie

Ocena klasyfikacji

Podsumowanie

Błędy w klasyfikacji Macierz pomyłek

Czułość, precyzja i ich znajomi

Krzywa ROC

Ocena klasyfikacji

Czułość, precyzja i ich znajomi

Czułość ≡ True Positive Rate

TPR = TP

TP + FN

Czułość odpowiada na pytanie: Jaka część pozytywnie

zidentyfikowanych przypadków jest zidentyfikowana porawnie? Dlatego czułość to cześć przypadków które są określone poprawnie jako pozytywne (ang. true positive rate)

1 − TPR odpowiada prawdopodobieństwu popełnienia błędu II rodzaju. . .

. . . czyli czułość jest odpowiednikiem mocy testu statystycznego.

(62)

Wnioskowanie

Ocena klasyfikacji

Podsumowanie

Błędy w klasyfikacji Macierz pomyłek

Czułość, precyzja i ich znajomi

Krzywa ROC

Ocena klasyfikacji

Czułość, precyzja i ich znajomi

Czułość ≡ True Positive Rate

TPR = TP

TP + FN

Czułość odpowiada na pytanie: Jaka część pozytywnie

zidentyfikowanych przypadków jest zidentyfikowana porawnie? Dlatego czułość to cześć przypadków które są określone poprawnie jako pozytywne (ang. true positive rate)

1 − TPR odpowiada prawdopodobieństwu popełnienia błędu II rodzaju. . .

. . . czyli czułość jest odpowiednikiem mocy testu statystycznego.

(63)

Wnioskowanie

Ocena klasyfikacji

Podsumowanie

Błędy w klasyfikacji Macierz pomyłek

Czułość, precyzja i ich znajomi

Krzywa ROC

Ocena klasyfikacji

Czułość, precyzja i ich znajomi

Czułość ≡ True Positive Rate

TPR = TP

TP + FN

Czułość odpowiada na pytanie: Jaka część pozytywnie

zidentyfikowanych przypadków jest zidentyfikowana porawnie? Dlatego czułość to cześć przypadków które są określone poprawnie jako pozytywne (ang. true positive rate)

1 − TPR odpowiada prawdopodobieństwu popełnienia błędu II rodzaju. . .

(64)

Wnioskowanie

Ocena klasyfikacji

Podsumowanie

Błędy w klasyfikacji Macierz pomyłek

Czułość, precyzja i ich znajomi

Krzywa ROC

Ocena klasyfikacji

Czułość, precyzja i ich znajomi

predykcja rzeczywisto ść zdr owy chory zdrowy chory TP FN FP Duża czułość

Na dużej czułości zależy nam jeżeli strata wynikająca z nie wykrycia przypadku klasy (czyli FN) przewyższ stratę, wynikającą z nieprawidłowego zaklasyfikowania (czyli FP). Na przykład ważniejsze jest zaklasyfikowanie do drogiego badania chorej osoby, niż zbadanie zdrowego pacjenta.

(65)

Wnioskowanie

Ocena klasyfikacji

Podsumowanie

Błędy w klasyfikacji Macierz pomyłek

Czułość, precyzja i ich znajomi

Krzywa ROC

Ocena klasyfikacji

Czułość, precyzja i ich znajomi

predykcja rzeczywisto ść zdr owy chory zdrowy chory TP FN FP Duża czułość

Na dużej czułości zależy nam jeżeli strata wynikająca z nie wykrycia przypadku klasy (czyli FN) przewyższ stratę, wynikającą z nieprawidłowego zaklasyfikowania (czyli FP).

Na przykład ważniejsze jest zaklasyfikowanie do drogiego badania chorej osoby, niż zbadanie zdrowego pacjenta.

(66)

Wnioskowanie

Ocena klasyfikacji

Podsumowanie

Błędy w klasyfikacji Macierz pomyłek

Czułość, precyzja i ich znajomi

Krzywa ROC

Ocena klasyfikacji

Czułość, precyzja i ich znajomi

predykcja rzeczywisto ść zdr owy chory zdrowy chory TP FN FP Duża czułość

Na dużej czułości zależy nam jeżeli strata wynikająca z nie wykrycia przypadku klasy (czyli FN) przewyższ stratę, wynikającą z nieprawidłowego zaklasyfikowania (czyli FP). Na przykład ważniejsze jest zaklasyfikowanie do drogiego badania chorej osoby, niż zbadanie zdrowego pacjenta.

(67)

Wnioskowanie

Ocena klasyfikacji

Podsumowanie

Błędy w klasyfikacji Macierz pomyłek

Czułość, precyzja i ich znajomi

Krzywa ROC

Ocena klasyfikacji

Czułość, precyzja i ich znajomi

predykcja rzeczywisto ść nie-spam spam nie-spam spam TP FN FP Precyzja

Precyzja (ang. precision) określa jak dobrze nasz klasyfikator

przypisuje przypadki do postulowanej klasy. Określona jest ona jako

PPV = TP

(68)

Wnioskowanie

Ocena klasyfikacji

Podsumowanie

Błędy w klasyfikacji Macierz pomyłek

Czułość, precyzja i ich znajomi

Krzywa ROC

Ocena klasyfikacji

Czułość, precyzja i ich znajomi

predykcja rzeczywisto ść nie-spam spam nie-spam spam TP FN FP Precyzja

Precyzja (ang. precision) określa jak dobrze nasz klasyfikator

przypisuje przypadki do postulowanej klasy.

Określona jest ona jako

PPV = TP

(69)

Wnioskowanie

Ocena klasyfikacji

Podsumowanie

Błędy w klasyfikacji Macierz pomyłek

Czułość, precyzja i ich znajomi

Krzywa ROC

Ocena klasyfikacji

Czułość, precyzja i ich znajomi

predykcja rzeczywisto ść nie-spam spam nie-spam spam TP FN FP Precyzja

Precyzja (ang. precision) określa jak dobrze nasz klasyfikator

przypisuje przypadki do postulowanej klasy. Określona jest ona jako

TP .

(70)

Wnioskowanie

Ocena klasyfikacji

Podsumowanie

Błędy w klasyfikacji Macierz pomyłek

Czułość, precyzja i ich znajomi

Krzywa ROC

Ocena klasyfikacji

Czułość, precyzja i ich znajomi

Precyzja ≡ Positive Predictive Value

PPV = TP

TP + FP Precyzja

Precyzja (ang. precision) określa ile przypadków z

postulowanej klasy było zaklasyfikowanych poprawnie. 1 − PPV to FDR czyli False Discovery Rate.

(71)

Wnioskowanie

Ocena klasyfikacji

Podsumowanie

Błędy w klasyfikacji Macierz pomyłek

Czułość, precyzja i ich znajomi

Krzywa ROC

Ocena klasyfikacji

Czułość, precyzja i ich znajomi

Precyzja ≡ Positive Predictive Value

PPV = TP

TP + FP Precyzja

Precyzja (ang. precision) określa ile przypadków z

postulowanej klasy było zaklasyfikowanych poprawnie.

(72)

Wnioskowanie

Ocena klasyfikacji

Podsumowanie

Błędy w klasyfikacji Macierz pomyłek

Czułość, precyzja i ich znajomi

Krzywa ROC

Ocena klasyfikacji

Czułość, precyzja i ich znajomi

Precyzja ≡ Positive Predictive Value

PPV = TP

TP + FP Precyzja

Precyzja (ang. precision) określa ile przypadków z

postulowanej klasy było zaklasyfikowanych poprawnie. 1 − PPV to FDR czyli False Discovery Rate.

(73)

Wnioskowanie

Ocena klasyfikacji

Podsumowanie

Błędy w klasyfikacji Macierz pomyłek

Czułość, precyzja i ich znajomi

Krzywa ROC

Ocena klasyfikacji

Czułość, precyzja i ich znajomi

Duża precyzja

Precyzja określa na ile można ufać klasyfikacji jeżeli przypisuje ona przypadek do postulowanej klasy.

Jeżeli system na sprawdzać czy obraz jest odpowiedni dla nieletnich, to chcemy mieć dużą precyzję.

(74)

Wnioskowanie

Ocena klasyfikacji

Podsumowanie

Błędy w klasyfikacji Macierz pomyłek

Czułość, precyzja i ich znajomi

Krzywa ROC

Ocena klasyfikacji

Czułość, precyzja i ich znajomi

Duża precyzja

Precyzja określa na ile można ufać klasyfikacji jeżeli przypisuje ona przypadek do postulowanej klasy.

Jeżeli system na sprawdzać czy obraz jest odpowiedni dla nieletnich, to chcemy mieć dużą precyzję.

(75)

Wnioskowanie

Ocena klasyfikacji

Podsumowanie

Błędy w klasyfikacji Macierz pomyłek

Czułość, precyzja i ich znajomi

Krzywa ROC

Ocena klasyfikacji

Czułość, precyzja i ich znajomi

Duża precyzja

Precyzja określa na ile można ufać klasyfikacji jeżeli przypisuje ona przypadek do postulowanej klasy.

Jeżeli system na sprawdzać czy obraz jest odpowiedni dla nieletnich, to chcemy mieć dużą precyzję.

(76)

Wnioskowanie

Ocena klasyfikacji

Podsumowanie

Błędy w klasyfikacji Macierz pomyłek

Czułość, precyzja i ich znajomi

Krzywa ROC

Ocena klasyfikacji

Czułość, precyzja i ich znajomi

Miara F1

Miarą ujmującą balas między czułością i precyzją jest F1.

Zdefiniowana jest ona jako średnia harmoniczna tych miar,

F1 = 1 2

TPR+

1 PPV

(77)

Wnioskowanie

Ocena klasyfikacji

Podsumowanie

Błędy w klasyfikacji Macierz pomyłek

Czułość, precyzja i ich znajomi

Krzywa ROC

Ocena klasyfikacji

Czułość, precyzja i ich znajomi

Miara F1

Miarą ujmującą balas między czułością i precyzją jest F1. Zdefiniowana jest ona jako średnia harmoniczna tych miar,

F1 = 1 2

TPR+

1 PPV

(78)

Wnioskowanie

Ocena klasyfikacji

Podsumowanie

Błędy w klasyfikacji Macierz pomyłek

Czułość, precyzja i ich znajomi

Krzywa ROC

Ocena klasyfikacji

Czułość, precyzja i ich znajomi

predykcja rzeczywisto ść nie-spam spam nie-spam spam TP FN FP Specyficzność

Specyficzność (ang. specificty) to ułamek przypadków

poprawnie nie przypisanych do zakładanej klasy. Określona jest ona jako

TNR = TN

(79)

Wnioskowanie

Ocena klasyfikacji

Podsumowanie

Błędy w klasyfikacji Macierz pomyłek

Czułość, precyzja i ich znajomi

Krzywa ROC

Ocena klasyfikacji

Czułość, precyzja i ich znajomi

predykcja rzeczywisto ść nie-spam spam nie-spam spam TP FN FP Specyficzność

Specyficzność (ang. specificty) to ułamek przypadków

poprawnie nie przypisanych do zakładanej klasy.

Określona jest ona jako

TNR = TN

(80)

Wnioskowanie

Ocena klasyfikacji

Podsumowanie

Błędy w klasyfikacji Macierz pomyłek

Czułość, precyzja i ich znajomi

Krzywa ROC

Ocena klasyfikacji

Czułość, precyzja i ich znajomi

predykcja rzeczywisto ść nie-spam spam nie-spam spam TP FN FP Specyficzność

Specyficzność (ang. specificty) to ułamek przypadków

poprawnie nie przypisanych do zakładanej klasy. Określona jest ona jako

TNR = TN

(81)

Wnioskowanie

Ocena klasyfikacji

Podsumowanie

Błędy w klasyfikacji Macierz pomyłek

Czułość, precyzja i ich znajomi

Krzywa ROC

Ocena klasyfikacji

Czułość, precyzja i ich znajomi

predykcja rzeczywisto ść nie-spam spam nie-spam spam TP FN FP Dokładność

Dokładność (ang. accuracy) to ułamek przypadków

zaklasyfikowanych poprawnie. Określona jest ona jako

ACC = TN + TP

(82)

Wnioskowanie

Ocena klasyfikacji

Podsumowanie

Błędy w klasyfikacji Macierz pomyłek

Czułość, precyzja i ich znajomi

Krzywa ROC

Ocena klasyfikacji

Czułość, precyzja i ich znajomi

predykcja rzeczywisto ść nie-spam spam nie-spam spam TP FN FP Dokładność

Dokładność (ang. accuracy) to ułamek przypadków

zaklasyfikowanych poprawnie.

Określona jest ona jako

ACC = TN + TP

(83)

Wnioskowanie

Ocena klasyfikacji

Podsumowanie

Błędy w klasyfikacji Macierz pomyłek

Czułość, precyzja i ich znajomi

Krzywa ROC

Ocena klasyfikacji

Czułość, precyzja i ich znajomi

predykcja rzeczywisto ść nie-spam spam nie-spam spam TP FN FP Dokładność

Dokładność (ang. accuracy) to ułamek przypadków

zaklasyfikowanych poprawnie. Określona jest ona jako

TN + TP

(84)

Wnioskowanie

Ocena klasyfikacji

Podsumowanie

Błędy w klasyfikacji Macierz pomyłek

Czułość, precyzja i ich znajomi

Krzywa ROC

Ocena klasyfikacji

Czułość, precyzja i ich znajomi

Problem przy niezbalansowanych przypadkach

Jeżeli klasy mają znacząco różną liczbę reprezentantów, to ACC może być myląca.

Jeżeli 95% przypadków reprezentuje jedną klasę, to klasyfikator zawsze przypisujący do tej klasy osiągnie ACC wynoszącą 95%.

Zbalansowana dokładność

Aby tego uniknąć stosuje się zbalansowaną dokładność określoną jako średnia arytmetyczna czułości (TPR) i specyficzności (TNR)

TPR + TNR 2

(85)

Wnioskowanie

Ocena klasyfikacji

Podsumowanie

Błędy w klasyfikacji Macierz pomyłek

Czułość, precyzja i ich znajomi

Krzywa ROC

Ocena klasyfikacji

Czułość, precyzja i ich znajomi

Problem przy niezbalansowanych przypadkach

Jeżeli klasy mają znacząco różną liczbę reprezentantów, to ACC może być myląca. Jeżeli 95% przypadków reprezentuje jedną klasę, to klasyfikator zawsze przypisujący do tej klasy osiągnie ACC wynoszącą 95%.

Zbalansowana dokładność

Aby tego uniknąć stosuje się zbalansowaną dokładność określoną jako średnia arytmetyczna czułości (TPR) i specyficzności (TNR)

TPR + TNR 2

(86)

Wnioskowanie

Ocena klasyfikacji

Podsumowanie

Błędy w klasyfikacji Macierz pomyłek

Czułość, precyzja i ich znajomi

Krzywa ROC

Ocena klasyfikacji

Czułość, precyzja i ich znajomi

Problem przy niezbalansowanych przypadkach

Jeżeli klasy mają znacząco różną liczbę reprezentantów, to ACC może być myląca. Jeżeli 95% przypadków reprezentuje jedną klasę, to klasyfikator zawsze przypisujący do tej klasy osiągnie ACC wynoszącą 95%.

Zbalansowana dokładność

Aby tego uniknąć stosuje się zbalansowaną dokładność określoną jako średnia arytmetyczna czułości (TPR) i specyficzności (TNR)

TPR + TNR 2

(87)

Wnioskowanie

Ocena klasyfikacji

Podsumowanie

Błędy w klasyfikacji Macierz pomyłek

Czułość, precyzja i ich znajomi

Krzywa ROC

Ocena klasyfikacji

Krzywa ROC

Jak to wszystko porównać?

Macierz pomyłek daje charakterystykę konkretnego wykorzystania klasyfikatora.

Jeżeli klasyfikator zwraca prawdopodobieństwo przynależności do klasy, to możemy określić jakie jest próg dla którego dokonamy ostatecznej klasyfikacji.

Zmiana progu zmienia macierz pomyłek.

Jeżeli zmniejszymy próg przynależności do postulowanej klasy, to zwiększamy czułość.

Ale jednocześnie zwiększamy ilość przypadków niepoprawnie zaklasyfikowanych do danej klasy (FP).

(88)

Wnioskowanie

Ocena klasyfikacji

Podsumowanie

Błędy w klasyfikacji Macierz pomyłek

Czułość, precyzja i ich znajomi

Krzywa ROC

Ocena klasyfikacji

Krzywa ROC

Jak to wszystko porównać?

Macierz pomyłek daje charakterystykę konkretnego wykorzystania klasyfikatora.

Jeżeli klasyfikator zwraca prawdopodobieństwo przynależności do klasy, to możemy określić jakie jest próg dla którego dokonamy ostatecznej klasyfikacji.

Zmiana progu zmienia macierz pomyłek.

Jeżeli zmniejszymy próg przynależności do postulowanej klasy, to zwiększamy czułość.

Ale jednocześnie zwiększamy ilość przypadków niepoprawnie zaklasyfikowanych do danej klasy (FP).

(89)

Wnioskowanie

Ocena klasyfikacji

Podsumowanie

Błędy w klasyfikacji Macierz pomyłek

Czułość, precyzja i ich znajomi

Krzywa ROC

Ocena klasyfikacji

Krzywa ROC

Jak to wszystko porównać?

Macierz pomyłek daje charakterystykę konkretnego wykorzystania klasyfikatora.

Jeżeli klasyfikator zwraca prawdopodobieństwo przynależności do klasy, to możemy określić jakie jest próg dla którego dokonamy ostatecznej klasyfikacji.

Zmiana progu zmienia macierz pomyłek.

Jeżeli zmniejszymy próg przynależności do postulowanej klasy, to zwiększamy czułość.

Ale jednocześnie zwiększamy ilość przypadków niepoprawnie zaklasyfikowanych do danej klasy (FP).

(90)

Wnioskowanie

Ocena klasyfikacji

Podsumowanie

Błędy w klasyfikacji Macierz pomyłek

Czułość, precyzja i ich znajomi

Krzywa ROC

Ocena klasyfikacji

Krzywa ROC

Jak to wszystko porównać?

Macierz pomyłek daje charakterystykę konkretnego wykorzystania klasyfikatora.

Jeżeli klasyfikator zwraca prawdopodobieństwo przynależności do klasy, to możemy określić jakie jest próg dla którego dokonamy ostatecznej klasyfikacji.

Zmiana progu zmienia macierz pomyłek.

Jeżeli zmniejszymy próg przynależności do postulowanej klasy, to zwiększamy czułość.

Ale jednocześnie zwiększamy ilość przypadków niepoprawnie zaklasyfikowanych do danej klasy (FP).

(91)

Wnioskowanie

Ocena klasyfikacji

Podsumowanie

Błędy w klasyfikacji Macierz pomyłek

Czułość, precyzja i ich znajomi

Krzywa ROC

Ocena klasyfikacji

Krzywa ROC

Jak to wszystko porównać?

Macierz pomyłek daje charakterystykę konkretnego wykorzystania klasyfikatora.

Jeżeli klasyfikator zwraca prawdopodobieństwo przynależności do klasy, to możemy określić jakie jest próg dla którego dokonamy ostatecznej klasyfikacji.

Zmiana progu zmienia macierz pomyłek.

Jeżeli zmniejszymy próg przynależności do postulowanej klasy, to zwiększamy czułość.

Ale jednocześnie zwiększamy ilość przypadków niepoprawnie zaklasyfikowanych do danej klasy (FP).

(92)

Wnioskowanie

Ocena klasyfikacji

Podsumowanie

Błędy w klasyfikacji Macierz pomyłek

Czułość, precyzja i ich znajomi

Krzywa ROC

Ocena klasyfikacji

Krzywa ROC

Jak to wszystko porównać?

Macierz pomyłek daje charakterystykę konkretnego wykorzystania klasyfikatora.

Jeżeli klasyfikator zwraca prawdopodobieństwo przynależności do klasy, to możemy określić jakie jest próg dla którego dokonamy ostatecznej klasyfikacji.

Zmiana progu zmienia macierz pomyłek.

Jeżeli zmniejszymy próg przynależności do postulowanej klasy, to zwiększamy czułość.

Ale jednocześnie zwiększamy ilość przypadków niepoprawnie zaklasyfikowanych do danej klasy (FP).

(93)

Wnioskowanie

Ocena klasyfikacji

Podsumowanie

Błędy w klasyfikacji Macierz pomyłek

Czułość, precyzja i ich znajomi

Krzywa ROC

Ocena klasyfikacji

Krzywa ROC (przykład)

Przykłady w systemie Orange

Macierz pomyłek i krzywa ROC dla kNN i regresji logistycznej dla zbioru iris (orange-iris-roc-ex.ows) oraz przykłady dla różnych klasyfikatorów dla akcji z Kickstartera

(94)

Wnioskowanie Ocena klasyfikacji

Podsumowanie

Do zapamiętania Bonus: system Orange Materiały dodatkowe

(95)

Wnioskowanie Ocena klasyfikacji

Podsumowanie

Do zapamiętania

Bonus: system Orange Materiały dodatkowe

Podsumowanie

Ocenę jakości klasyfikacji (binarnej) daje macierz pomyłek.

Podczas konstrukcji klasyfikatora musimy brać pod uwagę czułość i precyzję.

Krzywa ROC pozwala:

określić zachowanie w zależności do dopuszczalnej czułości (TPR) i specyficzności (TNR);

(96)

Wnioskowanie Ocena klasyfikacji

Podsumowanie

Do zapamiętania

Bonus: system Orange Materiały dodatkowe

Podsumowanie

Ocenę jakości klasyfikacji (binarnej) daje macierz pomyłek. Podczas konstrukcji klasyfikatora musimy brać pod uwagę czułość i precyzję.

Krzywa ROC pozwala:

określić zachowanie w zależności do dopuszczalnej czułości (TPR) i specyficzności (TNR);

(97)

Wnioskowanie Ocena klasyfikacji

Podsumowanie

Do zapamiętania

Bonus: system Orange Materiały dodatkowe

Podsumowanie

Ocenę jakości klasyfikacji (binarnej) daje macierz pomyłek. Podczas konstrukcji klasyfikatora musimy brać pod uwagę czułość i precyzję.

Krzywa ROC pozwala:

określić zachowanie w zależności do dopuszczalnej czułości (TPR) i specyficzności (TNR);

(98)

Wnioskowanie Ocena klasyfikacji

Podsumowanie

Do zapamiętania

Bonus: system Orange Materiały dodatkowe

Podsumowanie

Ocenę jakości klasyfikacji (binarnej) daje macierz pomyłek. Podczas konstrukcji klasyfikatora musimy brać pod uwagę czułość i precyzję.

Krzywa ROC pozwala:

określić zachowanie w zależności do dopuszczalnej czułości (TPR) i specyficzności (TNR);

(99)

Wnioskowanie Ocena klasyfikacji

Podsumowanie

Do zapamiętania

Bonus: system Orange Materiały dodatkowe

Podsumowanie

Ocenę jakości klasyfikacji (binarnej) daje macierz pomyłek. Podczas konstrukcji klasyfikatora musimy brać pod uwagę czułość i precyzję.

Krzywa ROC pozwala:

określić zachowanie w zależności do dopuszczalnej czułości (TPR) i specyficzności (TNR);

(100)

Wnioskowanie Ocena klasyfikacji

Podsumowanie

Do zapamiętania

Bonus: system Orange

Materiały dodatkowe

Podsumowanie

Bonus: system Orange

System Orange

Oprogramowanie oparte na scikits-learn, rozwijane przez Bioinformatics Lab, University of Ljubljana, Słowenia. https://orangedatamining.com/

(101)

Wnioskowanie Ocena klasyfikacji

Podsumowanie

Do zapamiętania Bonus: system Orange

Materiały dodatkowe

Podsumowanie

Hipotezy statystyczne i błędy z nimi związane, https://www.statystyczny.pl/hipotezy-statystyczne/ ROC and AUC, Clearly Explained!,

(102)

Wnioskowanie Ocena klasyfikacji

Podsumowanie

Do zapamiętania Bonus: system Orange

Materiały dodatkowe

Podsumowanie

Cytaty

Powiązane dokumenty

W rezultacie, jeśli przed T nie było ani jednego „zdarzenia”, to sztucznie przyjmujemy że momentem ostatniego zdarzenia było

kiedy władca zasiadł na tebańskim tronie w okolicznych górach pojawił się dziwny stwór który porywał ludzi i rzucał ich w przepaść miał twarz kobiety a z

Oczywiście jest, jak głosi (a); dodam — co Profesor Grzegorczyk pomija (czy można niczego nie pominąć?) — iż jest tak przy założeniu, że wolno uznać

Jest pycha udziału w czymś wielkim, nawet, gdy się było tylko biernym statystą.. Oczywistą też jest pycha wywyższania się nad tych, którzy, wedle naszego dzisiejszego

W matematyce natomiast, akceptując osłabiony logicyzm, uznawał możliwość sprowadzenia jej pojęć (pierwotnych) do pojęć logicznych - przy niesprowadzalności

Jeśli jednak nie jest prawdą, że logika jest jedna, to może istnieć logika prawnicza jako odmienny rodzaj logiki.. Zatem albo logika jest jedna, albo nie jest prawdą, że nie

Wykorzystuj¹c wzór na dyla- tacjê czasu (MT 06/06), stwierdzamy, ¿e jeœli po- ci¹g porusza siê z prêdkoœci¹ v, to czas zmie- rzony pomiêdzy zdarzeniami (wys³anie i

Jeśli jednak, z jakiegoś powodu niemożliwe jest stosowanie detekcji cech ad hoc i magazynowanie ich w bazie danych (np. w przypadku dynamicznie aktualizowanej bazy danych w