Wnioskowanie Ocena klasyfikacji Podsumowanie
Podstawy uczenia maszynowego
Wykład 08 – Metody oceny klasyfikatorów
Jarosław Miszczak
Wnioskowanie Ocena klasyfikacji Podsumowanie 1 Wnioskowanie 2 Ocena klasyfikacji 3 Podsumowanie
Wnioskowanie Ocena klasyfikacji Podsumowanie Hipotezy Błędy
Wnioskowanie
Wnioskowanie Ocena klasyfikacji Podsumowanie Hipotezy Błędy
Wnioskowanie
HipotezySystem uczenia maszynowego ma za zadanie podpowiadanie nam odpowiedzi jak najlepiej odpowiadających prawdzie (≡ rzeczywistości którą badamy).
Dokonuje tego biorąc pod uwagę dane, które są w tym wypadku przesłankami do podjęcia decyzji.
Zatem nasz system określa czy i jak pewne cechy mają wpływ na zaliczenie do interesujących nas kategorii.
Wnioskowanie Ocena klasyfikacji Podsumowanie Hipotezy Błędy
Wnioskowanie
HipotezySystem uczenia maszynowego ma za zadanie podpowiadanie nam odpowiedzi jak najlepiej odpowiadających prawdzie (≡ rzeczywistości którą badamy).
Dokonuje tego biorąc pod uwagę dane, które są w tym wypadku przesłankami do podjęcia decyzji.
Zatem nasz system określa czy i jak pewne cechy mają wpływ na zaliczenie do interesujących nas kategorii.
Wnioskowanie Ocena klasyfikacji Podsumowanie Hipotezy Błędy
Wnioskowanie
HipotezySystem uczenia maszynowego ma za zadanie podpowiadanie nam odpowiedzi jak najlepiej odpowiadających prawdzie (≡ rzeczywistości którą badamy).
Dokonuje tego biorąc pod uwagę dane, które są w tym wypadku przesłankami do podjęcia decyzji.
Zatem nasz system określa czy i jak pewne cechy mają wpływ na zaliczenie do interesujących nas kategorii.
Wnioskowanie Ocena klasyfikacji Podsumowanie Hipotezy Błędy
Wnioskowanie
HipotezySystem uczenia maszynowego ma za zadanie podpowiadanie nam odpowiedzi jak najlepiej odpowiadających prawdzie (≡ rzeczywistości którą badamy).
Dokonuje tego biorąc pod uwagę dane, które są w tym wypadku przesłankami do podjęcia decyzji.
Zatem nasz system określa czy i jak pewne cechy mają wpływ na zaliczenie do interesujących nas kategorii.
Wnioskowanie Ocena klasyfikacji Podsumowanie Hipotezy Błędy
Wnioskowanie
HipotezyZałóżmy, że naszym celem jest określenie, czy dany element jest z pewnej wyróżniającej się klasy:
chorzy pacjenci;
akcje finansowane na Kickstarterze; samochody luksusowe.
W każdym z tych przypadków nasz system ma za zadanie weryfikację pewnej hipotezy:
pacjent jest chory;
akcja na Kickstarterze będzie finansowana;
samochód należy do kategorii samochodów luksusowych.
Dla każdej z powyższych hipotez można podać hipotezę zerową,
wyniki badań nie wskazują, że pacjent jest chory; dane o akcji nie potwierdzają, iż będzie ona finansowana; posiadane dane na temat samochodu, potwierdzają, że nie jest luksusowy.
Wnioskowanie Ocena klasyfikacji Podsumowanie Hipotezy Błędy
Wnioskowanie
HipotezyZałóżmy, że naszym celem jest określenie, czy dany element jest z pewnej wyróżniającej się klasy:
chorzy pacjenci;
akcje finansowane na Kickstarterze; samochody luksusowe.
W każdym z tych przypadków nasz system ma za zadanie weryfikację pewnej hipotezy:
pacjent jest chory;
akcja na Kickstarterze będzie finansowana;
samochód należy do kategorii samochodów luksusowych.
Dla każdej z powyższych hipotez można podać hipotezę zerową,
wyniki badań nie wskazują, że pacjent jest chory; dane o akcji nie potwierdzają, iż będzie ona finansowana; posiadane dane na temat samochodu, potwierdzają, że nie jest luksusowy.
Wnioskowanie Ocena klasyfikacji Podsumowanie Hipotezy Błędy
Wnioskowanie
HipotezyZałóżmy, że naszym celem jest określenie, czy dany element jest z pewnej wyróżniającej się klasy:
chorzy pacjenci;
akcje finansowane na Kickstarterze;
samochody luksusowe.
W każdym z tych przypadków nasz system ma za zadanie weryfikację pewnej hipotezy:
pacjent jest chory;
akcja na Kickstarterze będzie finansowana;
samochód należy do kategorii samochodów luksusowych.
Dla każdej z powyższych hipotez można podać hipotezę zerową,
wyniki badań nie wskazują, że pacjent jest chory; dane o akcji nie potwierdzają, iż będzie ona finansowana; posiadane dane na temat samochodu, potwierdzają, że nie jest luksusowy.
Wnioskowanie Ocena klasyfikacji Podsumowanie Hipotezy Błędy
Wnioskowanie
HipotezyZałóżmy, że naszym celem jest określenie, czy dany element jest z pewnej wyróżniającej się klasy:
chorzy pacjenci;
akcje finansowane na Kickstarterze; samochody luksusowe.
W każdym z tych przypadków nasz system ma za zadanie weryfikację pewnej hipotezy:
pacjent jest chory;
akcja na Kickstarterze będzie finansowana;
samochód należy do kategorii samochodów luksusowych.
Dla każdej z powyższych hipotez można podać hipotezę zerową,
wyniki badań nie wskazują, że pacjent jest chory; dane o akcji nie potwierdzają, iż będzie ona finansowana; posiadane dane na temat samochodu, potwierdzają, że nie jest luksusowy.
Wnioskowanie Ocena klasyfikacji Podsumowanie Hipotezy Błędy
Wnioskowanie
HipotezyZałóżmy, że naszym celem jest określenie, czy dany element jest z pewnej wyróżniającej się klasy:
chorzy pacjenci;
akcje finansowane na Kickstarterze; samochody luksusowe.
W każdym z tych przypadków nasz system ma za zadanie weryfikację pewnej hipotezy:
pacjent jest chory;
akcja na Kickstarterze będzie finansowana;
samochód należy do kategorii samochodów luksusowych. Dla każdej z powyższych hipotez można podać hipotezę zerową,
wyniki badań nie wskazują, że pacjent jest chory; dane o akcji nie potwierdzają, iż będzie ona finansowana; posiadane dane na temat samochodu, potwierdzają, że nie jest luksusowy.
Wnioskowanie Ocena klasyfikacji Podsumowanie Hipotezy Błędy
Wnioskowanie
HipotezyZałóżmy, że naszym celem jest określenie, czy dany element jest z pewnej wyróżniającej się klasy:
chorzy pacjenci;
akcje finansowane na Kickstarterze; samochody luksusowe.
W każdym z tych przypadków nasz system ma za zadanie weryfikację pewnej hipotezy:
pacjent jest chory;
akcja na Kickstarterze będzie finansowana;
samochód należy do kategorii samochodów luksusowych. Dla każdej z powyższych hipotez można podać hipotezę zerową,
wyniki badań nie wskazują, że pacjent jest chory; dane o akcji nie potwierdzają, iż będzie ona finansowana; posiadane dane na temat samochodu, potwierdzają, że nie jest luksusowy.
Wnioskowanie Ocena klasyfikacji Podsumowanie Hipotezy Błędy
Wnioskowanie
HipotezyZałóżmy, że naszym celem jest określenie, czy dany element jest z pewnej wyróżniającej się klasy:
chorzy pacjenci;
akcje finansowane na Kickstarterze; samochody luksusowe.
W każdym z tych przypadków nasz system ma za zadanie weryfikację pewnej hipotezy:
pacjent jest chory;
akcja na Kickstarterze będzie finansowana;
samochód należy do kategorii samochodów luksusowych. Dla każdej z powyższych hipotez można podać hipotezę zerową,
wyniki badań nie wskazują, że pacjent jest chory; dane o akcji nie potwierdzają, iż będzie ona finansowana; posiadane dane na temat samochodu, potwierdzają, że nie jest luksusowy.
Wnioskowanie Ocena klasyfikacji Podsumowanie Hipotezy Błędy
Wnioskowanie
HipotezyZałóżmy, że naszym celem jest określenie, czy dany element jest z pewnej wyróżniającej się klasy:
chorzy pacjenci;
akcje finansowane na Kickstarterze; samochody luksusowe.
W każdym z tych przypadków nasz system ma za zadanie weryfikację pewnej hipotezy:
pacjent jest chory;
akcja na Kickstarterze będzie finansowana;
samochód należy do kategorii samochodów luksusowych.
Dla każdej z powyższych hipotez można podać hipotezę zerową,
wyniki badań nie wskazują, że pacjent jest chory; dane o akcji nie potwierdzają, iż będzie ona finansowana; posiadane dane na temat samochodu, potwierdzają, że nie jest luksusowy.
Wnioskowanie Ocena klasyfikacji Podsumowanie Hipotezy Błędy
Wnioskowanie
HipotezyZałóżmy, że naszym celem jest określenie, czy dany element jest z pewnej wyróżniającej się klasy:
chorzy pacjenci;
akcje finansowane na Kickstarterze; samochody luksusowe.
W każdym z tych przypadków nasz system ma za zadanie weryfikację pewnej hipotezy:
pacjent jest chory;
akcja na Kickstarterze będzie finansowana;
samochód należy do kategorii samochodów luksusowych. Dla każdej z powyższych hipotez można podać hipotezę zerową,
wyniki badań nie wskazują, że pacjent jest chory; dane o akcji nie potwierdzają, iż będzie ona finansowana; posiadane dane na temat samochodu, potwierdzają, że nie jest luksusowy.
Wnioskowanie Ocena klasyfikacji Podsumowanie Hipotezy Błędy
Wnioskowanie
HipotezyZałóżmy, że naszym celem jest określenie, czy dany element jest z pewnej wyróżniającej się klasy:
chorzy pacjenci;
akcje finansowane na Kickstarterze; samochody luksusowe.
W każdym z tych przypadków nasz system ma za zadanie weryfikację pewnej hipotezy:
pacjent jest chory;
akcja na Kickstarterze będzie finansowana;
samochód należy do kategorii samochodów luksusowych. Dla każdej z powyższych hipotez można podać hipotezę zerową,
wyniki badań nie wskazują, że pacjent jest chory;
dane o akcji nie potwierdzają, iż będzie ona finansowana; posiadane dane na temat samochodu, potwierdzają, że nie jest luksusowy.
Wnioskowanie Ocena klasyfikacji Podsumowanie Hipotezy Błędy
Wnioskowanie
HipotezyZałóżmy, że naszym celem jest określenie, czy dany element jest z pewnej wyróżniającej się klasy:
chorzy pacjenci;
akcje finansowane na Kickstarterze; samochody luksusowe.
W każdym z tych przypadków nasz system ma za zadanie weryfikację pewnej hipotezy:
pacjent jest chory;
akcja na Kickstarterze będzie finansowana;
samochód należy do kategorii samochodów luksusowych. Dla każdej z powyższych hipotez można podać hipotezę zerową,
wyniki badań nie wskazują, że pacjent jest chory; dane o akcji nie potwierdzają, iż będzie ona finansowana;
posiadane dane na temat samochodu, potwierdzają, że nie jest luksusowy.
Wnioskowanie Ocena klasyfikacji Podsumowanie Hipotezy Błędy
Wnioskowanie
HipotezyZałóżmy, że naszym celem jest określenie, czy dany element jest z pewnej wyróżniającej się klasy:
chorzy pacjenci;
akcje finansowane na Kickstarterze; samochody luksusowe.
W każdym z tych przypadków nasz system ma za zadanie weryfikację pewnej hipotezy:
pacjent jest chory;
akcja na Kickstarterze będzie finansowana;
samochód należy do kategorii samochodów luksusowych. Dla każdej z powyższych hipotez można podać hipotezę zerową,
wyniki badań nie wskazują, że pacjent jest chory; dane o akcji nie potwierdzają, iż będzie ona finansowana;
Wnioskowanie Ocena klasyfikacji Podsumowanie Hipotezy Błędy
Wnioskowanie
Błędy decyzja systemu potwierdzenie H0 odrzucenie H0 rzeczywistość H0 jest prawdziwa OK błąd I rodzaju H0 jest fałszywa błąd II rodzaju OKWnioskowanie Ocena klasyfikacji Podsumowanie Hipotezy Błędy
Wnioskowanie
Błędy decyzja systemu potwierdzenie H0 odrzucenie H0 rzeczywistość H0 jest prawdziwa OK błąd I rodzaju H0 jest fałszywa błąd II rodzaju OKWnioskowanie Ocena klasyfikacji Podsumowanie Hipotezy Błędy
Wnioskowanie
Błędy decyzja systemu potwierdzenie H0 odrzucenie H0 rzeczywistość H0 jest prawdziwa OK błąd I rodzaju H0 jest fałszywa błąd II rodzaju OKWnioskowanie Ocena klasyfikacji Podsumowanie Hipotezy Błędy
Wnioskowanie
Błędy decyzja systemu potwierdzenie H0 odrzucenie H0 rzeczywistośćH0 jest prawdziwa OK błąd I rodzaju
Wnioskowanie Ocena klasyfikacji Podsumowanie Hipotezy Błędy
Wnioskowanie
BłędyPrawdopodobieństwo popełnienia błędu pierwszego rodzaju oznaczane jest zwykle symbolem α.
Wartość α to prawdopodobieństwo dokonania decyzji false positive.
W przypadku testu statystycznego α określa poziom istotności.
Odrzucenie H0 kiedy jest ona prawdziwa oznacza, że
potwierdzamy alternatywną hipotezę nie mając ku temu podstaw, czyli
potwierdzamy, że pacjent jest chory, chociaż tak nie jest; bezpodstawnie oceniamy, że akcja powinna być finansowana; zbyt wysoko szacujemy wartość samochodu.
Wnioskowanie Ocena klasyfikacji Podsumowanie Hipotezy Błędy
Wnioskowanie
BłędyPrawdopodobieństwo popełnienia błędu pierwszego rodzaju oznaczane jest zwykle symbolem α.
Wartość α to prawdopodobieństwo dokonania decyzji false positive.
W przypadku testu statystycznego α określa poziom istotności.
Odrzucenie H0 kiedy jest ona prawdziwa oznacza, że
potwierdzamy alternatywną hipotezę nie mając ku temu podstaw, czyli
potwierdzamy, że pacjent jest chory, chociaż tak nie jest; bezpodstawnie oceniamy, że akcja powinna być finansowana; zbyt wysoko szacujemy wartość samochodu.
Wnioskowanie Ocena klasyfikacji Podsumowanie Hipotezy Błędy
Wnioskowanie
BłędyPrawdopodobieństwo popełnienia błędu pierwszego rodzaju oznaczane jest zwykle symbolem α.
Wartość α to prawdopodobieństwo dokonania decyzji false positive.
W przypadku testu statystycznego α określa poziom istotności.
Odrzucenie H0 kiedy jest ona prawdziwa oznacza, że
potwierdzamy alternatywną hipotezę nie mając ku temu podstaw, czyli
potwierdzamy, że pacjent jest chory, chociaż tak nie jest; bezpodstawnie oceniamy, że akcja powinna być finansowana; zbyt wysoko szacujemy wartość samochodu.
Wnioskowanie Ocena klasyfikacji Podsumowanie Hipotezy Błędy
Wnioskowanie
BłędyPrawdopodobieństwo popełnienia błędu pierwszego rodzaju oznaczane jest zwykle symbolem α.
Wartość α to prawdopodobieństwo dokonania decyzji false positive.
W przypadku testu statystycznego α określa poziom istotności.
Odrzucenie H0 kiedy jest ona prawdziwa oznacza, że
potwierdzamy alternatywną hipotezę nie mając ku temu podstaw, czyli
potwierdzamy, że pacjent jest chory, chociaż tak nie jest; bezpodstawnie oceniamy, że akcja powinna być finansowana; zbyt wysoko szacujemy wartość samochodu.
Wnioskowanie Ocena klasyfikacji Podsumowanie Hipotezy Błędy
Wnioskowanie
BłędyPrawdopodobieństwo popełnienia błędu pierwszego rodzaju oznaczane jest zwykle symbolem α.
Wartość α to prawdopodobieństwo dokonania decyzji false positive.
W przypadku testu statystycznego α określa poziom istotności.
Odrzucenie H0 kiedy jest ona prawdziwa oznacza, że
potwierdzamy alternatywną hipotezę nie mając ku temu podstaw, czyli
potwierdzamy, że pacjent jest chory, chociaż tak nie jest;
bezpodstawnie oceniamy, że akcja powinna być finansowana; zbyt wysoko szacujemy wartość samochodu.
Wnioskowanie Ocena klasyfikacji Podsumowanie Hipotezy Błędy
Wnioskowanie
BłędyPrawdopodobieństwo popełnienia błędu pierwszego rodzaju oznaczane jest zwykle symbolem α.
Wartość α to prawdopodobieństwo dokonania decyzji false positive.
W przypadku testu statystycznego α określa poziom istotności.
Odrzucenie H0 kiedy jest ona prawdziwa oznacza, że
potwierdzamy alternatywną hipotezę nie mając ku temu podstaw, czyli
potwierdzamy, że pacjent jest chory, chociaż tak nie jest; bezpodstawnie oceniamy, że akcja powinna być finansowana;
Wnioskowanie Ocena klasyfikacji Podsumowanie Hipotezy Błędy
Wnioskowanie
BłędyPrawdopodobieństwo popełnienia błędu pierwszego rodzaju oznaczane jest zwykle symbolem α.
Wartość α to prawdopodobieństwo dokonania decyzji false positive.
W przypadku testu statystycznego α określa poziom istotności.
Odrzucenie H0 kiedy jest ona prawdziwa oznacza, że
potwierdzamy alternatywną hipotezę nie mając ku temu podstaw, czyli
potwierdzamy, że pacjent jest chory, chociaż tak nie jest; bezpodstawnie oceniamy, że akcja powinna być finansowana; zbyt wysoko szacujemy wartość samochodu.
Wnioskowanie Ocena klasyfikacji Podsumowanie Hipotezy Błędy
Wnioskowanie
BłędyPrawdopodobieństwo popełnienia błędu drugiego rodzaju oznaczane jest zwykle symbolem β.
Wartość β to prawdopodobieństwo decyzji false negative. W przypadku testu statystycznego wartość 1 − β, czyli
prawdopodobieństwo, że poprawnie odrzucimy hipotezę H0,
określa moc.
Przyjęcie H0 kiedy jest ona fałszywa oznacza, że odrzucamy
alternatywną hipotezę pomimo tego, że jest poparta
potwierdzamy, że pacjent jest zdrowy, chociaż wyniki wskazują na coś innego;
oceniamy, że mająca szansę akcja nie powinna być finansowana;
Wnioskowanie Ocena klasyfikacji Podsumowanie Hipotezy Błędy
Wnioskowanie
BłędyPrawdopodobieństwo popełnienia błędu drugiego rodzaju oznaczane jest zwykle symbolem β.
Wartość β to prawdopodobieństwo decyzji false negative.
W przypadku testu statystycznego wartość 1 − β, czyli
prawdopodobieństwo, że poprawnie odrzucimy hipotezę H0,
określa moc.
Przyjęcie H0 kiedy jest ona fałszywa oznacza, że odrzucamy
alternatywną hipotezę pomimo tego, że jest poparta
potwierdzamy, że pacjent jest zdrowy, chociaż wyniki wskazują na coś innego;
oceniamy, że mająca szansę akcja nie powinna być finansowana;
Wnioskowanie Ocena klasyfikacji Podsumowanie Hipotezy Błędy
Wnioskowanie
BłędyPrawdopodobieństwo popełnienia błędu drugiego rodzaju oznaczane jest zwykle symbolem β.
Wartość β to prawdopodobieństwo decyzji false negative. W przypadku testu statystycznego wartość 1 − β, czyli
prawdopodobieństwo, że poprawnie odrzucimy hipotezę H0,
określa moc.
Przyjęcie H0 kiedy jest ona fałszywa oznacza, że odrzucamy
alternatywną hipotezę pomimo tego, że jest poparta
potwierdzamy, że pacjent jest zdrowy, chociaż wyniki wskazują na coś innego;
oceniamy, że mająca szansę akcja nie powinna być finansowana;
Wnioskowanie Ocena klasyfikacji Podsumowanie Hipotezy Błędy
Wnioskowanie
BłędyPrawdopodobieństwo popełnienia błędu drugiego rodzaju oznaczane jest zwykle symbolem β.
Wartość β to prawdopodobieństwo decyzji false negative. W przypadku testu statystycznego wartość 1 − β, czyli
prawdopodobieństwo, że poprawnie odrzucimy hipotezę H0,
określa moc.
Przyjęcie H0 kiedy jest ona fałszywa oznacza, że odrzucamy
alternatywną hipotezę pomimo tego, że jest poparta
potwierdzamy, że pacjent jest zdrowy, chociaż wyniki wskazują na coś innego;
oceniamy, że mająca szansę akcja nie powinna być finansowana;
Wnioskowanie Ocena klasyfikacji Podsumowanie Hipotezy Błędy
Wnioskowanie
BłędyPrawdopodobieństwo popełnienia błędu drugiego rodzaju oznaczane jest zwykle symbolem β.
Wartość β to prawdopodobieństwo decyzji false negative. W przypadku testu statystycznego wartość 1 − β, czyli
prawdopodobieństwo, że poprawnie odrzucimy hipotezę H0,
określa moc.
Przyjęcie H0 kiedy jest ona fałszywa oznacza, że odrzucamy
alternatywną hipotezę pomimo tego, że jest poparta
potwierdzamy, że pacjent jest zdrowy, chociaż wyniki wskazują na coś innego;
oceniamy, że mająca szansę akcja nie powinna być finansowana;
Wnioskowanie Ocena klasyfikacji Podsumowanie Hipotezy Błędy
Wnioskowanie
BłędyPrawdopodobieństwo popełnienia błędu drugiego rodzaju oznaczane jest zwykle symbolem β.
Wartość β to prawdopodobieństwo decyzji false negative. W przypadku testu statystycznego wartość 1 − β, czyli
prawdopodobieństwo, że poprawnie odrzucimy hipotezę H0,
określa moc.
Przyjęcie H0 kiedy jest ona fałszywa oznacza, że odrzucamy
alternatywną hipotezę pomimo tego, że jest poparta
potwierdzamy, że pacjent jest zdrowy, chociaż wyniki wskazują na coś innego;
oceniamy, że mająca szansę akcja nie powinna być finansowana;
Wnioskowanie Ocena klasyfikacji Podsumowanie Hipotezy Błędy
Wnioskowanie
BłędyPrawdopodobieństwo popełnienia błędu drugiego rodzaju oznaczane jest zwykle symbolem β.
Wartość β to prawdopodobieństwo decyzji false negative. W przypadku testu statystycznego wartość 1 − β, czyli
prawdopodobieństwo, że poprawnie odrzucimy hipotezę H0,
określa moc.
Przyjęcie H0 kiedy jest ona fałszywa oznacza, że odrzucamy
alternatywną hipotezę pomimo tego, że jest poparta
potwierdzamy, że pacjent jest zdrowy, chociaż wyniki wskazują na coś innego;
oceniamy, że mająca szansę akcja nie powinna być finansowana;
Wnioskowanie Ocena klasyfikacji Podsumowanie Hipotezy Błędy
Wnioskowanie
Błędy RzeczywistośćPrzyjęcie bądź odrzucenie hipotezy nie oznacza, że jest ona prawdziwa bądź fałszywa!
Wnioskowanie
Ocena klasyfikacji
Podsumowanie
Błędy w klasyfikacji Macierz pomyłek
Czułość, precyzja i ich znajomi Krzywa ROC
Wnioskowanie
Ocena klasyfikacji
Podsumowanie
Błędy w klasyfikacji
Macierz pomyłek
Czułość, precyzja i ich znajomi Krzywa ROC
Ocena klasyfikacji
Błędy w klasyfikacjiWróćmy do przykładu ze spamem.
Przykład ze spamem
Celem naszego systemu uczenia maszynowego jest określenie czy dana wiadomość jest spamem.
Hipoteza: na podstawie występujących słów, wiadomość jest
spamem.
Hipoteza zerowa: skład wiadomości wskazuje, iż jest ona zwykłą
Wnioskowanie
Ocena klasyfikacji
Podsumowanie
Błędy w klasyfikacji
Macierz pomyłek
Czułość, precyzja i ich znajomi Krzywa ROC
Ocena klasyfikacji
Błędy w klasyfikacjiWróćmy do przykładu ze spamem. Przykład ze spamem
Celem naszego systemu uczenia maszynowego jest określenie czy dana wiadomość jest spamem.
Hipoteza: na podstawie występujących słów, wiadomość jest
spamem.
Hipoteza zerowa: skład wiadomości wskazuje, iż jest ona zwykłą
Wnioskowanie
Ocena klasyfikacji
Podsumowanie
Błędy w klasyfikacji
Macierz pomyłek
Czułość, precyzja i ich znajomi Krzywa ROC
Ocena klasyfikacji
Błędy w klasyfikacjiWróćmy do przykładu ze spamem. Przykład ze spamem
Celem naszego systemu uczenia maszynowego jest określenie czy dana wiadomość jest spamem.
Hipoteza: na podstawie występujących słów, wiadomość jest
spamem.
Hipoteza zerowa: skład wiadomości wskazuje, iż jest ona zwykłą
Wnioskowanie
Ocena klasyfikacji
Podsumowanie
Błędy w klasyfikacji
Macierz pomyłek
Czułość, precyzja i ich znajomi Krzywa ROC
Ocena klasyfikacji
Błędy w klasyfikacjiWróćmy do przykładu ze spamem. Przykład ze spamem
Celem naszego systemu uczenia maszynowego jest określenie czy dana wiadomość jest spamem.
Hipoteza: na podstawie występujących słów, wiadomość jest
spamem.
Hipoteza zerowa: skład wiadomości wskazuje, iż jest ona zwykłą
Wnioskowanie
Ocena klasyfikacji
Podsumowanie
Błędy w klasyfikacji
Macierz pomyłek
Czułość, precyzja i ich znajomi Krzywa ROC
Ocena klasyfikacji
Błędy w klasyfikacjiWróćmy do przykładu ze spamem. Przykład ze spamem
Celem naszego systemu uczenia maszynowego jest określenie czy dana wiadomość jest spamem.
Hipoteza: na podstawie występujących słów, wiadomość jest
spamem.
Hipoteza zerowa: skład wiadomości wskazuje, iż jest ona zwykłą
Wnioskowanie
Ocena klasyfikacji
Podsumowanie
Błędy w klasyfikacji
Macierz pomyłek
Czułość, precyzja i ich znajomi Krzywa ROC
Ocena klasyfikacji
Błędy w klasyfikacjiOcena poprawności klasyfikacji
Zastanówmy się teraz w jaki sposób nasz klasyfikator może dokonać klasyfikacji.
Wnioskowanie
Ocena klasyfikacji
Podsumowanie
Błędy w klasyfikacji
Macierz pomyłek
Czułość, precyzja i ich znajomi Krzywa ROC
Ocena klasyfikacji
Błędy w klasyfikacjiOcena poprawności klasyfikacji
Zastanówmy się teraz w jaki sposób nasz klasyfikator może dokonać klasyfikacji. Oraz w jaki sposób może się pomylić....
Wnioskowanie
Ocena klasyfikacji
Podsumowanie
Błędy w klasyfikacji
Macierz pomyłek
Czułość, precyzja i ich znajomi Krzywa ROC
Ocena klasyfikacji
Błędy w klasyfikacjiNajprostszym sposobem oceny trafności predykcji jest sprawdzenie ile razy element z klasy A został zaklasyfikowany do klasy B.
Powstaje w ten sposób tabela z ilością źle sklasyfikowanych przypadków nazywana macierzą pomyłek lub macierzą niezgodności.
Jeżeli dokonujemy klasyfikacji binarnej – na przykład na spam s i nie-spam n – to sytuacja jest bardzo prosta.
Wnioskowanie
Ocena klasyfikacji
Podsumowanie
Błędy w klasyfikacji
Macierz pomyłek
Czułość, precyzja i ich znajomi Krzywa ROC
Ocena klasyfikacji
Błędy w klasyfikacjiNajprostszym sposobem oceny trafności predykcji jest sprawdzenie ile razy element z klasy A został zaklasyfikowany do klasy B. Powstaje w ten sposób tabela z ilością źle sklasyfikowanych przypadków nazywana macierzą pomyłek lub macierzą niezgodności.
Jeżeli dokonujemy klasyfikacji binarnej – na przykład na spam s i nie-spam n – to sytuacja jest bardzo prosta.
Wnioskowanie
Ocena klasyfikacji
Podsumowanie
Błędy w klasyfikacji
Macierz pomyłek
Czułość, precyzja i ich znajomi Krzywa ROC
Ocena klasyfikacji
Błędy w klasyfikacjiNajprostszym sposobem oceny trafności predykcji jest sprawdzenie ile razy element z klasy A został zaklasyfikowany do klasy B. Powstaje w ten sposób tabela z ilością źle sklasyfikowanych przypadków nazywana macierzą pomyłek lub macierzą niezgodności.
Jeżeli dokonujemy klasyfikacji binarnej – na przykład na spam s i nie-spam n – to sytuacja jest bardzo prosta.
Wnioskowanie
Ocena klasyfikacji
Podsumowanie
Błędy w klasyfikacji
Macierz pomyłek
Czułość, precyzja i ich znajomi Krzywa ROC
Ocena klasyfikacji
Macierz pomyłek predykcja rzeczywisto ść nie-spam spam nie-spam spamWnioskowanie
Ocena klasyfikacji
Podsumowanie
Błędy w klasyfikacji
Macierz pomyłek
Czułość, precyzja i ich znajomi Krzywa ROC
Ocena klasyfikacji
Macierz pomyłek predykcja rzeczywisto ść nie-spam spam nie-spam spamTN
TP
Wnioskowanie
Ocena klasyfikacji
Podsumowanie
Błędy w klasyfikacji
Macierz pomyłek
Czułość, precyzja i ich znajomi Krzywa ROC
Ocena klasyfikacji
Macierz pomyłek predykcja rzeczywisto ść nie-spam spam nie-spam spamTP
FP
Wnioskowanie
Ocena klasyfikacji
Podsumowanie
Błędy w klasyfikacji
Macierz pomyłek
Czułość, precyzja i ich znajomi Krzywa ROC
Ocena klasyfikacji
Macierz pomyłek predykcja rzeczywisto ść nie-spam spam nie-spam spamTP
FN
FP
Wnioskowanie
Ocena klasyfikacji
Podsumowanie
Błędy w klasyfikacji Macierz pomyłek
Czułość, precyzja i ich znajomi
Krzywa ROC
Ocena klasyfikacji
Czułość, precyzja i ich znajomi
Oczywiście zamiast patrzeć na całą macierz lepiej określić kilka parametrów syntetycznych.
Wnioskowanie
Ocena klasyfikacji
Podsumowanie
Błędy w klasyfikacji Macierz pomyłek
Czułość, precyzja i ich znajomi
Krzywa ROC
Ocena klasyfikacji
Czułość, precyzja i ich znajomi
predykcja rzeczywisto ść nie-spam spam nie-spam spam TP FN FP Czułość
Czułość (ang. recall lub sensitivity) określa jak dobrze nasz
klasyfikator określa klasę dla przypadków z postulowanej klasy. Określona jest ona jako ułamek poprawnie zaklasyfikowanych przypadków postulowanej klasy,
TPR = TP
Wnioskowanie
Ocena klasyfikacji
Podsumowanie
Błędy w klasyfikacji Macierz pomyłek
Czułość, precyzja i ich znajomi
Krzywa ROC
Ocena klasyfikacji
Czułość, precyzja i ich znajomi
predykcja rzeczywisto ść nie-spam spam nie-spam spam TP FN FP Czułość
Czułość (ang. recall lub sensitivity) określa jak dobrze nasz
klasyfikator określa klasę dla przypadków z postulowanej klasy.
Określona jest ona jako ułamek poprawnie zaklasyfikowanych przypadków postulowanej klasy,
TPR = TP
Wnioskowanie
Ocena klasyfikacji
Podsumowanie
Błędy w klasyfikacji Macierz pomyłek
Czułość, precyzja i ich znajomi
Krzywa ROC
Ocena klasyfikacji
Czułość, precyzja i ich znajomi
predykcja rzeczywisto ść nie-spam spam nie-spam spam TP FN FP Czułość
Czułość (ang. recall lub sensitivity) określa jak dobrze nasz
klasyfikator określa klasę dla przypadków z postulowanej klasy. Określona jest ona jako ułamek poprawnie zaklasyfikowanych przypadków postulowanej klasy,
Wnioskowanie
Ocena klasyfikacji
Podsumowanie
Błędy w klasyfikacji Macierz pomyłek
Czułość, precyzja i ich znajomi
Krzywa ROC
Ocena klasyfikacji
Czułość, precyzja i ich znajomi
Czułość ≡ True Positive Rate
TPR = TP
TP + FN
Czułość odpowiada na pytanie: Jaka część pozytywnie
zidentyfikowanych przypadków jest zidentyfikowana porawnie? Dlatego czułość to cześć przypadków które są określone poprawnie jako pozytywne (ang. true positive rate)
1 − TPR odpowiada prawdopodobieństwu popełnienia błędu II rodzaju. . .
. . . czyli czułość jest odpowiednikiem mocy testu statystycznego.
Wnioskowanie
Ocena klasyfikacji
Podsumowanie
Błędy w klasyfikacji Macierz pomyłek
Czułość, precyzja i ich znajomi
Krzywa ROC
Ocena klasyfikacji
Czułość, precyzja i ich znajomi
Czułość ≡ True Positive Rate
TPR = TP
TP + FN
Czułość odpowiada na pytanie: Jaka część pozytywnie
zidentyfikowanych przypadków jest zidentyfikowana porawnie? Dlatego czułość to cześć przypadków które są określone poprawnie jako pozytywne (ang. true positive rate)
1 − TPR odpowiada prawdopodobieństwu popełnienia błędu II rodzaju. . .
. . . czyli czułość jest odpowiednikiem mocy testu statystycznego.
Wnioskowanie
Ocena klasyfikacji
Podsumowanie
Błędy w klasyfikacji Macierz pomyłek
Czułość, precyzja i ich znajomi
Krzywa ROC
Ocena klasyfikacji
Czułość, precyzja i ich znajomi
Czułość ≡ True Positive Rate
TPR = TP
TP + FN
Czułość odpowiada na pytanie: Jaka część pozytywnie
zidentyfikowanych przypadków jest zidentyfikowana porawnie?
Dlatego czułość to cześć przypadków które są określone poprawnie jako pozytywne (ang. true positive rate)
1 − TPR odpowiada prawdopodobieństwu popełnienia błędu II rodzaju. . .
. . . czyli czułość jest odpowiednikiem mocy testu statystycznego.
Wnioskowanie
Ocena klasyfikacji
Podsumowanie
Błędy w klasyfikacji Macierz pomyłek
Czułość, precyzja i ich znajomi
Krzywa ROC
Ocena klasyfikacji
Czułość, precyzja i ich znajomi
Czułość ≡ True Positive Rate
TPR = TP
TP + FN
Czułość odpowiada na pytanie: Jaka część pozytywnie
zidentyfikowanych przypadków jest zidentyfikowana porawnie? Dlatego czułość to cześć przypadków które są określone poprawnie jako pozytywne (ang. true positive rate)
1 − TPR odpowiada prawdopodobieństwu popełnienia błędu II rodzaju. . .
. . . czyli czułość jest odpowiednikiem mocy testu statystycznego.
Wnioskowanie
Ocena klasyfikacji
Podsumowanie
Błędy w klasyfikacji Macierz pomyłek
Czułość, precyzja i ich znajomi
Krzywa ROC
Ocena klasyfikacji
Czułość, precyzja i ich znajomi
Czułość ≡ True Positive Rate
TPR = TP
TP + FN
Czułość odpowiada na pytanie: Jaka część pozytywnie
zidentyfikowanych przypadków jest zidentyfikowana porawnie? Dlatego czułość to cześć przypadków które są określone poprawnie jako pozytywne (ang. true positive rate)
1 − TPR odpowiada prawdopodobieństwu popełnienia błędu II rodzaju. . .
. . . czyli czułość jest odpowiednikiem mocy testu statystycznego.
Wnioskowanie
Ocena klasyfikacji
Podsumowanie
Błędy w klasyfikacji Macierz pomyłek
Czułość, precyzja i ich znajomi
Krzywa ROC
Ocena klasyfikacji
Czułość, precyzja i ich znajomi
Czułość ≡ True Positive Rate
TPR = TP
TP + FN
Czułość odpowiada na pytanie: Jaka część pozytywnie
zidentyfikowanych przypadków jest zidentyfikowana porawnie? Dlatego czułość to cześć przypadków które są określone poprawnie jako pozytywne (ang. true positive rate)
1 − TPR odpowiada prawdopodobieństwu popełnienia błędu II rodzaju. . .
Wnioskowanie
Ocena klasyfikacji
Podsumowanie
Błędy w klasyfikacji Macierz pomyłek
Czułość, precyzja i ich znajomi
Krzywa ROC
Ocena klasyfikacji
Czułość, precyzja i ich znajomi
predykcja rzeczywisto ść zdr owy chory zdrowy chory TP FN FP Duża czułość
Na dużej czułości zależy nam jeżeli strata wynikająca z nie wykrycia przypadku klasy (czyli FN) przewyższ stratę, wynikającą z nieprawidłowego zaklasyfikowania (czyli FP). Na przykład ważniejsze jest zaklasyfikowanie do drogiego badania chorej osoby, niż zbadanie zdrowego pacjenta.
Wnioskowanie
Ocena klasyfikacji
Podsumowanie
Błędy w klasyfikacji Macierz pomyłek
Czułość, precyzja i ich znajomi
Krzywa ROC
Ocena klasyfikacji
Czułość, precyzja i ich znajomi
predykcja rzeczywisto ść zdr owy chory zdrowy chory TP FN FP Duża czułość
Na dużej czułości zależy nam jeżeli strata wynikająca z nie wykrycia przypadku klasy (czyli FN) przewyższ stratę, wynikającą z nieprawidłowego zaklasyfikowania (czyli FP).
Na przykład ważniejsze jest zaklasyfikowanie do drogiego badania chorej osoby, niż zbadanie zdrowego pacjenta.
Wnioskowanie
Ocena klasyfikacji
Podsumowanie
Błędy w klasyfikacji Macierz pomyłek
Czułość, precyzja i ich znajomi
Krzywa ROC
Ocena klasyfikacji
Czułość, precyzja i ich znajomi
predykcja rzeczywisto ść zdr owy chory zdrowy chory TP FN FP Duża czułość
Na dużej czułości zależy nam jeżeli strata wynikająca z nie wykrycia przypadku klasy (czyli FN) przewyższ stratę, wynikającą z nieprawidłowego zaklasyfikowania (czyli FP). Na przykład ważniejsze jest zaklasyfikowanie do drogiego badania chorej osoby, niż zbadanie zdrowego pacjenta.
Wnioskowanie
Ocena klasyfikacji
Podsumowanie
Błędy w klasyfikacji Macierz pomyłek
Czułość, precyzja i ich znajomi
Krzywa ROC
Ocena klasyfikacji
Czułość, precyzja i ich znajomi
predykcja rzeczywisto ść nie-spam spam nie-spam spam TP FN FP Precyzja
Precyzja (ang. precision) określa jak dobrze nasz klasyfikator
przypisuje przypadki do postulowanej klasy. Określona jest ona jako
PPV = TP
Wnioskowanie
Ocena klasyfikacji
Podsumowanie
Błędy w klasyfikacji Macierz pomyłek
Czułość, precyzja i ich znajomi
Krzywa ROC
Ocena klasyfikacji
Czułość, precyzja i ich znajomi
predykcja rzeczywisto ść nie-spam spam nie-spam spam TP FN FP Precyzja
Precyzja (ang. precision) określa jak dobrze nasz klasyfikator
przypisuje przypadki do postulowanej klasy.
Określona jest ona jako
PPV = TP
Wnioskowanie
Ocena klasyfikacji
Podsumowanie
Błędy w klasyfikacji Macierz pomyłek
Czułość, precyzja i ich znajomi
Krzywa ROC
Ocena klasyfikacji
Czułość, precyzja i ich znajomi
predykcja rzeczywisto ść nie-spam spam nie-spam spam TP FN FP Precyzja
Precyzja (ang. precision) określa jak dobrze nasz klasyfikator
przypisuje przypadki do postulowanej klasy. Określona jest ona jako
TP .
Wnioskowanie
Ocena klasyfikacji
Podsumowanie
Błędy w klasyfikacji Macierz pomyłek
Czułość, precyzja i ich znajomi
Krzywa ROC
Ocena klasyfikacji
Czułość, precyzja i ich znajomi
Precyzja ≡ Positive Predictive Value
PPV = TP
TP + FP Precyzja
Precyzja (ang. precision) określa ile przypadków z
postulowanej klasy było zaklasyfikowanych poprawnie. 1 − PPV to FDR czyli False Discovery Rate.
Wnioskowanie
Ocena klasyfikacji
Podsumowanie
Błędy w klasyfikacji Macierz pomyłek
Czułość, precyzja i ich znajomi
Krzywa ROC
Ocena klasyfikacji
Czułość, precyzja i ich znajomi
Precyzja ≡ Positive Predictive Value
PPV = TP
TP + FP Precyzja
Precyzja (ang. precision) określa ile przypadków z
postulowanej klasy było zaklasyfikowanych poprawnie.
Wnioskowanie
Ocena klasyfikacji
Podsumowanie
Błędy w klasyfikacji Macierz pomyłek
Czułość, precyzja i ich znajomi
Krzywa ROC
Ocena klasyfikacji
Czułość, precyzja i ich znajomi
Precyzja ≡ Positive Predictive Value
PPV = TP
TP + FP Precyzja
Precyzja (ang. precision) określa ile przypadków z
postulowanej klasy było zaklasyfikowanych poprawnie. 1 − PPV to FDR czyli False Discovery Rate.
Wnioskowanie
Ocena klasyfikacji
Podsumowanie
Błędy w klasyfikacji Macierz pomyłek
Czułość, precyzja i ich znajomi
Krzywa ROC
Ocena klasyfikacji
Czułość, precyzja i ich znajomi
Duża precyzja
Precyzja określa na ile można ufać klasyfikacji jeżeli przypisuje ona przypadek do postulowanej klasy.
Jeżeli system na sprawdzać czy obraz jest odpowiedni dla nieletnich, to chcemy mieć dużą precyzję.
Wnioskowanie
Ocena klasyfikacji
Podsumowanie
Błędy w klasyfikacji Macierz pomyłek
Czułość, precyzja i ich znajomi
Krzywa ROC
Ocena klasyfikacji
Czułość, precyzja i ich znajomi
Duża precyzja
Precyzja określa na ile można ufać klasyfikacji jeżeli przypisuje ona przypadek do postulowanej klasy.
Jeżeli system na sprawdzać czy obraz jest odpowiedni dla nieletnich, to chcemy mieć dużą precyzję.
Wnioskowanie
Ocena klasyfikacji
Podsumowanie
Błędy w klasyfikacji Macierz pomyłek
Czułość, precyzja i ich znajomi
Krzywa ROC
Ocena klasyfikacji
Czułość, precyzja i ich znajomi
Duża precyzja
Precyzja określa na ile można ufać klasyfikacji jeżeli przypisuje ona przypadek do postulowanej klasy.
Jeżeli system na sprawdzać czy obraz jest odpowiedni dla nieletnich, to chcemy mieć dużą precyzję.
Wnioskowanie
Ocena klasyfikacji
Podsumowanie
Błędy w klasyfikacji Macierz pomyłek
Czułość, precyzja i ich znajomi
Krzywa ROC
Ocena klasyfikacji
Czułość, precyzja i ich znajomi
Miara F1
Miarą ujmującą balas między czułością i precyzją jest F1.
Zdefiniowana jest ona jako średnia harmoniczna tych miar,
F1 = 1 2
TPR+
1 PPV
Wnioskowanie
Ocena klasyfikacji
Podsumowanie
Błędy w klasyfikacji Macierz pomyłek
Czułość, precyzja i ich znajomi
Krzywa ROC
Ocena klasyfikacji
Czułość, precyzja i ich znajomi
Miara F1
Miarą ujmującą balas między czułością i precyzją jest F1. Zdefiniowana jest ona jako średnia harmoniczna tych miar,
F1 = 1 2
TPR+
1 PPV
Wnioskowanie
Ocena klasyfikacji
Podsumowanie
Błędy w klasyfikacji Macierz pomyłek
Czułość, precyzja i ich znajomi
Krzywa ROC
Ocena klasyfikacji
Czułość, precyzja i ich znajomi
predykcja rzeczywisto ść nie-spam spam nie-spam spam TP FN FP Specyficzność
Specyficzność (ang. specificty) to ułamek przypadków
poprawnie nie przypisanych do zakładanej klasy. Określona jest ona jako
TNR = TN
Wnioskowanie
Ocena klasyfikacji
Podsumowanie
Błędy w klasyfikacji Macierz pomyłek
Czułość, precyzja i ich znajomi
Krzywa ROC
Ocena klasyfikacji
Czułość, precyzja i ich znajomi
predykcja rzeczywisto ść nie-spam spam nie-spam spam TP FN FP Specyficzność
Specyficzność (ang. specificty) to ułamek przypadków
poprawnie nie przypisanych do zakładanej klasy.
Określona jest ona jako
TNR = TN
Wnioskowanie
Ocena klasyfikacji
Podsumowanie
Błędy w klasyfikacji Macierz pomyłek
Czułość, precyzja i ich znajomi
Krzywa ROC
Ocena klasyfikacji
Czułość, precyzja i ich znajomi
predykcja rzeczywisto ść nie-spam spam nie-spam spam TP FN FP Specyficzność
Specyficzność (ang. specificty) to ułamek przypadków
poprawnie nie przypisanych do zakładanej klasy. Określona jest ona jako
TNR = TN
Wnioskowanie
Ocena klasyfikacji
Podsumowanie
Błędy w klasyfikacji Macierz pomyłek
Czułość, precyzja i ich znajomi
Krzywa ROC
Ocena klasyfikacji
Czułość, precyzja i ich znajomi
predykcja rzeczywisto ść nie-spam spam nie-spam spam TP FN FP Dokładność
Dokładność (ang. accuracy) to ułamek przypadków
zaklasyfikowanych poprawnie. Określona jest ona jako
ACC = TN + TP
Wnioskowanie
Ocena klasyfikacji
Podsumowanie
Błędy w klasyfikacji Macierz pomyłek
Czułość, precyzja i ich znajomi
Krzywa ROC
Ocena klasyfikacji
Czułość, precyzja i ich znajomi
predykcja rzeczywisto ść nie-spam spam nie-spam spam TP FN FP Dokładność
Dokładność (ang. accuracy) to ułamek przypadków
zaklasyfikowanych poprawnie.
Określona jest ona jako
ACC = TN + TP
Wnioskowanie
Ocena klasyfikacji
Podsumowanie
Błędy w klasyfikacji Macierz pomyłek
Czułość, precyzja i ich znajomi
Krzywa ROC
Ocena klasyfikacji
Czułość, precyzja i ich znajomi
predykcja rzeczywisto ść nie-spam spam nie-spam spam TP FN FP Dokładność
Dokładność (ang. accuracy) to ułamek przypadków
zaklasyfikowanych poprawnie. Określona jest ona jako
TN + TP
Wnioskowanie
Ocena klasyfikacji
Podsumowanie
Błędy w klasyfikacji Macierz pomyłek
Czułość, precyzja i ich znajomi
Krzywa ROC
Ocena klasyfikacji
Czułość, precyzja i ich znajomi
Problem przy niezbalansowanych przypadkach
Jeżeli klasy mają znacząco różną liczbę reprezentantów, to ACC może być myląca.
Jeżeli 95% przypadków reprezentuje jedną klasę, to klasyfikator zawsze przypisujący do tej klasy osiągnie ACC wynoszącą 95%.
Zbalansowana dokładność
Aby tego uniknąć stosuje się zbalansowaną dokładność określoną jako średnia arytmetyczna czułości (TPR) i specyficzności (TNR)
TPR + TNR 2
Wnioskowanie
Ocena klasyfikacji
Podsumowanie
Błędy w klasyfikacji Macierz pomyłek
Czułość, precyzja i ich znajomi
Krzywa ROC
Ocena klasyfikacji
Czułość, precyzja i ich znajomi
Problem przy niezbalansowanych przypadkach
Jeżeli klasy mają znacząco różną liczbę reprezentantów, to ACC może być myląca. Jeżeli 95% przypadków reprezentuje jedną klasę, to klasyfikator zawsze przypisujący do tej klasy osiągnie ACC wynoszącą 95%.
Zbalansowana dokładność
Aby tego uniknąć stosuje się zbalansowaną dokładność określoną jako średnia arytmetyczna czułości (TPR) i specyficzności (TNR)
TPR + TNR 2
Wnioskowanie
Ocena klasyfikacji
Podsumowanie
Błędy w klasyfikacji Macierz pomyłek
Czułość, precyzja i ich znajomi
Krzywa ROC
Ocena klasyfikacji
Czułość, precyzja i ich znajomi
Problem przy niezbalansowanych przypadkach
Jeżeli klasy mają znacząco różną liczbę reprezentantów, to ACC może być myląca. Jeżeli 95% przypadków reprezentuje jedną klasę, to klasyfikator zawsze przypisujący do tej klasy osiągnie ACC wynoszącą 95%.
Zbalansowana dokładność
Aby tego uniknąć stosuje się zbalansowaną dokładność określoną jako średnia arytmetyczna czułości (TPR) i specyficzności (TNR)
TPR + TNR 2
Wnioskowanie
Ocena klasyfikacji
Podsumowanie
Błędy w klasyfikacji Macierz pomyłek
Czułość, precyzja i ich znajomi
Krzywa ROC
Ocena klasyfikacji
Krzywa ROCJak to wszystko porównać?
Macierz pomyłek daje charakterystykę konkretnego wykorzystania klasyfikatora.
Jeżeli klasyfikator zwraca prawdopodobieństwo przynależności do klasy, to możemy określić jakie jest próg dla którego dokonamy ostatecznej klasyfikacji.
Zmiana progu zmienia macierz pomyłek.
Jeżeli zmniejszymy próg przynależności do postulowanej klasy, to zwiększamy czułość.
Ale jednocześnie zwiększamy ilość przypadków niepoprawnie zaklasyfikowanych do danej klasy (FP).
Wnioskowanie
Ocena klasyfikacji
Podsumowanie
Błędy w klasyfikacji Macierz pomyłek
Czułość, precyzja i ich znajomi
Krzywa ROC
Ocena klasyfikacji
Krzywa ROCJak to wszystko porównać?
Macierz pomyłek daje charakterystykę konkretnego wykorzystania klasyfikatora.
Jeżeli klasyfikator zwraca prawdopodobieństwo przynależności do klasy, to możemy określić jakie jest próg dla którego dokonamy ostatecznej klasyfikacji.
Zmiana progu zmienia macierz pomyłek.
Jeżeli zmniejszymy próg przynależności do postulowanej klasy, to zwiększamy czułość.
Ale jednocześnie zwiększamy ilość przypadków niepoprawnie zaklasyfikowanych do danej klasy (FP).
Wnioskowanie
Ocena klasyfikacji
Podsumowanie
Błędy w klasyfikacji Macierz pomyłek
Czułość, precyzja i ich znajomi
Krzywa ROC
Ocena klasyfikacji
Krzywa ROCJak to wszystko porównać?
Macierz pomyłek daje charakterystykę konkretnego wykorzystania klasyfikatora.
Jeżeli klasyfikator zwraca prawdopodobieństwo przynależności do klasy, to możemy określić jakie jest próg dla którego dokonamy ostatecznej klasyfikacji.
Zmiana progu zmienia macierz pomyłek.
Jeżeli zmniejszymy próg przynależności do postulowanej klasy, to zwiększamy czułość.
Ale jednocześnie zwiększamy ilość przypadków niepoprawnie zaklasyfikowanych do danej klasy (FP).
Wnioskowanie
Ocena klasyfikacji
Podsumowanie
Błędy w klasyfikacji Macierz pomyłek
Czułość, precyzja i ich znajomi
Krzywa ROC
Ocena klasyfikacji
Krzywa ROCJak to wszystko porównać?
Macierz pomyłek daje charakterystykę konkretnego wykorzystania klasyfikatora.
Jeżeli klasyfikator zwraca prawdopodobieństwo przynależności do klasy, to możemy określić jakie jest próg dla którego dokonamy ostatecznej klasyfikacji.
Zmiana progu zmienia macierz pomyłek.
Jeżeli zmniejszymy próg przynależności do postulowanej klasy, to zwiększamy czułość.
Ale jednocześnie zwiększamy ilość przypadków niepoprawnie zaklasyfikowanych do danej klasy (FP).
Wnioskowanie
Ocena klasyfikacji
Podsumowanie
Błędy w klasyfikacji Macierz pomyłek
Czułość, precyzja i ich znajomi
Krzywa ROC
Ocena klasyfikacji
Krzywa ROCJak to wszystko porównać?
Macierz pomyłek daje charakterystykę konkretnego wykorzystania klasyfikatora.
Jeżeli klasyfikator zwraca prawdopodobieństwo przynależności do klasy, to możemy określić jakie jest próg dla którego dokonamy ostatecznej klasyfikacji.
Zmiana progu zmienia macierz pomyłek.
Jeżeli zmniejszymy próg przynależności do postulowanej klasy, to zwiększamy czułość.
Ale jednocześnie zwiększamy ilość przypadków niepoprawnie zaklasyfikowanych do danej klasy (FP).
Wnioskowanie
Ocena klasyfikacji
Podsumowanie
Błędy w klasyfikacji Macierz pomyłek
Czułość, precyzja i ich znajomi
Krzywa ROC
Ocena klasyfikacji
Krzywa ROCJak to wszystko porównać?
Macierz pomyłek daje charakterystykę konkretnego wykorzystania klasyfikatora.
Jeżeli klasyfikator zwraca prawdopodobieństwo przynależności do klasy, to możemy określić jakie jest próg dla którego dokonamy ostatecznej klasyfikacji.
Zmiana progu zmienia macierz pomyłek.
Jeżeli zmniejszymy próg przynależności do postulowanej klasy, to zwiększamy czułość.
Ale jednocześnie zwiększamy ilość przypadków niepoprawnie zaklasyfikowanych do danej klasy (FP).
Wnioskowanie
Ocena klasyfikacji
Podsumowanie
Błędy w klasyfikacji Macierz pomyłek
Czułość, precyzja i ich znajomi
Krzywa ROC
Ocena klasyfikacji
Krzywa ROC (przykład)Przykłady w systemie Orange
Macierz pomyłek i krzywa ROC dla kNN i regresji logistycznej dla zbioru iris (orange-iris-roc-ex.ows) oraz przykłady dla różnych klasyfikatorów dla akcji z Kickstartera
Wnioskowanie Ocena klasyfikacji
Podsumowanie
Do zapamiętania Bonus: system Orange Materiały dodatkowe
Wnioskowanie Ocena klasyfikacji
Podsumowanie
Do zapamiętania
Bonus: system Orange Materiały dodatkowe
Podsumowanie
Ocenę jakości klasyfikacji (binarnej) daje macierz pomyłek.
Podczas konstrukcji klasyfikatora musimy brać pod uwagę czułość i precyzję.
Krzywa ROC pozwala:
określić zachowanie w zależności do dopuszczalnej czułości (TPR) i specyficzności (TNR);
Wnioskowanie Ocena klasyfikacji
Podsumowanie
Do zapamiętania
Bonus: system Orange Materiały dodatkowe
Podsumowanie
Ocenę jakości klasyfikacji (binarnej) daje macierz pomyłek. Podczas konstrukcji klasyfikatora musimy brać pod uwagę czułość i precyzję.
Krzywa ROC pozwala:
określić zachowanie w zależności do dopuszczalnej czułości (TPR) i specyficzności (TNR);
Wnioskowanie Ocena klasyfikacji
Podsumowanie
Do zapamiętania
Bonus: system Orange Materiały dodatkowe
Podsumowanie
Ocenę jakości klasyfikacji (binarnej) daje macierz pomyłek. Podczas konstrukcji klasyfikatora musimy brać pod uwagę czułość i precyzję.
Krzywa ROC pozwala:
określić zachowanie w zależności do dopuszczalnej czułości (TPR) i specyficzności (TNR);
Wnioskowanie Ocena klasyfikacji
Podsumowanie
Do zapamiętania
Bonus: system Orange Materiały dodatkowe
Podsumowanie
Ocenę jakości klasyfikacji (binarnej) daje macierz pomyłek. Podczas konstrukcji klasyfikatora musimy brać pod uwagę czułość i precyzję.
Krzywa ROC pozwala:
określić zachowanie w zależności do dopuszczalnej czułości (TPR) i specyficzności (TNR);
Wnioskowanie Ocena klasyfikacji
Podsumowanie
Do zapamiętania
Bonus: system Orange Materiały dodatkowe
Podsumowanie
Ocenę jakości klasyfikacji (binarnej) daje macierz pomyłek. Podczas konstrukcji klasyfikatora musimy brać pod uwagę czułość i precyzję.
Krzywa ROC pozwala:
określić zachowanie w zależności do dopuszczalnej czułości (TPR) i specyficzności (TNR);
Wnioskowanie Ocena klasyfikacji
Podsumowanie
Do zapamiętania
Bonus: system Orange
Materiały dodatkowe
Podsumowanie
Bonus: system OrangeSystem Orange
Oprogramowanie oparte na scikits-learn, rozwijane przez Bioinformatics Lab, University of Ljubljana, Słowenia. https://orangedatamining.com/
Wnioskowanie Ocena klasyfikacji
Podsumowanie
Do zapamiętania Bonus: system Orange
Materiały dodatkowe
Podsumowanie
Hipotezy statystyczne i błędy z nimi związane, https://www.statystyczny.pl/hipotezy-statystyczne/ ROC and AUC, Clearly Explained!,
Wnioskowanie Ocena klasyfikacji
Podsumowanie
Do zapamiętania Bonus: system Orange
Materiały dodatkowe