Wykład 02A – ...i dane

(1)

Dane

Podstawy uczenia maszynowego

Wykład 02A – . . . i dane (uzupełnienie wykładu 02)

Jarosław Miszczak

(2)

Dane

1 Dane

(3)

Dane

Etapy przetwarzania danych Dane tabelowe

Trening vs testowanie Źródła danych

Przykład: Reprezentacja informacji dla UM

(4)

Dane

Etapy przetwarzania danych

Dane tabelowe Trening vs testowanie Źródła danych

Dane

Właściwe określenie celu

Jakiego rodzaju zadania należy użyć – klasyfikacji, predykcji czy może grupowania?

Określenie danych charakteryzujących dany problem – wybranie danych z pośród dostępnych danych bądź przygotowanie danych.

(5)

Dane

Właściwe określenie celu

Jakiego rodzaju zadania należy użyć – klasyfikacji, predykcji czy może grupowania?

Określenie danych charakteryzujących dany problem – wybranie danych z pośród dostępnych danych bądź przygotowanie danych.

(6)

Dane

Czyszczenie danych

Kilka rzeczy o których warto pamiętać:

Utworzenie zbioru spójnego pod względem jednostek. Uzupełnienie bądź usunięcie niepełnych rekordów.

Eliminacja rekordów odstających od reszty (ang. outliers).

(7)

Dane

Czyszczenie danych

Utworzenie zbioru spójnego pod względem jednostek.

Uzupełnienie bądź usunięcie niepełnych rekordów.

(8)

Dane

Czyszczenie danych

Eliminacja rekordów odstających od reszty (ang. outliers).

(9)

Dane

Czyszczenie danych

(10)

Dane

Dane tabelowe

Dane

Dane tabelowe

(11)

Dane

Dane tabelowe

Dane

Dane tabelowe

(12)

Dane

Dane tabelowe

Dane

Dane tabelowe

(13)

Dane

Trening vs testowanie

Źródła danych

Dane

Dane do uczenia i dane do testowania powinny być różne!

zbiór treningowy – uczenie algorytmów kandydujących, zbiór walidacyjny – porównanie wyników algorytmów (i dostrojenie parametrów) żeby wyłonić najlepszy, zbiór testowy – zestaw danych służy do uzyskania charakterystyki wydajności algorytmu.

(14)

Dane

Źródła danych

Dane

Dane do uczenia i dane do testowania powinny być różne! zbiór treningowy – uczenie algorytmów kandydujących,

zbiór walidacyjny – porównanie wyników algorytmów (i dostrojenie parametrów) żeby wyłonić najlepszy, zbiór testowy – zestaw danych służy do uzyskania charakterystyki wydajności algorytmu.

(15)

Dane

Źródła danych

Dane

Dane do uczenia i dane do testowania powinny być różne! zbiór treningowy – uczenie algorytmów kandydujących, zbiór walidacyjny – porównanie wyników algorytmów (i dostrojenie parametrów) żeby wyłonić najlepszy, zbiór testowy – zestaw danych służy do uzyskania charakterystyki wydajności algorytmu.

(16)

Dane

Źródła danych

Dane

Źródła danych

http://archive.ics.uci.edu/ml/

(17)

Dane

Źródła danych

Dane

Źródła danych

(18)

Dane

Iris dataset – Dane do klasyfikacji gatunków kosaćców.

Reprezentacja danych o gatunkach roślin w postaci tabeli czterech atrybutów.

from sklearn import datasets iris = datasets.load iris()

(19)

Dane

Szerok

o´s

´c

p latk

(20)

Dane

(21)

Dane