Ograniczenia uczenia maszynowego Modele
Przykład automatyzacji uczenia Uczenie nadzorowane Uczenie nienadzorowanie Uczenie częściowo nadzorowanie Uczenie ze wzmacnianiem
Warianty uczenia maszynowego
Uczenie nadzorowane
W zależności o przeciwdziedziny funkcji nasze zadanie to klasyfikacja bądź regresja.
W przypadku klasyfikacji zakładamy, że yi należy do zbioru skończonego (dyskretnego).
Tego typu zmienną nazywamy kategoryczną.
Jeżeli etykiety yi są dwie, to klasyfikacja jest binarna.
Jeżeli dopuszczamy yi ∈ R, to problem taki nazywamy regresją.
9 / 57
Warianty uczenia maszynowego Ograniczenia uczenia maszynowego Modele
Przykład automatyzacji uczenia Uczenie nadzorowane Uczenie nienadzorowanie Uczenie częściowo nadzorowanie Uczenie ze wzmacnianiem
Warianty uczenia maszynowego
Uczenie nadzorowane
Nasz algorytm może dawać różne wyniki określające prawdopodobieństwo przynależności do klasy.
Odpowiedź systemu to ta klasa, dla której prawdopodobieństwo jest największe
arg maxc∈Cp(y = c|x , D)
10 / 57
Warianty uczenia maszynowego Ograniczenia uczenia maszynowego Modele
Przykład automatyzacji uczenia Uczenie nadzorowane Uczenie nienadzorowanie Uczenie częściowo nadzorowanie Uczenie ze wzmacnianiem
Warianty uczenia maszynowego
Uczenie nadzorowane
Nasz algorytm może dawać różne wyniki określające prawdopodobieństwo przynależności do klasy.
Odpowiedź systemu to ta klasa, dla której prawdopodobieństwo jest największe
arg maxc∈Cp(y = c|x , D)
10 / 57
Warianty uczenia maszynowego Ograniczenia uczenia maszynowego Modele
Przykład automatyzacji uczenia Uczenie nadzorowane Uczenie nienadzorowanie Uczenie częściowo nadzorowanie Uczenie ze wzmacnianiem
Warianty uczenia maszynowego
Uczenie nienadzorowanie
W uczeniu nienadzorowanym nie mamy do dyspozycji informacji o etykietach.
Do dyspozycji mamy jedynie dane wejściowe {xi}.
Jest to scenariusz podobny do tego z jakim spotykamy się przy uczeniu się człowieka.
11 / 57
Warianty uczenia maszynowego Ograniczenia uczenia maszynowego Modele
Przykład automatyzacji uczenia Uczenie nadzorowane Uczenie nienadzorowanie Uczenie częściowo nadzorowanie Uczenie ze wzmacnianiem
Warianty uczenia maszynowego
Uczenie nienadzorowanie
W uczeniu nienadzorowanym nie mamy do dyspozycji informacji o etykietach.
Do dyspozycji mamy jedynie dane wejściowe {xi}.
Jest to scenariusz podobny do tego z jakim spotykamy się przy uczeniu się człowieka.
11 / 57
Warianty uczenia maszynowego Ograniczenia uczenia maszynowego Modele
Przykład automatyzacji uczenia Uczenie nadzorowane Uczenie nienadzorowanie Uczenie częściowo nadzorowanie Uczenie ze wzmacnianiem
Warianty uczenia maszynowego
Uczenie nienadzorowanie
W uczeniu nienadzorowanym nie mamy do dyspozycji informacji o etykietach.
Do dyspozycji mamy jedynie dane wejściowe {xi}.
Jest to scenariusz podobny do tego z jakim spotykamy się przy uczeniu się człowieka.
11 / 57
Warianty uczenia maszynowego Ograniczenia uczenia maszynowego Modele
Przykład automatyzacji uczenia Uczenie nadzorowane Uczenie nienadzorowanie Uczenie częściowo nadzorowanie Uczenie ze wzmacnianiem
Warianty uczenia maszynowego
Uczenie nienadzorowanie
Podstawowym zadaniem uczenia nienadzorowanego jest klasteryzacja, czyli odkrycie struktury danych wejściowych.
Kolejnym zadaniem jest asocjacja, gdzie chcemy określić reguły opisujące nasze dane.
Uczeniem bez nadzoru jest również detekcja anomalii. Do tej grupy zalicza się również metody związane z redukcją wymiarowości
12 / 57
Warianty uczenia maszynowego Ograniczenia uczenia maszynowego Modele
Przykład automatyzacji uczenia Uczenie nadzorowane Uczenie nienadzorowanie Uczenie częściowo nadzorowanie Uczenie ze wzmacnianiem
Warianty uczenia maszynowego
Uczenie nienadzorowanie
Podstawowym zadaniem uczenia nienadzorowanego jest klasteryzacja, czyli odkrycie struktury danych wejściowych.
Kolejnym zadaniem jest asocjacja, gdzie chcemy określić reguły opisujące nasze dane.
Uczeniem bez nadzoru jest również detekcja anomalii. Do tej grupy zalicza się również metody związane z redukcją wymiarowości
12 / 57
Warianty uczenia maszynowego Ograniczenia uczenia maszynowego Modele
Przykład automatyzacji uczenia Uczenie nadzorowane Uczenie nienadzorowanie Uczenie częściowo nadzorowanie Uczenie ze wzmacnianiem
Warianty uczenia maszynowego
Uczenie nienadzorowanie
Podstawowym zadaniem uczenia nienadzorowanego jest klasteryzacja, czyli odkrycie struktury danych wejściowych.
Kolejnym zadaniem jest asocjacja, gdzie chcemy określić reguły opisujące nasze dane.
Uczeniem bez nadzoru jest również detekcja anomalii.
Do tej grupy zalicza się również metody związane z redukcją wymiarowości
12 / 57
Warianty uczenia maszynowego Ograniczenia uczenia maszynowego Modele
Przykład automatyzacji uczenia Uczenie nadzorowane Uczenie nienadzorowanie Uczenie częściowo nadzorowanie Uczenie ze wzmacnianiem
Warianty uczenia maszynowego
Uczenie nienadzorowanie
Podstawowym zadaniem uczenia nienadzorowanego jest klasteryzacja, czyli odkrycie struktury danych wejściowych.
Kolejnym zadaniem jest asocjacja, gdzie chcemy określić reguły opisujące nasze dane.
Uczeniem bez nadzoru jest również detekcja anomalii.
Do tej grupy zalicza się również metody związane z redukcją wymiarowości
12 / 57
Warianty uczenia maszynowego Ograniczenia uczenia maszynowego Modele
Przykład automatyzacji uczenia Uczenie nadzorowane Uczenie nienadzorowanie Uczenie częściowo nadzorowanie Uczenie ze wzmacnianiem
Warianty uczenia maszynowego
Uczenie częściowo nadzorowanie
Jeżeli część naszych danych jest poetykietowana (czyli trudna do uzyskania), ale znaczna część nie zawiera informacji o etykietach to mówimy o uczeniu częściowo nadzorowanym.
13 / 57
Warianty uczenia maszynowego Ograniczenia uczenia maszynowego Modele
Przykład automatyzacji uczenia Uczenie nadzorowane Uczenie nienadzorowanie Uczenie częściowo nadzorowanie Uczenie ze wzmacnianiem
Warianty uczenia maszynowego
Uczenie ze wzmacnianiem
Osobną grupą metod stanowi uczenie ze wzmocnieniem.
W tym schemacie agent otrzymuje nagrodę na podstawie wykonanych akcji.
Cel
Wypracowanie reguł postępowania które mają doprowadzić do rozwiązania problemu.
14 / 57
Warianty uczenia maszynowego Ograniczenia uczenia maszynowego Modele
Przykład automatyzacji uczenia Uczenie nadzorowane Uczenie nienadzorowanie Uczenie częściowo nadzorowanie Uczenie ze wzmacnianiem
Warianty uczenia maszynowego
Uczenie ze wzmacnianiem
Osobną grupą metod stanowi uczenie ze wzmocnieniem.
W tym schemacie agent otrzymuje nagrodę na podstawie wykonanych akcji.
Cel
Wypracowanie reguł postępowania które mają doprowadzić do rozwiązania problemu.
14 / 57
Warianty uczenia maszynowego Ograniczenia uczenia maszynowego Modele
Przykład automatyzacji uczenia Uczenie nadzorowane Uczenie nienadzorowanie Uczenie częściowo nadzorowanie Uczenie ze wzmacnianiem
Warianty uczenia maszynowego
Uczenie ze wzmacnianiem
Osobną grupą metod stanowi uczenie ze wzmocnieniem.
W tym schemacie agent otrzymuje nagrodę na podstawie wykonanych akcji.
Cel
Wypracowanie reguł postępowania które mają doprowadzić do rozwiązania problemu.
14 / 57
Warianty uczenia maszynowego Ograniczenia uczenia maszynowego Modele
Przykład automatyzacji uczenia Uczenie nadzorowane Uczenie nienadzorowanie Uczenie częściowo nadzorowanie Uczenie ze wzmacnianiem
Warianty uczenia maszynowego
Uczenie ze wzmacnianiem
Agent wykonuje akcje ma podstawie stanu. Środowisko
interpretuje akcje. Agent otrzymuje nagrodę.
Na podstawie nagrody agent ma wypracować politykę.
Środowisko
Agent
Akcej
Interpretacja Nagroda Stan
Źródło: Reinforcement learning w Wikipedii
15 / 57
Warianty uczenia maszynowego Ograniczenia uczenia maszynowego Modele
Przykład automatyzacji uczenia Uczenie nadzorowane Uczenie nienadzorowanie Uczenie częściowo nadzorowanie Uczenie ze wzmacnianiem
Warianty uczenia maszynowego
Uczenie ze wzmacnianiem
Agent wykonuje akcje ma podstawie stanu.
Środowisko interpretuje akcje. Agent otrzymuje nagrodę.
Na podstawie nagrody agent ma wypracować politykę.
Środowisko
Agent
Akcej
Interpretacja Nagroda Stan
Źródło: Reinforcement learning w Wikipedii
15 / 57
Warianty uczenia maszynowego Ograniczenia uczenia maszynowego Modele
Przykład automatyzacji uczenia Uczenie nadzorowane Uczenie nienadzorowanie Uczenie częściowo nadzorowanie Uczenie ze wzmacnianiem
Warianty uczenia maszynowego
Uczenie ze wzmacnianiem
Agent wykonuje akcje ma podstawie stanu.
Środowisko interpretuje akcje.
Agent otrzymuje nagrodę.
Na podstawie nagrody agent ma wypracować politykę.
Środowisko
Agent
Akcej
Interpretacja Nagroda Stan
Źródło: Reinforcement learning w Wikipedii
15 / 57
Warianty uczenia maszynowego Ograniczenia uczenia maszynowego Modele
Przykład automatyzacji uczenia Uczenie nadzorowane Uczenie nienadzorowanie Uczenie częściowo nadzorowanie Uczenie ze wzmacnianiem
Warianty uczenia maszynowego
Uczenie ze wzmacnianiem
Agent wykonuje akcje ma podstawie stanu.
Środowisko interpretuje akcje.
Agent otrzymuje nagrodę.
Na podstawie nagrody agent ma wypracować politykę.
Środowisko
Agent
Akcej
Interpretacja Nagroda Stan
Źródło: Reinforcement learning w Wikipedii
15 / 57
Warianty uczenia maszynowego Ograniczenia uczenia maszynowego Modele
Przykład automatyzacji uczenia Uczenie nadzorowane Uczenie nienadzorowanie Uczenie częściowo nadzorowanie Uczenie ze wzmacnianiem
Warianty uczenia maszynowego
Uczenie ze wzmacnianiem
Agent wykonuje akcje ma podstawie stanu.
Środowisko interpretuje akcje.
Agent otrzymuje nagrodę.
Na podstawie nagrody agent ma wypracować politykę.
Środowisko
Agent
Akcej
Interpretacja Nagroda Stan
Źródło: Reinforcement learning w Wikipedii
15 / 57
Warianty uczenia maszynowego Ograniczenia uczenia maszynowego Modele
Przykład automatyzacji uczenia Uczenie nadzorowane Uczenie nienadzorowanie Uczenie częściowo nadzorowanie Uczenie ze wzmacnianiem
Warianty uczenia maszynowego
Uczenie ze wzmacnianiem
Ogólny schemat modelowania procesu uczenia się na podstawie zdobywanego doświadczenia.
Stosowany z powodzeniem do gier (komputerowych), w tym do Go.
16 / 57
Warianty uczenia maszynowego Ograniczenia uczenia maszynowego Modele
Przykład automatyzacji uczenia Uczenie nadzorowane Uczenie nienadzorowanie Uczenie częściowo nadzorowanie Uczenie ze wzmacnianiem
Warianty uczenia maszynowego
Uczenie ze wzmacnianiem
Ogólny schemat modelowania procesu uczenia się na podstawie zdobywanego doświadczenia.
Stosowany z powodzeniem do gier (komputerowych), w tym do Go.
16 / 57
Warianty uczenia maszynowego