• Nie Znaleziono Wyników

Metody przyrostowego uczenia się ze strumieni danych.

N/A
N/A
Protected

Academic year: 2021

Share "Metody przyrostowego uczenia się ze strumieni danych."

Copied!
42
0
0

Pełen tekst

(1)

Metody przyrostowego uczenia się ze strumieni danych.

mgr inż. Magdalena Deckert Poznań, 30.11.2010r.

(2)

Plan prezentacji

 Wstęp

 Concept drift i typy zmian

 Algorytmy przyrostowego uczenia się ze

strumieni danych z concept drift

 FLORA

 AQ11-PM-WAH

 FACIL

(3)

Wstęp

 Schemat tworzenia klasyfikatorów

Dane uczące

Algorytm

(4)

Wstęp

(5)

Concept drift - definicja

Concept drift oznacza, że właściwości

klasy decyzyjnej, którą model próbuje przewidzieć, zmieniają się wraz z

upływem czasu w nieprzewidziany sposób.

 Stwarza to problemy ponieważ trafność

klasyfikacji maleje wraz z upływem czasu.

(6)

Concept drift

 Każdy przykład uczący Xt jest

generowany przez źródło St.

 Jeśli wszystkie przykłady uczące są

generowane przez to samo źródło, to mówimy, że pojęcia jest stabilne. Jeśli dla dwóch dowolnych punktów i oraz j Si ≠ Sj, to mówimy, że wystąpiło

zjawisko concept drift.

(7)
(8)

Algorytmy przyrostowe

 Algorytm przyrostowy – przetwarzanie

etykietowanych danych po przykładzie.

 Algorytmy przyrostowe powstały

znacznie wcześniej niż pojęcie concept

drift.

 Najbardziej znanym algorytmem dostosowanym do przetwarzania zmiennych środowisk jest FLORA zaproponowana przez Widmera i Kubata w 1996.

(9)

FLORA

 Okno czasowe z zapamiętanymi

przykładami uczącymi

 Przykłady są dodawane do okna gdy się

pojawią.

 Najstarsze przykłady są usuwane z

okna.

 Najprostszy przypadek – okno o stałym

rozmiarze. Stare przykłady są usuwane, gdy pojawią się nowe.

(10)

FLORA

 wiedza – nieuporządkowany zbiór reguł  z każdą hipotezą związane są 3 zbiory

ADES, NDES, PDES

 ADES – Accepted DEScriptors,

zawiera tylko przykłady pozytywne

 NDES – Negative DEScriptors,

zawiera tylko przykłady negatywne

 PDES- Potential DEScriptors,

zbyt ogólne, przykłady pozytywne i negatywne

(11)

FLORA

 Z każdym opisem pojęcia związane są

liczniki przykładów z okna wspierających daną regułę.

 Liczniki są uaktualniane z każdym

pojawieniem się nowego lub usunięciem starego przykładu uczącego z okna.

 Reguły przenoszone są między zbiorami

ADES, NDES i PDES w zależności od wartości liczników.

(12)

FLORA

 Pojawienie się nowego przykładu

pozytywnego może skutkować

 NDES – przeniesienie reguły do PDES  PDES – zwiększenie licznika

 ADES

○ Jeśli zostanie dopasowany do reguły zwiększany

jest licznik związany z regułą.

○ Jeśli reguła może zostać uogólniona, bez

naruszania przykładów z innych zbiorów, to jest uogólniana.

(13)
(14)

FLORA

 Rodzaje algorytmu FLORA

 FLORA – stały rozmiar okna czasowego

○ Dobór rozmiaru okna jest nietrywialny.

○ Zbyt małe okno może nie mieć wystarczającej

liczby przykładów do opisu stałych pojęć. Zbyt szerokie okno zwolni odpowiedź klasyfikatora na zmiany.

(15)

FLORA

 Rodzaje algorytmu FLORA

 FLORA2 – dynamiczne dostosowywanie rozmiaru okna czasowego

○ Dopasowywanie rozmiaru okna do zmian.

○ Rozmiar okna jest zmniejszany o 20% w przypadku wystąpienia concept drift.

○ Jeśli hipotezy są bardzo stabilne to rozmiar jest

zmniejszany o 1.

○ Jeśli wydaje się, że hipotezy są wystarczające to

rozmiar się nie zmienia.

○ W przypadku niewystarczającej wiedzy rozmiar

(16)
(17)

FLORA

(18)

FLORA 2

 Wyniki algorytmu FLORA 2 dla danych STAGGER:

(19)

FLORA 2

(20)

FLORA

 Rodzaje algorytmu FLORA

 FLORA3 – rozpoznawanie powracających

opisów pojęć

○ Pod koniec każdego cyklu uczenia

sprawdzany aktualny stan wiedzy pod kątem wykorzystania poprzednich opisów pojęć.

○ Opisy stałych pojęć są zapisywane w celu

możliwego wykorzystania w przyszłości.

○ Zapis oraz testowanie starych hipotez jest ściśle powiązane z WAH.

(21)

FLORA 3

 3 kroki rozważania poprzednich opisów:

 Znalezienie najlepszego kandydata – ocena

na podstawie przykładów pokrytych z aktualnego okna

 Aktualizacja najlepszego kandydata –

obliczanie liczników dla reguł

 Porównywania najlepszego kandydata z

aktualnymi opisami pojęć

 Poprzednie opisy są rozważane tylko w

(22)

FLORA 3

 Wyniki algorytmu FLORA 3 dla danych STAGGER:

(23)

FLORA

 Rodzaje algorytmu FLORA

 FLORA4 – uodpornienie na szum

○ Porzucenie ścisłego warunku spójności na

rzecz bardziej łagodnego.

○ Z każdą regułą związane są przedziały

ufności, które określają kiedy regułę należy przenieść między zbiorami.

○ Nie istnieje migracja pomiędzy zbiorami PDES

(24)

FLORA 4

 Efektem tej strategii jest dopuszczenie pokrywania przykładów negatywnych przez reguły ze zbiorów ADES i NDES.

 Zbiór PDES traktowany jest jako

magazyn reguł, które są niewiarygodne, gdyż pokrywają za mało przykładów lub za dużo przykładów negatywnych.

 Miary trafności predykcji dla hipotez

obliczane są zawsze dla aktualnego okna czasowego.

(25)

FLORA 4

 Wyniki algorytmu FLORA 4 dla danych STAGGER :

(26)

FLORA 4

 Wyniki algorytmu FLORA 4 dla danych STAGGER z 10% szumu:

(27)

FLORA 4

 Wyniki algorytmu FLORA 4 dla danych STAGGER z 20% szumu:

(28)

FLORA 4

 Wyniki algorytmu FLORA 4 dla danych STAGGER z 40% szumu:

(29)

AQ11-PM+WAH

 Ogólne działanie algorytmu AQ

 Algorytm wybiera przykład z klasy

pozytywnej

 Uogólnia jego opis tak, aby nie pokryć

przykładów z klasy negatywnej i formuje regułę.

 Przykłady pokryte przez regułę są usuwane i

proces generowania kolejnych reguł jest powtarzany.

 Algorytm w taki sam sposób generuje reguły

(30)

AQ11-PM+WAH

 Algorytm AQ11 jest rozszerzeniem AQ na algorytm uczenia przyrostowego

reguł bez pamięci przykładów.

 AQ11 wykorzystuje zdolność AQ do

generowania reguł pokrywających rozdzielne zbiory.

 Przykłady uczące są najbardziej

(31)

AQ11-PM+WAH

 Generalizując regułę dla przykładów

pozytywnych AQ11 tworzy zbiór

składający się z reguły i niepokrytych przykładów pozytywnych.

 Następnie AQ11 wykorzystuje algorytm

AQ do wygenerowania pokrycia

przeciwko przykładom negatywnym.

 AQ11 jest wrażliwy na kolejność

(32)

AQ11-PM+WAH

 AQ11-PM posiada częściową pamięć

przykładów.

 AQ11-PM wykorzystuje wygenerowane reguły do selekcji przykładów

granicznych i je zapamiętuje.

 Kiedy pojawiają się nowe przykłady

algorytm łączy je z tymi

przechowywanymi w pamięci i generuje nowy zbiór za pomocą AQ11.

(33)

AQ11-PM+WAH

 Algorytm AQ11-PM posiada ukryty mechanizm zapominania.

 W celu śledzenia zmian w środowisku

niezbędny może być jawny mechanizm zapominania.

 Algorytm AQ11-PM połączono z

heurystyką WAH zaproponowaną przez Widmera i Kubata.

(34)
(35)

FACIL

 Fast and Adaptive Classifier by Incremental Learning

 Podstawą podejścia jest fakt, że reguły

mogą być niespójne.

 Z regułami związany jest próg

minimalnej czystości definiowany przez użytkownika.

(36)

FACIL

 Kiedy próg zostanie osiągnięty,

przykłady związane z regułą zostają wykorzystane do wygenerowania

nowych spójnych reguł.

 Podejście zbliżone do AQ11. Różni się

tym, że dla jednego pokrytego przykładu negatywnego zapamiętywane są dwa

przykłady pozytywne.

 Zapamiętywane przykłady niekoniecznie

(37)

FACIL

 Każda reguła opisana jest m

atrybutowym zbiorem przedziałów zawierających dolną i górną granicę.

 Reguły przechowywane są w

oddzielnych zbiorach w zależności od etykiety klasy decyzyjnej.

 Model jest uaktualniany z każdym

przybyciem nowego przykładu uczącego.

(38)

FACIL

 Z każdym nowym przykładem związane

są 3 możliwe sytuacje:

 Dopasowanie do reguł pozytywnych –

faworyzowane są reguły wymagające

najmniejszych zmian na minimalnym zbiorze atrybutów.

 Dopasowanie do reguł negatywnych –

obliczanie nowej czystości reguły.

 Brak dopasowanych reguł – generalizacja

opisu przykładu, tak aby nie pokryć przykładów negatywnych.

(39)

FACIL

 Algorytm FACIL wyposażony został

mechanizm zapominania.

 Ukryty mechanizm zapominania – przykłady,

które są już nieprzydatne do opisu granicy reguły są usuwane.

 Jawny mechanizm zapominania – przykłady,

które są starsze niż próg zdefiniowany przez użytkownika są usuwane.

(40)

Podsumowanie

 Krótkie wprowadzenie do strumieni

danych

Definicja concept drift oraz typy zmian.

 Regułowe algorytmy przyrostowe w

(41)
(42)

Cytaty

Powiązane dokumenty

Inną — również skuteczną jak poprzednia — metodą uczenia się altruizmu jest powierzanie dzieciom i młodzieży konkretnych zadań, związanych z przeja ­ wianą

[r]

Poniewa˙z w dowodzie nie wprost uzyskano par˛e formuł wzajem sprzecznych, wi˛ec badana formuła jest tez ˛ a systemu zało˙zeniowego klasycznego rachunku zda´n.. Inny przykład

Niejasne podziały korzyści oraz kosztów pomiędzy partnerami Brak umiejętności współpracy w celu osiągnięcia wspólnych korzyści.. Nieprecyzyjne ustanawianie celów współpracy

Jeżeli zaś zmiana ta będzie dokonana w kierunku nowych ulg, wówczas może być powiedziane, że przyznaliśmy się do słabości, co poderwie autorytet niezłomności nowej władzy

Niczym rój szerszeni rzucili się na przeszkadzających mężczyzn w naszych spotkaniach, nie zważając na przewagę liczebną, nie dbając o rany i krwawą ofiarę, przepełnieni

a) Jakie jest prawdopodobie´nstwo, ˙ze jest to kr´ol lub karta koloru czarnego.?. b) Wylosowana karta okaza la si¸e

∙ Algorytm kieszonkowy ma za zadanie znaleźć najlepsze możliwe rozwiązanie nawet w przypadku problemów, które nie są liniowo separowalne. ∙ Zapamiętuje tylko wagi