Obliczenia ewolucyjne - plan wykładu
Wprowadzenie Algorytmy genetyczne Programowanie genetyczne Programowanie ewolucyjne Strategie ewolucyjne
Inne modele obliczeń ewolucyjnych Podsumowanie
Ewolucja
Ewolucja – OPTYMALIZACJA
Udoskonalanie zdolności przeżycia
Optymalizacja globalna
Dla zadanej przestrzeni X znajdź x∈X spełniające określone warunki.
Dla zadanej przestrzeni X oraz funkcji celu f:X→R znajdź x∈X takie, że f(x) jest minimum (maksimum) funkcji f na zbiorze X.
Optymalizacja globalna
Metody klasyczne Analityczne
Numeryczne (gradientowe) Enumeracyjne
M. Miczek, Algorytmy genetyczne i ich zastosowanie do dopasowywania zależności teoretycznych do doświadczalnych
Inne metody
Sieci neuronowe Obliczenia ewolucyjne Logika rozmyta Błądzenie przypadkowe Symulowane wyżarzanie
Obliczenia ewolucyjne
Przeszukiwanie przestrzeni
alternatywnych rozwiązań oparte na mechanizmach doboru
naturalnego oraz dziedziczenia Ewolucyjna zasada przeżycia
najlepiej przystosowanych +
systematyczna zrandomizowana
wymiana informacji
Zrandomizowane poszukiwanie
Nie oznacza na oślep!
Wybór losowy
Narzędzie do ukierunkowania procesu poszukiwań
Klasy algorytmów ewolucyjnych
Algorytmy genetyczne (AG) Strategie ewolucyjne (SE)
Programowanie ewolucyjne (PE) Programowanie genetyczne (PG)
GBML (genetic-based machine learning)
Podstawowy AG (PAG)
Zastosowania AE
Optymalizacja wielokryterialna Klasyfikacja i klasteryzacja Planowanie
Projektowanie
Komponowanie muzyki Data mining
...
AE to metoda ostatniej szansy :)
Obliczenia ewolucyjne
Populacja osobników
Kodowanie rozwiązań: chromosom, gen, allel Funkcja przystosowania
Selekcja osobników do reprodukcji
Operatory genetyczne: krzyżowanie, mutacja
Reprezentacja rozwiązań
Populacja
Zbiór osobników reprezentujących rozwiązania problemu
Chromosom (genom)
Punkt w przestrzeni poszukiwań Uporządkowany zbiór genów
Gen
Najmniejsza jednostka informacji genetycznej Reprezentuje pojedynczą cechę osobnika
Reprezentuje jeden z parametrów problemu optymalizacji
Reprezentacja rozwiązań
Allele
Wartości genu
Gdy gen jest wartością binarną, to allelami są wartości: 0, 1
Genotyp
Zespół chromosomów opisujących osobnika Zakodowana postać genotypu
Bliźnięta jednojajowe!
Fenotyp
Opis osobnika w przestrzeni rozwiązań
Rzeczywiste cechy określające stopień przystosowania
Genotyp vs. Fenotyp!
Mogą istnieć osobniki o różnych genotypach itym samym fenotypie
Nie odwrotnie!
Zależność pomiędzy genotypem a fenotypem może być skomplikowana:
Losowa zmiana genów powoduje nieoczekiwane zmiany fenotypu
Zestaw genow wpływa na konkretną cechę fenotypu; by zmienić cechę należy zmienić wszystkie geny
Chrosom
Wpływa na wydajność i złożoność algorytmu Klasyczne metody optymalizacyjne
Wektor liczb rzeczywistych Algorytmy ewolucyjne
Ciągi binarne (AG) Drzewa (PG)
Liczby rzeczywiste (PE)
Biologia vs.Informatyka
Biologia
Gen Chromosom Osobnik Populacja Krzyżowanie Mutacja
Informatyka
Bit Ciąg bitów
Punkt w przestrzeni rozwiązań Zbiór punktów
Wymiana ciągów bitów Negacja bitów
Funkcja przystosowania
Fitness Function
Funkcja przystosowania, dopasowania, oceny Może być różna od funkcji celu (kosztu), ktorą optymalizujemy
Przypisuje chromosomowi skalar
Funkcja przystosowania
Ocenia chromosom
Wykorzystywane przez operatory genetyczne
Selekcja, krzyżowanie, mutacja
Uwzględnia kryteria wykorzystywane w optymalizacji
Może uwzględniać ograniczenia
Karanie osobników łamiących ograniczenia
Nie musi, bo można je uwzględnić przy inicjalizacji, reprodukcji, czy mutacji
Populacja początkowa
Wybór losowy ze zbioru dozwolonych wartości
Reprezentatywna próbka całej przestrzeni poszukiwań
Wykorzystanie wiedzy o problemie Oportunistyczny algorytm
Może być przedwcześne zbieżny do minimum lokalnego
Populacja początkowa
Rozmiar Mała
Pokrywa małą przestrzeń Może potrzebować więcej epok Zwiększenie częstości mutacji – zwiększenie przestrzeni
poszukiwań Duża
Złożoność czasowa pojedynczej epoki rośnie
Populacja początkowa
Wybrór osobników Nowa generacja Krzyżowanie Mutacja
Explicit fitness remapping Normalizacja wartości przystosowania do [0,1]
Selekcja na podstawie nowych wartości
Implicit fitness remapping
Selekcja na podstawie rzeczywistej wartości funkcji przystosowania
Metody selekcji
Losowa
Wszyscy mają taką samą szansę wyboru Selekcja proporcjonalna
Prawdopodobieństwo wyboru osobnika proporcjonalne do wartości funkcji przystosowania
Koło ruletki
Metody selekcji
Selekcja turniejowa
Selekcja rankingowa
Strategia elitarna
Koło ruletki
Metoda proporcjonalna Wartości przystosowania są znormalizowane
Podzielona przez największą wartość
Większe prawdopodobieństwo ⇒ większy fragment koła
Częstszy wybór
Selekcja ⇒ kręcenie kołem
Koło ruletki
Selekcja turniejowa
Wybieramy losowo k osobników, którzy rozgrywają turniej
Najlepiej przystosowany wygrywa Dwa turnieje dla krzyżowania
Rodzic może być wielokrotnie wybrany do reprodukcji
Można krzyżować osobnika ze sobą samym Czy to powinno być dozwolone?
Selekcja turniejowa
Zalety
Najgorsze osobniki zostaną odrzucone
Najlepszy osobnik nie zdominuje reprodukcji
Polepsza działanie AG (zamiast
ruletki)
Selekcja rankingowa
Ranking wartości funkcji przystosowania
Osobnikowi jest przypisana ranga zależna od wartości FP
Lista rankingowa ustala p-wo wyboru
P-wo selekcji jest niezależne od rzeczywistej wartości FP
Osobnik o bardzo wysokiej wartości FP nie zdominuje selekcji
Selekcja rankingowa
Non-deterministic linear sampling
Osobniki w porządku malejącym zgodnie z FP
Pierwszy jest najlepiej przystosowany Selekcja:
Wybieramy osobnika
Strategia elitarna
Wybranie zbioru osobników najlepiej
przystosowanych do generacji potomnej (bez zmian)
Generation gap
Liczba osobników, które mają przetrwać w populacji potomnej bez mutacji
0 ⇒ całkowicie nowa populacja k ⇒ k osobnikow przeżywa
k najlepiej przystosowanych
k wybranych dowolną metodą selekcji
Operatory reprodukcji
Krzyżowanie
Kojarzenie chromosomów w pary (rodzice) Materiał genetyczny potomka jest kombinacją materiałów genetycznych rodziców
Mutacja
Losowa zmiana wartości genów w chromosomie Cel to zróżnicowanie materiału genetycznego w populacji ⇒ zwiększenie przestrzeni poszukiwań Zazwyczaj zachodzi rzadko (małe p-wo)
Operatory reprodukcji
Stosowane do utworzenia nowej populacji Może być stosowana z zastępowaniem
Potomkowie zastępują rodziców tylko wówczas, gdy są lepiej przystosowane Charakterystyka związana z reprezentacją chromosomu
PAG
1 Stawiamy licznik generacji g=0
2 Inicjalizacja populacji Cg
złożonej z N osobnikow
3 Dopóki !STOP
1 Oceń wszystkie osobniki w populacji Cg
2 Zastosuj krzyżowanie
1 Wybierz rodziców
2 Utwórz potomka
3 Zastosuj mutację
1 Wybierz osobnika
2 Dokonaj mutacji
4 Wybierz nową generację Cg +1 5 g=g+1
STOP
Ustalona liczba generacji Jest osobnik o zadawalającej wartości FP
Średnia i/lub maksymalna wartość przystosowania nie zmieniła się znacząco przez ostatnich k generacji
No-free-lunch Theorem (NFL)
Nie istnieje uniwersalny algorytm przeciętnie lepszy od wszystkich pozostałych [Wolpert &
Macready 1996]
Optymalizacja cd
Proces poszukiwania rozwiązania
Deterministyczny Sekwencyjny
Startuje od jednego punktu
Probabilistyczny Równoległy
Staruje ze zbiorem punktów
Informacje o przestrzeni poszukiwań
Pochodne Wartości FP
osobników
Pytania
Jak zapewnić przeszukanie dużej części przestrzeni poszukiwań przy mało licznej populacji?
Jak zapobiec przedwczesnej zbieżności?
Jak można wykorzystać AE do uczenia SN?
Uwzględnij:
Reprezentację
Funkcję przystosowania
