Reprezentacja problemu w przestrzeni stan´ ow

Motywacja

Jeste´smy ekspertem/doradca_֒ w jednej z agencji rzadowych, i w niedziel_֒ e_֒ wieczorem prezes agencji dzwoni do nas na kom´orke, ˙zeby poinformowa´c, ˙ze w poniedzia lek rano_֒ o godzinie 10-tej odbedzie si_֒ e_֒ wa˙zna narada w Ministerstwie Infrastruktury, i konieczna jest nasza niezawodna obecno´s´c.

Co robi´c?

Mamy wiele mo˙zliwo´sci, mo˙zemy wr´oci´c do kolacji z rodzina, mo˙zemy p´oj´s´c na spacer_֒

˙zeby sie_֒ odstresowa´c.

Wiemy jednak, ˙ze musimy zaplanowa´c podr´o˙z do Warszawy. Samolot nie jest dobra_֒ opcja. W tanich liniach lotniczych wszystkie miejsca s_֒ a_֒ dawno wykupione, a w LOT sa_֒ pewnie jeszcze miejsca, ale jak rano bedzie mg la i samolot nie odleci, to zostawimy_֒ szefa na lodzie, i potem pewnie mo˙zemy sie_֒ ju˙z w og´ole nie pokazywa´c w agencji (odprawe_֒ przy´sla_֒ nam na konto).

Co gorsza, PKP w dzisiejszych czasach r´ownie˙z ma zwyczaj odwo lywa´c pociagi z dnia_֒ na dzie´n, i nie ma pewno´sci, czy mo˙zemy liczy´c na nocny pociag 1:32 (jest_֒

w Warszawie o 7:32). Mo˙zemy sprawdzi´c te_֒ opcje, ale mo˙ze si_֒ e_֒ okaza´c, ˙ze czeka nas jazda samochodem.

Og´olnie, jest szereg mo˙zliwo´sci, ka˙zda z nich wymaga starannego rozwa˙zenia. Prowadzi to do przeszukiwania.

Przeszukiwanie jest elementem sk ladowym wszystkich metod sztucznej inteligencji, i zdolno´s´c skutecznego przeszukiwania w og´ole zdaje sie_֒ by´c inherentnym elementem inteligencji.

Reprezentacja problemu w przestrzeni stan´ ow

1. przestrze´n stan´ow

• mo˙ze mie´c posta´c iloczynu kartezja´nskiego dziedzin parametr´ow opisu

• przestrze´n mo˙ze by´c sko´nczona lub niesko´nczona, cho´c nie musi to by´c zwiazane_֒ z trudno´scia_֒ problemu (np. szachy)

• czasem cze´s´c_֒ ca lej formalnie zdefiniowanej przestrzeni stanowia_֒ stany niedozwolone (inaczej: nieosiagalne)_֒

2. stan poczatkowy, zawsze jawnie podany_֒

3. stan docelowy, jawny lub niejawny (warunek osiagni_֒ ecia celu)_֒

4. dostepne operatory przej´scia od stanu do stanu, inaczej: funkcja nast_֒ epnika,_֒ successor function

• np. w postaci warunk´ow stosowalno´sci i efekt´ow dzia lania

• operator mo˙ze by´c sparametryzowany (np. w labiryncie mo˙zemy mie´c jeden operator ruchu, cztery operatory, albo liczbe_֒ miejsc razy cztery)

⇒ Zadaniem jest wyznaczenie sekwencji operator´ow prowadzacych ze stanu_֒ poczatkowego do celowego.

Og´ olny schemat przeszukiwania w przestrzeni stan´ ow

PROCEDURE GT(St) ; St - opis stanu poczatkowego BEGIN

UNTIL Term(St) DO ; stan St spelnia warunek celu BEGIN

Op := first(ApplOps(St)) ; wybierz operator stosowalny w stanie St St := Apply(Op, St) ; rezultat zastosowania Op do stanu St END

END

Co prawda powy˙zszy zapis algorytmu GT (Generate-and-Test) sugeruje, ˙ze wybiera on pierwszy mo˙zliwy do zastosowania w stanie St operator, jednak algorytm ma wp lyw na ten wyb´or operatora przez odpowiednie posortowanie listy operator´ow. Metode_֒ wyboru operatora przez algorytm przeszukiwania nazywamy strategi

a.֒

Zastosowanie dobrej strategii jest w algorytmach przeszukiwania zagadnieniem kluczowym.

Strategie ´slepe i poinformowane

Strategia mo˙ze by´c ca lkowicie og´olna, bazujaca tylko na syntaktycznych w lasno´sciach_֒ reprezentacji zagadnienia, i dajaca si_֒ e_֒ wykorzysta´c we wszystkich mo˙zliwych

przypadkach. Takie strategie nazywa sie_֒ ´slepymi.

Przyk lad: ca lkiem u˙zyteczna ´s_֒ lepa_֒ (i to dos lownie) strategia_֒ w przeszukiwaniu

labirynt´ow jest strategia prawej reki. Strategia ta pozwala znale´z´c wyj´scie z labiryntu,_֒ je´sli tylko takowe istnieje.

Strategie moga_֒ r´ownie˙z wykorzystywa´c informacje o stanie, specyficzne dla danej dziedziny problemowej. Takie strategie nazywamy poinformowanymi.

Strategie poinformowane korzystaja_֒ z informacji, kt´ore w og´olnym przypadku nie sa_֒ dostepne, i mog_֒ a_֒ by´c niezrozumia le dla osoby postronnej, oraz dla ca lkowicie og´olnego algorytmu przeszukiwania.

Przyk lad: wyobra´zmy sobie, ˙ze poszukujac wyj´scia z labiryntu wiemy, ˙ze na zewn_֒ atrz_֒ jest ha las (np. szum morza), a w labiryncie ca lkowita cisza. Wtedy zwyczajne

nads luchiwanie we wszystkich kierunkach mog loby by´c ´zr´od lem strategii

poinformowanej, pomagajac w wyborze w la´sciwych krok´ow (cho´c strategia ta mo˙ze_֒ by´c skuteczna tylko w pewnej niewielkiej odleg lo´sci od wyj´scia).

Kr´ otkie podsumowanie — pytania sprawdzaj

ace

֒ 1. Z czego sk lada sie_֒ reprezentacja problemu w przestrzeni stan´ow?

2. Co to sa ´s_֒ lepe i poinformowane strategie przeszukiwania? Czym sie_֒ r´o˙znia?_֒

Przeszukiwanie z nawracaniem (BT)

FUNCTION BT(st) BEGIN

IF Term(st) THEN RETURN(NIL) ; trywialne rozwiazanie IF DeadEnd(st) THEN RETURN(FAIL) ; brak rozwiazania

ops := ApplOps(st) ; lista oper.stosowalnych

L: IF null(ops) THEN RETURN(FAIL) ; brak rozwiazania o1 := first(ops)

ops := rest(ops) st2 := Apply(o1,st) path := BT(st2)

IF path == FAIL THEN GOTO L RETURN(push(o1,path))

END

Algorytm BT skutecznie przeszukuje przestrze´n rozwiaza´n bez jawnego budowania_֒ drzewa przeszukiwania przestrzeni. Struktury jakich u˙zywa do zapamietania stanu_֒ przeszukiwa´n sa_֒ niejawne (na stosie). Mo˙zna skonstruowa´c iteracyjna_֒ wersje_֒ tego algorytmu, kt´ora buduje te struktury jawnie.

Przeszukiwanie z nawracaniem — w lasno´sci

BT ma minimalne wymagania pamieciowe. W trakcie pracy pami_֒ eta tylko pojedyncz_֒ a_֒

´scie˙zke_֒ do rozwiazania (oraz pewien kontekst dla ka˙zdego elementu tej ´scie˙zki). Zatem_֒ jego z lo˙zono´s´c pami

eciowa przypadku ´sredniego wynosi O(d), gdzie d -֒

odleg lo´s´c stanu poczatkowego od rozwi_֒ azania (w sensie liczby operator´ow)._֒ Efektywno´s´c czasowa jest gorsza. W najgorszym przypadku algorytm BT mo˙ze

odwiedzi´c wszystkie stany przestrzeni przed znalezieniem rozwiazania. Pozwala_֒ jednak na u˙zycie strategii — poinformowanej lub ´slepej — w momencie tworzenia listy operator´ow, przez jej odpowiednie posortowanie.

Powa˙znym problemem algorytmu BT jest fakt, ˙ze mo˙ze on nie znale´z´c rozwi

azania, nawet je´sli istnieje ono w niewielkiej odleg lo´sci od stanu startowego.֒

Je´sli np. przestrze´n stan´ow jest niesko´nczona, algorytm mo˙ze w pewnym momencie przeszukiwania wybra´c operator prowadzacy do stanu, z kt´orego prowadz_֒ a_֒ drogi do niesko´nczonej liczby stan´ow, ale ˙zaden z nich nie jest stanem docelowym. W takim przypadku algorytm BT nigdy nie zako´nczy przeszukiwania tej cze´s_֒ ci przestrzeni stan´ow, i nigdy nie bedzie m´og l wycofa´c si_֒ e_֒ z niew la´sciwego wyboru operatora.

Wykrywanie powtarzaj

acych si

֒

e stan´

֒

ow

Jednym z problem´ow algorytmu BT — jak r´ownie˙z wszystkich innych algorytm´ow przeszukiwania — jest mo˙zliwo´s´c powstawania petli. Je´sli algorytm kiedykolwiek_֒ wygeneruje opis stanu, do kt´orego doszed l, ale kt´ory ju˙z istnieje na jego drodze od stanu poczatkowego, to nieuchronnie zacznie powtarza´c badanie stan´ow wcze´sniej_֒ zbadanych.

Zjawisku temu mo˙zna oczywi´scie zapobiec. Najprostszym sposobem by loby

sprawdzenie, po wygenerowaniu ka˙zdego nowego stanu, czy ten stan nie znajduje sie_֒ ju˙z na bie˙zacej ´scie˙zce od stanu pocz_֒ atkowego._֒

Mo˙zna r´ownie˙z sprawdzi´c dok ladniej — czy nowo wygenerowany stan nie zosta l ju˙z w og´ole kiedykolwiek wcze´sniej znaleziony, i zbadany. Wymaga to pamietania zbioru_֒ stan´ow zbadanych, tzw. listy Closed. Lista ta w algorytmie rekurencyjnym musi by´c globalna i ka˙zdy nowo wygenerowany opis stanu musi by´c por´ownywany ze wszystkimi stanami ju˙z obecnymi na li´scie.

Jedno i drugie sprawdzanie jest do´s´c kosztowne obliczeniowo. Dla zaoszczedzenia czasu_֒ mo˙zna je pomina´c, ryzykuj_֒ ac jednak zap_֒ etlenie procedury._֒

Ograniczenie g l

eboko´sci z iteracyjnym pog l

֒

ebianiem

֒ Powa˙znym problemem dla algorytmu BT sa_֒ niesko´nczone przestrzenie, z kt´orymi algorytm og´olnie sobie nie radzi. Podobnie zreszta_֒ jak inne algorytmy o charakterze (hura-)optymistycznym, kt´ore preferuja_֒ marsz do przodu, o ile tylko jest mo˙zliwy.

Prostym rozwiazaniem jest ograniczenie g l_֒

eboko´sci przeszukiwania do jakiej´s֒

”rozsadnej” warto´sci. Zauwa˙zmy, ˙ze poza zabezpieczeniem przed niesko´nczonymi_֒

przestrzeniami, zabezpiecza ono jednocze´snie przed wpadnieciem w p_֒ etle, co pozwala_֒ pomina´c_֒ wykrywanie powtarzajacych si_֒ e_֒ stan´ow. W og´olnym przypadku mo˙ze nie by´c jednak latwe okre´slenie takiej warto´sci, a jej niedoszacowanie grozi oczywi´scie pora˙zka_֒ algorytmu i nieznalezieniem rozwiazania, kt´ore istnieje._֒

Dla szeregu algorytm´ow podobnie jak BT optymistycznych (preferujacych ruchy wg l_֒ ab)_֒ stosuje sie_֒ zatem ograniczenie g l

eboko´sci z iteracyjnym pog l֒

ebianiem. Ten֒

wariant gwarantuje znalezienie rozwiazania, o ile istnieje._֒

Jednak w przypadku algorytmu BT ta metoda mo˙ze by´c bardzo nieefektywna.

Heurystyki i funkcje oceny stanu

Algorytmy dotychczas przedstawione sa_֒ og´olne i nie wymagaja_֒ do swojej pracy strategii poinformowanej. Jednak w ka˙zdym praktycznym zagadnieniu posiadanie takiej strategii jest bardzo po˙zadane._֒

Heurystyk

a b֒ edziemy nazywa´c wiedz_֒ e_֒ o dziedzinie problemowej:

• kt´orej nie mo˙zna uzyska´c z syntaktycznej analizy opisu problemu,

• kt´ora mo˙ze nie mie´c formalnie poprawnego uzasadnienia, a tak˙ze — co wiecej —_֒ kt´ora mo˙ze nie w ka˙zdym przypadku sprawdza´c sie, i czasami dawa´c mylne_֒

wskaz´owki,

• ale kt´ora og´olnie pomaga w dokonywaniu dobrych wybor´ow w przeszukiwaniu.

Posiadanie heurystyki pozwala budowa´c strategie poinformowane. Og´olnym i czesto_֒ stosowanym schematem konstrukcji strategii wykorzystujacym informacj_֒ e_֒ heurystyczna,_֒ jest statyczna funkcja oceny stanu. Dla ka˙zdego stanu okre´sla ona jego

”dobro´c”, czyli szanse, ˙ze przez ten stan prowadzi droga do rozwiazania. Warto´s´c tej funkcji_֒

mo˙zna r´ownie˙z interpretowa´c jako miare_֒ odleg lo´sci stanu od rozwiazania._֒

Metody gradientowe

Funkcje_֒ oceny stanu mo˙zna w przeszukiwaniu zastosowa´c bezpo´srednio. Prowadzi to do metody lub metod gradientowych (hill-climbing). Metody te okre´sla sie_֒

w informatyce jako metody zach lanne.

Ich bezpo´srednie zastosowanie ograniczone jest do dziedzin z bardzo regularna_֒ funkcja_֒ oceny (np. ´sci´sle monotoniczna). W praktyce mamy typowo do czynienia_֒

z nastepuj_֒ acymi problemami:_֒

1. lokalne maksima funkcji oceny 2. obszary

”plateau” funkcji oceny 3. uko´sne granie funkcji oceny

current state objective function

state space global maximum

local maximum

"flat" local maximum shoulder

Wy˙zarzanie

Skuteczna_֒ i czesto stosowan_֒ a_֒ grupe_֒ metod gradientowych stanowi technika zwana wy˙zarzaniem (simulated annealing). Jej nazwa odwo luje sie_֒ do analogii z procesem wytapiania metalu, kiedy stopniowe i powolne zmniejszanie temperatury pozwala osiagn_֒ a´c_֒ stan globalnego optimum energetycznego, z pe lnym uporzadkowaniem_֒ czasteczek w ca lej obj_֒ eto´sci metalu._֒

Metoda polega na generowaniu ruch´ow losowych, i nastepnie wykonywaniu ich,_֒ lub nie, zgodnie z przedstawionym na wykresie rozk ladem prawdopodobie´nstwa.

Jak wida´c, je´sli wygenerowany ruch poprawia warto´s´c funkcji oceny to jest zawsze wykonywany, natomiast je´sli ja_֒ pogarsza to jest wykonywany

z prawdopodobie´nstwem p < 1 zale˙znym od stopnia pogorszenia oceny,

w por´ownaniu ze stanem aktualnym.

Jednocze´snie, w trakcie pracy algorytmu stopniowo obni˙zana jest temperatura, co powoduje zmniejszanie prawdopodobie´nstwa wyboru ruch´ow

”z lych”.

Metode_֒ wy˙zarzania stosuje sie_֒ z powodzeniem do projektowania uk lad´ow VLSI, sieci r´o˙znego rodzaju, przydzia lu zada´n w procesach produkcyjnych, i innych zada´n

optymalizacji proces´ow z lo˙zonych. Problemem w jej zastosowaniu jest dob´or parametr´ow, np. algorytmu obni˙zania temperatury.

Kr´ otkie podsumowanie — pytania sprawdzaj

ace

֒ 1. Jakie wymagania algorytmu BT sa_֒ bardziej krytyczne (istotne, ograniczajace):_֒

pamieciowe czy czasowe? Uzasadnij odpowied´z._֒

2. W jakich sytuacjach algorytm BT mo˙ze nie znale´z´c rozwiazania, gdy ono istnieje?_֒ 3. Na czym polega zjawisko powtarzajacych si_֒ e_֒ stan´ow w algorytmach przeszukiwania?

Jakie sa_֒ jego mo˙zliwe konsekwencje?

4. Jaki problem rozwiazuje metoda iteracyjnego pog l_֒ ebiania?_֒ W jakich przypadkach konieczne jest jej stosowanie?

5. Jakie sa_֒ g l´owne problemy jako´sciowe (nie uwzgledniaj_֒ ac z lo˙zono´sci) w zastosowaniu_֒ gradientowych metod przeszukiwania?

Przeszukiwanie graf´ ow

Przypomnijmy sobie wersje_֒ algorytmu BT z iteracyjnym pog lebianiem, i konieczno´s´c_֒ wielokrotnego przeszukiwania poczatkowej cz_֒ e´s_֒ ci przestrzeni. Aby unikna´c_֒

wielokrotnego odwiedzania tych samych stan´ow mo˙zna u˙zy´c struktury grafowej do pamietania zbadanych ju˙z cz_֒ e´s_֒ ci przestrzeni stan´ow. Algorytmy, kt´ore u˙zywaja_֒ takiej struktury sa_֒ algorytmami przeszukiwania graf´ow.

Og´olne strategie

przeszukiwania graf´ow (´slepe):

• strategia wszerz BFS (breadth-first search)

• strategia wg lab DFS_֒ (depth-first search),

• inne strategie.

Przyk lad: 8-ka (8-puzzle)

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

Uk ladanka 15-tka (15-puzzle) — popularna w szkole podstawowej.

8-ka (8-puzzle) — zmniejszona wersja, odpowiednia do ilustracji dzia lania r´o˙znych strategii i algorytm´ow sztucznej inteligencji.

7 3 2 6 1 8 5 4

7 6 5

8 4

1 2 3

Przeszukiwanie wszerz (BFS)

• Badaj wszystkie stany w odleg lo´sci d od stanu poczatkowego s_{֒ 0} przed zbadaniem jakiegokolwiek stanu w odleg lo´sci (d + 1) od s₀.

• Zawsze gwarantuje znalezienie rozwiazania je´sli tylko istnieje._֒

• Co wiecej, zawsze znajduje rozwi_֒ azanie optymalne (tzn. znajduje najkr´otsz_֒ a_֒ droge_֒ ze stanu poczatkowego do ka˙zdego stanu)._֒

• Nie jest inherentnie odporny na wpadanie w petle stan´ow i mo˙ze wymaga´c_֒ zastosowania listy Closed.

• Z lo˙zono´s´c pamieciowa i czasowa fatalna, obie O(b_֒ ^d), gdzie:

b - ´srednia liczba ga lezi wyrastaj_֒ acych z w_֒ ez la (tzw. branching factor),_֒ d - odleg lo´s´c stanu poczatkowego od rozwi_֒ azania (liczba operator´ow)._֒

• Praktycznie jednakowa z lo˙zono´s´c przypadku najgorszego i ´sredniego (jak r´ownie˙z najlepszego).

• Uwaga implementacyjna: dodawaj nowo odkryte stany na koniec listy Open.

(Pomimo i˙z m´owi sie_֒ o listach wez l´ow, ze wzgl_֒ edu na cz_֒ este odwo lania w praktyce_֒ stosuje sie_֒ szybsze struktury danych, np. tablice haszowe.)

Przeszukiwanie wszerz — przyk lad

Diagram przedstawia fragment grafu przeszukiwania wszerz. Numery nad planszami (1–26) pokazuja_֒ tu kolejno´s´c wyboru wez l´ow do ekspansji grafu._֒

Przeszukiwanie wg l

ab (DFS)

֒

• Badaj wszystkie nowo odkryte stany pochodne (potomki) danego stanu n przed powrotem do badania sasiad´ow stanu n._֒

• Nie daje ˙zadnych z gwarancji BFS (pewno´sci znalezienia rozwiazania optymalnego,_֒ albo w og´ole znalezienia jakiego´s rozwiazania)._֒

• Z lo˙zono´s´c obliczeniowa przypadku najgorszego: przetwarzanie i pamietanie_֒ wszystkich stan´ow.

• Z lo˙zono´s´c przypadku ´sredniego: O(b^d) pamieciowa i czasowa._֒

• Dla przestrzeni niesko´nczonych jedynym praktycznie u˙zytecznym wariantem jest ograniczenie g leboko´sci z iteracyjnym pog l_֒ ebianiem (ale przeszukiwanie grafu DFS_֒ nie jest a˙z tak bezsensownie stratne jak algorytm BT).

• Efektywno´s´c algorytmu gwa ltownie polepsza sie_֒ dla przypadk´ow istotnie lepszych ni˙z ´sredni (czyli wyjatkowo szcz_֒ e´s_֒ liwych), zatem sens jego stosowania jest tylko w po laczeniu z dobrymi heurystykami._֒

• Uwaga implementacyjna: dodawaj nowo odkryte stany na poczatek listy Open._֒

Przeszukiwanie wg l

ab — przyk lad

֒

Fragment

”przecietnego” grafu przeszukiwania wg l_֒ ab z ograniczeniem g l_֒ eboko´sci do 5._֒ Numery wez l´ow pokazuj_֒ a_֒ kolejno´s´c wyboru wez l´ow do ekspansji grafu._֒

Przeszukiwanie r´ ownokosztowe UCS

W przypadku, gdy koszty pojedynczych ruch´ow nie sa_֒ r´owne, przeszukiwanie wszerz oparte na liczbie ruch´ow w oczywisty spos´ob nie gwarantuje znalezienia optymalnej

´scie˙zki. Mo˙zna okre´sli´c prosta_֒ modyfikacje_֒ algorytmu wszerz, kt´ora znajdzie optymalna_֒

´scie˙zke_֒ dla dowolnych (dodatnich) koszt´ow pojedynczych ruch´ow. Ta modyfikacja, zwana algorytmem r´ownego kosztu (uniform-cost search UCS), wymaga

ka˙zdorazowo wybrania wez la o najni˙zszym koszcie ´scie˙zki._֒

S G

5 5

3 3 3

S G

5 5

3 3 3

S G

5 5

3 3 3

S G

5 5

3 3 3

S G

5 5

3 3 3

W przypadku r´ownych koszt´ow ruch´ow sprowadza sie_֒ to do metody wszerz.

Optymalno´s´c algorytmu mo˙zna (trywialnie) wykaza´c pod warunkiem, ˙ze koszt

pojedynczego ruchu jest jaka´s_֒ warto´scia_֒ dodatnia_֒ (≥ ǫ). Poniewa˙z algorytm kieruje sie_֒ d lugo´scia ´s_֒ cie˙zki, jego z lo˙zono´sci nie mo˙zna scharakteryzowa´c jako funkcji b i d.

Zamiast tego, oznaczajac przez C_֒ ^∗ koszt optymalnego rozwiazania, mo˙zna otrzyma´c_֒ z lo˙zono´s´c najgorszego przypadku, zar´owno czasowa_֒ jak i pamieciow_֒ a, jako_֒

O(b^{1+⌊C∗/ǫ⌋}).

W przypadku r´ownych koszt´ow formu la ta redukuje sie do O(b^d).

Zako´ nczenie przeszukiwania

Celem przeszukiwania mo˙ze by´c samo znalezienie ´scie˙zki do rozwiazania, b_֒ ad´z_֒

znalezienie ´scie˙zki optymalnej. W pierwszym przypadku, algorytm mo˙ze zako´nczy´c prace_֒ ju˙z w momencie, kiedy nowy stan, wygenerowany w wyniku kolejnego ruchu, oka˙ze sie_֒ stanem docelowym, a wiec zostanie umieszczony na li´scie Open. Ale czy tak_֒ samo mo˙zemy postapi´c w przypadku poszukiwania rozwi_֒ azania optymalnego?_֒

S G

5 5

3 3 3

S G

5 5

3 3 3

S G

5 5

3 3 3

S G

5 5

3 3 3

S G

5 5

3 3 3

Przeszukiwanie nale˙zy zako´nczy´c w momencie, gdy algorytm przeszukiwania

optymalnego wybierze do ekspansji weze l, kt´ory jest w_֒ ez lem docelowym (czyli ju˙z_֒ wcze´sniej znalaz l jeden lub kilka wez l´ow docelowych). Jego ekspansji mo˙zna wtedy_֒ zaniecha´c, a najlepsza znaleziona do niego ´scie˙zka jest rozwiazaniem optymalnym._֒ Poniewa˙z algorytm systematycznie znajduje wszystkie najta´nsze ´scie˙zki, wiec moment_֒ wybrania wez la do ekspansji oznacza, ˙ze nie mo˙ze si_֒ e_֒ ju˙z w grafie znale´z´c ˙zadna ta´nsza

´scie˙zka do niego.

Jednak zanim to nastapi, algorytm bada ´scie˙zki o ni˙zszych kosztach, i nie ma_֒ pewno´sci, ˙ze kt´ora´s z nich nie oka˙ze sie_֒ nowa, lepsz_֒ a ´s_֒ cie˙zka_֒ do wez la celowego._֒

Przeszukiwanie najpierw-najlepszy

Zastosowanie heurystycznej funkcji oceny do przeszukiwania na grafach w najprostszym przypadku daje tzw. przeszukiwanie najpierw-najlepszy (best-first search). W ka˙zdej chwili wykonuje ono ruch, kt´ory minimalizuje funkcje_֒ oceny. Je´sli funkcja oceny jest dobra, w la´sciwie wybiera stany do analizy, i odpowiednio maleje wzd lu˙z drogi do rozwiazania, to wtedy ta metoda_֒

”idzie” bezpo´srednio do celu, nie tracac czasu na_֒ rozwijanie jakichkolwiek niepotrzebnych wez l´ow grafu._֒

R´ownie˙z w przypadku drobnych defekt´ow funkcji oceny, kiedy niekt´ore jej warto´sci sa_֒ nietrafne i ´zle oceniaja_֒ stany, ale po rozwinieciu kilku niepotrzebnych w_֒ ez l´ow funkcja_֒ ocenia dalsze wez ly w przybli˙zeniu poprawnie, ten schemat przeszukiwania dobrze si_֒ e_֒ sprawdza.

K lopoty zaczynaja_֒ sie_֒ jednak kiedy funkcja ma jaki´s b lad systematyczny, np. jako_֒ najlepsza_֒ konsekwentnie wskazuje droge, kt´ora w og´ole nie prowadzi do celu. Wtedy_֒ metoda najpierw-najlepszy ma takie same wady jak metoda wg lab, pomimo, i˙z funkcja_֒ by´c mo˙ze poprawnie oszacowuje wiele wez l´ow._֒

Algorytmy przeszukiwania grafu

Rozwa˙zane tu algorytmy przeszukiwania graf´ow dzia laja_֒ wed lug schematu:

PROCEDURE GS(s0) ; s0 - opis stanu poczatkowego BEGIN

n := s0

G := {s0} ; graf przeszukiwania: wezly i luki Open := [s0]; Closed := [] ; listy: nowych i sprawdzonych

UNTIL Term(n) DO ; stan n spelnia warunek celu BEGIN

Open := Remove(n,Open)

new := Successors(n) ; wygeneruj nastepniki wezla n G := AddSuccessors(G,New) ; dodaj strukture do grafu G Open += (new-Closed) ; dodaj nowo odkryte nastepniki Closed += {n}

n := SelectNext(Open) ; wybierz wezel do eksploracji END

solution := BuildPath(s0,n,G) ; zrekonstruuj sciezke do celu END

W powy˙zszym algorytmie dla uproszczenia pominieto operacje zapami_֒ etania i korekty_֒ koszt´ow ´scie˙zek od wez la startowego do wszystkich w_֒ ez l´ow._֒

´Slepe algorytmy BFS i DFS ignoruja_֒ koszty i dodaja_֒ nowe wez ly na koniec (BFS) lub_֒ poczatek (DFS) listy Open, kt´ora jest w tym przypadku zwyk l_֒ a_֒ kolejka._֒

Algorytmy r´ownokosztowy i najpierw-najlepszy wybieraja_֒ kolejny weze l do ekspansji_֒ wed lug kryterium kosztu (odpowiednio: d lugo´sci ´scie˙zki poczatkowej lub oszacowania_֒ odleg lo´sci od rozwiazania). Wtedy ma sens implementacja listy Open jako listy_֒

sortowanej, albo jeszcze lepiej, jako kolejki priorytetowej, dajacej natychmiastowy_֒ wyb´or najlepszego wez la i tanie operacje dodawania i usuwania z listy O(log(N ))._֒

Warto tu doda´c, ˙ze istnieje algorytm Dijkstry (1959) znajdowania najkr´otszych dr´og na grafie z jednego wez la do wszystkich w_֒ ez l´ow grafu. Jednak Dijkstra zak lada l operacje_֒ na grafie sko´nczonym, w ca lo´sci znanym, zbudowanym, i za ladowanym do pamieci._֒

Kr´ otkie podsumowanie — pytania sprawdzaj

ace

֒

1. Czym r´o˙zni sie_֒ przeszukiwanie r´ownokosztowe od przeszukiwania wszerz?

2. Czym r´o˙zni sie_֒ przeszukiwanie wg lab od przeszukiwania najpierw-najlepszy?_֒ 3. Opisz g l´owny cykl pracy algorytmu przeszukiwania graf´ow.

4. Opisz operacje na listach Open i Closed w r´o˙znych algorytmach przeszukiwania graf´ow.

Modyfikacja funkcji wyboru — koszt przebytej drogi

Rozwa˙zmy nastepuj_֒ ace deterministyczne funkcje oceny (w_֒ ez la):_֒ h*(n) – koszt kosztowo-optymalnej drogi z n do celu

g*(n) – koszt kosztowo-optymalnej drogi z s₀ do n Wtedy:

f*(n) := g*(n) + h*(n)

f*(n) – koszt kosztowo-optymalnej drogi z s₀ do celu biegnacej przez n_֒

Znajomo´s´c funkcji f *(n) pozwoli laby zawsze wybiera´c tylko wez ly le˙z_֒ ace na_֒

optymalnej drodze od poczatku do celu. Podobnie zreszt_֒ a_֒ wystarczy laby do tego znajomo´s´c samej funkcji h*(n).

Niestety, zwykle funkcje h*(n) ani g*(n) nie sa_֒ dostepne. Jeste´smy zmuszeni_֒

pos lugiwa´c sie_֒ ich przybli˙zeniami, kt´ore pozwalaja_֒ jedynie aproksymowa´c wybieranie w la´sciwych wez l´ow. Jednak gdy pos lugujemy si_֒ e_֒ przybli˙zeniami, wtedy przeszukiwanie bazujace na funkcji f *(n) nie musi ju˙z dawa´c takich samych wynik´ow jak to opieraj_֒ ace_֒ sie na funkcji h*(n).

Modyfikacja funkcji wyboru — algorytm A*

Rozwa˙zmy zatem nastepuj_֒ ace heurystyczne funkcje oceny w_֒ ez la:_֒ h(n) – funkcja heurystyczna aproksymujaca h*(n)

g(n) – koszt najlepszej znanej drogi z s₀ do n; zauwa˙zmy g(n) ≥ g*(n) f(n) := g(n) + h(n)

Jak dzia la tak okre´slona strategia? Je´sli funkcja h(n) oszacowuje h*(n) bardzo precyzyjnie, to algorytm dzia la niemal idealnie, i zmierza prosto do celu.

Jednak gdy funkcja h(n) pope lnia b ledy, i np. optymistycznie okre´sla jakie´s stany jako_֒ lepsze ni˙z sa_֒ one w rzeczywisto´sci, to algorytm najpierw poda˙za w ich kierunku,_֒

zwabiony niska_֒ warto´scia_֒ funkcji h(n), gdy g(n) jest pomijalne.

Po jakim´s czasie, tak b lednie oszacowane ´scie˙zki przestaj_֒ a_֒ by´c atrakcyjne, ze wzgledu_֒ na narastajacy sk ladnik g(n), i algorytm z konieczno´sci przerzuca swoje_֒

zainteresowanie na inne atrakcyjne wez ly. Przy tym na atrakcyjno´s´c nie ma wp lywu,_֒ czy sa_֒ one bardziej czy mniej oddalone od startu. Decyduje laczna ocena, czy przez_֒ dany stan prowadzi najlepsza droga do rozwiazania._֒

Algorytm przeszukiwania graf´ow stosujacy powy˙zsz_֒ a_֒ funkcje f_֒ (n) jako swoja_֒ strategie_֒ nazywa sie_֒ algorytmem A*.

Funkcja oceny w algorytmie A*

Sk ladniki h(n) i g(n) reprezentuja_֒ w funkcji f (n) dwie przeciwstawne tendencje:

optymizm (h(n)) i konserwatyzm (g(n)). Mo˙zemy ca lkiem swobodnie sterowa´c strategia_֒ w jedna_֒ lub druga_֒ strone_֒ stosujac wz´or:_֒

f(n) := (1 − k) ∗ g(n) + k ∗ h(n)

Zwiekszaj_֒ ac wsp´o lczynnik wagi k mo˙zemy nadawa´c przeszukiwaniu charakter bardziej_֒ agresywny (i ryzykowny), gdy np. mamy zaufanie do funkcji h(n) i chcemy posuwa´c sie_֒ szybko do przodu. z kolei zmniejszajac ten wsp´o lczynnik, zapewniamy dok ladniejsze_֒ badanie przestrzeni, posuwajac si_֒ e_֒ wolniej do przodu, ale kompensujac niekt´ore b l_֒ edy_֒ funkcji h(n).

Zauwa˙zmy, ˙ze w skrajnych przypadkach, k = 1 daje przeszukiwanie najpierw-najlepszy, natomiast k = 0 daje przeszukiwanie r´ownokosztowe.

Jednak najwiekszy wp lyw na przebieg przeszukiwania ma jako´s´c funkcji h(n)._֒

W lasno´sci funkcji h(n) w algorytmie A*

Heurytyczna_֒ funkcje_֒ oceny h(n) w algorytmie A* nazywamy dopuszczaln a֒

(admissible) gdy ogranicza ona od do lu rzeczywista_֒ funkcje h*(n), czyli_֒

∀n h(n) ≤ h*(n). Dopuszczalno´s´c oznacza chroniczne niedoszacowywanie przysz lych koszt´ow, zatem bywa nazywane optymizmem. Mo˙zna dowie´s´c, ˙ze je´sli tylko istnieje

´scie˙zka z wez la pocz_֒ atkowego do celowego, to A* z dopuszczaln_֒ a_֒ heurystyka_֒ zawsze znajduje optymalna_֒ taka ´scie˙zk_֒ e._֒

Czy trudno jest znale´z´c taka_֒ dopuszczalna_֒ heurystyke? Niekoniecznie, np. h(n) ≡ 0_֒ rzeczywi´scie ogranicza z do lu h*(n), dla dowolnego zagadnienia. Czy taka trywialna heurystyka mo˙ze by´c przydatna? Odpowied´z brzmi: raczej rzadko. Taki algorytm wybiera zawsze wez ly o najkr´otszej drodze z s_{֒ 0}, a zatem jest to algorytm wszerz (og´olniej: r´ownego kosztu), kt´ory rzeczywi´scie zawsze znajduje optymalna_֒ droge, ale_֒ samo w sobie to jeszcze nie jest wielka zaleta.

Oczywi´scie im lepiej h(n) przybli˙za h*(n) tym efektywniejsze przeszukiwanie. Je´sli mamy dwie funkcje h₁(n), h₂(n), takie ˙ze dla wszystkich wez l´ow_֒

h₁(n) < h₂(n) ≤ h*(n) to mo˙zna dowie´s´c, ˙ze u˙zycie h₁ prowadzi do rozwiniecia co_֒ najmniej tyle samo wez l´ow co h_{֒ 2}.

W lasno´sci funkcji h(n) w algorytmie A* (cd.)

Dopuszczalno´s´c funkcji h(n) jest ciekawa_֒ w lasno´scia, kt´or_֒ a_֒ czesto mo˙zna udowodni´c_֒ dla funkcji bardzo zgrubnie oszacowujacej h*(n), ale ju˙z niekoniecznie dla mozolnie_֒ opracowanej funkcji, np. z wykorzystaniem numerycznego uczenia sie_֒ na serii

przyk lad´ow (co jak sie_֒ oka˙ze jest jedna_֒ z metod konstrukcji takich funkcji).

Jeszcze mocniejsza_֒ w lasno´scia_֒ heurystycznej funkcji oceny h(n) jest jej sp´ojno´s´c (consistency), zwana r´ownie˙z ograniczeniem monotonicznym (monotone

restriction), lub po prostu nier´owno´scia_֒ tr´ojkata:_֒

∀

ni→nj h(n_i) − h(n_j) ≤ c(n_i, n_j)

Mo˙zna dowie´s´c, ˙ze dla funkcji h(n) spe lniajacych ograniczenie monotoniczne algorytm_֒ A* zawsze ma ju˙z znaleziona_֒ optymalna_֒ droge_֒ do ka˙zdego wez la, kt´ory decyduje si_֒ e_֒ rozwija´c. W praktyce pozwala to nieco upro´sci´c implementacje_֒ algorytmu

przeszukiwania, je´sli wiemy, ˙ze funkcja oceny jest sp´ojna.

Z lo˙zono´s´ c obliczeniowa algorytmu A*

Dla wiekszo´sci praktycznych problem´ow liczba w_֒ ez l´ow przestrzeni stan´ow ro´snie_֒ eksponencjalnie z d lugo´scia_֒ poszukiwanego rozwiazania. Oczywi´scie, efektywna_֒ heurystyka mog laby zmniejszy´c z lo˙zono´s´c obliczeniowa_֒ algorytmu.

Pytanie, kiedy mogliby´smy na to liczy´c?

Mo˙zna dowie´s´c, ˙ze aby to osiagn_֒ a´c, czyli aby algorytm A* dzia la l w czasie_֒ wielomianowym, b lad w heurystycznej funkcji oceny nie powinien przekroczy´c_֒ logarytmu rzeczywistej d lugo´sci rozwiazania:_֒

|h(n) − h^∗(n)| ≤ O(log h^∗(n)) Pytanie: czy takie heurystyki sa_֒ praktyczne?

W praktycznych przypadkach nie mo˙zna liczy´c na znalezienie tak dobrych heurystyk.

Zatem algorytm A* nale˙zy og´olnie uwa˙za´c za eksponencjalny. To jednak zwykle nie jest jego najwieksz_֒ a_֒ wada. Podobnie jak wszystkie algorytmy przeszukiwania na grafach,_֒ przechowuje on wszystkie wez ly grafu w pami_֒ eci_֒

i z regu ly wyczerpuje pamie´c_֒ komputera du˙zo wcze´sniej ni˙z dostepny czas!!_֒

Modyfikacje algorytmu A* z ograniczonymi wymaganiami pami eciowymi

֒

Istnieja_֒ modyfikacje algorytmu A* pozwalajace pokona´c problemy z zapotrzebowaniem_֒ na pamie´c._֒

Algorytm IDA* (Iterative-Deepening A*) dodaje standardowe ograniczenie g leboko´sci._֒ Po osiagni_֒ eciu limitu g l_֒ eboko´sci przeszukiwania jest on zwi_֒ ekszany, przy jednoczesnym_֒ usunieciu przebadanych w_֒ ez l´ow grafu z pami_֒ eci._֒

Algorytm RBFS (Recursive Best-First Search) jest podobny do algorytmu BT w wersji rekurencyjnej. Przeszukuje on rekurencyjnie pojedyncza ´s_֒ cie˙zke_֒ grafu, pamietaj_֒ ac_֒

jednocze´snie na ka˙zdym poziomie rekurencji najlepsza_֒ alternatywe_֒ pojedynczego kroku.

Kiedy aktualnie analizowana ´scie˙zka okazuje sie_֒ gorsza od tej alternatywy, algorytm wraca, kasujac wyniki swojej pracy (lecz wchodz_֒ ac w nowe wywo lania rekurencyjne,_֒ ponownie zapamietuje najlepsz_֒ a_֒ alternatywe)._֒

Algorytm SMA* (Simplified Memory-Bounded A*) dzia la dok ladnie jak A*, ale tylko do momentu zape lnienia ca lej dostepnej pami_֒ eci. W tym momencie, algorytm kontynuuje_֒ prace, kasuj_֒ ac jednak najgorsze znane w_֒ ez ly grafu aby zrobi´c miejsce na nowo_֒

odkrywane stany. Jednak oszacowanie skasowanych wez l´ow jest przechowywane w ich_֒ rodzicach, aby mo˙zliwe by lo ponowne podjecie przeszukiwania w danej cze´sci grafu.

Algorytm A* w praktyce

Dobrym pytaniem jest, czy algorytmy heurystycznego przeszukiwania graf´ow, takie jak A*, maja_֒ zastosowania praktyczne w ´swiecie rzeczywistym.

Odpowied´z na to pytanie brzmi: tak, w pewnych ograniczonych dziedzinach, jak np.

planowanie optymalnej trasy przejazdu robota, albo znajdowanie najkr´otszej drogi w grach komputerowych.

Algorytm A* jest heurystyczna_֒ wersja_֒ algorytmu Dijkstry (1959) obliczajacego_֒ najkr´otsze drogi od ustalonego wez la do wszystkich pozosta lych w_֒ ez l´ow grafu._֒

Algorytm Dijkstry jest r´ownie˙z stosowany w wielu zagadnieniach technicznych, jak np.

sieciowe protoko ly trasowania (routing ), takie jak OSPF, oraz znajdowanie drogi na mapie w nawigacjach GPS. W tych ostatnich zastosowaniach, ze wzgledu na wielko´s´c_֒ grafu, algorytm Dijkstry musi by´c wspomagany przez dodatkowe techniki. Moga_֒ to by´c w la´snie heurystyki, albo wprowadzenie abstrakcji i hierarchii ´scie˙zek. Jednak ze wzgledu_֒ na komercyjny aspekt tej bardzo rozwijajacej si_֒ e_֒ technologii, techniki nie sa_֒ zbyt czesto_֒ szczeg´o lowo opisywane.

Przeszukiwanie wstecz

Przeszukiwanie przestrzeni stan´ow mo˙zna prowadzi´c r´ownie dobrze wprz´od jak

i wstecz. Przeszukiwanie wstecz zaczyna sie_֒ od stanu ko´ncowego (lub ca lego zbioru stan´ow ko´ncowych), i w pierwszym kroku znajduje zbi´or stan´ow poprzedzajacych,_֒

z kt´orych mo˙zna osiagn_֒ a´c_֒ jaki´s stan ko´ncowy w jednym kroku przez kt´ory´s z dostepnych operator´ow. W kolejnych krokach proces jest kontynuowany._֒ Przeszukiwanie wstecz mo˙ze by´c r´ownie latwe w realizacji obliczeniowej jak

przeszukiwanie wprz´od, albo mo˙ze by´c utrudnione ze wzgledu na w lasno´sci przyj_֒ etej_֒ reprezentacji. W tym drugim przypadku konieczna mo˙ze by´c zmiana reprezentacji.

Kluczowa jest jednak latwo´s´c pozyskania heurystyk. W przypadku przeszukiwania wprz´od heurystyka powinna podpowiada´c nam, jakie kroki nale˙zy wybiera´c, aby skutecznie przybli˙za´c sie_֒ do celu. W niekt´orych zagadnieniach brak jest w la´sciwych intuicji. W przypadku przeszukiwania wstecz herustyka powinna podpowiada´c, kt´ore kroki przybli˙zaja_֒ nas od nieznanego stanu docelowego, do dobrze znanego ´srodowiska startowego. Czasem latwiej jest o intuicje wspomagajace podejmowanie takich decyzji._֒

Przeszukiwanie dwukierunkowe

Idee_֒ przeszukiwania wstecz mo˙zna latwo uog´olni´c do przeszukiwania

dwukierunkowego. Je´sli reprezentacja na to pozwala, to dlaczego nie robi´c na przemian krok´ow przeszukiwania wprz´od i wstecz. Jak wida´c na rysunku po lewej, mog loby to przynie´s´c istotne oszczedno´sci:_֒

Start Goal

Jednak jak pokazuje rysunek po prawej, zamiast zaoszczedzi´c, mo˙zna nad lo˙zy´c pracy._֒ Przeszukiwanie dwukierunkowe latwo przynosi oszczedno´sci w przypadku algorytmu_֒ Dijkstry (r´ownokosztowego), jednak posiadajac wyrafinowan_֒ a, ukierunkowan_֒ a_֒

heurystyke, lepiej jej zaufa´c i pod_֒ a˙za´c za ni_֒ a_֒ w jednym kierunku.

Kr´ otkie podsumowanie — pytania sprawdzaj

ace

֒ 1. Czym r´o˙zni sie_֒ algorytm A* od przeszukiwania najpierw-najlepszy?

Jaki skutek wywiera ta r´o˙znica na proces przeszukiwania?

2. Co to sa_֒ dopuszczalne heurystyki dla algorytmu A*?

Jakie maja_֒ znaczenie praktyczne?

3. Algorytm heurystycznego przeszukiwania graf´ow A* z dopuszczalna_֒ funkcja_֒ oceny h gwarantuje znalezienie optymalnego rozwiazania problemu, o ile tylko takie istnieje_֒ na grafie. Rozwa˙z poni˙zsze modyfikacje funkcji f i odpowiedz, czy zachowuja_֒ one powy˙zsza_֒ w lasno´s´c algorytmu A*. Odpowied´z uzasadnij.

(a) wprowadzenie g´ornego ograniczenia (kresu) na warto´s´c funkcji h(n) (b) wprowadzenie dolnego ograniczenia (kresu) na warto´s´c funkcji g(n)

Konstrukcja funkcji heurystycznych

Jak w og´olnym przypadku skonstruowa´c funkcje_֒ heurystyczna, gdy nie znamy_֒ dostatecznie dobrze zagadnienia, ˙zeby ja_֒ po prostu wymy´sle´c?

Eksperymentowa´c, eksperymentowa´c, eksperymentowa´c!

Przyk lad: heurystyki dla 8-puzzle

Heurystyka 1: policz elementy nie na swoich miejscach, funkcja h₁(n) = W (n)

Heurystyka 2: dla wszystkich element´ow nie na swoich miejscach, zsumuj odleg lo´sci od ich w la´sciwych miejsc (tzw. odleg lo´s´c Manhattanu). Otrzymana liczba bedzie na_֒

pewno mniejsza ni˙z liczba ruch´ow w ka˙zdym rozwiazaniu (dolne oszacowanie kosztu_֒ rozwiazania). Nazwijmy j_֒ a_֒ funkcja h_{֒ 2}(n) = P (n)

Heurystyka 3: h₃(n) = P (n) + 3 ∗ S(n)

gdzie funkcja S(n) jest obliczana dla element´ow na obrze˙zu uk ladanki, biorac 0 dla_֒ element´ow, po kt´orych nastepuje ich w la´sciwy prawy s_֒ asiad, i 2 dla ka˙zdego elementu,_֒ po kt´orym nastepuje niew la´sciwy element. ´Srodek wnosi 1, je´sli jest._֒

Ani S(n) ani h₃(n) nie sa_֒ dolnymi oszacowaniami rzeczywistej odleg lo´sci do rozwiazania uk ladanki, a jednak h_{֒ 3}(n) jest jedna_֒ z najlepszych funkcji oceny dla uk ladanki 8-puzzle, dajac_֒ a_֒ niezwykle ukierunkowane i efektywne przeszukiwanie.

Zauwa˙zmy, ˙ze dolnym oszacowaniem odleg lo´sci od rozwiazania, zatem gwarantuj_֒ acym_֒ znalezienie rozwiazania optymalnego, jest funkcja h_{֒ 0}(n) ≡ 0. Jest to ilustracja

og´olnego faktu, ˙ze poprawno´s´c formalna nie zawsze idzie w parze z dobra_֒ efektywno´scia_֒ obliczeniowa._֒

Jako´s´ c funkcji heurystycznej a koszt przeszukiwania A*

Tabelka ilustruje por´ownanie kosztu przeszukiwania i efektywnego wsp´o lczynnika

”krzaczasto´sci” dla algorytm´ow Iterative-Deepening-Search i A* z funkcjami h₁, h₂. Wyniki zosta ly u´srednione dla 100 przypadk´ow 8-ki dla r´o˙znych d lugo´sci rozwiazania d._֒

Search Cost (nodes generated) Effective Branching Factor d IDS A*(h₁) A*(h₂) IDS A*(h₁) A*(h₂)

2 10 6 6 2.45 1.79 1.79

4 112 13 12 2.87 1.48 1.45

6 680 20 18 2.73 1.34 1.30

8 6384 39 25 2.80 1.33 1.24

10 47127 93 39 2.79 1.38 1.22

12 3644035 227 73 2.78 1.42 1.24

14 – 539 113 – 1.44 1.23

16 – 1301 211 – 1.45 1.25

18 – 3056 363 – 1.46 1.26

20 – 7276 676 – 1.47 1.27

22 – 18094 1219 – 1.48 1.28

24 – 39135 1641 – 1.48 1.26

(Tabelka zaczerpnieta z podr_֒ ecznika Russella i Norviga.)_֒

Przybli˙zona liczba wez l´ow IDS dla d=24 wynosi 54,000,000,000.

Przeszukiwanie heurystyczne drzewa 8-puzzle

W przedstawionej tabelce por´ownania funkcji heurystycznych brak jest wynik´ow dla najlepszej funkcji h₃. Pewna_֒ ilustracja_֒ dzia lania tej funkcji jest poni˙zsze przyk ladowe drzewo przeszukiwania, w kt´orym rozwiazanie znajduje si_֒ e_֒ na poziomie 18, a drzewo zawiera lacznie 44 w_֒ ez ly. Jego efektywny wsp´o lczynnik krzaczasto´sci (effective_֒

branching factor ) wynosi 1.09

Konstrukcja funkcji heurystycznych (cd.)

Jedna z og´olnych metod tworzenia funkcji heurystycznych jest nastepuj_֒ aca. Nale˙zy_֒

rozwa˙zy´c zadanie uproszczone, w kt´orym rezygnuje sie_֒ z jakiego´s trudnego wymagania, aby zadanie dawa lo sie_֒ rozwiaza´c. Dla ka˙zdego wygenerowanego stanu rozwi_֒ azuje si_֒ e_֒ zadanie uproszczone (np. metoda_֒ pe lnego przegladu). Koszt optymalnego rozwi_֒ azania_֒ zadania uproszczonego przyjmuje sie_֒ nastepnie jako oszacowanie (dolne) kosztu_֒

rozwiazania zadania oryginalnego._֒

Na przyk lad, je´sli stany w zagadnieniu maja n_֒ parametr´ow, czyli sa_֒ elementami n-wymiarowej przestrzeni, to mo˙zemy porzuci´c jeden z tych parametr´ow, czyli zrzutowa´c stany do przestrzeni (n − 1)-wymiarowej.

Je´sli istnieje kilka wersji uproszczenia, pomiedzy kt´orymi nie wiemy jak wybra´c (np._֒ kt´ora_֒ zmienna stanu odrzuci´c), to mo˙zemy u˙zy´c ich kombinacji jako funkcji oceny:

h(n) = max_k(h₁(n), ..., h_k(n))

Zauwa˙zmy, ˙ze gdyby´smy w uk ladance 8-puzzle zezwolili na teleportacje_֒ element´ow jednym ruchem na swoje miejsce, to by loby to przyk ladem takiego w la´snie podej´scia, i da loby w efekcie funkcje h_{֒ 1}(n). Natomiast zgoda na przesuwanie element´ow o jedna_֒ pozycje, ale niezale˙znie od po lo˙zenia innych element´ow, da laby funkcj_֒ e_֒ oceny h₂(n).

Konstrukcja funkcji heurystycznych (cd.)

Inna_֒ metoda_֒ opracowania funkcji heurystycznej jest jej zamodelowanie statystyczne.

Nale˙zy wyznaczy´c atrybuty stanu, kt´ore mo˙zna uwa˙za´c za znaczace dla oszacowania_֒ odleg lo´sci do rozwiazania. Wtedy definiuj_֒ ac funkcj_֒ e_֒ heurystyczna_֒ jako kombinacje_֒ liniowa_֒ tych atrybut´ow, z nieznanymi wsp´o lczynnikami, mo˙zna nauczy´c sie_֒ tych wsp´o lczynnik´ow wykonujac pewn_֒ a_֒ liczbe_֒ eksperyment´ow wykorzystujacych pe lne_֒ przeszukiwanie lub inna_֒ funkcje_֒ heurystyczna._֒

Otrzymane d lugo´sci optymalnych rozwiaza´n mo˙zna u˙zy´c do skonstruowania uk ladu_֒ r´owna´n i w efekcie wyznaczenia przybli˙zonych warto´sci wsp´o lczynnik´ow.

Zauwa˙zmy, ˙ze ta_֒ metoda_֒ mo˙znaby otrzyma´c funkcje_֒ oceny h₃(n) dla 8-puzzle.

Funkcje W (n) i P (n) mo˙zna uzna´c za przydatne do budowy dobrej heurystyki. Mo˙zna te˙z uzna´c, ˙ze funkcja S(n) dobrze oddaje trudno´s´c osiagni_֒ ecia stanu docelowego._֒

Stosujac funkcj_֒ e h(n) = a ∗ W (n) + b ∗ P (n) + c ∗ S(n) i przeprowadzaj_֒ ac wiele_֒ eksperyment´ow obliczenia h(n), jest mo˙zliwe, ˙ze optymalne warto´sci okaza lyby sie_֒ zbli˙zone do: a ≈ 0, b ≈ 1 i c ≈ 3, co w efekcie da loby funkcje h_{֒ 3}(n).

Kr´ otkie podsumowanie — pytania sprawdzaj

ace

֒

1. Wymie´n i opisz znane Ci og´olne metody tworzenia heurystycznych funkcji oceny.

Przeszukiwanie dla gier dwuosobowych

Gry sa_֒ fascynujac_֒ a_֒ rozrywka_֒ i czesto stanowi_֒ a_֒ wyzwanie dla intelektu cz lowieka. Nic dziwnego, ˙ze od dawna by ly obiektem zainteresowania sztucznej inteligencji.

Metody przeszukiwania w przestrzeni stan´ow nie daja_֒ sie_֒ bezpo´srednio zastosowa´c w typowej grze dwuosobowej ze wzgledu na konieczno´s´c uwzgl_֒ ednienia ruch´ow_֒ przeciwnika, kt´ore nie sa_֒ znane.

”Rozwiazaniem” musi by´c tu schemat uwzgl_֒ edniaj_֒ acy_֒ wszystkie mo˙zliwe reakcje przeciwnika.

Dodatkowo, w niekt´orych grach pe lna wiedza o stanie w og´ole nie jest dostepna dla_֒ obu graczy.

Rodzaje gier:

deterministyczne losowe

z pe lna_֒ szachy, warcaby, backgammon, informacja_֒ go, othello monopol

z niepe lna_֒ statki, k´o lko i bryd˙z, poker, informacja_֒ krzy˙zyk na ´slepo scrabble

Drzewo gry dwuosobowej

X X

X X

X X X

X X

MAX (X)

MIN (O)

X X

O

O O X O

O

O O

O O O

MAX (X)

X O X O

X O X

X X

X X

X X

MIN (O)

X O X X O X X O X

. . . . . . . . . . . . . . . . . .

. . . TERMINAL

X X

−1 0 +1

Utility

Procedura minimaksu

Mo˙zna wyznaczy´c optymalna_֒ strategie_֒ gry dla gry deterministycznej z pe lna_֒ informacja_֒ za pomoca_֒ nastepuj_֒ acej procedury, zwanej procedur_֒ a_֒ minimax. Oblicza ona warto´s´c wez la startowego przez propagacj_֒ e_֒ warto´sci ko´ncowych (warto´sci wygranej dla naszego gracza) w g´ore_֒ drzewa gry:

1. poziomy drzewa odpowiadaja_֒ ruchom graczy: MAX-a i MIN-a; przyjmujemy, ˙ze MAX ma pierwszy ruch,

2. stanom terminalnym w li´sciach drzewa przypisujemy warto´s´c wygranej MAX’a (ujemna, je´sli faktycznie jest to jego przegrana)_֒

3. wez lom drzewa powy˙zej li´sci przypisujemy stopniowo warto´sci: maksymaln_֒ a_֒ ze

wszystkich ga lezi je´sli w_֒ eze l odpowiada ruchowi MAX-a, i minimalna ze wszystkich_֒ ga lezi je´sli w_֒ eze l odpowiada ruchowi MIN-a,_֒

4. najwy˙zsza ga la´z_֒ o najwieksz_֒ a_֒ warto´scia_֒ wskazuje optymalny ruch MAX-a.

MAX

3 12 8 2 4 6 14 5 2

MIN

3

A1 A

A 3 2

A13

A12

A11 A

21 A

A 23

22 A

A 33

A 32 31

3 2 2

Ograniczenie zasob´ ow — zastosowanie heurystyki

Procedura minimaksu definiuje optymalna_֒ strategie_֒ gracza przy za lo˙zeniu, ˙ze przeciwnik r´ownie˙z gra optymalnie. Jednak tylko pod warunkiem, ˙ze da sie_֒ przeanalizowa´c ca le drzewo gry.

Dla prawdziwego drzewa gry mo˙ze by´c z tym problem. Np., dla szach´ow

b ≈ 35, m ≈ 100 dla sensownej rozgrywki, i kompletne drzewo gry mo˙ze mie´c oko lo 35¹⁰⁰ ≈ 10¹⁵⁵ wez l´ow._֒

(Liczba atom´ow w znanej cze´s_֒ ci Wszech´swiata szacowana jest na 10⁸⁰.) Aby rozwiaza´c ten problem, mo˙zna pos lu˙zy´c si_֒ e_֒ heurystyczn

a funkcj֒

a oceny֒

warto´sci pozycji, aby podobnie jak w zwyk lych metodach przeszukiwania przestrzeni stan´ow, wyznacza´c dobry ruch bez posiadania jawnej reprezentacji ca lej przestrzeni.

W przypadku gry dwuosobowej pozwoli loby to zastosowa´c te_֒ sama_֒ zasade_֒ minimaksu, ale ograniczy´c analize_֒ do kilku ruch´ow.

Dla szach´ow, mo˙zna taka_֒ ocene_֒ obliczy´c jako warto´s´c materialn

a posiadanych֒

figur, np. 1 za piona, 3 za wie˙ze_֒ lub go´nca, 5 za skoczka, i 9 za hetmana.

Dodatkowo mo˙zna uwzgledni´c warto´s´c pozycji takich jak_֒

”dobre rozstawienie pion´ow”, albo wy˙zsza_֒ warto´s´c wie˙zy w ko´nc´owce gry, a jeszcze wy˙zsza_֒ dw´och wie˙z.

Zastosowanie heurystyk — sytuacje specjalne

Ograniczenie g leboko´sci analizy czasami prowadzi do sytuacji szczeg´olnych, kt´ore_֒ wymagaja_֒ nieco zmodyfikowanego podej´scia.

Jedna_֒ z nich jest zagadnienie opanowanego zagro˙zenia. W niekt´orych sytuacjach funkcja oceny mo˙ze sugerowa´c warto´sci korzystne dla jednego z graczy, ale najbli˙zsze ruchy — poza g leboko´sci_֒ a_֒ uwzglednion_֒ a_֒ przez funkcje_֒ przeszukiwania — nieuchronnie doprowadza do drastycznej zmiany. Rozwiazaniem jest wykrywanie takich niestabilnych_֒ sytuacji zagro˙zenia i pog lebienie przeszukiwania a˙z do osi_֒ agni_֒ ecia stan´ow bardziej_֒

stabilnych (quiescent states).

Innym problemem jest problem horyzontu. Ma on miejsce wtedy, gdy nadchodzi nieuchronne zagro˙zenie dla jednego z graczy, ale jest on w stanie odsuwa´c je w czasie wykonujac ruchy, kt´ore jednak nie rozwi_֒ azuj_֒ a_֒ problemu.

Przeszukiwanie minimax — odcinanie przeszukiwania

Na jakie efekty praktyczne mo˙zna liczy´c stosujac ocen_֒ e_֒ heurystyczna_֒ na g leboko´sci_֒ kilku ruch´ow?

Np., dla szach´ow, przyjmujac 10_֒ ⁶ wez l´ow na sekund_֒ e, i 180 sekund na ruch, mo˙zemy_֒ zbada´c 10⁸ ≈ 35⁵ pozycji, czyli do 5 ruch´ow wprz´od. Program grajacy w ten spos´ob_֒ zachowuje sie_֒ racjonalnie, lecz przecietnemu cz lowiekowi nietrudno z nim wygra´c._֒ Potrzebne sa_֒ dodatkowe metody zwiekszaj_֒ ace efektywno´s´c przeszukiwania._֒

Latwo zauwa˙zy´c, ˙ze mo˙zna w analizie minimaksowej drzewa gry poczyni´c pewne oszczedno´sci. Najprostsze z nich nazywane s_֒ a_֒ odci

eciami alfa-beta.֒

Odci ecia α–β — ilustracja

֒

Cwiczenie: znajd´z b l´ ad w powy˙zszym drzewie (´zr´od lo: Patrick Henry Winston, Artificial_֒ Intelligence, 3rd ed.).

Odp ow ied

´ z:w kro

ku 10

Odci ecia α–β — algorytm

֒

PROCEDURE MINIMAX-ALPHA-BETA(n,alpha,beta,depth) BEGIN

IF depth==MAXDEPTH THEN RETURN(h(n)) choices := Lista_potomkow(n)

WHILE (NOT Empty(choices)) AND (alpha < beta) DO

;; zaniechanie badania kolejnych potomkow wezla n oznacza odciecie BEGIN

n1 := First(choices) choices := Rest(choices)

w1 := MINIMAX-ALPHA-BETA(n1,alpha,beta,depth+1)

IF EVEN(depth) THEN ; dla wezlow MAX’a IF w1 > alpha THEN alpha := w1

IF ODD(depth) THEN ; dla wezlow MIN’a IF w1 < beta THEN beta := w1

END

IF EVEN(depth) THEN RETURN(alpha) ; wezel MAX’a ELSE RETURN(beta) ; wezel MIN’a END

⇒ w pierwszym wywo laniu przyjmujemy α = −∞, β = +∞

Oci ecia α–β — przypadek optymalny

֒

Optymalny przypadek przeszukiwania minimaksowego z odcieciami alfa-beta zachodzi_֒ gdy na ka˙zdym poziomie wez ly s_֒ a_֒ rozpatrywane w kolejno´sci od najbardziej

korzystnego, dla danego gracza. Wtedy w ka˙zdym poddrzewie obliczana jest tylko jedna

”seria” wez l´ow, natomiast przy ka˙zdym powrocie w g´or_֒ e_֒ drzewa nastepuje odci_֒ ecie._֒

Na powy˙zszym diagramie oszczedno´s´c wynosi 16 w_֒ ez l´ow; na 27 w_֒ ez l´ow na najni˙zszym_֒ poziomie obliczonych musi by´c tylko 11.

Zr´od lo: Patrick Henry Winston, Artificial Intelligence, 3rd ed. (uwaga, b l´ ad: w_֒ ez ly 18,_֒ 19, 21, i 22 mog lyby r´ownie˙z by´c odciete).