Dane trenujące

Należy określić, jakie fakty opisujące otoczenie agenta i jego interakcję z nim, będą pod-stawą uczenia się. Warto tutaj podkreślić wymóg selektywności danych dostarczanych agen-towi. W rzeczywistych zastosowaniach bardzo rzadko do algorytmów uczących przekazuje się wszystkie informacje, które system jest w stanie zarejestrować lub pozyskać z innych źródeł. Zgodnie z omówionym wcześniej postulatem Maes [Mae1994b], agent nie powinien uczyć się wszystkiego, lecz tylko tego, co może być przydatne z punktu widzenia jego celów. Pierw-szym ograniczeniem, uzasadniającym ten wymóg, jest złożoność obliczeniowa uczenia się, która może sprawiać, iż agent jest w stanie przetworzyć tylko część dostępnych danych tak, aby nie zakłócało to płynności jego normalnego działania. Po drugie, agent w trakcie swojego działania jest w stanie wykorzystać ograniczoną ilość wiedzy (np. ze względu na czas prze-szukiwania struktur bazy wiedzy).

Możemy wyróżnić trzy rodzaje źródeł informacji trenującej dla agenta [Kaz2001].

• Zewnętrzny nauczyciel (ang. external teacher) – źródło zewnętrzne w stosunku do agen-ta, które dostarcza mu ciąg przykładów trenujących tak, jak to zostało opisane w po-przednim rozdziale, przy omawianiu uczenia się z nadzorem.

• Informacja trenująca pochodząca z otoczenia (ang. environmental feedback) – jest to sytuacja charakterystyczna dla uczenia się poprzez eksperymentowanie. Agent wykonu-je akcję na otoczeniu i odbiera z niego informację, która wskazuwykonu-je na odniesioną w ten sposób korzyść lub stratę. Informacja ta może być zdefiniowana jako użyteczność (ang. utility) określonego stanu otoczenia, który został zaobserwowany przez agenta. Jedną z metod charakterystycznych dla tego źródła informacji trenującej jest, omawiane we wcześniejszym rozdziale, uczenie się ze wzmocnieniem, które, przypomnijmy, zostało tam zakwalifikowane jako uczenie się bez nadzoru (mimo iż niekiedy jest traktowane jako uczenie się z nadzorem, choć nie bezpośrednim).

• Wewnętrzna ocena agenta (ang. internal agent bias) – funkcja pozwalająca na war-tościowanie pozyskiwanej wiedzy (np. wzorców i zależności w danych rejestrowanych z otoczenia) bez jakiejkolwiek bezpośredniej, zewnętrznej informacji trenującej. Funk-cja ta może być różnie definiowana w zależności od dziedziny zastosowania. Kazakov i Kudenko określają ten model jako uczenie się bez nadzoru (ang. unsupervised lear-ning), stwierdzając przy tym, iż niewiele jest prac z tego zakresu [Kaz2001]. Sytuacja ta nie powinna dziwić, skoro, jak to już wcześniej zostało wyjaśnione, w przypadku metod uczenia się bez nadzoru trudno jest określić wyraźną miarę oceny jakości uczenia się systemu (tutaj – wewnętrzną funkcję oceny).

Poniżej przedstawiona jest analiza uczenia się z nadzorem i bez nadzoru w kontekście sys-temu agenckiego. Ocena przydatności obu grup technik uczenia się w architekturze agenckiej przeprowadzona jest przede wszystkim pod kątem zapewnienia autonomiczności, która jest podstawową cechą wymaganą od systemu agenckiego i odróżniającą go od innych systemów informatycznych.

Metody uczenia się z nadzorem cieszą się dużą popularnością, ponieważ pozwalają na osiągnięcie wysokiej dokładności i szybkości procesu uczenia się. Dodatkowo, dla tej grupy algorytmów istnieją wyraźne miary oceny jakości uczenia się. Uczenie się z nadzorem zakłada dostępność zewnętrznego w stosunku do systemu uczącego się źródła informacji trenującej, czyli nauczyciela. Wymóg autonomiczności agenta wyklucza możliwość bezpośredniego manipulowania na jego wiedzy (co może mieć miejsce wyłącznie w fazie implementacji), stąd też informacja trenująca może być przekazywana agentowi tylko poprzez komunikację z nim. W rzeczywistych zastosowaniach możemy wyodrębnić następujące źródła informacja trenu-jącej dla autonomicznego agenta.

• Projektant. Na etapie tworzenia lub wdrażania systemu agenckiego projektant prze-prowadza sekwencję uczenia systemu agenckiego, uzyskując stan jego wiedzy pożądany w konkretnym środowisku, po czym przestaje wpływać na działanie agenta.

• Użytkownik końcowy. Już po wdrożeniu systemu agenckiego w określonym środowisku, agent może zwracać się do użytkownika o dostarczenie pewnej informacji trenującej, na przykład o ocenę ostatniej akcji agenta. Tego typu pytania pojawiają się co pewien czas i są przedzielone okresami całkowicie autonomicznego działania agenta, kiedy korzysta on z dostępnej wiedzy lub doskonali ją bez interakcji z użytkownikiem.

• Inny agent. Jest to możliwe w systemie wieloagenckim (ang. multi-agent system, MAS), w którym poszczególne agenty2 są zdolne do komunikowania się i wymiany wiedzy między sobą.

Pierwsza możliwość, a więc dostarczanie informacji trenującej przez projektanta lub wdrożeniowca, ma duże znaczenie na etapie instalowania systemu agenckiego w określonym środowisku. Nie może być ona jednak traktowana jako mechanizm uczenia się podczas nor-malnej, autonomicznej pracy agenta.

Uzyskiwanie informacji trenującej od użytkownika jest możliwe jedynie w pewnej klasie zastosowań, to znaczy tam, gdzie może zachodzić interakcja z użytkownikiem. Są to przede wszystkim programy pełniące rolę osobistych asystentów (ang. personal assistants), na przy-kład w takich dziedzinach, jak: wyszukiwanie i filtrowanie informacji, dokonywanie zakupów przez Internet lub udział w elektronicznych aukcjach. Dodatkowym warunkiem jest zgoda użytkownika na udzielanie informacji agentowi. W ogólnym przypadku agent nie powinien wymuszać na użytkowniku działań, które, mimo iż mogą być wykorzystane do optymalizacji systemu, nie są absolutnie konieczne do jego funkcjonowania, a w perspektywie krótkoter-minowej mogą wręcz spowalniać interakcję systemu z użytkownikiem. Przypuśćmy, że rola agenta polega na rekomendowaniu użytkownikowi stron WWW w oparciu o jego zaintere-sowania, które zostały rozpoznane na podstawie oceny stron przeglądanych do tej pory.

2 Autor niniejszej pracy, zgodnie z własną intuicją językową, stosuje agenty jako liczbę mnogą słowa agent, w

odniesieniu do programów agenckich (ang. software agents), w przeciwieństwie zaś do agentów – ludzi. Jest to podobna odmiana, jak w przypadku słowa pilot: mówimy ci piloci (o ludziach sterujących samolotami), ale te piloty (o urządzeniach RTV).

2.4. Uczenie się pojedynczego agenta 49 Podczas wyświetlania danej strony agent może poprosić użytkownika o ocenę stopnia jej relewancji, ale użytkownik ma prawo nie udzielać odpowiedzi, na przykład dlatego, że w danym momencie się śpieszy i chce tylko szybko przejrzeć wybraną stronę. W tej sytuacji, właśnie ze względu na prawie całkowity brak możliwości wymuszania przez agenta na użyt-kowniku udzielania informacji, uczenie się z nauczycielem – użytkownikiem może być za-stosowane w mocno ograniczonym zakresie. A zatem wykorzystanie tego typu metod uczenia się z nadzorem w rzeczywistych aplikacjach jako głównego mechanizmu adaptacyjne-go, może okazać się nieefektywne, gdyż duża część potencjalnie ważnej informacji trenującej jest wtedy poza jego zasięgiem.

Pozostało nam rozważenie możliwości wykorzystania przez agenta informacji trenującej, która pochodzi od innego agenta. Możemy mieć do czynienia z dwoma głównymi sposobami uczenia się w systemie wieloagenckim [Wei1996]: (i) silne (ang. strong multi-agent learning) – wzajemne dzielenie się wiedzą i doświadczeniem przez agenty, które mają wspólny cel uczenia się oraz (ii) słabe (ang. weak multi-agent learning) – indywidualne uczenie się poszczególnych agentów, na które ma wpływ zachowanie innych agentów, obserwowane we wspólnym środowisku. Łatwo można stąd wywnioskować, że tylko silne uczenie się możemy uznać za uczenie się z nadzorem, gdzie agent posiadający większą wiedzę lub umiejętności przekazuje je innemu agentowi w formie informacji trenującej. W przypadku słabego uczenia się systemu wieloagenckiego, poszczególne agenty nie prowadzą ze sobą komunikacji po to, aby bezpośrednio przekazywać sobie nawzajem swoją wiedzę ze względu na wspólne rozwiązywanie pewnego problemu, lecz wyłącznie po to, aby zrealizować własne cele. Agenty zatem uczą się samodzielnie, bez pomocy innych agentów, natomiast ewentualna poprawa globalnej wydajności całego systemu wieloagenckiego ma co najwyżej charakter zjawiskowy (ang. emergent) – może pojawić się w systemie, ale w sposób nie do końca możli-wy do przewidzenia. Uczenie się w systemie wieloagenckim jest omówione w dalszej części pracy, natomiast tutaj chcemy rozstrzygnąć możliwość wykorzystania agenta jako nauczyciela dla innego agenta, który uczy się z nadzorem. Tego typu rozwiązanie ma sens tylko wtedy, gdy agent – nauczyciel posiada wiedzę przydatną dla agenta uczącego się, której agent – uczeń nie posiada. Oto przykłady takiej sytuacji.

• Specjalizacja agentów. Poszczególne agenty mają odrębne funkcje lub obszary działania (np. przeszukują różne grupy domen w sieci Internet) i specjalizują się w nich, przez co różna jest także ich wiedza pochodząca z interakcji z fragmentami środowiska. Jeśli jed-nak zachodzi potrzeba, aby przez pewien czas dany agent działał poza swoim normal-nym obszarem, może on, zamiast rozpoznawania tej części środowiska od zera, pozy-skać wiedzę od wyspecjalizowanego tam agenta.

• Różnice w doświadczeniu. Wszystkie agenty działają w tym samym środowisku, ale między sobą różnią się one doświadczeniem – na przykład długością działania („życia agenta”) lub intensywnością dotychczasowej interakcji z otoczeniem. W tej sytuacji również agenty o większym doświadczeniu mogą przekazywać swoją wiedzę innym agentom – mniej doświadczonym.

Naturalną metodą uczenia się agenta w powyższych sytuacjach jest omawiane wcześniej uczenie się na podstawie zapytań [Cic2000], w którym agent – nauczyciel występuje w roli wyroczni odpowiadającej na jawne pytania agenta – ucznia. Przy odpowiedniej konfiguracji systemu wieloagenckiego takie dzielenie się wiedzą nie tylko może poprawiać lokalnie

efektywność poszczególnych agentów, ale też całego systemu. Zwróćmy jednak uwagę, że dzieje się tak tylko wtedy, gdy zachodzą znaczące różnice pomiędzy wiedzą poszczególnych agentów. Samo współdzielenie wiedzy nie gwarantuje natomiast dostarczenia nowej wiedzy do systemu wieloagenckiego, gdyż musi to nastąpić w fazie projektowej lub podczas indywi-dualnego uczenia się poszczególnych agentów. (Agenty same muszą skądś zdobyć wiedzę, aby móc się nią dzielić z innymi agentami). Widzimy zatem, że niezależnie od pozytywnych i pożądanych skutków silnego uczenia się systemu wieloagenckiego, nie może być ono jedy-nym mechanizmem uczenia się agentów, lecz powinno raczej pełnić rolę wspomagającą i optymalizującą działanie całego systemu.

Podsumowując powyższą analizę możemy stwierdzić, że:

• w systemie agenckim istnieje możliwość zastosowania uczenia się z nadzorem, jednak informacja trenująca musi być przekazywana agentowi na drodze komunikacji, a nie bezpośredniej manipulacji na jego wiedzy;

• źródłem informacji trenującej dla agenta może być: projektant, użytkownik końcowy lub inny agent;

• we wszystkich przeanalizowanych przypadkach uczenie się z nadzorem może prowa-dzić do pożądanych skutków – to znaczy do poprawy indywidualnego działania agenta lub nawet całego systemu wieloagenckiego;

• w systemie autonomicznym, którym jest agent, uczenie się z nadzorem może być za-stosowane w ograniczonym zakresie i dlatego nie powinno być jedynym mechanizmem uczenia się, lecz pełnić rolę wspomagającą.

Przestawione konkluzje prowadzą do ogólnego wniosku, że głównym mechanizmem ad-aptacji autonomicznego agenta powinno być jego indywidualne uczenie się bez nadzoru, które może być ewentualnie uzupełniane uczeniem się z nadzorem. Jest to wniosek w dużym stop-niu zgodny z intuicją, skoro najważniejszą cechą agenta jest jego samostanowienie o sobie, czyli autonomiczność. Zauważmy, że ten wynik jest bardzo zbieżny z przytoczonym wcześniej postulatem Maes, iż w architekturze agenckiej należy stosować uczenie się bez nad-zoru [Mae1994b].

Wymagamy zatem, aby agent, jako system uczący się, samodzielnie kontrolował cały proces: pozyskiwania informacji z otoczenia, przetwarzania jej, wpływania na stan bazy wiedzy, wykorzystywania zdobytej wiedzy do udoskonalania swojego działania i oceny uczenia się. Spełnienie tych wymagań jest poważnym wyzwaniem, jeśli wziąć pod uwagę, że w uczeniu się bez nadzoru istnieje, wspomniana już kilkakrotnie, trudność oceny jakości wiedzy w ten sposób pozyskiwanej [Has2001]. W dalszej części tekstu rozważane są różne zagadnienia związane z osadzeniem metod uczenia się w architekturze agenckiej.

2.4. Uczenie się pojedynczego agenta 51