Jo n ath an Bendor
Stanford University
Piotr Świstak
University o f Maryland
EW OLUCYJNA STABILNOŚĆ KOOPERACJI*
Czy przy braku centralnej władzy kooperacja może być stabilna? Jeśli tak, to ja k trwała jest je j stabilność? Wbrew powszechnemu przekonaniu problem ten nie został rozwiązany tv The Evolution of Cooperation. Co więcej, wyniki uzyskane przez innych wydawały się zaprzeczać głównej tezie książki Axelroda. Dokładna analiza tego niezwykle głośnego problemu przynosi zupełnie nowy obraz. Część ewolucyjnej historii opowiedzianej przez Axelroda okazuje się fałszywa. Główna jednak intuicja, że odwetowe strategie warunkowej kooperacji są ewolucyjnie uprzywilejowane, jest prawdziwa w jednym specyficznym i ważnym bardzo sensie: przy standardowym procesie reprodukcji strategie te wymagają najmniejszej proporcji w populacji, aby być stabilne. A zatem opiera się na nich najbardziej trwała równowaga ewolucyjna; taka, którą jest najłatwiej osiągnąć i utrzymać. Okazuje się ponadto, że mniej efektywne strategie wymagają większej minimalnej proporcji aby być stabilne; Hobbesowskie strategie czystej defekcji są najmniej trwale. Główne twierdzenia tego artykułu udowodnione są dla dużej klasy gier związanych z różnymi problemami kooperacji; klasa ta zawiera takie gry ja k dylemat więźnia, kurczak (chicken), polowanie na jelenia (stag hunt) i wiele innych.
Jonathan Bendor, Graduate School of Business, Stanford University, Stanford, California 94305, USA, e-mail: bendor_jonathan@gsb.stanford.edu.
Piotr Świstak, Department of Government and Politics and Interdisciplinary Program in Applied Mathematics, Department of Mathematics, University of Maryland, College Park, Maryland 20742, USA, e-mail: pswistak@bss2.umd.edu.
* Tłumaczenie artykułu pt. The Evolutionary Stability o f Cooperation opublikowanego w „Ame
rican Political Science Review” vol. 91, No. 2, June 1997. Autorzy dziękują The American Political Science Association za zgodę na publikację tłumaczenia w „Studiach Socjologicznych” . Wcześniej
sza wersja tego artykułu prezentowana była na Meetings of the American Political Science Association w sierpniu 1992. Niektóre z zawartych tu wyników opisane zostały w sposób nieformalny w dwóch wcześniejszych pracach Bendora i Świstaka (1995, 1996b). Za uwagi i komentarze autorzy dziękują następującym osobom: John Aldrich, Dave Baron, Randy Calvert, James Coleman, Gordon Hines, Hugo Hopenhayn, Marek Kamiński, David Lalman, Susanne Lohmann, M ancur Olson, Janek Poleszczuk, Ed Schwartz, Jeroen Swinkels i Peyton Young.
Szczególne podziękowania należą się Bobowi Axelrodowi za jego uwagi do wcześniejszych wersji tego artykułu. Świstak dziękuje General Research Board na University of Maryland oraz Grzegorzowi Lissowskiemu, bez inicjatywy którego tłumaczenie to nie powstałoby. Autorem tłumaczenia i wszystkich jego ułomności językowych jest Piotr Świstak.
K ooperacja, ja k w iadom o z wielu głośnych argum entów, jest cechą fun
dam entalną systemów pozbawionych władzy centralnej (Axelrod 1981; Mil- grom, N o rth i W eingast 1990; Oye 1986). N aw et w systemach z dobrze określoną hierarchią form alną rzadko zdarza się tak, aby wszystkie zachowania sprecyzowane były przez role, które aktorzy w instytucjach tych pełnią;
nawet w najlepiej zdefiniowanej strukturze formalnej nieform alna kooperacja stanowi główne spoiwo systemu (Chisholm 1989; Heclo 1977; M atthews 1960; Shils i Janow itz 1948). Co wiemy zatem n a tem at ewolucji kooperacji?
W pewnym sensie wiemy mniej niż myślimy: Powszech n e opinie są w dużej mierze fałszywe. Wielu zapewne uważa, że słynna praca A xelroda The Evolution o f Cooperation (1984) wykazała zalety prostej strategii odwzajemniania „W et za W et” (T it f o r Tat). A zatem wiemy, że W et za W et (WZW) „jest lepszy niż inne [strategie] w iterowanym dylemacie więźnia” (Trivers 1985:
391). W iemy również, że W ZW jest strategią ewolucyjnie stabilną i jej sukces oparty jest na tym, że jest to strategia „przyjazna” (nigdy nie odchodzi od kooperacji pierwsza) i odwetowa (defekcja przeciwnika w iteracji t wywołuje defekcję W ZW w iteracji t + 1 ) . W iemy zatem, że W ZW uzyska najwyższą wypłatę, jeśli tylko gracze nie dyskontują zbytnio przyszłości i wystarczająco wielu z nich używa strategii W ZW .
W istocie nie wiemy żadnej z tych rzeczy. Ponieważ powyższe stwierdzenia są albo f a ł s z y w e albo w i e l o z n a c z n e , „fakty” dotyczące ewolucji koope
racji, które wydawały się daw no udow odnione, nie są tak napraw dę rozstrzyg
nięte. Najważniejszy chyba element powszechnego przekonania, fakt że W ZW jest strategią ewolucyjnie stabilną, podważony został przez wynik opublikow a
ny w „N a tu re ” pod tytułem Ż a d n a strategia czysta nie je s t ewolucyjnie stabilna w iterow anym dylem acie więźnia (N o Pure S tra teg y is Evolutionarily Stable in the R ep ea ted P risoner’s D ilem m a) (Boyd i Lorberbaum 1987). W jakim zatem znaczeniu, jeśli znaczenie takie daje się znaleźć, jest W ZW strategią stabilną?
Czy w istocie strategie kooperatyw ne m ają ewolucyjną przewagę nad strategia
mi niekooperatywnym i? Jeśli tak, to jak a jest między nimi różnica? Stabilność kooperacji jest problem em podstaw owym dla nauk politycznych. Ja k przypusz
czamy, wielu czytelników zaskoczonych będzie ja k m ało n a ten tem at wiemy.
Nasze zadanie jest zatem podwójne: po pierwsze, musimy wykazać, że problem istnieje. Po drugie, musim y ten problem rozwiązać. Zaczniemy od analizy pewnych twierdzeń, które wzajemnie się wykluczają. Logika tej analizy w naturalny sposób zaowocuje ciągiem pomocniczych twierdzeń, które d o prow adzą nas pod koniec artykułu do głównych wyników. Ponieważ uważne prześledzenie drogi, k tó rą będziemy do wyników tych dochodzić, niezbędne jest do ich zrozum ienia, ostrzec musim y, że lektura ta wymagać będzie cierpliwości.
Organizacja artykułu jest następująca. Rozpoczniemy od sform ułow ania założeń i przedstaw ienia krótkiego szkicu ewolucyjnej teorii gier. N astępnie przejdziemy do analizy problem u podstawowego: czy kooperacyjne strategie
typu W ZW są w istocie ewolucyjnie stabilne. W kolejnej części przeana
lizujemy dlaczego i w jakim sensie podstaw owe własności strategii W ZW są ewolucyjnie ważne. N astępnie uogólnim y problem kooperacji z dylem atu więźnia n a znacznie szerszą klasę gier. W kolejnym k roku sformułujemy podstaw ow e wyniki, twierdzenia 7-9, dla tej klasy gier. Twierdzenie 7 p o każe, że strategie warunkowej kooperacji są w istocie ewolucyjnie uprzy
wilejowane: w klasie wszystkich ekologii złożonych ze skończonej liczby strategii, k tó re ewoluują w w arunkach standardowego procesu replikacji, strategie te stabilizują się w populacji m ając najmniejszą proporcję. W tym sensie podtrzym ują one najbardziej trw ałą równowagę ewolucyjną. Tw ier
dzenie 8 pokaże, że tylko strategie, które są zarazem wystarczająco k o operatywne i odwetowe podtrzym ywać m ogą najbardziej trw ałą równowagę.
N a drugim końcu spektrum , twierdzenie 9 i wniosek z tego twierdzenia wykażą, że strategie Hobbesowskie - takie, które nigdy ze sobą nie k o operują - są najmniej trw ałe ze wszystkich ewolucyjnie stabilnych strategii.
W yniki te udow odnione zostaną dla dużej klasy gier, k tó ra zawiera bardzo różne typy problem u kooperacji (np. gry koordynacji, kurczak, polowanie n a jelenia i inne).
Analiza ewolucyjna: podstawowe pojęcia i definicje
Zanim zagłębimy się w sedno problem u, podkreślić musim y jeden niezmier
nie ważny aspekt naszych założeń. W ostatniej dekadzie problem ewolucji kooperacji studiow any był bardzo intensywnie1. Ponieważ wyniki w tej dziedzi
nie są rozproszone i nie istnieje jeden centralny rezultat spełniający rolę p u nktu odniesienia, rozwiązanie problem u przy standardowym zbiorze założeń jest bardzo istotne. Nasze wyniki uzyskane są pod takim właśnie zbiorem założeń.
Z a ł o ż e n i a t e p r z y j m o w a n e b y ł y z a r ó w n o p r z e z A x e l r o d a j a k i t y c h , k t ó r z y j e g o h i p o t e z y p o d w a ż a l i (Axelrod i H am ilton 1981;
Axelrod 1981, 1984; Boyd i Lorberbaum 1987; Farrell i W are 1989).
M ówiąc dokładniej, problem kooperacji m odelujem y tutaj jako turniej (Axelrod 1984), w którym uczestnicy spotykają się losowo i grają ze sobą dw uosobow ą wersję dylem atu więźnia (DW ). D W jest pow tarzany (iterowany).
Znaczy to, że ze stałym praw dopodobieństw em , δ, dwóch graczy spotyka się
1 Przegląd prac w tej dziedzinie znaleźć można w artykułach Axelroda i Diona (1988) oraz Axelroda i D ’Ambrosio (1994). Inne prace wspomniane są w ostatniej części naszego artykułu.
Ostatnio wiele wyników uzyskanych zostało przy założeniu „drżeń” (trembles) lub innych warunków stochastycznych, które zmieniają oryginalne założenia debaty na temat ewolucji kooperacji. Różne założenia opisują różne ekologie strategiczne. Jaki zbiór założeń opisuje najlepiej daną ekologię jest problemem empirycznym, który nie może być rozstrzygnięty a priori.
w następnej iteracji gry (0 < δ < 1). Postać jednokrotnego D W jest standardow a.
K ażdy gracz m a do w yboru dwa ruchy: m oże on kooperow ać lub nie (defekcja) i wynikające z tego wypłaty są takie, że T > R > P > S oraz 2 R > T + S.
(Używamy tu zwyczajowych oznaczeń: T jest tzw. wypłatą pokusy (temptation Pay off), k tó rą gracz otrzym uje w przypadku defekcji wobec kooperującego przeciwnika, R jest w ypłatą nagrody (reward payoff) w sytuacji wzajemnej kooperacji, P jest w ypłatą kary {punishment payoff) w sytuacji wzajemnej defekcji, i S jest w ypłatą frajera {sucker’s payoff) dla gracza, który kooperuje wobec defekcji przeciwnika). M ożliwe ruchy i związane z nim i wypłaty są takie same w każdej iteracji gry. Zakładam y również, że w każdej iteracji gracz wie, co jego oponent zrobił w iteracjach poprzednich. Dylem at D W polega na tym, że w jednokrotnej grze defekcja jest strategią dom inującą - gracz 1 uzyskuje wyższą wypłatę grając defekcję niezależnie od tego, co robi gracz 2 - ale jeśli obaj gracze użyją swoich strategii dominujących, to ich wypłata jest niższa od tego, co m ogliby uzyskać, gdyby obydwaj kooperowali.
Ponieważ kooperacja jest strategią silnie zdom inow aną w jednokrotnym D W , jedynym punktem równowagi w tej grze jest defekcja obu graczy. T o samo dzieje się w sytuacji, gdy gra jest iterow ana, ale δ jest niskie (przyszłe korzyści ze wzajemnej kooperacji m ają niższą w artość oczekiwaną niż potencjalne korzyści z defekcji w bieżącej iteracji gry) i defekcja we wszystkich iteracjach pozostaje najlepszą odpowiedzią n a dow olną strategię przeciwnika. Jeśli natom iast δ jest wystarczająco duże, wówczas oczekiwana w artość przyszłej kooperacji w ystar
cza, aby podtrzym ać w równowadze N asha strategie kooperujące; jest to jeden z wielu punktów równowagi, które istnieją dla dużych wartości δ. W istocie, standardow e twierdzenia potoczne orzekają, że dla wystarczająco dużych w artości δ, każdy „poziom ” wzajemnej kooperacji (od 0 do 100%) p o d trzym any być m oże w równowadze N asha.
Ponieważ dla niskich wartości δ gra iterow ana jest strategicznie rów now ażna grze jednokrotnej (jedynym punktem równowagi jest wzajemna defekcja), analizow anie problem u ewolucji kooperacji jest sensowne (nie- trywialne) tylko dla wystarczająco dużych δ. A zatem wszystkie nasze wyniki zakładać będą, że ten „cień przyszłości” , ja k odwoływał się do niego Axelrod, jest wystarczająco duży.
Definicje strategii
W ZW jest tylko jed n ą ze strategii, które przewijać się będą w naszych przykładach i rozw ażaniach. (Przypomnijmy, że W ZW kooperuje w iteracji pierwszej, a w iteracjach kolejnych kooperuje tylko wówczas, gdy przeciwnik kooperow ał w iteracji poprzedniej.) Używać też będziemy strategii innych.
Podam y teraz pełne nazwy, skrócone nazwy, oraz definicje najczęściej używa
nych strategii. W tekście używać będziemy jedynie nazw skróconych.
W ET Z A 2 W ETY (WZ2W): K ooperuj w iteracjach 1 i 2. Graj defekcję w dowolnej iteracji к > 2 wtedy i tylko wtedy, gdy przeciwnik grał defekcję w iteracjach k-1 i k -2.
P O D E JR Z L IW Y W ET Z A W ET (PWZW): G raj defekcję w iteracji 1.
W dowolnej iteracji k > 1 graj to samo, co przeciwnik grał w iteracji k-1.
ZA W SZE D E F E K C JA (ZAW SZE-D): Graj bezwarunkow ą defekcję we wszys
tkich iteracjach gry.
ZA W SZE K O O P E R A C JA (ZAW SZE-K): G raj bezwarunkow ą kooperację we wszystkich iteracjach gry.
B E Z W Z G L Ę D N Y O D W ET (BO): K ooperuj w iteracji 1 i nigdy nie graj defekcji tak długo ja k przeciwnik kooperuje. Jeśli przeciwnik wybierze defekcję w jakiejkolwiek iteracji k, graj defekcję we wszystkich iteracjach począwszy od к 4· 1.
Ewolucyjna teoria gier
W szystkie analizy ewolucyjne oparte są na prawie doboru naturalnego.
W naszym m odelu doborow i naturalnem u podlegają strategie - niektóre z nich przetrw ają, inne nie. A zatem, ja k pisał Axelrod, „m etoda ewolucyjna o parta jest n a bardzo prostej zasadzie: to co przynosi lepsze wyniki, m a większą szansę pojaw ienia się w większej proporcji w przyszłości” (1984: 169). Jest to idea ogólna. Precyzyjna definicja wymaga dokładnej konstrukcji. Załóżmy, że ekologia jest s k o ń c z o n y m zbiorem strategii j,, ... , jN oraz ich proporcji w populacji p,, ... , pN. (N a przykład, pierwszy turniej A xelroda składał się z 15 strategii; k ażda z nich stanow iła zatem jedną piętnastą rozważanej tam ekologii). Przez V(jk) oznaczmy zestandaryzowany wynik uzyskany w turnieju przez strategię j k. V(jk) - będąc wskaźnikiem wartości przystosowawczej (fitness) j k - zdefiniowany jest jak o suma wypłat dla jk we wszystkich dw uosobow ych grach jk z innymi strategiam i w populacji: V(jk) = p, V(jk,j,) 4- ... 4- pN V(jk,jN). (V(i,j) oznacza wypłatę dla i w grze i z j). Założenie, że liczba strategii w populacji jest skończona i stała, jest ważne. Pozwala nam ono analizować gry, które m ają skądinąd nieskończoną liczbę strategii czystych;
w szczególności są to gry nieskończenie iterowane oraz gry, w których zarów no strategie czyste, ja k i strategie mieszane, podlegają procesowi replikacji.
M usim y jed n ak pam iętać, że w tej sytuacji każda gra ewolucyjna inter
pretow ana być m usi r e l a t y w n i e d o p o p u l a c j i , w której zachodzi ewolucja. Proces zachodzi w przestrzeni wyznaczonej przez określony zbiór strategii. (Obszerniejszą dyskusję tego p u n k tu zawiera artykuł Bendora i Świstaka 1998).
Proces nazywać będziemy p r o c e s e m e w o l u c y j n y m , jeśli dla wszyst
kich strategii j, i jk spełnione są następujące w arunk i:
wtedy i tylko wtedy gdy V(jk) < V(j,) (1)
wtedy i tylko wtedy gdy VÖ'k)= V (j,) (2)
Pk Pl
gdzie V oznaczają wyniki turnieju (wartość przystosowawcza) w generacji T, a p i p 5 oznaczają proporcje w kolejnych generacjach T i T + 1; Δ odnosi się do p ’- p . Kiedy zmiany zachodzące w generacjach są wystarczająco m ałe, proces który jest dyskretny w czasie, przybliżony być m oże przez proces ciągły.
W arunki 1 i 2 z wyrażeniami d p /d t zam iast wyrażeń Δρ definiują ciągłą formę procesu ewolucyjnego. W arunek 1 reprezentuje podstaw owy postulat m ono- toniczności oznaczający, że strategie o wyższej wartości przystosowawczej m ają większe relatywne tem po wzrostu. Konsekwencją w arunków 1 i 2 jest to, że proces pozostaw ać będzie w równowadze tylko wtedy, gdy wszystkie strategie mieć będą tą sam ą w artość przystosowawczą. (To co nazywamy tu procesem ewolucyjnym, często nazywane jest procesem m onotonicznym [por. Bendor i Świstak 1998, Friedm an 1991, N achbar 1990]).
Streszczając zatem: Ewolucyjna teoria gier opiera się na założeniu, że im lepszy jest wynik strategii (tj. jej w artość przystosowawcza), tym szybciej strategia ta rozprzestrzenia się w populacji. Trzy elementy gry ewolucyjnej:
stabilność strategii, jej w artość przystosowawcza, i wypłaty w grach z innymi strategiam i, są ze sobą związane. T a oczywista, choć istotna uwaga, okazuje się mieć wiele ważnych konsekwencji2.
M ając zdefiniowane podstaw owe term iny, możemy przejść teraz do pojęcia stabilności ewolucyjnej. M ów iąc najbardziej ogólnie, system jest dynamicznie stabilny, jeśli po drobnym zakłóceniu powróci on do stanu początkowego. A by lepiej zrozum ieć możliwe stany systemu, wyobraźmy sobie szereg wzgórz poprzedzielanych dolinam i, tak jak w R ysunku 1. K ula umieszczona na wierzchołku jest w stanie równowagi (spoczynku): T ak długo jak n a kulę nie oddziałuje żadna siła, pozostanie ona w tym samym punkcie. N ie jest to jednak stabilny p u n k t równowagi; najm niejsza perturbacja spowoduje, że kula stoczy się do doliny. N atom iast n a dnie doliny kula jest już stabilna. M ałe zakłócenie tego stanu spowoduje ruch kuli w górę wzgórza; ruch ten jednak po jakim ś
2 W istocie, niektórzy czytelnicy M aynarda Smitha utożsamiać zaczęli, wbrew jego ostrzeże
niom, stabilność ewolucyjną strategii i z faktem, że i spełnia następujący warunek dla wypłat: D la wszystkich j φ i
V(i,i) > V(j,i) oraz jeśli V(i,i) = V(j,i), to V (ij)> V (jj) (3) Utożsamianie tych dwóch warunków jest błędem: podczas gdy (3) pociąga za sobą stabilność pod pewnymi warunkami, nie gwarantuje on stabilności przy wszystkich warunkach (por. Bendor i Świstak 1992, 1998; Weibull 1995).
czasie ustanie i kula powróci do p u nktu wyjściowego na dno doliny. Im głębsza dolina, tym bardziej stabilna jest równowaga — głębsze doliny wymagają większej siły (perturbacji), aby przenieść kulę do innego p u n ktu równowagi.
Głębsze doliny reprezentują zatem punkty równowagi, które są bardziej trwałe (bardziej odporne n a perturbacje). T o pojęcie trwałości czy też odporności (robustness) równowagi odgrywać będzie w ażną rolę w naszym głównym wyniku tzw. Twierdzeniu Charakteryzującym .
Rysunek 1. Punkty równowagi o różnym poziomie trwałości
T raktując system jak o populację strategii, pozycja początkow a systemu oznacza po prostu rozkład proporcji strategii w ekologii; perturbacja jest zm ianą w tym rozkładzie. Z w arunku 2 wiemy, że w równowadze ewolucyjnej wszystkie strategie mieć m uszą jednakow ą w artość przystosowawczą. Załóżmy teraz, że strategia i zawładnęła całkowicie ekologią. W tej sytuacji system będzie, oczywiście, w równowadze. Stabilność tej równowagi możemy badać wprow adzając m ałe zaburzenia i patrząc, czy ekologia powróci do stanu początkowego, w którym wszyscy grali strategię i.3
3 W standardowej analizie ewolucyjnej po zakłóceniu systemu pozwala mu się zbiec do nowego stanu równowagi. Oczywiście wyniki mogą być inne przy założeniu, że system ulega powtarzającym się szokom i nie ma wystarczająco dużo czasu aby ustabilizować się pomiędzy kolejnymi zaburzeniami (por. Young i Foster 1991).
WZW i pojęcie stabilności ewolucyjnej
W jakim sensie jest W ZW (i inne w arunkow o kooperujące strategie) stabilny ewolucyjnie? Ja k zobaczymy poniżej, odpowiadając na to pytanie różni badacze musieli mieć n a uwadze, niekoniecznie świadomie, różne pojęcia stabilności.
W yjaśnienie związanych z tym problem ów koncepcyjnych jest głównym celem tej części artykułu.
N ajkrótszą drogą do osiągnięcia tego celu okazuje się być droga nie w prost - droga zaczynająca się od pojęcia b raku równowagi. T ak ja k różne punkty równowagi m ogą być mniej lub bardziej trwałe, tak punkty b rak u równowagi m ogą być mniej lub bardziej destruktywne. Rozważmy najpierw punkt, który zasługuje na m iano najbardziej destruktywnego.
Niestabilność fundamentalna
Załóżm y, że wszyscy gracze używają świętobliwej strategii ZAW SZE-K.
M im o, że z w arunku 2, system taki jest w stanie równowagi, równowaga ta jest m aksym alnie niestabilna: Jeśli nawet jed n a osoba zmieni swoją strategię na ZA W SZE-D , to osiągnie ona wypłatę znacznie wyższą niż rodzim a strategia ZA W SZE-K. Niezależnie od tego jak m ała będzie inwazja ZAW SZE-D i niezależnie od tego, jaki proces rządzić będzie zmianą, ZA W SZE-K skazane jest na całkowite wymarcie. Jest to paradygm atyczny przykład strategii, k tó rą określać będziemy m ianem strategii f u n d a m e n t a l n i e n i e s t a b i l n e j . T er
m in ten definiujemy następująco. Załóżmy, że 1 - ε wszystkich graczy w p o p u lacji używa rodzimej strategii i, podczas gdy niewielka część populacji składa się z m utantów używających strategii j. Załóżm y teraz, że j uzyskuje większą wy
płatę niż i (V (j)> V (i)) dla każdej wartości ε. W tej sytuacji proporcja i zmniej
szać się będzie z generacji na generację aż do jej całkowitego zaniknięcia. Stanie się tak niezależnie od tego, ja k m ała była inwazja ani też jaki proces rządzi zm ianą ewolucyjną. T a k ą strategię nazwiemy fundam entalnie niestabilną.
Warunek konieczny stabilności
Problem ze strategią ZA W SZE-K jest taki, że nie jest to strategia odwetowa, a zatem nie m oże się ona bronić przed eksploatacją. M ówiąc ogólniej, ZA W SZE-K nie posiada własności bycia najlepszą odpowiedzią na Z A W SZE-K, a to jest w ada, k tó ra czyni ją fundam entalnie niestabilną (Bendor i Świstak 1992, 1998)4. PW ZW , n a przykład, posiada tę samą wadę. Ponieważ PW ZW grać będzie defekcję we wszystkich iteracjach gry ze swoim klonem (tj.
4 Innymi słowy, para strategii ZAWSZE-K nie jest w równowadze Nasha. Zobacz również Nachbar (1990) oraz Hirshleifer i Martinez Coli (1988: 379).
innym egzemplarzem strategii PW ZW ), może natom iast kooperow ać z bardziej cierpliwą strategią ja k n a przykład W Z2W , PW ZW nie jest najlepszą odpowiedzią na PW ZW , jeśli tylko δ jest odpowiednio duże. K ażda, naj
mniejsza nawet, inwazja W Z2W zmiecie populację fundam entalnie niestabilnej strategii PW ZW .
Jeśli strategia nie jest najlepszą odpowiedzią n a siebie samą, to dynamiczne konsekwencje tego stanu rzeczy są niezwykle istotne - dotyczy to nie tylko iterowanego dylem atu więźnia (ID W ), ale wszystkich gier. D obrze jest zatem w prowadzić ten w arunek w sposób form alny. Strategia i jest najlepszą na siebie odpowiedzią, jeśli dla wszystkich strategii j,
V(i,i) ^ V(j,i) (4)
W arunek ten jest lepiej znany jak o fakt pozostaw ania pary strategii (i,i) w równowadze N asha.
Niestabilność „stabilności kolektywnej”
A xelrod nazwał strategie spełniające w arunek 4 kolektywnie stabilnymi (1981: 310). Podczas gdy (jak ju ż widzieliśmy) w arunek 4 jest koniecznym warunkiem stabilności ewolucyjnej, n i e j e s t on warunkiem wystarcza
jącym: Strategie, k tóre spełniają w arunek 4, m ogą być nawet fundam entalnie niestabilne. (Rysunek 2 przedstaw ia dwa takie przykłady). Z tego pow odu strategii takich nie pow inno się nazywać (kolektywnie) stabilnymi; w ogólności, w arunek 4 nie pociąga za sobą żadnej formy stabilności dynamicznej (Boyd i Lorberbaum 1987, Sugden 1988, Świstak 1989), czyli, m ówiąc inaczej, p o jęcie kolektywnej stabilności wprow adzone przez A xelroda było niepra
widłowe.
Rysunek 2. Problemy z pojęciem stabilności kolektywnej
G ra A G ra В
X у X у
X 6,6 0,6 X 3,3 0,3
У 6,0 3,3 У 3,0 6,6
Uwaga: W tych dwóch grach jednokrotnych, czysta strategia x jest kolektywnie stabilna (tj.
V(x,x) > V(j,x) dla wszystkich j), mimo że jest ona fundamentalnie niestabilna. Biorąc (1-ε) strategii x oraz ε strategii у w Grze A dostajemy ν(χ) = 6(1-ε), podczas gdy V (y)= 6(l-e)+ 3e;
w Grze В V (x)= 3(l-e), podczas gdy V(y) = 3 (l-e )+ 6 s. Zatem V (x)<V (y)dla wszystkich wartości ε. G ra A pokazuje, jak proces przejść może z efektywnego stanu (x,x) do nieefektywnego (y,y); G ra В pokazuje efekt odwrotny. Razem ilustrują one problemy z pojęciem kolektywnej stabilności.
Zastanów m y się teraz, czy W ZW spełnia test koniecznego w arunku stabil
ności (w arunek 4)? W ZW jest, w istocie, najlepszą odpowiedzią na W ZW dla wystarczająco dużego δ (Axelrod i H am ilton 1981). D ow ód form alny jest prosty i zgadza się z intuicją, że odwetowość W ZW połączona z faktem, że W ZW jest strategią przyjazną, zapewnia, że najlepszą nań odpowiedzią jest nieprzerw ana kooperacja. W szczególności, inwazja, która zdestabilizowała PW ZW , nie m oże zdestabilizować W ZW , podobnie ZAW SZE-D nie jest w stanie zagrozić populacji W ZW .
Żadna strategia nie jest silnie stabilna
Zauważmy, że W ZW kooperuje nie tylko ze swoimi klonam i, kooperuje on z wieloma innymi strategiam i. Stwarza to, jak się okazuje, problem y dla ewolucyjnej stabilności W ZW (Selten i Ham m erstein 1984). Załóżmy, na przykład, że w populacji, w której wszyscy grają W ZW , ktoś zmienia strategię n a W Z2W . Co się wówczas stanie? Ponieważ zarów no W ZW , ja k i W Z2W są strategiam i przyjaznym i, wszyscy w tej ekologii kooperow ać będą ze wszystkimi we wszystkich iteracjach gry. Co za tym idzie, wartości przystosowawcze, czyli w ypłaty dla W ZW i W Z2W będą identyczne. A zatem ekologia nie powróci do stanu początkowego, w którym wszyscy grali W ZW - inwazyjna strategia W Z2W pozostanie w populacji niezależnie od form y procesu ewolucji. Nie jest to, należy zauważyć, techniczna osobliwość m odelu; własność ta m a naturalną i w ażną interpretację empiryczną. K iedy wszyscy w populacji grają W ZW , wszyscy gracze kooperują we wszystkich iteracjach gry. A zatem odwetowy charakter W ZW pozostaje utajony. Ponieważ zdolność, k tóra nie jest wykorzy
stywana, m oże ulec degeneracji, niektórzy gracze m ogą w konsekwencji zacząć używać strategii mniej odwetowych, takich, n a przykład, ja k W Z2W. A zatem, nastąpić m oże „inw azja” W Z2W . T ak długo jednak, ja k wszystkie strategie w ekologii pozostaną przyjazne, inwazja ta pozostanie bez konsekwencji: nie zajdzie proces uczenia i „m u ta n t” W Z2W nie będzie z populacji wyparty.
W gruncie rzeczy, m u tan t ten nie zostanie nawet w y k r y t y ; W Z2W jest
„neutralnym m u tan tem ” W ZW , który jest behavioralnie nieodróżnialny od W ZW , jeśli w populacji nie m a strategii, które nie są przyjazne. Ogólnie mówić będziemy, że j jest n e u t r a l n y m m u t a n t e m i jeśli strategie te są behawio
ralnie identyczne w przypadku, gdy populacja zawiera jedynie i oraz j.5 A zatem, ja k zauważyli Selten i H am m erstein, W ZW nie m oże być stabilny w sensie silnym, ponieważ nie m oże on wyprzeć z populacji m utantów neutralnych, czyli nie m oże przywrócić oryginalnego stanu równowagi. To
5 Mówiąc dokładniej, dla dowolnej strategii i, j jest neutralnym mutantem i, jeśli w iterowanej grze z i, i oraz j grają sekwencję ruchów, którą strategia i grałaby ze swoim klonem. Inaczej mówiąc, węzły gry, które pozwalają n a rozróżnienie pomiędzy i oraz j nie są nigdy osiągnięte.
samo daje się powiedzieć o k a ż d e j czystej strategii w ID W . Weźmy, na przykład, populację składającą się z PW ZW . Populacja tak a ulec m oże inwazji ZA W SZE-D , k tó ra jest neutralnym m utantem PW ZW . Podobnie populacja ZA W SZE-D ulec m oże inwazji PW ZW 6.
W opisanych tu przykładach m im o że rodzim e strategie nie będą w stanie wyprzeć z ekologii m utantów , proporcja m utantów nie będzie w ekologiach tych wzrastać (zakładając, że nie pojaw ią się jakieś nowe mutacje). Obserwacja ta sugeruje celowość rozróżnienia między dwom a typam i stabilności ewolucyj
nej: strategia nazywana będzie s i l n i e stabilną, jeśli po inwazji jej proporcja w populacji wzrasta; strategię nazwiemy s ł a b o stabilną, jeśli po inwazji jej proporcja w populacji nie maleje. (W Apendyksie definiujemy te pojęcia w sposób form alny. W yczerpująca dyskusja tych pojęć zaw arta jest w artykule B endora i Świstaka 1998). Z rozw ażań tych wynika, że W ZW m oże się jeszcze okazać stabilny w sensie słabym, m im o że, ja k już wiemy, nie jest on stabilny w sensie silnym7.
W istocie, pojęcie silnej stabilności nie m a w ogóle zastosowania do przypadku gier iterowanych. Powodem tego stanu rzeczy jest to, że neutralne mutacje istnieją dla każdej strategii czystej we wszystkich grach iterowanych. (Dowód jest prosty).
Ale naw et w grach jednokrotnych, m utacje neutralne istnieją w przypadku, gdy gra m a więcej niż jeden etap (np. dw uetapow a gra, w której najpierw podejmujemy decyzję czy zwiększyć budżet na zbrojenia, a potem decydujemy czy przystąpić do wojny). A zatem dla strategii czystych kryterium silnej stabilności stosuje się jedynie do przypadku gier jednokrotnych z jednym etapem gry.
N aturalnie, gry takie m ają bardzo ograniczone znaczenie w zastosowaniach.
Żadna strategia nie jest nawet słabo stabilna przy wszystkich procesach ewolucyjnych
F ak t, że W ZW nie jest silnie stabilny, nie m usi koniecznie mieć istotnych konsekwencji dla problem u ewolucji kooperacji. Chociaż inwazja populacji W ZW przez W Z2W jest możliwa, wynikająca z tego równowaga ewolucyjna jest behaw ioralnie identyczna z przedinwazyjnym stanem uniwersalnej koope
racji. Jak istotna jest zatem zm iana, k tó ra zaszła w kompozycji populacji? A by
6 Z tego dokładnie powodu żadna strategia czysta w IDW nie spełnia warunku wypłat (3) M aynarda Smitha.
7 Dla procesów, które spełniają pewne warunki regularności - np. procesy ciągłe w zmiennych p z ciągłymi pochodnymi częściowymi lub procesy ciągłe w sensie Lipschitza (por. Weibull 1995) - słaba stabilność implikuje s t a b i l n o ś ć (tj. stabilność Lapunowa), natomiast stabilność silna implikuje s t a b i l n o ś ć a s y m p t o t y c z n ą . Ważne jest jednak zauważyć, że w przypadku ogólnym pojęcia słabej i silnej stabilności różnią się od pojęć stabilności i stabilności asymptotycz
nej. Inni autorzy używali innych nazw dla określenia słabej stabilności: Selten (1983), Sobel (1993) i Warneryd (1993). Bomze i van Damme (1992) używają tej samej nazwy co my.
n a to pytanie odpowiedzieć zbadać musimy problem stabilności tego nowego stanu równowagi. Co stanie się, gdy wystąpi następna perturbacja systemu?
Załóżm y, n a przykład, że w wyniku kolejnej inwazji do populacji wtargnie PW ZW . Populacja składać się wówczas będzie z niewielkiej proporcji strategii W Z2W i PW ZW oraz rodzimej strategii W ZW . T a inwazja jest już dużo bardziej pow ażna. Ponieważ w tym przypadku różne strategie będą mieć różne w artości przystosowawcze, mechanizm selekcji pracow ać tu zacznie w sposób nietrywialny. J a k zatem będzie ewoluować ta ekologia?
Strategie w tej populacji nie będą już cechowały się identycznymi wypłatami.
W ZW dalej co praw da uzyskuje wysoką wypłatę (kooperatyw ną) grając z W Z2W i vice versa, ale zbyt odwetowy charakter W ZW przysparza jej kłopotów w grze z PW ZW ; na defekcję PW ZW w iteracji pierwszej W ZW odpow iada defekcją w iteracji drugiej, n a któ rą PW ZW reaguje defekcją w iteracji trzeciej itd. W Z2W unik a tego typu wendety w grze z PW ZW . Ponieważ W Z2W wybacza pojedyncze defekcje, w grze z PW ZW będzie ona kooperow ać w iteracji drugiej, co, z kolei, zapewni wzajem ną kooperację w iteracji trzeciej i wszystkich pozostałych. Ponieważ 2R > T + S > 2P, kooperac
ja pom iędzy W Z2W i PW ZW przynosi większą wypłatę niż wendeta8. W konsek
wencji w artość przystosowawcza W Z2W będzie większa niż wartość przystoso
wawcza W ZW , a ta z kolei będzie większa niż wartość przystosowawcza PW ZW . Jakie są jednak dynamiczne implikacje faktu, że W ZW nie m a maksymalnej w artości przystosowawczej? Czy oznacza to, że populacja W ZW m oże zostać zdestabilizow ana (Boyd i Lorberbaum 1987)? Niekoniecznie. Konsekwencje te zależeć będą, ja k się okazuje, od s p e c y f i c z n y c h własności procesu rządzą
cego zm ianą ewolucyjną.
Zauważm y po pierwsze, że W ZW może być zdestabilizowany przez pewne procesy ewolucyjne. Załóżmy, na przykład, że gracze przyjmować będą strate
gię, k tó ra generuje największą wypłatę (wskaźnik adaptacyjny) w danej genera
cji9. W ówczas, po inwazji populacji przez PW ZW , gracze zmienią strategie na W Z2W 10. A zatem W ZW nie będzie nawet słabo stabilny, jeśli zm iana zachodzi
8 Mówiąc precyzyjnie, jeśli δ jest wystarczająco duże, najlepszą odpowiedzią na PWZW jest kooperacja w każdej iteracji gry.
9 Axelrod (1984: 159) używał wariantu tej reguły w analizie dynamiki terytorialnej: w pokole
niu T + 1 gracz wybierał strategię, która w generacji T uzyskała najwyższą wypłatę w jego
„sąsiedztwie” . A zatem gracze imitowali lokalnych zwycięzców.
10 Gdyby wszyscy imitowali zwycięzcę, to każda strategia, która nie miałaby maksymalnego wskaźnika wartości przystosowawczej w pokoleniu T, zanikłaby w pokoleniu T + l . A zatem wszystkie strategie miałyby takie same tempo wzrostu mimo być może różnych wskaźników wartości przystosowawczej, czyli proces nie spełniałby warunku 1. Problem ten można rozwiązać żądając, na przykład, aby osoba używająca strategii j nie zmieniała strategii z prawdopodobieńst
wem p(V(j)), gdzie p(.) jest funkcją ściśle rosnącą w V(j). (Na przykład, jeśli maksymalny wskaźnik wartości przystosowawczej w T jest V ', to p(V(j)) = e(V(j)/V) gdzie 0 < ε < 1). Jeśli natomiast gracz decyduje się strategię swoją zmienić, to przyjmuje on strategię z największą wypłatą
p od tego rodzaju procesem n a ś l a d o w a n i a z w y c i ę z c y . (Proces ewolucyj
ny nazywać będziemy procesem „naśladow ania zwycięzcy” , jeśli w w arunkach tego procesu w zrastają jedynie strategie z najwyższą wypłatą). Zauważm y dalej, że w nowym stanie równowagi wszyscy grać będą WZ2W. Problem polega teraz na tym, że rów now aga ta jest niezwykle chwiejna. G otow ość WZ2T wybaczania pojedynczych defekcji jest poniekąd zaproszeniem do eksploatacji przez, na przykład, strategię typu A L T E R N A T O R , któ ra gra kooperację w iteracjach parzystych i defekcję w nieparzystych. D la każdej wartości δ, dowolnie m ała inwazja A L T E R N A T O R A całkowicie zdominuje populację W Z2W . Z kolei populacja składająca się z A L T E R N A T O R Ó W zdom inow ana być może przez ZA W SZE-D , również w wyniku dowolnie małej inwazji. Ja k widać zatem cała stru k tu ra kooperacji m oże runąć w sposób nieodwracalny.
F akt, że populacja W ZW ulec m oże inwazji, i to w sposób prowadzący do zburzenia stanu uniwersalnej kooperacji, może być dla wielu zaskoczeniem. Czy nie jest tak, że W ZW jest najlepszą odpowiedzią na W ZW? Czy nie oznacza to, że W ZW mieć będzie najwyższą wartość przystosowawczą, zakładając oczywiście, że jego proporcja w populacji jest wystarczająco wysoka? Odpowiedź na pierwsze pytanie jest „ ta k ” ale, ja k właśnie wykazaliśmy, odpowiedź n ap y tan ie drugie jest
„nie” . D la wygody nazywać będziemy strategię n i e p o k o n a n ą , jeśli m a ona najwyższą wypłatę (wartość przystosowawcza) w każdej ekologii, w której jej proporcja jest wystarczająco wysoka. Różnice między strategią, k tó ra jest najlepszą odpowiedzią n a samą siebie i strategią niepokonaną, polega n a różnych efektach ekologicznych tych własności. F akt, iż strategia jest najlepszą odpowie
dzią na sam ą siebie, jest własnością binarną. W łasność bycia strategią niepokona
n ą w turnieju zw iązana jest z bardziej złożonymi efektami ekologicznymi, które zależą nie tylko od tego, ja k wysoką wypłatę uzyska rodzim a strategia i w grze ze strategią j, ale również od tego ja k wysoką wypłatę uzyskają i oraz j w grze ze strategiam i trzecimi (k). Boyd i Lorberbaum (1987) opierając się na tej intuicji udowodnili, że w ID W n i e i s t n i e j e strategia czysta, która jest niepokonana11.
Logika ich argum entu jest następująca. Rozważmy dow olną czystą strategię i.
Jeśli neutralny m u tan t i’ w targnie do populacji, w której jest strategia i, to V(i,i) = V(i’,i) = V(i,i’) = V(i’,i’). Jeśli teraz do ekologii składającej się wyłącz
nie z i oraz i’ w targnie kolejny m u tan t, j, to relatywna wielkość wypłaty (wartość przystosowawcza), k tó rą i oraz i’ uzyskają w turnieju, zależeć będzie od tego, ja k ą wypłatę uzyskają one w grze z j, a zatem od V(i,j) versus V(i’,j). Boyd i L o r
berbaum udowodnili, że dla każdej strategii czystej i zawsze istnieje neutralny m u tan t i’ oraz trzecia strategia j, tak a że j bardziej sprzyja i’ niż i, w sensie V(i’j ) > V(i j). W ynika z tego, że żadna strategia czysta w ID W nie jest niepokonana.
w pokoleniu T.
11 Wynik Boyda i Lorberbauma (1987) uogólniony został do strategii skończenie (Farrell i Ware 1989) i nieskończenie (Lorberbaum 1994) mieszanych.
Ja k określa to następujące twierdzenie, wynik ten uogólnia się do wszystkich empirycznie interesujących gier. (Dowód tego twierdzenia podany jest w pracy B endora i Świstaka 1998).
TWIERDZENIE 1: Dla dowolnej nietrywialnej gry iterowanej i odpowiednio wysokiego δ nie istnieje strategia czysta, która jest niepokonana.
Jed no krotną grę symetryczną nazywamy tryw ialną, jeśli każdy gracz m a w niej strategię, k tó ra przynosi m u m aksym alną wypłatę niezależnie od tego, ja k ą strategię wybierze jego oponent. W grach takich nie istnieje żaden element zależności strategicznej.
Zauważmy, że strategia, k tó ra nie jest niepokonana, może być zdestabilizo- w ana w wyniku procesu naśladow ania zwycięzcy. Jak pokazuje twierdzenie 1, uw aga ta dotyczy wszystkich strategii czystych we wszystkich praw ie grach iterowanych.
Stabilność w przypadku pewnych procesów jest jednak możliwa
F ak t, że W ZW m oże być zdestabilizowany w procesie naśladow ania zwycięzcy, nie oznacza, że będzie on niestabilny we wszystkich procesach ewolucyjnych. Proces naśladow ania zwycięzcy jest jednym tylko z wielu procesów spełniających podstaw ow y postulat ewolucyjny. M im o że n a
śladowanie strategii najlepszej wydaje się zachowaniem „racjonalnym ” , inne typy procesów m ogą mieć również uzasadnione interpretacje beha
wioralne.
Proces używany przez A xelroda w jego „analizie ekologicznej” zakłada wzrost, który jest w liniowej relacji do wypłat, czyli wartości przystosowaw
czych. Jeśli przez p k i p ’k oznaczymy proporcje strategii jk w dwóch kolejnych generacjach, wówczas dyskretna form a tego procesu jest zdefiniowana form al
nie przez
p. = Ρ ίψ f fl
gdzie V oznacza średnią w artość przystosowawczą w bieżącej generacji. F o rm a ciągła tego procesu jest zdefiniow ana i om ówiona w pracy Bendora i Świstaka (1998). Proces ten, zarów no w swojej form ie dyskretnej, ja k i ciągłej, określa się m ianem p r o p o r c j o n a l n e j r e g u ł y a d a p t a c j i (P R A ) (proportionalf i t ness rule), term inem , którym m y również będziemy się posługiwać. W ażne jest zaznaczenie, że V(jk)/V jest większe od jedności, jeśli w artość przystosowawcza V(jk) jest większa od V - średniego wskaźnika w populacji. A zatem w przypad
ku P R A p roporcja strategii j k będzie wzrastać tak długo, ja k jej wartość przystosowawcza będzie większa od średniej.
W konsekwencji W ZW nie m usi mieć największej wartości przystosowaw
czej, aby wzrastać w populacji w przypadku PRA. Jakie są zatem ogólne warunki, przy których W ZW będzie wzrastać w przypadku tego procesu? Z a
nim odpowiemy n a to pytanie, musim y dokładniej przyjrzeć się naturze PRA.
PR A - najczęściej nazywany „dynam iką replikacji” - jest praw ie bezwyjąt- kowo używany w ewolucyjnych m odelach procesów społecznych12. Reguła ta została jed nak w sposób m echaniczny przeniesiona z biologii, gdzie m a ona ważną interpretację em piryczną13, do nauk społecznych, gdzie interpretacji takiej nie posiada. D o niedaw na nikt nie stawiał nawet pytania, dlaczego PR A pow inna być rozw ażana jak o rozsądny mechanizm zmiany zachowań, choć potrzeba tego rodzaju wyjaśnienia była od pewnego czasu oczywista (Friedm an 1991, M ailath 1992). Poniżej proponujem y strukturę pojęciową, w której możliwa jest behaw ioralna interpretacja PR A i innych procesów ewolucyjnych.
(Cabrales [1993], Gale, Binmore i Samuelson [1995], i Schlag [1994] za
proponow ali ostatnio alternatyw ne wyjaśnienia PRA).
Procesy ewolucyjne, PRA, i znaczenie zmiany ewolucyjnej
Fundam entalne założenie analizy ewolucyjnej postuluje, że gracze skłaniać się będą ku strategiom lepszym odstępując od strategii gorszych. Istnieją dwie oczywiste m iary tego ja k „d o b ra” jest d an a strategia. Pierwszą m iarą jest relatyw na w ypłata, V(js) /V \ k tó rą strategia ta uzyskuje, tj. jej relatyw na w artość przystosowawcza, m ierzona jak o stosunek w artości przystosowawczej strategii (V(js)) do m iary wartości przystosowawczej w populacji (V*); V* może być, na przykład, średnią w artością przystosowawczą w populacji, wartością m ak symalną, itp. M iara ta jest m iarą sukcesu j s w bieżącej generacji. D ruga m iara, p s, czyli proporcja strategii w bieżącej generacji jest, w pewnym sensie, m iarą sukcesu strategii w pokoleniach m inionych. Jeśli nie istnieje pamięć o historii m inionych pokoleń, to bieżąca proporcja strategii w populacji jest jedyną dostępną m iarą jej historycznego sukcesu. Form alnie zatem, 7t y, skłonność strategii j t do przyjęcia strategii j s pow inna być funkcją (F) proporcji j s w populacji (ps) oraz relatywnej wypłaty dla j s (oznaczymy ją przez Vł(js)).
W skrócie tij j = F (p s,V*(js)). Ponieważ zarów no p s jak i V*(js) są m iaram i sukcesu js w bieżącym pokoleniu i pokoleniach m inionych, naturalne wydaje się założenie, że F jest niem alejącą funkcją obydwu tych zmiennych. Przyjrzymy się teraz dwóm innym własnościom F i ich behawioralnej interpretacji.
12 Używamy tutaj nazwy PRA (używana jest ona czasami w biologii) zamiast bardziej konwencjonalnej nazwy „dynamika replikacji” , gdyż jesteśmy zdania, że ta druga nazwa posiada mylące konotacje poza kontekstem biologicznym.
13 W genetyce PRA wynika z klasycznego równania selekcji, które, z kolei, wynika z prawa genetyki Hardy’ego i Weinberga (Hofbauer i Sigmund 1988; Schuster i Sigmund 1983).
Jednym z ważnych aspektów wpływu ps i V*(js) na F jest relatywna wielkość tych efektów. Jeśli zm iana Δ w proporcji powoduje większą zmianę w F niż zm iana tej samej wielkości w relatywnej wartości przystosowawczej (tj.
F (x + A,y) > F (x,y+ Δ)), to indywidualna skłonność do zmiany strategii pozostaje bardziej p o d wpływem wyników zaobserwowanych w pokoleniach przeszłych niż wyników w pokoleniu bieżącym. A zatem na jednym ekstremum możliwych postaw m am y homo sociologicus, którego F jest tylko funkcją przeszłości (tradycji); n a drugim ekstrem um m am y homo oeconomicus, którego F jest tylko funkcją sukcesu strategii w generaq’i bieżącej. N a tym drugim ekstremum znajdują się procesy typu naśladowanie zwycięzcy. Pomiędzy dwom a ekstremami znajduje się aktor, który przykłada jednakow ą wagę do przeszłości i teraźniejszości:
F(x + A,y) = F (x ,y + A ) (7)
W łasność ta okazuje się być w ażną charakterystyką PRA.
D rugi istotny problem związany jest z kształtem skłonności do zmiany strategii (F(x,y)) jak o funkcji x i y. Rozważmy, na przykład, pierwszą zmienną - proporcję. Z jednej strony wyobraźmy sobie proces, w którym przyrost Δ w proporcji p s pow oduje - zakładając równość innych czynników - tym większy wzrost F , im m niejsza jest p s (tj. a 2F /a p s2< 0 ). Tego typu zm iana zachodzi, n a przykład, w procesie naśladow ania elit, w którym im mniejsza eli
ta, tym większy jej status i tym silniejszy jej wpływ. (Proces ten zdefiniowany jest dokładnie w pracy B endora i Świstaka 1998. Wiele innych procesów opisanych zostało przez W eibulla 1995). Z drugiej strony, jeśli proces działa tak, że im większa proporcja tym większy wzrost w F (tj. c s^ F /a p ^ O ), to zmiana tego typu charakteryzow ać będzie procesy kaskadow e {snowball)·. Im większa p ro p orcja strategii w populacji, tym większy jej wpływ na inne strategie. Pomiędzy tymi dw om a ekstrem am i leżą procesy, dla których zm iana jest stała dla wszystkich wielkości p s
Ą = 0 (7)
° P S
W tym przypadku skłonność do zmiany strategii nie przechyla się ani w stronę snobistycznych ani też populistycznych tendencji. Jest to, jak pokazuje nasz następny wynik, druga w ażna charakterystyka PRA.
TWIERDZENIE 2. Funkcja F, która jest funkcją rosnącą obydwu zmiennych, spełnia warunki 6 i 7 wtedy i tylko wtedy, gdy odpowiadający je j proces jest PRA..
Powiązaliśmy w ten sposób własności PR A z prostym i interpretacjam i behawioralnym i. T ak i opis P R A jest konieczny, jeśli chcemy zachować n a
dzieję, że hipotezy A xelroda stosują się nie tylko do ryb cierników (Milinski
1987) i nietoperzy (W ilkinson 1984). W tej części zawarliśmy dwa istotne wnioski, które wydają się bezdyskusyjne: po pierwsze P R A jest sensownym modelem p e w n y c h procesów behawioralnych; po drugie P R A n i e j e s t sensownym m odelem w s z y s t k i c h istotnych procesów behawioralnych. Co dzieje się w przypadku PR A , jest tem atem tego artykułu; co dzieje się w przypadku innych procesów, jest tem atem przyszłych badań.
Powyżej wykazaliśmy, że w grach iterowanych nie jest możliwe uzyskanie stabilności w przypadku wszystkich procesów. Ale słaba stabilność w przypad
ku PR A m oże być jed n ak możliwa. Aby uniknąć niezręczności językowych, strategię, któ ra jest słabo ewolucyjnie stabilna w przypadku PR A , nazywać będziemy „słabo ewolucyjnie stabilną” (słaba ESS) albo po prostu „ewolucyjnie stabilną” (ESS) albo „stabilną” . Zachowanie populacji ESS nazywać będziemy s t a n e m ewolucyjnie stabilnym lub też stanem równowagi. Jak -wykazaliśmy gdzie indziej (Bendor i Świstak 1992, 1998), strategia i jest słabo stabilna w przypadku P R A wtedy i tylko wtedy, gdy spełniony jest następujący warunek dla wypłat: D la wszystkich j,
V(i,i) ^ V(j,i) oraz jeśli V(i,i) = V(j,i), to V(i,j) > V(j,i) (8) W arunek 8 jest pożyteczny zarów no z powodów praktycznych, ja k i teoretycz
nych. Po pierwsze, zawiera on prosty test stabilności w przypadku PR A . Po drugie, m ożna udow odnić (Bendor i Świstak 1992, 1998), że w arunek 8 jest warunkiem granicznym: Strategia jest fundam entalnie niestabilna wtedy i tylko wtedy, gdy nie spełnia ona w arunku 8.
W następnej części artykułu udow odnim y pewne podstawowe fakty o sła
bych ESS w iterowanym dylemacie więźnia. F ak ty te obalą szereg głośnych hipotez o ewolucyjnej wyższości strategii WZW.
Różnorodność strategii stabilnych
Aby pokazać, że W ZW m a ewolucyjną przewagę nad innymi strategiami, nie wystarczy udow odnić, że W ZW m a pożądane własności dynamiczne; jest równie ważne aby wykazać, że inne strategie takich własności nie posiadają. Jak wynika z twierdzeń 3-5, udowodnienie, że W ZW m a ewolucyjną przewagę i pokazanie, n a czym ta przewaga polega, jest znacznie bardziej złożone niż lektura A xelroda (1984) m ogłaby sugerować.
W ewolucyjnie stabilnych stanach możliwy jest każdy poziom kooperacji
Ponieważ w pracach A xelroda podkreślane są dwie strategie stabilne14 ZA W SZE-D i W ZW , niektórzy badacze (Dawkins 1989) wnioskują z tego, że
14 Ponieważ słaba stabilność jest rozsądnym pojęciem stabilności, w przeciwieństwie do pojęcia
możliwe są jedynie dwa ewolucyjnie stabilne stany: uniwersalna defekcja i uniw ersalna kooperacja. A by rozstrzygnąć tę kwestię zbadam y poniżej możliwe stany stabilne i odpowiadające im słabe ESS. Zaczniemy od ustalenia, jaki poziom kooperacji uzyskany być m oże w stanie równowagi.
Powiemy, że stan równowagi charakteryzuje się poziomem kooperacji x, jeśli X jest proporcją iteracji, w których obydwaj gracze kooperują. Indeksu tego używamy w kolejnym twierdzeniu.
TW IERD ZENIE 3 (EWOLUCYJNE TW IERDZENIE POTOCZNE DLA IDW):
Ewolucyjny stan równowagi w turniejach I D W z wystarczająco wysokim δ chara
kteryzować się może dowolnym poziomem kooperacji.
A zatem stany równowagi występują w całej różnorodności: od najmniej wydajnego stanu pełnej defekcji do najbardziej wydajnego stanu pełnej koope
racji. Jeśli interpretow ać będziemy poziom kooperacji w stanie równowagi jako m iarę tego, ja k przyjazna jest dan a strategia, z twierdzenia 3 wynika, że ESS m ogą być dowolnie przyjazne; stabilność ewolucyjna strategii nie jest zatem związana z tym, jak przyjazna jest d an a strategia.
Ewolucyjnie stabilne strategie mogą być wyzyskiwane w sposób nieograniczony Problem em nieco bardziej złożonym jest to, czy własność bycia strategią o d w e t o w ą - druga fundam entalna własność strategii W ZW - związana jest ze stabilnością ewolucyjną. Odwetowość strategii m a w ażną zaletę: Strategie odwetowe nie m ogą być wykorzystane przez przeciwnika w więcej niż jednej iteracji pod rząd. A zatem w ypłata dla W ZW w grze przeciwko j nie różni się od wypłaty dla j (na niekorzyść W ZW ) o więcej niż S-T. K ażdą strategię z taką własnością nazywać będziemy n i e w y z y s k i w a l n ą 15. N a drugim końcu spektrum znajdują się strategie, które określać będziemy jako nieskończenie wyzyskiwalne; strategia i jest n i e s k o ń c z e n i e w y z y s k i w a l n a , jeśli istnieje strategia j taka, że lim6_, [V(i,j)-V(j,i)] = -oo. A zatem strategia, k tó ra jest nieskończenie wyzyskiwalna, traci do pewnej strategii j (w sensie różnicy V (ij)-V (j,i)) nieskończenie wiele, gdy δ zbiega do 1. Intuicyjnie wydawać by się
stabilności kolektywnej, i ponieważ większość twierdzeń Axelroda pozostaje prawdziwych, gdy sformułujemy je z użyciem pojęda słabej stabilności (zamiast stabilności kolektywnej), poniżej odnosić się będziemy do jego wyników w takim właśnie sformułowaniu.
15 Formalnie nazwiemy strategię n i e w y z y s k i w a l n ą , jeśli dla wszystkich strategii j, we wszystkich n iteracjach gry i wszystkich w artośd δ, V”(ij)-V °(j,i) > S-T, gdzie V° jest wypłatą w pierwszych n iteracjach gry. Niewyzyskiwalny w tym sensie oznacza „niewyzyskiwalny w więcej niż jednej iteracji pod rząd” . Ponieważ „czysta niewyzyskiwałność” (V”(ij)-V °(j,i) > 0) jest atrybutem jedynie strategii nieprzyjaznych (takich, które nigdy nie kooperują pierwsze) i od
wetowych takich jak ZAWSZE-D, warunek ten czyniłby kooperację niemożliwą.
m ogło, że strategie, które są nieskończenie wyzyskiwalne, nie m ogą być ewolucyjnie stabilne. Nasze następne twierdzenie pokazuje, że tak nie jest.
TWIERDZENIE 4: Dla każdego 0 < x ^ l , istnieje ewolucyjnie stabilna strategia w iterowanym dylemacie więźnia, która jest nieskończenie wyzyskiwalna i która w stanie równowagi indukuje poziom kooperacji x.
Z twierdzeń 3 i 4 razem wziętych wynika, że ani to ja k przyjacielska jest strategia, ani to ja k jest on a p o d atn a na wyzysk, nie jest związane z jej stabilnością ewolucyjną. Z biór ESS zawiera strategie z krańcowo różnym i własnościami: od czysto kooperatywnych do czysto niekoopera- tywnych, jak również od niewyzyskiwalnych do nieskończenie wyzyskiwalnych.
Sam fakt, że strategia, powiedzmy W ZW , jest ESS, jest niewiele znaczący:
Niewiele daje się z tego faktu wnioskować na tem at innych własności tej strategii.
Strategie minimalnych skupisk mogą być nieskończenie wyzyskiwalne
A xelrod (1984) twierdzi, że jednym z powodów ewolucyjnej przewagi W ZW jest to, że W ZW m oże rozprzestrzeniać się w populacji ZA W SZE-D przy korzystnej strukturze interakcji (tj. zakładając, że W ZW m a większe praw dopodobieństw o interakcji ze swoimi klonam i niż z ZAW SZE-D), podczas gdy ZA W SZE-D nie m oże rozprzestrzeniać się w populacji W ZW niezależnie od istniejącej struktury interakcji. A xelrod dowodzi dalej, że w śród strategii, które m ogą rozprzestrzeniać się w populacji ZA W SZE-D poprzez interakcje skupio
ne, W ZW wym aga najniższego poziom u skupienia. Problem polega w tym przypadku znowu n a tym, ja k rzadkie są te własności W ZW . Twierdzenie 5 odpow iada n a to pytanie.
TWIERDZENIE 5:
(i) Przy wystarczająco wysokim poziomie skupienia każda strategia czysta, która nie jest neutralnym mutantem strategii Z A W S Z E -D , rozprzestrzeniać się będzie w populacji Z A W S Z E -D .
(ii) Wśród strategii, które wymagają najmniejszego poziomu skupienia aby rozprzestrzeniać się w populacji Z A W SZE -D , są strategie, które są zarówno ewolucyjnie stabilne, ja k i nieskończenie wyzyskiwalne.
A zatem jeśli m utanci m ogą się „skupiać” ustalając dowolnie praw dopodo
bieństwo interakcji w swojej grupie, to dow olna strategia - nawet fundam ental
nie niestabilna ZA W SZE-K - będzie rozprzestrzeniać się w populacji ZA- W SZE-D. W łasność ta nie wyróżnia W ZW spośród innych strategii.
Część (ii) twierdzenia 5 odpow iada n a bardziej wymagające pytanie: Jak różnorodne są strategie, które, tak jak W ZW , nie tylko wym agają m inimalnego poziom u skupienia aby rozprzestrzeniać się w populacji ZA W SZE-D, ale również będą ewolucyjnie stabilne po uzyskaniu wystarczająco wysokiej p ro porcji? Odpowiedź: strategie takie są bardzo różnorodne; ich spektrum rozciąga się od niewyzyskiwalnego W ZW po strategie nieskończenie wyzyskiwalne.
Twierdzenia 3-5 pokazują, że argum enty na tem at ewolucyjnej wyższości W ZW są również prawdziwe w stosunku do wielu innych strategii, które różnić się m ogą od W ZW w sposób bardzo zasadniczy. Problem wyższości ewolucyjnej W ZW i innych w arunkow o kooperujących strategii pozostaje zatem p ro b lemem otw artym . Jego rozwiązanie zawarte jest w następnej części artykułu.
Dlaczego kooperacja jest trwałym stanem równowagi i jakie strategie podtrzymują ten stan w „grach kooperacyjnych”
Dziedzina: gry kooperacyjne
Rozw ażając problem wyższości ewolucyjnej warunkowej kooperacji nie sposób jest nie zapytać, czy problem ten nie daje się uogólnić poza dylemat więźnia. M im o, że D W przedstaw ia problem kooperacji w formie najostrzejszej, wiele innych gier również przejawia problem y kooperacji czy też koordynacji.
Snidal (1991), na przykład, analizuje sześć takich gier typu 2 x 2 . Główne wyniki naszego artykułu zachodzą w istocie dla klasy gier znacznie szerszej niż gry dylem atu więźnia. Naszym pierwszym zadaniem jest zdefiniowanie tej klasy gier; gry do niej należące nazywać będziemy „gram i kooperacji” . W zbiorze symetrycznych gier dwuosobowych, które m ają M akcji, a,, ..., a,^ (M > 1), gra kooperacji zdefiniow ana jest przez następujące dwa warunki, które generalizują dwie ważne własności DW : w artość kooperacji i niebezpieczeństwo eksploata
cji. (Poniżej v(a,b) oznacza wypłatę dla gracza 1 w grze jednokrotnej, w której wybiera on akcję a przeciwko akcji b gracza 2).
W a r t o ś ć k o o p e r a c j i . W D W wzajem na kooperacja jest jedynym społecznie efektywnym wynikiem: wynika to z faktu, że w dod atku do założenia R > P przyjm uje się tam również, że 2 R > T + S. Podobnie zakładać będziemy, że w grze kooperacji istnieje kooperatyw na akcja, ac, taka, że v(ac,ac) jest jedynym efektywnym wynikiem w strategiach czystych, tj. 2v(a(.,ac) > v(ak,am) + v(am,ak), dla wszystkich m ,k, przy czym równość zachodzi tylko wtedy gdy m = k = c .
N i e b e z p i e c z e ń s t w o e k s p l o a t a c j i . In n ą podstaw ow ą własnością D W jest ryzyko, że gracz kooperujący m oże być wykorzystany przez przeciw
nika. W przypadku ogólnym sensownie jest używać określenia „akcja eks
p loatująca” , jeśli w ypłata eksploatującego jest nie mniejsza niż wypłata eks
ploatow anego. A zatem nasze drugie założenie orzeka, że istnieje akcja, ad, różna od ac, dla której у(ай,ар^у(а^,ай) dla wszystkich j = Ι,.,.,Μ . Konsekw en
cją tych dwóch w arunków jest to, że w ypłata wykorzystanego gracza kooperu
jącego, v(ac,ad), jest m niejsza niż w ypłata w przypadku obopólnej kooperacji v(ac,ac).
K ażd ą grę jed no k ro tn ą, k tó ra spełnia w arunek kooperacji i eksploatacji, nazywać będziemy, g r ą k o o p e r a c j i 16. Aby uzmysłowić sobie ja k te dwa w arunki uogólniają D W , zauważmy, że w grze z dw om a akcjami w arunki te pociągają za sobą R > P i 2 R > T + S (warunek efektywności) oraz T ^ S (w arunek eksploatacji). W konsekwencji, gry kooperacji typu 2 x 2 zawierają dw a rodzaje gry polowanie na jelenia {assurance), ja k również grę w kurczaka {chicken), w której kom prom is dom inuje w sensie Pareto mieszankę agresji i uległości. (W istocie, pięć spośród sześciu gier w klasyfikacji Snidala należy do tej klasy). Co więcej, ponieważ gry kooperacji m ogą mieć dow olną skończoną ilość akcji, wyjście poza klasę gier 2 x 2 generuje olbrzymi wzrost w liczbie i różnorodności empirycznie ważnych sytuacji. Uogólnienie to przynosi również gry z jakościow o nowymi własnościami. Rozważmy, na przykład, dwie gry przedstaw ione n a R ysunku 3.
Rysunek 3. Dwie gry kooperacji
niskie średnie wysokie pomóc zignorować przeszkodzić
niskie 2,2 -2,4 0,2 pomóc 4,4 -2,7 -6,2
średnie 4,-2 0,0 -4,1 zignorować 7 , - 2 0,0 -4 ,-2 wysokie 2,0 1,-* -2 ,-2 przeszkodzić 2,-0 -2 ,-4 -3 ,-3
G ra 1: koszty zbrojeniowe G ra 2: polityka biurokratyczna G ra 1 obrazuje sytuację, w której do zdobycia cennego terytorium konieczne są inwestycje zbrojeniowe. Ponieważ koszty zbrojenia są bardzo wysokie, obie strony starają się uniknąć przeinwestowania. W rezultacie gra taka nie m a p u n k tu równowagi w strategiach czystych. M im o to jednak gra 1 jest grą kooperacji. D la porów nania, wszystkie gry w klasyfikacji Snidala - w istocie w s z y s t k i e symetryczne gry 2 x 2 - m ają punkty równowagi w strategiach czystych. A zatem związek pom iędzy problem em kooperacji i istnieniem punktów równowagi w strategiach czystych okazuje się być własnością gier typu 2 x 2 .
16 G ra kooperacji ma tylko jedną akcję „kooperacji” ao, ale może mieć więcej niż jedną akcję
„detekcji” .
G ra 2 reprezentuje powszechny problem biurokracji - sytuację, w której każdy urzędnik m oże pom óc, zignorować, bądź też przeszkodzić drugiemu. T a gra kooperacji zawiera ważne rozróżnienie pomiędzy działaniem i bezczynnoś
cią (M arch i Simon 1958,175). Prototypow a „defekcja” w organizacjach polega n a bezczynności - rozw iązaniu, które jest bardzo częste choćby ze względu na jego zerowy koszt. Przeszkadzanie (karanie) jest już wyborem zupełnie innym - wyborem, który jest k o s z to w y . Ponieważ ż a d n a g r a 2 x 2 n i e m o ż e r o z r ó ż n i ć p o m i ę d z y p o m a g a n i e m , i g n o r o w a n i e m i p r z e s z k a d z a n i e m , gry z dw om a tylko akcjami nie m ogą służyć jako rozsądne modele tego rodzaju sytuacji.
Ponieważ gra kooperacji jest uogólnieniem jednokrotnego D W , w przypad
ku gier iterow anych własności strategii, które zdefiniowaliśmy dla ID W , są prostym i uogólnieniam i definicji przyjętych dla ID W . A zatem, strategia jest przyjazna, jeśli nigdy pierwsza nie odchodzi od kooperacji ( a j . Strategia jest odwetowa, jeśli karze ona (grając ad) odchylenie (ak, k ^ c ) od kooperacji ( a j do m om entu, w którym korzyści odniesione przez j z dewiacji zostają zniwelowane:
v (a k’a J + N v (a o a d) < v (ac>a k) + N v (ad>a J (9)
gdzie N jest m inim alną liczbą naturalną, dla której w arunek 9 zachodzi dla wszystkich k. Strategię, k tó ra nigdy nie kooperuje pierwsza, nazwiemy nie
przyjazną. Definicje strategii w ID W , takich ja k W ZW , uogólniają się w p od ob nie oczywisty sposób do przypadku gier kooperacji.
Główne wyniki
W łasność, k tó ra wyróżnia W ZW i inne kooperatyw ne ESS, związana jest z m etaforą kul staczających się ze wzgórz w doliny. Przypomnijmy, że kula spoczywająca w głębokiej dolinie jest bardziej stabilna, gdyż m oże ona zaabsor
bować większe wstrząsy. Analogicznie, strategie, które m ogą się oprzeć więk
szym inwazjom, są bardziej stabilne. Skupimy się teraz na tym właśnie krytycznym param etrze gry ewolucyjnej - minimalnej proporcji, k tó ra zapew
nia strategii stabilność w populacji. (Apendyks zawiera precyzyjną definicję tego pojęcia).
Rozważm y dwie strategie, i oraz j. Załóżmy, że i wymaga co najmniej proporcji 0,6, aby być stabilna, podczas gdy j wymaga częstości nie mniejszej niż 0,9. Strategia i m a oczywistą przewagę nad strategią j. Po pierwsze, m oże ona łatwiej osiągnąć stan równowagi: Jeśli obie te strategie zaczynają rozprzestrzeniać się w populacji jak o m utacje, strategii i łatwiej jest - zakładając równość innych czynników - dojść do krytycznego poziom u 60% , niż j do poziom u 90% . Po drugie, po zdom inow aniu populacji i jest bardziej stabilna niż j, gdyż m oże o n a odeprzeć większą inwazję: 40% populacji w porów naniu do 10% w przypadku j.
Proporcje stabilizujące m ają zatem podstaw owe znaczenie zarów no dla rozwoju, ja k i dla stabilności strategii oraz odpowiadających im stanów równowagi. K iedy dwie strategie m ają różne m inim alne proporcje stabi
lizujące, strategia z p roporcją m niejszą jest w sposób naturalny „bardziej stabilna” . Podstawowym problem em rozważanym w tej części artykułu jest pytanie, jakie strategie są najbardziej stabilne (tj. m ają najmniejsze m ini
m alne proporcje stabilizujące) i jakie stany stabilne (zachowania) z tego wynikają.
W ażne jest podkreślić, że twierdzenia 6-9 sformułowane są w sposób nieformalny. D la niektórych czytelników będzie to ułatwienie, dla innych sform ułow ania te m ogą być niewystarczająco precyzyjne. Apendyks zawiera definicje, notacje i dokładne sform ułow ania twierdzeń; dowody twierdzeń usuną wszystkie pozostałe niejasności.
W s z y s t k i e s t r a t e g i e „ m n i e j s z o ś c i o w e ” w y g i n ą w p e w n y c h e k o l o g i a c h . Analizę naszą rozpoczniemy od ustalenia dolnej granicy m ini
malnej proporcji stabilizującej w ewolucyjnych grach kooperacji z w ystar
czająco dużym δ.
TWIERDZENIE 6: W ewolucyjnych grach kooperacji z odpowiednio dużym δ minimalna proporcja stabilizująca dowolnej strategii nie jest mniejsza niż 0,5 p rzy dowolnym procesie ewolucyjnym.
M ówiąc dokładniej, rozważmy dow olną strategię i oraz ekologię, w której strategia ta m a proporcję m niejszą niż 0,5. Rozważmy teraz zbiór gier ewolucyjnych z proporcją p strategii i przy pewnym ustalonym δ. Twierdzenie 6 orzeka, że dla wystarczająco wysokiego δ zbiór ten zawiera ekologie, w których proporcja strategii i zmniejszać się będzie poprzez pokolenia.
A zatem, żadna strategia, k tó ra jest w mniejszości, nie m oże być stabilna we wszystkich grach kooperacyjnych z wystarczająco wysokim δ - stabilność wymaga większości, nawet od najbardziej odpornej strategii. M ożemy się, co najwyżej, spodziewać, że stabilizujące częstości najbardziej odpornych strategii zbliżać się będą dowolnie blisko do 0,5.
S t r a t e g i e , k t ó r e s ą p r z y j a z n e i o d w e t o w e , s ą n a j b a r d z i e j t r w a ł e . T ak ja k przypuszczał Axelrod, W ZW okazuje się mieć przewagę nad wieloma ESS, nie tylko w ID W , ale również w całej klasie gier kooperacji. N asze następne twierdzenie ustala, że wszystkie przyjazne i od
wetowe strategie (WZW, BO itp.) są strategiam i najbardziej odpornymi:
A by były stabilne, potrzebują one jedynie przekroczyć próg większości.
(Zauważmy, że w przeciwieństwie do twierdzenia 6, twierdzenie 7 zachodzi tylko dla PRA).
