Równowagi Nasha w grach dynamicznych: istnienie i aproksymacja

istnienie i aproksyma ja

Šukasz Balbus

Rozprawa doktorska napisana pod kierunkiem

prof. dr hab. Andrzeja Nowaka

Polite hnika Wro ªawska

Instytut Matematyki i Informatyki

Spis

treści

1

Wstęp

3

2

Gry stochastyczne wielogeneracyjne

8

2.1

Istnienie stacjonarnej równowagi Nasha w grze

ekspłoata(ji

zasobów

9

2.2

Jednoznacznoś('

równowagi Nasha w grze pomocniczej. . . .

12

2.3

Istnienie równowagi Nasha w grze z

nieskończonym

horyzontem

16

2.4

Istnienie i

jednoznacznoś('

równowagi Nasha w grze ze

skończonym

hory-zontem czasowym . . . .

19

3

Aproksymacja równowagi Nasha w grze symetrycznej eksploatacji

za-sobów

21

3.1

Pomocnicza gra jednokrokowa

22

3.2

Główne rezułtaty

24

3.3

Przykład...

27

4

Gra eksploatacji zasobów bez

ograniczeń

4.1

Symetryczna równowaga Nasha w grze z ogranicze-niami

4.2

Symetryczna równowaga Nasha w grze bez

ograniczeń.

4.3

Przykład...

29

30

33

34

Nasha w dyskontowanych grach

36

36

41

44

5

Asymptotyczne

własności

równowag

stochastycznych

5.1

Asymptotyczna równowaga w grze ze

skończonym

horyzontem czasowym

5.2

Asymptotyczna równowaga w grze z

nieskończonym

horyzontem

Wstp

Teoria gier jest dziedzin¡matematyki zajmuj¡ ¡ si rozwi¡zywaniemproblemóww

przy-padku, gdyza hodzi konikt interesów. Znajdujeszerokie zastosowanie wekonomii,

bio-logii, so jologiia tak»e w informaty e. Opisuje ona interak je midzy gra zami, a tak»e

bada wpªyw i h za howania na±rodowisko.

Poniewa» w gra h niekoopera yjny h gra ze zazwy zaj nie mog¡ przewidzie¢

strate-gii swoi h rywali, a interak je midzy gra zamimaj¡ wpªyw na wypªaty posz zególny h

gra zyzostaªowprowadzonepoj ierównowagi. Jesttoukªad strategiigra zy, odktórego

odstpstwo przezpojedyn zego gra zajestnieopªa alne. Poj ie tozostaªowprowadzone

przez Cournota [17℄. Rozpatrywaªon wów zas problemduopolu zyli rozwa»aª gr

dwu-osobow¡. Poj ierównowagizostaªorozszerzonenaproblemoligopoluprzezJohnaNasha

[38, 39℄, st¡d z jego nazwiskawywodzi si poj ierównowagiNasha.

Poj ie gry sto hasty znej wprowadziª Shapley [55℄. W grze sto hasty znej ka»dy

gra z podejmuje de yzje w ustalony h etapa h. De yzja gra za uzale»niona jest od

ak-tualnego stanu gry, który w tym przypadku po hodzi ze zbioru sko« zonego. Aktualny

stan jest zmienn¡ losow¡ zale»n¡ od historii gry, zyli od stanów gry i ukªadów de yzji

posz zególny h gra zy we w ze±niejszy h etapa h. Shapley rozpatruje gry o sumie

ze-rowej, w której aªkowit¡ wypªat¡ dla gra za jest o zekiwana warto±¢ sumy dzienny h

wypªat zdyskontowany h na moment rozpo z ia gry. W pra y Shapleya wykazano

ist-nienie sta jonarny h strategiioptymalny h.

W roku 1964 Fink [22℄ zajmowaª si modelem zdyskontowanej gry sto hasty znej o

sumie niezerowej, w której jednak zbiór stanów nadal ma tylko sko« zenie wiele

ele-mentów. Wykazaª on istnienie równowagi Nasha ª¡ z¡ dwie idee - klasy zny dowód

Nasha i równania optymalno± i Bellmana. W swojej pra y wykorzystaª midzy innymi

Twierdzenie Kakutaniego o punk ie staªym [56℄. Dla zdyskontowany h gier

sto hasty- zny hosumieniezerowejiozbiorzestanówmo y ontinuumproblemistnieniarównowagi

Nasha (nawetwzbiorzestrategiizrandomizowany h)w ogólnymprzypadku jestotwarty.

Pewne twierdzenia o istnieniu

ǫ

- równowagi zostaªy uzyskane za pomo ¡ dyskretyza ji przestrzenii stanów w pra a h [41, 45, 62, 64℄. S¡jednak klasy gier dla który h istnienie

równowagi udaªo si wykaza¢. W najbardziej ogólnym przypadku strategie gra zy

równowagi sta jonarnej. Problemowi temu przygl¡dali si Mertens i Parthasarathy [36℄.

Istnienie sta jonarnejrównowagi wgrze o sumie niezerowej i zbioru stanów mo y

onti-nuum wykazano dopiero w pra y Himmelberga, Parthasarathy'ego Raghavana i

Van-Vle ka [28℄.

Kolejnym przykªadem jest pra a Parthasarathy'ego i Sinha'y [47℄. Zaªo»ono tu, »e

prawdopodobie«stwoprzej± ia jestbezatomowe,oraz nie zale»y ono od aktualnegostanu

gry, a jedynie od ukªadu de yzji gra zy. Zaªo»ono, »e de yzje gra zy po hodz¡ ze zbioru

sko« zonego. Uogólnienie powy»szego modelu znajduje si w pra y Nowaka [42℄.

Praw-dopodobie«stwoprzej± iajestsko« zon¡kombina j¡liniow¡miarbezatomowy hze

wspóª- zynnikamizale»nymiodstanugryiak jigra zy. Przypomo yniesko« zeniewymiarowej

wersji Twierdzenia Kakutaniego i Twierdzenia Lapunowa o obrazie wektorowej miary

bezatomowej wykazano istnienie sta jonarnejrównowagi Nasha.

Sz zególnym przypadkiem gier niekoopera yjny h s¡ gry supermodularne. Przy

po-mo y wyników pra y Milgroma i Robertsa [37℄ mo»na zaw»y¢ klas de yzji w gra h

dynami zny h do sta jonarny h strategii bd¡ y h funk jami monotoni znymi. Gry

su-permodularnerozwa»ane byªy przez Amira[3℄, Curtata [18℄ i Nowaka [44℄.

Inn¡ podklas¡ gier sto hasty zny h jest klasa gier eksploata ji zasobów. Ta klasa

mo»e mie¢ zastosowanie przy problema h typu: jak¡ ilo±¢ danego odnawialnego surow a

skonsumowa¢, ailezostawi¢ nanastpny okres. Grytegotypumog¡mie¢zastosowanie w

taki hproblema hjak eksploata jalasów zy poªowyryb. Stan gryozna zaj¡ y ilo±¢

za-sobówjest zmienn¡losow¡ zale»n¡odilo± ipozostawionegosurow awpoprzednim

okre-sie. Model poªowurybzaproponowaliLevhariiMirman[32℄. Prawdopodobie«stwo

przej-± ia byªo zast¡pione deterministy zn¡ funk j¡ produk ji. Wa»n¡ wªasno± i¡ tej funk ji

byªo prze i iesijejzdiagonal¡ukªadu wspóªrzdny h wpunk ie zerowymiwpewnym

punk ieododatniejod itej. Prze i ienastpowaªowtakisposób,»eprzymniejszy h

za-soba hproduk japowodowaªazwikszenieilo± izasobówwnastpnymokresie,natomiast

przy wikszy h zasoba hnastpowaªspadekilo± izasobów. Bardziejogóln¡posta¢takiej

funk ji wprowadzili Dutta i Sundaram [21℄, natomiast sto hasty zny odpowiednik takiej

funk ji zastosowano midzy innymi w pra y Majumdara i Sundarama [33℄ oraz Dutty i

Sundarama [20℄. W grze Levhariego i Mirmana pojawiª si problem tragedii

wspóªist-nienia. Skonsumowanie zbyt maªejilo± i surow apowoduje zmniejszenie zysków gra za,

a powoduje wzrost zysków prze iwników. Natomiast pobranie zbyt du»ej ilo± i surow a

powoduje zmniejszenie ilo± i surow a w przyszªo± i, o powoduje zanik zysków zarówno

dla gra za jak i oponentów. Tragedi wspóªistnienia w swoi h modela h kwestionowali

tak»e Dutta i Sundaram[21℄,ale i hrozwa»ania doty zyªy tylko duopolu.

Sundaram [58℄, Majumdar i Sundaram [33℄ oraz Dutta i Sundaram [20℄ rozwa»ali

symetry zn¡ gr eksploata ji zasobów. Za pomo ¡ Twierdzenia S haudera wykazali

ist-nienie sta jonarnejrównowagi wklasie funk ji dolnie póª i¡gªy h.

Podobniejak wgra hsupermodularny h,równie» wniektóry h gra h eksploata ji

za-sobów istnienie niezrandomizowany h sta jonarny h równowag Nasha zostaªo wykazane

larnej [60℄ wykazaª istnienie sta jonarnej równowagi w klasie funk ji monotoni zny h i

lips hitzowski h ze wspóln¡staª¡. ZkoleiBalbusiNowak w[9℄otrzymalipodobne

wªas-no± i równowagi,korzystaj¡ zwyników wpra y [10℄,wktórej przy pomo yTwierdzenia

Shaudera wykazano istnienierównowagi Nasha, nie pre yzuj¡ jejwªasno± i.

Kolejnym problemem w teorii gier sto hasty zny h jest kwestia zbie»no± i równowag

NashaiwypªatNashawgrzeosko« zonymhoryzon ie zasowym,gdydªugo±¢horyzontu

d¡»y do niesko« zono± i. Pra a Raghavana, Tijsa i Vrieze'a [49℄ pokazuje, »e w

ogól-nym przypadku problem ten jest ma negatywne rozwi¡zanie, poniewa» zbiór równowag

Nasha mo»e by¢ wieloelementowy, a tak»e w odró»nieniu od pro esu de yzyjnego nie

jest ªatwo stworzy¢ odpowiedniego operatora zw»aj¡ ego. W pra y Nowaka i P.

Sza-jowskiego[46℄problemzbie»no± ifunk jirównowagiudaªosirozwi¡za¢wprzypadkugier

dwuosobowy h. Prawdopodobie«stwo przej± ia byªo sko« zon¡ kombina j¡ miar

proba-bilisty zny hwtymdelty Dira askupionej wpunk iezero. Zapomo ¡równa«Bellmana

otrzymanomonotoni zn¡zbie»no±¢ funk ji równowag Nasha wgrzeze sko« zonym

hory-zontem zasowymdofunk jista jonarnejrównowagiNashawgrzeoniesko« zonym

hory-zon ie. PrzyokazjiudowodnionoistnienierównowagiNashaniekorzystaj¡ zTwierdzenia

S haudera. Z kolei Balbus i Nowak [8℄ udowodnili zbie»no±¢ zarówno równowag Nasha,

jak równie» funk ji równowag, o zostaªo opisane w Rozdziale 3. Autorzy tej pra y

roz-patrywali gr wieloosobow¡, ale rozwa»ania ograni zyli dogier symetry zny h. Problem

zbie»no± irozwi¡zaª tak»eP.Szajowskiwpra y [59℄. Tymrazemgra byªaniesymery zna

iwieloosobowa,alewspóª zynnikiprzy prawdopodobie«stwieprzej± ia miaªyinn¡ form.

Grami eksploata ji zasobów zajmowali si równie» Cave [16℄, Fisher i Mirman [23℄,

Mendelsohn i Sobel[35℄, Sobel[57℄ oraz Wi ek [63℄.

Gry sto hasty zne, a w sz zególno± i gry eksploata ji zasobów mo»na rozpatrywa¢

jako podklas gier wielogenera yjny h z zynnikiem altruisty znym stale równym jeden.

W gra h wielogenera yjny h gra ze wystpuj¡ w wielu pokolenia h i tworz¡ dynastie.

Ka»dy gra z »yje przez jeden etap gry, a po nim naty hmiast pojawia si potomek. W

obrbie danej dynastii wszys y gra ze maj¡ t sam¡ funk j wypªaty, która zale»y tylko

od stanu gry, zale»nego od stanu i ukªadude yzji w zasie »y iapoprzedniego pokolenia.

Model gry wielogenera yjnej za staªym wspóª zynnikiem altruisty znym wprowadzili

Phelps iPollak[48℄. W i h pra y podobnie jak wkolejny h wystpowaªatylkojedna

dy-nastia. W pra y Harrisa iLaibsona [26℄ sposób dyskontowania zaproponowany przez

au-torówpra y [48℄ zostaª nazwany quasi-geometry znym. Ponadto w tejpra y

wprowadzo-nopoj ieMo nej iSªabejHiperboli znejRela ji Eulera. Wykazano,»e równowagaNasha

speªnia Sªab¡ Hiperboli zn¡ Rela j Eulera. Podali równie» warunki na speªnienie

Mo -nej Hiperboli znejRela ji Eulera. Quasi-geometry zny sposób dyskontowania pojawiª si

równie» wprzykªadzie obli zeniowymw pra y L. MaliariS. Maliar[34℄.

Alj iHaurie [1℄ wprowadzili gr, w której wka»dym pokoleniu wystpuj¡

przedstawi- iele ró»ny h dynastii, w taki sposób, »e w ka»dym etapie wszystkie dynastie maj¡ po

jednymprzedstawi ielu. Stanyistrategiepo hodziªyze zbiorusko« zonego. Rozwi¡zanie

problemu istnienia doskonaªej równowagi Nasha w gra h wielogenera yjny h pojawiª si

w pra a h Lane-Leiningera[29, 30℄oraz Bernheimai Raya [11℄. W powy»szy h pra a h,

podobniejak wpra a hArrowa[6℄iDasgupty [19℄u»yto sposobudyskontowaniaw

opar- iuopostulat,»epreferen jegra zyzale»¡tylkoodjegowªasnejkonsump jiikonsump ji

bezpo±redniegonastp y. Wdrugiej z± ipra y Arrowrozpatrzyª przypadek,gdy

prefe-ren je ka»dego gra za zale»¡ od jego konsump ji oraz od konsump ji

m

potomków (

m

ustalone dowolnie). Powy»sze rozwa»ania uogólnili Harris [25℄, a nastpnie Amir [4℄,

który wprowadziª losowe prawdopodobie«stwo przej± ia. Prawdopodobie±two przej± ia

podobnie jak w [2℄ miaªo dystrybuant wklsª¡ wzgldem warunku i podobnie jak w [2℄

znaleziono sta jonarn¡ równowag w klasiefunk ji monotoni zny h i lips hitzowski h ze

staª¡ 1.

Kolejny przykªad gry wielogenera yjnej zaprezentowaª Nowak [43℄.

Prawdopodobie«-stwo przej± ia byªo kombina j¡ wypukª¡ sko« zonej ilo± i miar zale»ny h od aktualnego

stanu. Byªa to struktura prawdopodobie«stwa znana z pra Nowaka [42℄, Nowaka i P.

Szajowskiego [46℄, oraz Balbusa i Nowaka [8℄. W tej pra y zbiór multi - strategii zostaª

poszerzony do pewnego zwartego podzbioru zbioru strategii zrandomizowany h. Jednak

równowa Nasha, otrzymana jako punkt staªy pewnego i¡gªego operatora jest

niezran-domizowana.

Gry wielogenera yjne speªniaj¡ e sta jonarny postulat rozwa»aª równie» Rawls [50℄.

Zaproponowaªonzasadsprawiedliwegoosz zdzania,zwan¡ tak»ezasad¡maksyminow¡.

Preferen je gra zy zale»aªy tylko od i h wªasny h konsump ji. Z drugiej strony reguªa

Rawls'a uwzgldniaªapotrzeby nastp ówi polegaªanatymaby ka»dy potomekosi¡gn¡ª

przynajmniejpewneminimum. KryteriumRawls'azastosowaliArrow[6℄iDasgupta[19℄.

Arrow przyj¡ªliniow¡ funk j produk ji.

Sta jonarnypostulat powoduje, »ewwielugra hwielogenera yjny hzniesko« zonym

horyzonem zasowym mo»na uzyska¢ sta jonarn¡ doskonaª¡ równowag Nasha, stosuj¡

odpowiednie twierdzenia o punk ie staªym. Od tej zasady odeszli Saez-Marti i Weibull

[54℄. Rozwa»any przez ni h model zawieraª zynnik dyskonta zmienny w zasie.

Zapro-ponowany przez ni h model jest równowa»ny pewnemu modelowi gry wielogenera yjnej

z pewnym zynnikiem altruisty znym, który jest tak»e zmienny w zasie. Co wi ej

ka»dej funk ji dyskontaodpowiadafunk ja wagialtruisty znejwsposób jedennajeden.

Poniewa»zka»dympokoleniemzmieniaj¡sipreferen jegra zy wyzna zeniesta jonarnej

doskonaªej równowagi jest niemo»liwe.

Niniejsza rozprawa doty zy modelialtruisty zny h z quasi-hiperboli zn¡ funk j¡

dys-konta, w który h wystpuje zasada sta jonarnego postulatu. W ogólnym przypadku

zynnik altruisty zny mo»e zale»e¢ od aktualnego stanu. We wszystki h rozdziaªa h

rozwa»ane s¡ gry z wklsªa i odpowiednio gªadk¡ funk j¡ u»yte zno± i, natomiast

praw-dopodobie«stwa przej± ia s¡ kombina jami wypukªymi miar probabilisty zny h, które w

najbardziej ogólnym przypadku zale»¡odbie»¡ ego stanu.

W Rozdziale 2 przedstawiono rezultaty pra y Balbusa i Nowaka [10℄, w której

zas-tosowano model Alji Haurie'go [1℄ w elu uogólnienia trady yjny h gier eksploata ji

przypadek prawdopodobie«stwa znanego z pra y Amira [2℄, bo w odró»nieniu od niego,

dystrybuantawarunkowaprawdopodobie«stwaprzej± iajestnie i¡gªawzgldemwarunku

w punk ie zerowym. Istnienie sta jonarnej doskonaªej równowagi Nasha udowodniono

przy pomo yTwierdzeniaS haudera,konstruuj¡ przypomo ysªabej*-topologiizwarty

podzbiórzbiorustrategiizrandomizowany hiodpowiednioperator. Konstruk jatego

ope-ratora byªa mo»liwa dziki udowodnieniu jednozna zno± i równowagi Nasha za pomo ¡

pomo ni zejgrystaty znej. Poniewa»niebyªomo»liwezastosowanieTwierdzeniaGabaya

iMoulina [24℄,aniTwierdzenia Rosena[52,27℄,problemjednozna zno± i rozwi¡zano

ele-mentarnie deniuj¡ nowy porz¡dek na przestrzenii

R

n

i rozwa»aj¡ wªasno± i funk ji

malej¡ y h.

W pozostaªy h rozdziaªa h przedstawiono modele dyskontowany h gier

sto hasty- zny h. Rozdziaª 3 przedstawia rezultaty z pra y [8℄. Rozwa»ono symetry zn¡ gr

wieloosobow¡zprawdopodopodobie«stwemprzej± iabd¡ ymkombina j¡wypukªa

sko«- zonejilo± imiarprobabilisty zny hzale»ny hodobe negostanu. Wtymmodeluistnieje

stan po hªaniaj¡ y (zerowy), który daje zerow¡ u»yte zno¢, a wi powoduje, »e gra si

ko« zy. Udowodniono, »e równowagi Nasha w gra h o sko« zonym horyzon ie

mono-toni znie zbiegaj¡ dorównowagi w grze z niesko« zonym horyzontem. Powy»szy sposób

pokazuje (podobniejakpra a[46℄), »eistnienierównowagimo»nawykaza¢zpomini iem

Twierdzenia S haudera. Opró z tego jak pokazuje zamiesz zony przykªad, równowag w

grze z niesko« zonym horyzontem mo»na aproksymowa¢, równowagami w grze o

sko«- zonym horyzon ie.

Kolejny rozdziaªopisuje model symetry znej grysto hasty znej eksploata ji zasobów

zprawdopodobie«stwem przej± iaznanymz Rozdziaªu2 ipra y [10℄. Dopusz zono

sytu-a j,gdy»¡daniagra zyprzekra zaj¡ dostpnezasoby. Wtakimprzypadkugra zedziel¡

midzy sob¡ dostpne zasoby na równe z± i i gra si ko« zy. Podobny sposób

podzia-ªu rozwa»ali Majumdar i Sundaram [33℄. Istnienie równowagi Nasha w grze ob itej do

zbiorumulti-strategiitaki h, któreuniemo»liwiaj¡ gra zomprzekro zeniedostpny h

za-sobów, zostaªo ju» wykazane w pra y [10℄ i Rozdziale 2. Okazuje si, »e jest to tak»e

równowaga Nasha w grze rozszerzonej i to zarówno ze sko« zonym jak i niesko« zonym

horyzontem zasowym. Ponadto podobnie jak w [2℄ jest to funk ja monotoni zna i

ma-j¡ awªasno±¢Lips hitzazestaª¡1. Dodatkowozastosowanierównowagizograni zeniami

daje wikszy zysk ni» podziaª wszystki h zasobów midzy siebie. Wyniki tego rozdziaªu

znajduj¡ si wpra y [9℄.

W ostatnim rozdziale rozwa»ane s¡ asymptoty zne wªasno± i równowag Nasha w

dyskontowanej i niesymetry znej grze eksploata ji zasobów znanej z pra y [46℄. Posta¢

równowagijak równie» posta¢ odpowiedniej wypªaty jest znana zpra Amira[2,5℄.

Do-datkowozRozdziaªu 2izpra [10, 24℄mo»nawywnioskowa¢, »eza hodzi jednozna zno±¢

równowagwgrze zesko« zonymhoryzontem. Wtymrozdzialewykazano,»e równowagii

odpowiedniefunk je wypªat zbiegaj¡ (przy

β

→ 1

)jednostajnie dopewnej funk ji, która okazaªa si by¢

ǫ

- równowag¡ w

β

- dyskontowany h gra h sto hasty zny h o sko« zo-nym horyzon ie zasowym dla dosta znie du»y h

β

. Za pomo ¡ zbie»no± i równowag udowodniony h w[46℄, podobne wynikiuzyskano w grze z niesko« zonym horyzontem.

Gry sto hasty zne wielogenera yjne

Rezutaty niniejszego rozdziaªu po hodz¡ z publika ji [10℄. Gªównym elem tej z± i

pra yjestwykazanieistnieniarównowagidoskonaªejwgrzewielogenera yjnej. Modelgry

wielogenera yjnej, przedstawia sinastpuj¡ o:

• T = {1, 2, . . .}

jest zbiorem kroków gry,

•

Dla ka»dego

t

∈ T

,

G

t

=

{1

t

, 2

t

, . . . , m

t

}

jest pokoleniem

m

gra zy,

•

Dla ka»dego

i

∈ M := {1, . . . , m}

,

F

i

:=

{i

t

}

t∈T

jest dynasti¡,a ka»dy gra z

i

t+1

∈

G

t+1

jest potomkiem gra za

i

t

∈ G

t

,

• S ⊂ R

+

jest przedziaªem zawieraj¡ ym 0zwanym przestrzeni¡ stanów,

• A

i

(s)

- przestrze« ak ji dla ka»dego gra za

i

t

∈ F

i

przy stanie

s

∈ S

. Nie h

A(s) := A

1

(s)

×, . . . , ×, A

m

(s)

oraz

C :=

{(s, x) : s ∈ S, x ∈ A(s)} .

• r

i

: C

→ R

jest funk j¡ wypªaty (u»yte zno± i) gra za

i

t

∈ F

i

. W ka»dym kroku

t

_{∈ T}

, przy stanie

s

t

∈ S

, ka»dy gra z

j

t

∈ G

t

wybiera ak j

x

j

t

∈ A

j

(s)

. Wtedy gra z

i

t

∈ F

i

otrzymuje bie»¡ ¡ u»yte zno±¢

r

i

(s

t

, x

1

t

, . . . , x

m

t

) .

• q

- jest prawdopodobie«stwem przej± ia ze zbioru

C

do zbioru

S

zwanym prawem ru hu. Je±li

s

t

jest stanem dlakroku

t

∈ T

, gra ze z pokolenia

G

t

wybieraj¡ ak je

x

t

∈ A(s

t

)

,

q(

·|s

t

, x

t

)

jest rozkªademprawdopodobie«stwa nastpnegostanu.

• α : S → [0, 1]

jest i¡gª¡funk j¡. Dla ka»dego

t

∈ T

oraz

s

t

∈ S

,

α(s

t

)

nazywamy wspóª zynnikiemaltruizmu.

sploata ji zasobów

Nie h

Φ

i

bdzie zbiorem funk ji borelowski h

f

i

: S

→ S

taki h, »e

f

i

(s)

∈ A

i

(s)

dla dowolnego

s

∈ S

inie h

Φ := Φ

1

× . . . × Φ

m

.

Strategi¡ markowsk¡ dla gra za

i

t

∈ G

t

nazywamy funk j

f

i

t

∈ Φ

i

. Multi-strategi¡ dla pokolenia

G

t

nazywamy funk j

f

t

:= (f

1

t

, . . . , f

m

t

)

∈ Φ

. Dla ka»dego

t

∈ T

nie h

f

t

:=

_{f

τ

: τ = t + 1, t + 2, . . .

} .

Wtedy

f

t

jestzbioremmulti-strategiistosowany h przezwszystkiepokolenia

nastpu-j¡ e po

G

t

. U»yte zno±¢ dlagra za

i

t

∈ G

t

deniujemy jako:

γ

i

t

(f

t

_)(s

t

) := r

i

(s

t

, f

t

(s

t

)) + α(s

t

)E

f

t

s

t





∞

X

τ =t+1

β

τ −t

r

i

(s

τ

, f

τ

(s

τ

))





,

(2.1) gdzie

E

f

t

s

t

jest operatorem warto± i o zekiwanej dla jedynej miary probabilisty znej

P

f

t

s

t

(zdeniowanej nazbiorze wszystki h mo»liwy hhistorii grystartuj¡ ej ze stanu

s

t

) wyz-na zonejprzez

f

t

iprawdopodobie«stwo przej± ia

q

zgodniezTwierdzeniemIones u T ul- ea (PropositionV.1.1 w[40℄). Zaªó»my, »e ka»dy gra z

i

t

∈ G

t

stosuje t¡sam¡ strategi

f

i

∈ Φ

i

. Wtymprzypadkumówimy,»egra zezdynastii

F

i

u»ywaj¡sta jonarnejstrategii. Zakªadaj¡ , »e wszystkie dynastie w ka»dym kroku u»ywaj¡ tej samej strategii i kªad¡

f := (f

1

, . . . , f

m

)

zauwa»amy, »e multi-strategia

f

t

:=

_{f

τ

= f : τ = t + 1, t + 2, . . .

} ,

jesttakasamadlawszystki h

t

∈ T

. St¡d mo»naj¡ nazwa¢sta jonarn¡multi-strategi¡ w grze midzygenera yjnej. Zauwa»my, »e powy»sza multi-strategia jest wyzna zona przez

pewn¡ funk j

f

∈ Φ

.

Spróbujemyprzedstawi¢wyra»enie(2.1)wbardziej zytelnejposta idlamulti-strategii

sta jonarny h. Dla ka»dej ograni zonej funk ji

v

i

f

∈ Φ

kªadziemy:

h

Q

1

_f

v

i

(s) :=

Z

S

v(s

′

)q(ds

′

|s, f(s)),

(2.2)

gdzie

s

∈ S

i

f := (f

1

, . . . , f

m

)

. Dla dowolnego

t

∈ T

zdeniujmy:

h

Q

t+1

_f

v

i

(s) :=

h

Q

1

_f

Q

t

_f

v

i

(s).

(2.3) Dla ka»dej sta jonarnejmuli-strategii

f := (f

1

, . . . , f

m

)

∈ Φ

,

t

≥ 2

i

s

t

∈ S

deniujemy

J

i

(f )(s

t

) := r

i

(s

t

, f

i

(s

t

)) +

∞

X

τ =t+1

β

τ −t

h

Q

τ −t

_f

r

i

(f

i

)

i

(s

t

),

(2.4)

gdzie

r(f

i

)(s) := r

i

(s

t

, f

i

(s

t

)).

Gdywszystkiepokoleniau»ywaj¡sta jonarnejmulti-strategii, z (2.1) i z (2.4) wynika, »e funk ja u»yte zno± i dla ka»dego gra za

i

t

z dynastii

F

i

jest taka sama izadana jestwzorem:

γ

i

t

(f )(s

t

) := γ

i

t

(f

t

_)(s

t

) = r

i

(s

t

, f

i

(s

t

)) + α(s

t

)β

Z

S

J

i

(f )(s

t+1

)q(ds

t+1

|s

t

, f (s

t

)).

Dla ka»dego

f

∈ Φ

,

s

∈ S

rozwa»amy jednokrokow¡gr

Γ(f, s)

osumie niezerowej, gdzie funk ja wypªaty dla gra za

i

jest posta i:

k

i

(s, f )(x) := r

i

(s, x) + α(s)β

Z

S

J

i

(f )(s

′

)q(ds

′

|s, x),

(2.5)

gdzie

x = (x

1

, . . . , x

m

)

∈ A(s)

jest multi-strategi¡

m

gra zy. Deni ja 1

f

∗

_{∈ Φ}

jest sta jonarn¡ równowag¡ doskonaª¡ w grze midzygerera yjnej

je±li dla ka»dego

s

∈ S

,

f

∗

_(s)

_{∈ A(s)}

jest zyst¡ równowag¡ Nasha w grze

Γ(f

∗

_{, s)}

.

Wprowad¹my teraz podstawowe zaªo»enia:

A1 Dla ka»dego

i

∈ M

zbiór ak ji jest posta i:

A

i

(s) := [0, a

i

(s)],

gdzie funk je

a

i

s¡ nieujemne, niemalej¡ e i i¡gªe oraz dla ka»dego

s

∈ S

speªniaj¡ nierówno±¢:

a

1

(s) + . . . + a

m

(s)

≤ s.

R1 Dla ka»dego

i

∈ M,

oraz

x := (x

1

, . . . , x

m

)

∈ A(s)

, funk je bie»¡ ej u»yte zno± i s¡ posta i:

r

i

(s, x) := u

i

(x

i

).

Zakªadamy ponadto,»e funk je

u

i

s¡± i±le wklsªe,rosn¡ ei dwukrotnieró»ni zkowalne, przy zym

u

i

(0) = 0

.

P1Prawdopodobie«stwoprzej± a

q

jest nastpuj¡ ejposta i:

q(

{0}|0, (0, . . . , 0)) = 1

, oraz gdy

s > 0

,

x = (x

1

, . . . , x

m

)

∈ A(s)

,

q(

_{·|s, x) = g}





s

−

m

X

j=1

x

j





µ(

·) +





1

− g





s

−

m

X

j=1

x

j









ν(

·),

(2.6)

Uwaga 1 Z zaªo»enia P1 wynika, »e dla ka»dego

s

t

∈ S

,

x

t

:= (x

1

t

, x

2

t

, . . . , x

m

t

)

∈

A(s

t

),

rozkªadprawdopodobie«stwanastpnegostanu

q(

·|s

t

, x

t

)

zale»yodpoziomuª¡ znej inwesty ji

I(s

t

, x

t

) = s

t

−

m

X

i=1

x

i

t

.

Uwaga 2 Czasamizakªadasi,»emiara

µ

wewzorze(2.6)sto hasty zniedominujemiar

ν

. Ozna za to,»e dlaka»dej funk ji niemalej¡ ejza hodzi nierówno±¢

Z

S

v(s

′

_)µ(ds

′

₎

≥

Z

S

v(s

′

_)ν(ds

′

_).

Wtedy zwikszenie poziomuª¡ znej inwesty ji wpokoleniu

G

t

powoduje, »e zwiksza si tak»e o zekiwany stan zasobów wnastpnym pokoleniu. Tozaªo»enie stosowano midzy

innymiw [18, 43℄, oraz w Rozdziale4 niniejszej pra y.

Uwaga 3 Przedstawionymodelmo»nazinterpretowa¢nastpuj¡ o:

S

jestzbiorem wspól-ny hzasobów gra zy,które mog¡ by¢ przez ni hwykorzystywane dokonsump ji, lub

in-westowania. Zbiory

A

i

(s)

okre±laj¡ grani e konsump ji dla gra za

i

t

∈ G

t

przy stanie

s

. Warto zwró i¢ uwag, »e bie»¡ au»yte zno±¢ gra za

i

t

zale»y wyª¡ znie od jego wªas-nej konsump ji. Przej± ie ze stanu

s

t

do stanu

s

t+1

odbywa si zgodnie z rozkªadem prawdopodobie«stwaopisanymzapomo ¡formuªy(2.6). Prawdopodobie«stwoprzej± ia

zale»y odpoziomuª¡ znej inwesty ji wszystki hgra zy zpokolenia

G

t

,przez któr¡ naley rozumie¢

I(s

t

, x

t

)

.

Uwaga 4 Kon ep ja równowagi doskonaªej przedstawionej w Deni ji 2.1 po hodzi z

pra y Alj i Haurie'go [1℄, gdzie rozpatrywano gryo sko« zony h zbiora h stanów i ak ji,

bez sz zególnej interpreta ji ekonomi znej. Alj i Haurie uogólnili poj ie równowagi w

mode-lu wielogenera yjnym wprowadzonym do literatury ekonomi znej przez Phelpsa

i Pollaka [48℄, którzy zakªadali, »e ka»da genera ja skªada si z jednego reprezentanta

(

m = 1

) i rozpatrywali model z deterministy zn¡ funk j¡ przej± ia. Wersj sto hasty- zn¡ modelu Phelpsa i Pollaka studiowaª Amir [4℄, po zym w miar ogólny rezultat w

tym zakresie podaª Nowak [43℄. Niniejsza pra a stanowi rozszerzenie wyników Amira i

Nowaka[4,43℄,polegaj¡ enatym,»eu»yte zno±¢przedstawi ieligenera ji

G

t

uwzgldnia konsump j wszystki h nastpny h pokole«.

Uwaga 5 Deni ja 2.1 wydaje siby¢nie oskomplikowana. Šatwiejzrozumie¢ problem

w niej poruszany przyjmuj¡

m = 1

. W takim przypadku hodzi o znalezienie polityki, która stanowi najlepsz¡ odpowied¹ dla ka»dej genea ji, gdy wszys y stosuj¡ staª¡ reguª

konsump ji. Z matematy znego punktu widzenia hodzi o znalezienie punktu staªego

pewnego odwzorowania okre±lonej przestrzeni funk yjnej w siebie, daj¡ ego równowag

»e

i

t

= i

dla ka»dego

t

, zyli aªa dynastia jest w isto ie tym samym gra zem. W tym przypadku mamy nauwadze

m

gra zy, który h u»yte zno± i ulegaj¡ zmianie w za-sie. U»yte zno±¢ gra za

i

na po z¡tku okresu

t

wyra»ona wzorem

W

i

t

uwzgldnia fakt, »e zmienia swój punkt widzenia na przyszªe poziomy konsump ji przez uwzgldnienie

wspóª zynnika

α(s

t

)

. Tak mo»e si dzia¢ na po z¡tku ka»dego okresu. Mamy wów zas uogólnienie standardowego modelu z zynnikiem dyskonta

β

. Czasami w litera-turze

i

t

nazywany jest sobowtórem gra za

i

onumerze

t

(selft). Zmieniaj¡ swoje spojrzenie na przyszªo±¢ gra z

i

modykujeklasy zn¡ u»yte zno±¢dyskont znan¡napo z¡tkuka»dego okresu. Czasami pojawia si sytua ja, »e

α(s

t

) < 1

, o ozna za, »e gra z za zyna mniej my±le¢oprzyszªo± i,ni»musiw ze±niejwydawaªo. Tegotypuinterpreta jajestprzyjta

wpra y [26℄. Je±li

α(

·) = 1

,to model októrympiszemy redukuje sidodostandardowej gry sto hasty znej z zynnikiem dyskonta

β

, w której u»yte zno± i w gra zy nie zmieni-aj¡ si w zasie. W Rozdziaªa h 3, 4 i 5 bdziemy analizowali gr z

α = 1

, która ma standardow¡interpreta j.

W niniejszym rozdziale zmierzamy doudowodnienia nastpuj¡ egorezultatu.

Twierdzenie 1 Ka»dawielogenera yjnagra eksploata jizasobówz niesko« zonym

hory-zontem speªniaj¡ a zaªo»enia A1, R1 i P1 posiadasta jonarn¡ równowag doskonaª¡.

Uwaga 7 Wprzypadku

α = 1

twierdzenie1przynosinowyrezultatoistnieniusta jonarnej równowagiNasha w grze sto hasty znej z ontinum stanów.

2.2 Jednozna zno±¢ równowagi Nasha w grze

pomo -ni zej

Ten podrozdziaª ma harakter pomo ni zy. U»yjemy nastpuj¡ y h ozna ze«: je±li

(x

1

, . . . , x

k

)

∈ R

k

,wtedy

¯

x :=

k

X

j=1

x

j

,

oraz

x

¯

−i

=

m

X

j6=i

x

j

.

Nie h

d = (d

1

, . . . , d

k

), d

i

> 0

. Ponadto nie h

U

i

: [0, d

i

]

→ R

+

,

H

i

: [0, ¯

d]

→ R

bd¡ ustalonymifunk jami. Rozwa»mypomo ni z¡jednokrokow¡

k

-osobow¡gr

Γ

k

dlaktórej

i

−

ty gra z (

i = 1, . . . , k

) wybiera strategi ze zbioru

[0, d

i

]

. Funk ja wypªaty

i

−

tego gra za jestposta i

w

i

(x) = U

i

(x

i

) + c

i

H

i

(¯

x),

gdzie

x := (x

1

, . . . , x

k

) , c

i

> 0

. W niniejszym podrozdziale wprowadzono nastpuj¡ e zaªo»enie:

C: Funk je

U

i

oraz

H

i

s¡± i±lewklsªei klasy

C

2

. Ponadto

U

i

jestrosn¡ a, natomiast

H

i

jestmalej¡ a.

Zmierzamy doudowodnienia pomo ni zego rezultatu:

Twierdzenie 2 Przypu±¢my, »e za hodzi warunek C. Wtedy gra

Γ

k

ma dokªadnie jedn¡ równowag Nasha.

Do udowodnienia powy»szego rezultatu potrzebujemy kilku lematów. Nie h

(R

k

_,

_≺)

bdzie przestrzeni¡ znastpuj¡ ¡ binarn¡rela j

≺

:

Deni ja 2

x := (x

1

, . . . , x

k

)

≺ y = (y

1

, . . . , y

k

)

wtedy i tylko wtedy gdy:

¯

x

−i

≤ ¯y

−i

dla ka»dego

i = 1, . . . , k.

Lemat 1

(R

k

_,

_≺)

jest zbiorem z± iowouporz¡dkowanym.

Dowód Šatwo udowodni¢, »e rela ja

≺

jest zwrotna i prze hodnia. Wystar zy wykaza¢ sªab¡ asymetri rela ji. Nie h

x

≺ y

oraz

y

≺ x

. Wtedy dladowolnego

i

mamy

X

j6=i

(x

j

− y

j

) = 0.

Šatwo zauwa»y¢, »e ró»ni awektorów

r := x

− y

speªnia ukªad Cramera

Ar = 0

, gdzie

A =























0 1 1 . . . 1 1

1 0 1 . . . 1 1

1 1 0 . . . 1 1

. . . . . . . . . . . . . . . . . .

1 1 1 . . . 0 1

1 1 1 . . . 1 0























.

Poniewa»

det(A)

6= 0

, wi

r = 0

, zyli

x = y

.

2

Deniujemy funk j najlepszy hodpowiedzi dla

i

-tego gra zajako

B

i

(¯

x

−i

) :=

arg

max

a∈[0,d

i

]

{U

i

(a) + c

i

H

i

(a + ¯

x

−i

)

} .

Dla ka»dego

x := (x

1

, . . . , x

k

)

nie h

B(x) := (B

1

(¯

x

−1

), B

2

(¯

x

−2

), . . . , B

k

(¯

x

−k

)) .

Z naszy h zaªo»e« wynika,»e

B(x)

ma jeden element. Lemat 2 Funk ja

B : (R

k

_,

_{≺) → (R}

k

_,

_≺)

λ

i

(a, y) := U

i

(a) + c

i

H

i

(a + y),

a

∈ [0, d

i

],

y

∈ [0, d

i

]

oraz

φ

i

(y) := argmax

a∈[0,d

i

]

λ

i

(a, y),

y

∈ [0, d

i

].

(2.7) Poniewa»

∂

2

_λ

i

∂a∂y

≤ 0,

λ

i

jest funk j¡ submodularn¡. Z Twierdzenia 6.1 w pra y Topkisa [60℄ lub ze strony 5-7 w ksi¡» e Rossa [53℄ mo»nawywnioskowa¢, »e

φ

i

is nierosn¡ a i i¡gªa. St¡d wynika, »e

B : (R

k

,

≺) → (R

k

_,

_≤)

is nierosn¡ a. Poniewa» dla

x, z

∈ R

k

,

x

≤ z

po i¡ga za sob¡

x

_{≺ z}

, funk ja

B : (R

k

_,

_{≺) → (R}

k

_,

_≺)

jest równie» nierosn¡ a.

2

Lemat 3 Je±li x i z s¡ równowagami Nasha w grze

Γ

k

oraz

x

≺ z

, wtedy

x = z

.

Dowód Nie h

x, z

, bd¡ równowagami w grze

Γ

k

, oraz

x

≺ z

. Wtedy z Lematu 2

z = B(z)

_{≺ B(x) = x}

. St¡d iz Lematu1 wynika,»e

x = z

.

2

Lemat 4 Nie h

ξ : [0, b]

→ R

bdzie funk j¡ i¡gª¡. Zaªó»my, »e istnieje przeli zalny i domknity zbiór

Z

⊂ [0, b]

taki, »e

ξ

′

_(y)

istnieje i

ξ

′

_{(y) >}

₋₁

dla

y

∈ [0, b] \ Z.

Je±li

y

0

∈ (0, b]

i

y

∈ [0, y

0

)

, wtedy

ξ(y) < ξ(y

0

)

− (y − y

0

),

(2.8) oraz je±li

y

0

∈ [0, b)

i

y

∈ (y

0

, b]

za hodzi

ξ(y) > ξ(y

0

)

− (y − y

0

).

(2.9) Dowód Deniujemy

p(y) := ξ(y)

− ξ(y

0

) + (y

− y

0

),

y

∈ [0, b].

Ta funk ja jest i¡gªana

[0, b]

i ró»ni zkowalna wka»dym punk ie

y

∈ [0, b] \ Z.

Ponadto

p

′

_{(y) = ξ}

′

_{(y) + 1 > 0}

dladowolnego

y

∈ [0, b] \ Z

,oraz

p

jest i¡gªana

[0, b]

. St¡d wynika, »e funk ja

p

jest ± i±le rosn¡ a na

[0, b]

. Zatem je±li

y

0

∈ (0, b]

, oraz

y

∈ [0, y

0

)

, wtedy

p(y) < p(y

0

) = 0

, o po i¡ga za sob¡ nierówno±¢ (2.8). Je±li

y

0

∈ [0, b)

oraz

y

∈ (y

0

, b]

, wtedy

p(y) > p(y

0

) = 0

, opo i¡gazazob¡ (2.9).

2

Lemat 5 Funk ja

φ

i

zdeniowana w (2.7) jest ró»ni zkowalna w ka»dym punk ie

y

∈

[0, d

i

]

\ Z

, gdzie

Z

jest zbiorem przeli zalnym i domknitym. Ponadto

φ

i

(y) >

−1

dla ka»dego

y

∈ [0, d

i

]

\ Z

.

Dowód Deniujemy

∆

i

:=

{y ∈ [0, d

i

] : 0 < φ

i

(y) < d

i

}.

W dowodzie Lematu 2 wykazano, »e

φ

i

jest funk j¡ i¡gªa i nierosn¡ ¡. St¡d,

∆

i

jest przedziaªem lub

∆

i

=

∅.

Nie h

D

i

:= Int(∆

i

)

. Gdyby

∆

i

=

∅

, wtedy

φ

i

byªaby funk j¡ staª¡ na

[0, d

i

]

i st¡d zaszªoby

φ

′

i

(y) = 0 >

−1

dla dowolnego

y

∈ [0, d

i

].

Zaªó»my wi , »e

∆

i

6= ∅.

Nie h

D

i

= (η

1

, η

2

).

Je±li

η

1

> 0,

wtedy

φ

i

(y) = d

i

dla ka»dego

y

∈ [0, η

1

)

i st¡d

φ

′

i

(y) = 0

dla

y

∈ [0, η

1

).

Je±li

η

2

< d

i

,

wtedy

φ

i

(y) = 0

dla ka»dego

y

∈ (η

2

, d

i

]

i st¡d

φ

′

i

(y) = 0

dla

y

∈ (ξ

2

, d

i

].

Zdeniujmy

Z

0

:=

{y ∈ (η

1

, η

2

) : u

′′

i

(y) = 0

}

. Jest to zbiór przeli zalny i domknity. Rozwa»my dowolnie ustalony

y

∈ [0, ¯

d

i

]

\ Z

0

. Z zaªo»enia C,

φ

i

(y)

jest jedynym rozwi¡zaniemrównania

U

i

′

(φ

i

(y)) + c

i

H

i

′

(φ

i

(y) + y) = 0.

(2.10) ZTwierdzeniaoFunk ja hUwikªany hiz(2.10)wnioskujemy,»e

φ

i

jestfunk j¡ ró»ni zko-waln¡ w ka»dym punk ie

y

oraz speªnionajest zale»no±¢

U

′′

i

(φ

i

(y))φ

′

i

(y) + c

i

H

i

′′

(φ

i

(y) + y)(φ

′

i

(y) + 1) = 0.

(2.11) Nie h

Z = Z

0

∪ {η

1

, η

2

}

. Wtedyzbiór

Z

jestprzeli zalnyidomknity. Zzale»no± i(2.11) mamy

φ

′

i

(y) =

−

c

i

H

i

′′

(φ

i

(y) + y)

c

i

H

i

′′

(φ

i

(y) + y) + U

i

′′

(φ

i

(y))

>

_−1,

dlaka»dego

y

∈ [0, ¯

d

i

]

\ Z

, oko« zy dowód.

2

Dowód Twierdzenia 2 Zauwa»my, »e funk ja najlepszy h odpowiedzi

B

i

dla gra za

i

ma posta¢

B

i

(x

i

) = φ

i

(x

i

)

. Z Lematu 5,

B

i

speªnia zaªo»enia Lematu 4. Przypu±¢my, »e

Γ

k

posiada dwie ró»ne równowagi Nasha

x = (x

1

, x

2

, ..., x

k

)

oraz

z = (z

1

, z

2

, ..., z

k

).

Z Lematu 3wynika,»e musz¡ istnie¢ ró»neindeksy

i

oraz

j

takie, »e

x

i

> z

i

i jedno ze±nie

x

j

< z

j

.

Z Lematu 4otrzymujemy

B

i

(x

i

) > z

i

− (x

i

− z

i

) oraz B

j

(x

j

) < z

j

− (x

j

− z

j

).

oraz równowa»nie

B

i

(x

i

)

− x

i

> z

− x oraz B

j

(x

j

)

− x

j

< z

− x.

Zatem

B

i

(x

i

)

− x

i

> B

j

(x

j

)

− x

j

,

o ozna za, »e

x

nie jest punktem staªym

B

, a tym samym nie jest równowag¡ Nasha w grze

Γ

k

. Sprze zno±¢ ko« zy dowód.

2

Twierdzenie 2 mo»narozszerzy¢ na

m

osobow¡ gr

Γ

˜

m

o wypªata h wposta i

˜

w

i

(x) = U

i

(x

i

) + c

i

H

i

(¯

x),

gdzie

x := (x

1

, . . . , x

m

)

∈ R

m

_{, x}

Twierdzenie 3 Je±lispeªnionejestzaªo»enieC,wtedygra

Γ

˜

m

madokªadniejedn¡ równo-wag Nasha.

Dowód Nie h

I :=

{i : c

i

≤ 0}

. Bez straty ogólno± i mo»na zaªo»y¢, »e

I

6= ∅

. Dla wszystki h

i

∈ I

oraz

x

i

,

funk ja

w

˜

i

jest nierosn¡ a w

x

i

.

St¡d dlaka»dego gra za

i

∈ I

i

x

i

, mamy

B

i

(x

i

) = argmax

x

i

∈[0,d

i

]

(U

i

(x

i

) + c

i

H

˜

i

(x

i

+ x

i

)) = d

i

.

Nie h

x

∗

i

:= d

i

dla dowolnego

i

∈ I.

Je±li

I =

{1, 2, ..., m}

, wtedy

x

∗

_{= (x}

∗

1

, x

∗

2

, ..., x

∗

m

) =

(d

1

, d

2

, ..., d

m

)

jest jedyn¡ równowag¡ wgrze

Γ

˜

m

.

Bez straty ogólno± imo»na zaªo»y¢, »e

I =

_{{k + 1, ..., m}}

z

1

≤ k ≤ m − 1.

Je±li

k = 1

, wtedy jedyna równowaga Nasha jest w posta i

x

∗

_{= (x}

∗

1

, d

2

, ..., d

m

)

gdzie

x

∗

1

:= argmax

x

1

∈[0,d

1

]

(U

1

(x

1

) + c

1

H

˜

1

(x

1

+ d

1

)).

Przyjmijmy, »e

2

≤ k ≤ m − 1.

Rozwa»my

Γ

˜

k

z

˜

H

i

:= H

i





x +

m

X

j=k+1

d

j





,

gdzie

x = (x

1

, x

2

, ..., x

k

)

,

c

i

> 0

dla ka»dego

i = 1, 2, ..., k.

Z Twierdzenia 2, gra

Γ

˜

k

ma jedyn¡równowagNashanazywan¡

(x

∗

1

, x

∗

2

, ..., x

∗

k

).

Nie h

x

∗

_{:= (x}

∗

1

, x

∗

2

, ..., x

∗

k

, d

k+1

, ..., d

m

).

Wtedy

x

∗

jest jedyn¡ równowag¡ Nasha w grze

Γ

˜

m

. 2

Uwaga 8 Twierdzenie2nieza hodzi, je±lizaªo»ymy, »efun je

U

i

s¡tylkowklsªe. Nie h

U

i

(x

i

) = x

i

, c

i

= 1/e

, oraz

H

i

(x

1

+ x

2

) = 1

− e

−(x

1

+x

2

)

, x

i

∈ [0, 1], i = 1, 2.

Ka»da para

(x

∗

1

, x

∗

2

)

speªniaj¡ arówno±¢

x

∗

1

+ x

∗

2

= 1

jest równowag¡ Nasha w tej grze. Uwaga 9 Gdyzaªo»ymy dodatkowo, »e

U

′′

i

(x) < 0

dlaka»dego

x

∈ [0, d

i

]

, twierdzenie 2 mo»na udowodni¢ zapomo ¡ mo niejszej wersji Twierdzenia Rosena [52, 27℄.

2.3 Istnienie równowagi Nasha w grze z niesko« zonym

horyzontem

Deniujemy

ζ :=

µ + ν

2

.

Strategia skorelowana jest to borelowskie prawdopodobie«stwo przej± ia

ψ(

·|·)

takie, »e

ψ(A(s)

|s) = 1

dla ka»dego

s

∈ S.

Przez

Ψ

ζ

ozna zamy przestrze« klas równowa»no± i skorelowany h strategii, w której strategie w obrbie tej samej klasy s¡ sobie równe

ζ

-prawie wszdzie. Ka»da funk ja

f

∈ Φ

mo»e by¢ traktowana jako element

ψ

∈ Ψ

ζ

taki, »e

ψ(

{f(s)}|s) = 1 ζ

-p.w.

Przez funk j Carathéodory'ego na zbiorze

C

rozumiemy

w : C

→ R

tak¡, »e

w(s,

·)

jest i¡gªa na

A(s)

,

w(

·, a)

jest funk j¡ mierzaln¡ na

S

, oraz funk ja

s

→ max

a∈A(s)

|w(s, a)|

jest

ζ

- aªkowalne na

S

. Poniewa»wszystkie zbiory

A(s)

s¡zwarte,

Ψ

ζ

jest przestrzeni¡ zwart¡ i metryzowaln¡ w sªabej* topologii. Sz zegóªy mo»na znale¹¢ w pra a h [7, 61℄.

W niniejszej pra y wykorzystamy fakt, »e

ψ

n

→ ψ

w

Ψ

ζ

wtedy i tylko wtedy, gdy dla ka»dej funk ji Carathéodory'ego

w

na

C

Z

S

Z

A(s)

w(s, x)ψ

n

(dx

|s)ζ(ds) →

Z

S

Z

A(s)

w(s, x)ψ(dx

|s)ζ(ds)

gdy

n

→ ∞.

(2.12) Lemat 6 Je±li

ψ

n

→ ψ

w

Ψ

ζ

, wtedy dla ka»dej funk ji Carathéodory'ego zbie»no±¢ w (2.12) za hodzi gdy

ζ

zast¡pimy przez

µ

, lub

ν

.

Dowód Šatwo zauwa»y¢, »e teza wynika z deni ji

ζ

,oraz z faktu, »e

µ, ν

≪ ζ. 2

Ozna zmy

L

∞

(ζ) := L

∞

(S, ζ)

jakoprzestrze«Bana hazªo»on¡zfunk ji

ζ

-istotnie ograni- zony h o dziedzinie w zbiorze

S

i warto± ia h w zbiorze li zb rze zywisty h. Nie h dla

L

∞

(ζ)

bdzie dan¡ sªaba* topologi¡

σ(L

∞

(ζ), L

1

(ζ)).

Sªaba gwiazdka zbie»no±¢ i¡gu

{v

n

}

do

v

∈ L

∞

(ζ)

jest ozna zone przez

v

n

∗

→ v

w

L

∞

(ζ).

Dla ka»dej mierzalneji ograni zonej funk ji

v : S

7→ R

i

ψ

∈ Ψ,

nie h

[Q

(1)

_ψ

v](s) :=

Z

A(s)

Z

S

v(s

′

_)q(ds

′

|s, x)ψ(dx|s)

oraz

[Q

(t+1)

ψ

v](s) := [Q

(1)

ψ

Q

(t)

ψ

v](s).

Lemat 7 Zaªó»my, »e za hodzi P1. Nie h

v

n

∗

→ v ∈ L

∞

(ζ)

oraz

ψ

n

→ ψ

w

Ψ.

Wtedy dla dowolnego

t

∈ T,

mamy

Q

(t)

ψ

n

v

n

∗

→ Q

(t)

ψ

v

in

L

∞

(ζ)

przy

n

→ ∞.

Dowód Nie h

t = 1.

Za hodzi

Q

(1)

_ψ

n

v

n

− Q

(1)

ψ

v = (Q

(1)

ψ

n

v

− Q

(1)

ψ

v) + (Q

(1)

ψ

n

v

n

− Q

(1)

ψ

n

v).

(2.13) Zdeni ji zbie»no± i i¡gu

ψ

n

do

ψ

wprzestrzenii

Ψ

ζ

wynika,»e wyra»enie wpierwszym nawiasiezprawej strony równo± i(2.13)d¡»y do0

(n

→ ∞)

wsªabej*gwiazdkatopologii na

L

∞

(ζ)

. Zauwa»my

|[Q

(1)

ψ

n

(v

n

− v)](s)| ≤









Z

S

(v

n

(s

′

₎

− v(s

′

_))µ(ds

′

₎









+









Z

S

(v

n

(s

′

₎

− v(s

′

_))ν(ds

′

₎









.

St¡d iz faktu

µ

≪ ζ

,oraz

ν

≪ ζ

wynika, »e

[Q

(1)

ψ

n

(v

n

− v)](s)

zbiegajednostajnie dozera w

s

∈ S.

St¡d

Q

(1)

ψ

n

(v

n

− v)

∗

→ 0

w

L

∞

(ζ).

Wi lematjestudowodniony dla

t = 1.

Dowód dladowolnego

t

∈ T

przebiega induk yjnie.

2

Dla ka»dego

ψ

∈ Ψ, k ≥ 2,

i

s

∈ S,

deniujemy

J

i

(ψ)(s) := u

i

(ψ)(s) +

∞

X

τ =k+1

u

i

(ψ)(s) :=

Z

A(s)

u

˜

i

(x)ψ(dx

|s),

x = (x

1

, x

2

, ..., x

m

)

∈ A(s)

oraz

u

˜

i

(x) := u

i

(x

i

).

Lemat 8 Je±lispeªniones¡zaªo»eniaA1,R1orazP1, wtedyfunk je

ψ

7→

R

S

J

i

(ψ)(s)µ(ds)

oraz

ψ

7→

R

S

J

i

(ψ)(s)ν(ds)

s¡ i¡gªe na

Ψ.

Dowód Zauwa»my, »e szereg (2.14) jest jednostajnie zbie»ny. St¡d teza wynika

naty h-miast z deni jizbie»no± i w

Ψ

,(2.14), oraz Lematów 6,7.

2

Dowód Twierdzenia 1 Dla ka»dego

ψ

∈ Ψ

,

s

∈ S

deniujemy gr o sumie niezerowej

Γ(ψ, s)

w której przestrzeni¡ ak ji jest

A(s)

i dla dowolnego

x = (x

1

, x

2

, ..., x

m

)

∈ A(s)

funk ja u»yte zno± i dlagra za

i

wynosi

k

i

(s, ψ)(x) = u

i

(x

i

) + βα(s)

Z

S

J

i

(ψ)(s

′

)q(ds

′

_{|s, x).}

(2.15) Jak zwykle nie h

x =

P

m

j=1

x

j

.

Z P1,mamy

k

i

(s, ψ)(x) = u

i

(x

i

) + βα(s)[c

i

(ψ) + d

i

(ψ)g(s

− x)],

(2.16) gdzie

c

i

(ψ) =

Z

S

J

i

(ψ)(s

′

)ν(ds

′

)

oraz

d

i

(ψ) =

Z

S

J

i

(ψ)(s

′

)µ(ds

′

)

₋

Z

S

J

i

(ψ)(s

′

)ν(ds

′

).

Przyzaªo»enia hR1 iP1,z Twierdzenia3,oraz (2.16)wynika, »e gra

Γ(ψ, s)

majedyn¡ równowag Nasha, zwan¡

f

ψ

(s)

∈ A(s)

. Warunki i¡gªo± i i jednozna zno±¢ równowagi Nasha w

Γ(ψ, s)

implikuje, »e funk ja

s

7→ f

ψ

(s)

jest i¡gªa.

Deniujemy

N : Ψ 7→ Ψ

jako

N (ψ) := [f

ψ

],

gdzie

[f

ψ

]

ozna za klas¡ funk ji

f

∈ Φ

taki h, »e

f = f

ψ

ζ

-p.w. Zauwa»my, »e je±li

ψ

n

→ ψ

0

w

Ψ

(przy

n

→ ∞

), wtedy (z Lematu 8)

c

i

(ψ

n

)

→ c

i

(ψ

0

)

oraz

d

i

(ψ

n

)

→ d

i

(ψ

0

)

dlawszystki h

i.

Z (2.16),mamy

lim

n→∞

x∈A(s)

max

|k

i

(s, ψ

n

)(x)

− k

i

(s, ψ

0

)(x)

| = 0.

Powy»szy fakt i jednozna zno±¢ równowagi Nasha w grze

Γ(ψ, s)

(dla wszystki h

ψ

i

s

_{∈ S}

)(Twierdzenie 3)implikuj¡,»e

f

ψ

n

(s)

→ f

ψ

0

(s)

dladowolnego

s

∈ S

gdy

n

→ ∞.

Z TwierdzeniaLebesgue'aozbie»no± iograni zonejwynika,»e

[f

ψ

n

]

→ [f

ψ

0

]

w

Ψ

(zesªab¡* topologi¡). Pokazano, »e

N

jest funk j¡ i¡gª¡. Z Twierdzenia S haudera-Tikhonov's o punk ie staªym (Rozdziaª II, Warga [61℄), istnieje

ψ

∗

_{∈ Ψ}

takie, »e

ψ

∗

₌

_{N (ψ}

∗

_).

To oraz deni ja

N (ψ

∗

₎

implikuje istnieniezbioru borelowskiego

B

1

⊂ S

i pewnego

f

∗

∈ Φ

takiego, »e

f

∗

_{(s) = ψ}

∗

_(s)

dla ka»dego

s

∈ B

1

oraz

ζ(B

1

) = 1.

Ponadto wiemy, »e

f

∗

_(s)

jest jedyn¡ równowag¡ Nasha w grze

Γ(ψ

∗

_{, s)}

dla ka»dego

s

∈ B

1

.

Nie h

s

∈ S \ B

1

.

Poniewa»

µ

,

ν

≪ ζ,

mamy

µ(S

\ B

1

) = 0

i

ν(S

\ B

1

) = 0.

St¡d wynika, »e w obu gra h

Γ(ψ

∗

_{, s)}

i

Γ(f

∗

_{, s)}

funk je u»yte zno± i s¡ takie same dlaka»dego gra za

i

∈ M

oraz dla dowolnego

s

∈ S.

St¡d

f

∗

_(s)

jest zyst¡ równowag¡ Nasha w grze

Γ(f

∗

_{, s)}

ze sko« zonym horyzontem zasowym

Nie h

n

≥ 2

sko« zonym horyzontem gry. Nie h

T

n

:=

{1, 2, ..., n}.

Nie h

{f

t

}

t∈T

n

bdzie i¡giem strategii ka»dego pokolenia w grze o sko« zonym horizon ie. Mamy

f

t

= (f

1

t

, f

2

t

, ..., f

m

t

)

oraz

f

t

∈ Φ.

Nie h

f

t

:=

{f

τ

: τ = t, ..., n

}, t ∈ T

n

.

Dla wszystki h

t

≤ n − 1

, funk ja u»yte zno± i dla gra za

i

t

∈ G

i

jest zdeniowana jako

γ

n,i

t

(f

t

_)(s

t

) := u

i

(f

i

t

(s

t

)) + α(s

t

)E

f

t

s

t





n

X

τ =t+1

β

τ −t

u

i

(f

i

τ

(s

τ

))





.

(2.17) Je±li

t = n

, wtedy

γ

n,i

t

(f

t

_)(s

t

) = γ

n,i

n

(f

n

_)(s

n

) := u

i

(f

i

n

(s

n

)).

(2.18) Z (2.17)oraz (2.18), mo»na zauwa»y¢ (dla

t

≤ n − 1

),»e

γ

n,i

t

(f

t

_)(s

t

) = u

i

(f

i

t

)(s

t

) + α(s

t

)β

Z

S

γ

n−1,i

t+1

(f

t+1

_)(s

t+1

)q(ds

t+1

|s

t

, f

i

t

(s

t

)).

(2.19) Dla dowolny h

t

≤ n − 1, f

t+1

₌

_{f

t+1

, ..., f

n

},

oraz

s

t

∈ S,

ozna zmy

Γ(f

t+1

_{, s}

t

)

- gr o sumie niezerowej granej przez pokolenie

G

t

, z przestrzeni¡ strategii

A(s

t

)

i funk j¡ u»yte zno± i dlagra za

i

t

∈ G

t

k

i

t

(x) = k

i

t

(f

t+1

_{, s}

t

)(x) := u

i

(x

i

t

) + α(s

t

)β

Z

S

γ

n,i

t+1

(f

t+1

_)(s

t+1

)q(ds

t+1

|s

t

, x),

(2.20) gdzie

x = (x

1

t

, x

2

t

, ..., x

m

t

)

∈ A(s

t

)

jest prol strategi zny dla pokolenia

G

t

. Równo± i (2.19), (2.17) umo»liwiaj¡ zdeniowanie równowagi doskonaªej w grze ze sko« zonym

horyzontem.

Deni ja 3 Nie h

f :=

˜

{ ˜

f

1

, ˜

f

2

, ..., ˜

f

n

}

, gdzie

f

˜

t

= ( ˜

f

1

t

, ˜

f

2

t

, ..., ˜

f

m

t

)

∈ Φ.

Markowsk¡ równowagdoskonaª¡wmidzygenera yjnejgrzeosko« zonymhoryzon ienazywamy i¡g

˜

f

taki, »e

˜

f

i

n

(s

n

) =

argmax

a∈A

i

(s

n

)

u

i

(a)

dla ka»ego

s

n

∈ S, i

n

∈ G

n

,

(2.21) i dla ka»dego

t

≤ n − 1, i

t

∈ G

t

, s

t

∈ S, ˜

f

t

(s

t

)

jest równowag¡ Nasha w grze

Γ( ˜

f

t+1

_{, s}

t

).

Twierdzenie 4 Przy zaªo»enia h A1, R1 i P1 gra midzygenera yjna o sko« zonym

horyzon ie ma jedyn¡ równowag doskonaª¡.

Dowód Konstruk aja równowagi doskonaªej przebiega za pomo ¡ induk ji wste znej.

Šatwo wykaza¢, »e

f

˜

n

jest jednozna znie wyzna zona w (2.21). Zauwa»my, »e funk ja

u»yte zno± i

k

i

wklsªa lub rosn¡ a wzgldem

x

i

t

niezale»nie od strategii pozostaªy h gra zy. Funk ja wypªaty dana jestwzorem

k

i

t

(x) = u

i

(x

i

t

) + α(s

t

)βh

i

t+1

(s

t

, x),

gdzie

h

i

t+1

(s

t

, x) :=

Z

S

γ

n,i

t+1

( ˜

f

t+1

_)(s

t+1

)ν(ds

t+1

)

+

Z

S

γ

n,i

t+1

( ˜

f

t+1

_)(s

t+1

)µ(ds

t+1

)

−

Z

S

γ

n,i

t+1

( ˜

f

t+1

_)(s

t+1

)ν(ds

t+1

)



g(s

− x).

Jednozna zno±¢ równowagi Nasha wynika z Twierdzenia 3 zastosowanej w ka»dej grze

Γ( ˜

f

t+1

_{, s}

Aproksyma ja równowagi Nasha w grze

symetry znej eksploata ji zasobów

Rezultaty niniejszegorozdziaªu zostaªyopublikowane wpra y [8℄. Jakju»wspomnianow

Uwadze 6, po z¡wszy od tego rozdziaªu rozwa»amy standardow¡ gr sto hasty zn¡

m

-osobow¡, przyjmuj¡

α = 1

. Udowodniono,»e wgrze symetry znej równowagiNasha dla gier sko« zenie krokowy h s¡ zbie»ne monotoni zniedo równowagi w grze niesko« zenie

krokowej, gdy horyzont zasowy wzrasta. Podobna zbie»no±¢ za hodzi tak»e dla wypªat

Nasha.

Gdy

f

jest markowsk¡ strategi¡ ª¡ zn¡ dla gra zy, wypªata dla gra za

i

w grze z niesko« zonym horyzontem zasowym wyra»onajest wzorem

γ

i

(f )(s) = E

s

f

∞

X

t=1

r

i

(s

t

, f

t

(s

t

))β

t−1

!

.

(3.1)

W przypadku gry

n

-krokowej wypªatadla

i

-tego gra za wynosi

γ

n,i

(f )(s) = E

s

f

n

X

t=1

r

i

(s

t

, f

t

(s

t

))β

t−1

!

.

(3.2)

W niniejszym rozdziale przyjmujemy nastpuj¡ e zaªo»enia:

A2 Za hodzi A1 oraz dodatkowo

a

i

(s) = a(s)

≤ s/m

dlaka»dego

i

∈ M

. R2 Za hodzi R1 i dodatkowo

u

i

(s) = u(s)

dlaka»dego

i

∈ M

.

P2 Prawdopodobie«stwo przej± a

q

jest nastpuj¡ ej posta i:

q(

·|s, x) =

L

X

j=1

g

j





s

−

m

X

j=1

x

j





µ

_j

(

·|s) + g

₀





s

−

m

X

j=1

x

j





δ

₀

(

·),

(3.3)

gdzie

L

∈ N

, dla

j = 1, . . . , L

,

g

j

: S

→ [0, 1]

jest funk j¡ dwukrotnie ró»ni zkowaln¡, ± i±le wklsª¡ i rosn¡ ¡,

µ

j

(

·|·)

s¡pewnymi rozkªadamiprawdopodobie«stw przej± ia z

S

do

S

,

δ

0

(

·)

- delta Dira a skupiona w 0. Ponadto

g

0

: S

→ [0, 1]

,

g

0

(0) = 1

i speªniona jest równo±¢

L

X

j=0

g

j

(

·) = 1.

Zatem mamy do zynienia z gr¡ symetry zn¡, to zna zy, »e zbiór ak ji, oraz funk ja

u»yte zno± i s¡ takie same dla wszystki h gra zy. Udowodnienie gªówny h rezultatów

poprzedzono analiz¡pomo ni zejgry jednokrokowej.

3.1 Pomo ni za gra jednokrokowa

W tym podrozdziale rozpatrujemy pomo ni z¡ symetry zn¡

m

-osobow¡ gr, w której zbiór strategii dla gra zy to

I = [0, d]

gdy

d > 0.

Zaªo»ono, »e

U : I

→ [0, ∞)

jest jest funk j¡ ± i±le wklsª¡ i rosn¡ ¡ tak¡, »e

U(0) = 0

oraz, »e

H

k

: [0, md]

→ [0, ∞)

s¡ to funk je ± i±le wklsªe i malej¡ e

(k = 1, ..., L)

. Ponadto

u

,

h

k

s¡ dwukrotnie ró»ni zkowalne. Nie h

G

c

bdzie gr¡ symetry zn¡ w której funk ja wypªaty jest

w

_i

c

(x) := U(x

i

) +

L

X

k=1

c

k

H

k

m

X

t=1

x

t

!

,

gdzie

x = (x

1

, ..., x

m

)

∈ I

m

,

c = (c

1

, ..., c

L

)

speªniaj¡ warunek

c

k

≥ 1

dla wszystki h

k

. Nie h

G = G

c

oraz

w

c

i

= w

i

gdy

c

k

= 1

dlaka»dego

k.

Przy powy»szy h zaªo»enia h gry

G

i

G

c

maj¡ symetry zne r
wnowagi Nasha, któr¡

ozna zono przez

x

∗

_{= (a}

∗

_{, ..., a}

∗

₎

i odpowiednio przez

y

∗

_{= (b}

∗

_{, ..., b}

∗

_).

Lemat 9 Za hodzi

b

∗

≤ a

∗

oraz

w

i

(x

∗

)

≤ w

c

i

(y

∗

)

dla ka»dego gra za

i

.

Dowód Krok 1. Na po z¡tku poka»emy, »e

b

∗

_{≤ a}

∗

_.

Deniujemy

w(a, t, c) := U(a) +

L

X

k=1

c

k

H

k

(a + (m

− 1)t)

gdzie

a

,

t

∈ I

,

c = (c

1

, ..., c

L

)

i kªadziemy

w(a, t) := w(a, t, c)

, gdy

c

k

= 1

dla wszystki h

k.

Nie h

ϕ(t) := arg max

a∈I

w(a, t).

Mamy

∂

2

_{w(a, t)}

∂a∂t

= (m

− 1)

L

X

k=1

H

′′

k

(a + (m

− 1)t) ≤ 0,

o ozna za, »e

w

jest funk j¡ submodularn¡. Z Twierdzenia Topkisa w [60℄ lub ksi¡»ki Rossa [53℄, funk ja

ϕ

jest niemalej¡ a i i¡gªa. Zatem prze i ie wykresu funk ji

ϕ

z diagonal¡na

I

2

zawiera jeden punkt zwany

(a

∗

_{, a}

∗

₎

. Zauwa»my, »e

w(a

∗

_{, a}

∗

_{) = max}

_{w(a, a}

∗

_{) = max}

"

U(a) +

L

X

H

k

(a + (m

− 1)a

∗

)

#