Wykªad 10: Aproksymacja liczby kolorowa« grafu

RAP 412 07.01.2009 i 09.01.2009

Wykªad 10: Aproksymacja liczby kolorowa« grafu

Wykªadowca: Andrzej Ruci«ski Pisarz:Adam Przestacki i Patryk Szcz¦±niewski

Wst¦p

Podczas poprzedniego wykªadu zajmowalismy si¦ metodami Monte Carlo, które w sposób istotny korzystaªy z ªa«cuchów Markowa. Zajmowali±my sie mi¦dzy innymi za- gadnieniem przeliczaniem ró»nych obiektów za pomoca losowych algorytmów - szybkich i daj¡cych dobre przybli»enie z bardzo du»ym prawdopodobie«stwem. Najwa»niejszym py- taniem jakie sobie postawili±my byªo pytanie o ilo±¢ ró»nych q-kolorowa« danego grafu G.

Rozpatrywany przez nas naiwny algorytm okazaª si¦ narz¦dziem, które niestety nie dziaªa dostatecznie szybko dla rozwi¡zania z zadowalaj¡c¡ dokªadno±ci¡. Podczas tego wykªadu udowodnimy twierdzenie o istnieniu algorytmu klasy FPRAS zliczaj¡cego wszystkie mo»liwe q -kolorowania dowolnego grafu i oczywi±cie taki algorytm skonstruujemy.

Idea

Niech dany b¦dzie graf G = (V, E), gdzie |V | = k, E = {e 1 , e ₂ , . . . , e _l } i niech q b¦dzie z góry ustalon¡ liczb¡ kolorów. Przyjmijmy równie», »e kraw¦d¹ e i ª¡czy wierzchoªki x i i y i

Gdyby zbiór kraw¦dzi byª pusty to liczba (oznaczamy j¡ Z G,q ) wszystkich q-kolorowa« grafu G byªaby równa q ^k .Oczywi±cie przypadek ten jest maªo interesuj¡cy - zajmijmy si¦ wi¦c grafami o bardziej skomplikowanej strukturze.Aby poradzi¢ sobie z problemem znajdowania liczby Z G,q skonstruujmy ci¡g grafów wedªug nast¦puj¡cej reguªy:

• G ₀ = (V, ∅)

• G _i = (V, {e ₁ , . . . , e _i })

• G _l = G

Przyjmijmy sobie dla wygody, »e Z j = Z _G

_,q . Zauwa»my,»e szukan¡ przez nas liczb¦ Z l

mo»emy wyrazi¢ w nast¦puj¡cy sposób:

Z _l = Z _l Z _l−1

Z _l−1 Z _l−2 . . . Z ₂

Z ₁ Z ₁ Z ₀ Z ₀

Przyjrzyjmy si¦ teraz bli»ej wyra»eniu _Z ^Z

. Mianownik równy jest liczbie kolorowa« grafu G _i−1 a licznik jest liczb¡ kolorowa« grafu G i−1 w których wierzchoªki x i ,y i maj¡ ten sam kolor. Przyjmujemy zatem, »e:

Z _i

Z _i−1 = ρ _G

_,q (kolor(x _i ) 6= kolor(y _i ))

(gdzie ρ G

,q oznacza rozkªad jednostajny na q-kolorowniach.) Gdyby±my dla ka»dego i potrali oszacowa¢ takie wyra»enie z dokªadno±ci¡ do _2l ^ε to na podstawie nast¦puj¡cego lematu warto±¢ Z l obliczymy z dokªadno±ci¡ ε.

Lemat 1. Niech 0 ≤ ε ≤ 1 b¦dzie dowolne i niech a 1 , . . . , a _l , b ₁ , . . . , b _l b¦d¡ liczbami rzeczy- wistymi wi¦kszymi od zera takimi,»e:

1 − ε 2l ≤ a _j

b _j ≤ 1 + ε 2l Wtedy mamy:

1 − ε ≤ Y l i=1

a _i

b _i ≤ 1 + ε Dowód:

Jest to jedno z zada« domowych.

Do obliczenia prawdopodobie«stwa ρ G

,q (kolor(x _i ) 6= kolor(y _i )) wykorzystamy próbko- wanie Gibbsa. Musimy sprawdzi¢ czy ªa«cuch Markowa b¦dzie szybko zbiegaª do swojego rozkªadu stacjonarnego. Udowodnimy najpierw nast¦puj¡ce dwa lematy, które zostan¡ wy- korzystane w dalszej cz¦±ci wykªadu.

Lemat 2. Niech ∆ ≥ 2 i niech q ≥ ∆+2. Wtedy dla dowolnego grafu G takiego,»e ∆(G)≤∆ i dowolnego q-kolorowania X mamy:

ρ _G,p (X(x) 6= X(y)) ≥ 1 2

gdzie x, y s¡ dowolnymi, ró»nymi wierzchoªkami badanego grafu a ρ G,p jest rozkªadem jednostajnym na q-kolorowaniach.

Dowód: Je±li x i y s¡ poªaczone kraw¦dzi¡ to nie ma czego dowodzi¢ poniewa» zawsze b¦d¡ one ró»nych kolorów. Rozwa»my wi¦c przypadek gdy x i y nie s¡ poª¡czone. Zgodnie ze wzorem na prawdopodobie«stwo caªkowite mamy:

P (X(x) 6= X(y)) = X

P (X(x) 6= X(y)|λ(x))P (λ(x))

gdzie sumowanie przebiega po wszystkich mo»liwych q-kolorowaniach grafu bez wierz- choªka x (λ(x) oznacza kolorowanie caªego grafu bez wierzchoªka x). Oznaczmy przez c liczb¦

kolorów jak¡ mo»e przybra¢ y tak aby X(x) 6= X(y) przy ustalonym kolorze wierzchoªka x.

Oczywi±cie c ≥ q − ∆. Mo»emy wi¦c napisa¢:

X P (X(x) 6= X(y)|λ(x))P (λ(x)) ≥ c − 1 c

X P (λ(x)) = c − 1

c ≥ q − ∆ − 1 q − ∆ Wystarczy teraz przypomnie¢ sobie, »e q ≥ ∆ + 2 z czego od razu wynika, »e:

P (X(x) 6= X(y)) ≥ q − ∆ − 1 q − ∆ ≥ 1

2

Lemat 3. Je»eli zmienna losowa X ma rozkªad Bin(n,p) i a ≥ 0 jest dowolne to:

P (|X − np| ≥ a) ≤ n 4a ²

Dowód: Natychmiastowy wniosek z nierówno±ci Czebyszewa.

Dla przejrzysto±ci oznacze« przyjmijmy, »e przez Y j rozumiemy estymator _Z ^Z

₋₁

wykorzystuj¡cy próbkowanie Gibbsa. Oznaczmy dalej:

Y = Y l i=1

Y _i

Przyjmijmy równie», »e Y ^∗ = Z ₀ Y (Y ^∗ jest estymatorem poszukiwanej przez nas warto±ci Z _G,q ). Uwzgl¦dniaj¡c fakt Z 0 = q ^k mamy:

Y ^∗ = q ^k Y Je»eli uda nam si¦ pokaza¢,»e:

−ε

4l ≤ Y _j − Z _j Z _j−1 ≤ ε

4l

to przeksztaªcaj¡c (poprzez podzielenie stronami nierówno±ci przez _Z ^Z

i wykorzystanie lematu 2) do:

1 − ε 4l ≤ Y _j

Z

Z

≤ 1 + ε 4l i opieraj¡c si¦ na lemacie 1, otrzymamy:

1 − ε ≤ Y ^∗

Z _l ≤ 1 + ε

™ródªami bª¦du w otrzymanej nierówno±ci s¡:

1. Próbkowanie Gibbsa tylko przybli»a rozkªad jednostajny na q-kolorowaniach 2. Estymacja: Y j ≈ µ ⁽ⁿ⁾ (X(x _j ) 6= X(y _j ))

Oba ¹ródªa bª¦du ograniczy¢ mo»emy równomiernie wykonuj¡c próbkowanie Gibbsa do- statecznie du»¡ liczb¦ razy, tzn. poka»emy, »e:

(i) |µ ⁽ⁿ⁾ (X(x _j ) 6= X(y _j )) − ρ(X(x _j ) 6= X(y _j ))| ≤ _8l ^ε (ii) |Y j − µ ⁽ⁿ⁾ (X(x _j ) 6= X(y _j ))| ≤ _8l ^ε

Niech m b¦dzie liczb¡ symulacji. Jest to zmienna losowa o rozkªadzie dwumianowym (uogól- nionym). Korzystaj¡c z lematu 3, m jest taka liczb¡, »e:

P (|Y _j − p| ≥ ε

8l = P (|Y _j m − pm| ≥ mε

8l )) ≤ 16l ² ε ² m ≤ 1

3l

o ile m ≤ ^48l _ε

.

W dalszej cz¦sci zbadamy jak szybko ªa«cuch Markowa u»ywany w próbkowaniu zbiega do swego rozkªadu stacjonarnego. Sformuªujmy nast¦pujace twierdzenie

Twierdzenie 1. Dla ka»dych ∆ >2, q>4∆ istnieje algorytm klasy RPTAS obliczaj¡cy Z g,q

dla wszystkich G takich, »e ∆(g) ≤ ∆ . Opis algorytmu

Dane wej±ciowe: graf G taki, »e δ(G) ≤ δ,|V | = k , |E| = l, ε > 0, Dane wyjsciowe: Y ^∗ : P (|Y ^∗ − Z _G,q | ≥ εZ _G,q ) ≥ ² ₃

Krok 1 (Przy oznaczeniach jak poprzednio) Dla ka»dego j = 1, ..., l wykonujemy m razy próbkowanie Gibbsa dla grafu G j (ªa«cuch Markowa ze zbiorem stanów równym zbiorowi q-kolorowa« grafu G j−1 startuj¡cy z ustalonego stanu pocz¡tkowego X 0 ). W ka»dym prób- kowaniu ªa«cuch Markowa zatrzymujemy po n krokach, gdzie:

n =

» kq

q − 4∆ ln( k ε )

¼

Je±li X n (x _j ) 6= X _n (y _j ) , to Y j := Y _j + _m ¹ Krok 2 Przyjmujemy: Y ^∗ = q ^k Q ^l

j=1

Y _j

Analiza

Je»eli dla ka»dego i = 1, ..., l zachodzi: |Y j − _Z ^Z

j−1

| ≤ _4l ^ε to |Y j − Z _G,q | ≤ εZ _G,q . Korzy- staj¡c z nierówno±ci trójk¡ta mo»emy napisa¢:

|Y _j − Z _j

Z _j−1 | = |Y _j − ρ(X(x _j ) 6= X(y _j ))| ≤

≤ |Y _j − µ ⁽ⁿ⁾ (X(x _j ) 6= X(y _j ))| + |µ ⁽ⁿ⁾ (X(x _j ) 6= X(y _j ) − ρ(X(x _j ) 6= X(y _j )|

Dobieraj¡c

m = d 6∆ ³ k ³ ε ² e

dostajemy z nierówno±ci Czebyszewa, »e z prawdopodobie«stwem wi¦kszym od ² ₃

|Y _j − µ ⁽ⁿ⁾ (X(x _j ) 6= X(y _j ))| ≤ ε 8l a pokazuj¡c, »e

|µ ⁽ⁿ⁾ (X(x ) 6= X(y ) − ρ(X(x ) 6= X(y )| ≤ ε

dostaniemy:

|Y _j − Z _j Z _j−1 | ≤ ε

4l co chcieli±my osi¡gn¡¢.

Policzmy teraz zªo»ono±¢ obliczeniow¡ naszego algorytmu. Wykonujemy l razy m prób- kowa« Gibbsa a w ka»dym próbkowaniu ªa«cuch Markowa wykonuje n przej±¢. Przyjrzyjmy si¦ dokªadniej zªo»ono±ci obliczniowej O(nml). Podstawiaj¡c obliczone przez nas warto±ci n i m i szacuj¡c l przez ^∆k ₂ (co jest prawdziwe dla dowolnego grafu) otrzymujemy:

O(k k ³ ε ² kln( k

ε )) = O( k ⁵ ε ² ln( k

ε ))

co oznacza,»e tak jak zapowiedzieli±my nasz algorytm jest klasy FPRAS, tzn. jest wielomia- nowy ze wzgl¦du na k i odwrotno±¢ ε. Pozostaªo nam do pokazania, »e nasz ªa«cuch Markowa szybko zbiega do swojego rozkªadu stacjonarnego. W tym celu zdeniujmy najpierw

τ (ε) := max min{n : d _{T V} (µ ⁽ⁿ⁾ _s , π) ≤ ε}

gdzie maksimum bierzemy po wszystkich stanach pocz¡tkowych a π oznacza rozkªad stacjo- narny. Warto±¢ τ(ε) mówi o minimalnej liczbie iteracji wymaganej do osi¡gni¦cia zadowa- laj¡cej dokªadno±ci.

Twierdzenie 2. Dla ka»dego grafu G takiego, »e ∆(G) ≤ ∆ i q ≥ 4∆ + 1

ªa«cuch Markowa dla próbkowania Gibbsa przy q-kolorowaniu speªnia nierówno±¢:

τ (ε) ≤ kq

q − 4∆ ln( k ε )

W dowodzie tego twierdzenia skorzystamy z nierówno±ci d T V (X, Y ) ≤ P (X 6= Y ) i metody couplingu. Przypomnijmy, »e couplingiem dla ªa«cucha Markowa M nazywamy ªa«cuch Markowa Z = (X, Y ) zdeniowany na S ² taki, »e:

(i) X ₀ = ξ ₀ a Y 0 jest wylosowany zgodnie z rozkªadem π (ii) P (X _n+1 = s ⁰ |Z _n = (s, t)) = P (M _n+1 = s ⁰ |M _n = s) (iii) P (Y _n+1 = t ⁰ |Z _n = (s, t)) = P (M _n+1 = t ⁰ |M _n = t)

Warunki (ii), (iii) oznaczaj¡, »e ka»da ze wspóªrz¦dnych zmiennej Z ma taki sam rozkªad jak wyj±ciowy ªa«cuch Markowa M. W naszym wypadku coupling zdeniujmy nast¦puj¡co:

przej±cie ze stanu (X n , Y _n ) dokonuje si¦ poprzez wylosowanie z rozkªadem jednostajnym wierzchoªka v i koloru c jednocze±nie dla obu wspóªrz¦dnych. Niech teraz

D _n = {v : X _n (v) 6= Y _n (v)} a A n = V \D _n . Chcemy by D n = ∅ , bo wtedy ªa«cuch osi¡gnie stan stacjonarny i ju» w nim pozostanie. Mamy:

P (X _n 6= Y _n ) = P (|D _n | ≥ 1) ≤ E(|D _n |)

. Wykorzystamy dalej równo±¢ E(X) = E(E(X|Y )). Oznaczmy |D n | = d _n .

Mamy:

E(d _n+1 |d _n = d) = P (d _n+1 = d + 1|d _n = d)(d + 1) + P (d _n+1 = d|d _n = d)d+

+P (d _n+1 = d−1|d _n = d)(d−1) = d+P (d _n+1 = d+1|d _n = d)(d+1)−P (d _n+1 = d−1|d _n = d)(d−1) Prosto szacuj¡c (stopie« v wynosi co najwy»ej ∆, wi¦c pozostaje co najmniej q − 2∆ innych kolorów na s¡siednich wierzchoªkach):

P (d _n+1 = d − 1|d _n = d)(d − 1) ≥ d(q − 2∆) kq

P (d _n+1 = d + 1|d _n = d)(d + 1) ≤ P

v∈D

2 deg(v, A _n )

kq =

P

v∈A

2 deg(v, D _n )

kq ≤ 2d∆

kq Na podstawie powy»szych:

E(d _n+1 |d _n = d) ≤ d(1 − q − 4∆

kq ) Korzystaj¡c z równo±ci dla warto±ci oczekiwanej otrzymujemy:

E(d _n+1 ) = E(E(d _n+1 |d _n = d)) ≤ E(d _n )(1 − q − 4∆

kq ) Z indukcji dla powy»szej zale»no±ci dostajemy:

E(d _n ) ≤ (1 − q − 4∆

kq ) ⁿ E(d ₀ )

A poniewa» E(d 0 ) ≤ k , za± wyra»enie w nawiasie mo»na ograniczy¢ korzystaj¡c z nierówno±ci e ^−x ≥ 1 − x dla x ∈ [0, 1] szacujemy ostatecznie:

E(d _n ) ≤ ke ⁻

ⁿ ≤ ε Zatem wystarczy n = d _q−4∆ ^kq ln( ^k _ε )e kroków.

Powy»sze rozumowanie mo»na poprawi¢ szacuj¡c dokªadniej powy»sze nierówno±ci. O czym mówi poni»sze twierdzenie.

Twierdzenie 3. Dla ka»dego grafu G takiego, »e ∆(G) ≤ ∆ i q ≥ 2∆ + 1 ªa«cuch Markowa dla próbkowanie Gibbsa przy q-kolorowaniu speªnia nierówno±¢:

τ (ε) ≤ kq

q − 2∆ ln( k ε )

Dowód: Wprowad¹my oznaczenia dla D n , d n i A n , jak w poprzednim dowodzie. Dla wierz-

choªków v nale»¡cych do A n przez d ⁰ (v) oznaczmy liczb¦ wierzchoªków przylegªych do v

nale»¡cych do D n i odwrotnie dla w ∈ D n przez d ⁰ (w) rozumiemy liczb¦ wierzchoªków przy-

legªych nale»¡cych do A n .

Rysunek 1: Po lewej stronie przedstawiony zostaª oryginalny coupling, po prawej za± popra- wiony. W wersji oryginalnej couplingu szary wierzchoªek ma ten sam kolor w obu ªa«cuchach a jego s¡siad jest w innym kolorze (odpowiednio czarny i biaªy). Przy próbie przekolorowa- nia szarego wierzchoªka na czarny b¦dzie to mo»liwe w jednym ªa«cuchu lecz niemo»liwe w drugim, zwi¦kszaj¡c d n . Podobna sytuacja nast¡pi przy próbie kolorowania na biaªo, po raz kolejny zwi¦kszaj¡c d n . W wersji poprawionej couplingu, je±li szary wierzchoªek ma zosta¢

przemalowany na biaªo w X n to zostaje przemalowany na czarno w Y n i na odwrót, tylko raz zwi¦kszaj¡c d t .

Rozwa»my nast¦puj¡cy coupling: je»eli wierzchoªek v ∈ D n zostaª wylosowany do przeko- lorowania to stosujemy ten sam kolor dla dwóch ªa«cuchów (tzn. post¦pujemy jak poprzed- nio). Kolor v nie zmieni si¦ ,je±li wybrany kolor b¦dzie ró»ny od kolorów w obu ªa«cuchach.

Mamy c − 2∆ + d ⁰ (v) takich kolorów (ograniczamy tu bardziej!). Zatem:

P (d _n+1 = d − 1|d _n = d) = X

v∈D

[q − 2∆ + d ⁰ (v)]

kq

Je»eli kraw¦d¹, która ma by¢ pokolorowana nale»y do A n modykujemy coupling. Za- uwa»my, »e gdyby v miaªo kolor zielony a s¡siad w byªby czerwony w jednym ªa«cuchu za±

niebieski w drugim ªa«cuchu a ponadto »aden inny s¡siad nie miaªby tych kolorów, wówczas próbuj¡c przemalowa¢ v na który± z nich spowodujemy, »e w jednym ªa«cuchu kolor v si¦

zmieni a drugim nie. S¡ wi¦c dwie mo»liwo±ci wyboru koloru, co zwi¦ksza d n . W tej szcze- gólnej sytuacji próbujemy zamalowywa¢ v kolorami pochodz¡cymi od przeciwnego ªa«cucha.

Wówczas w obu kolor si¦ zmieni albo w obu nie zmieni. W ten sposób mniej zwi¦kszamy d _n . Ogólniej, niech S 1 b¦dzie zbiorem kolorów s¡siadów w pierwszym ªa«cuchu a zarazem nie b¦d¡cymi tymi kolorami w drugim. Natomiast S 2 oznacza zbiór kolorów s¡siadów w drugim ale nie w pierwszym ªa«cuchu. Sparujmy kolory po jednym z ka»dego zbioru c 1 ∈ S ₁ i c 2 ∈ S ₂ na ile to mo»liwe. I tak jak w przypadku dla pojedynczej pary wymieniajmy kolory w obr¦bie tych par przy ka»dym umo»liwiaj¡cym to losowaniu. W wyniku tego caªkowita liczba mo»liwo±ci kolorowaniu wzro±nie co najwy»ej o max(S 1 (v), (S ₂ (v))) . Mamy wi¦c:

P (d _n+1 = d + 1|d _n = d) = X

v∈A

d ⁰ (v) kq I st¡d post¦puj¡c jak w dowodzie twierdzenia 2 otrzymujemy:

E(d _n+1 |d _n = d) ≤ d(1 − q − 2∆

kq ), E(d _n ) ≤ ke ⁻

ⁿ ≤ ε

Czyli d T V wynosi co najwy»ej ε po n = d _q−4∆ ^kq ln( ^k _ε )e krokach co ko«czy dowód.