Algorytmika Problemów Trudnych Wykªad 11

Algorytmika Problemów Trudnych

Wykªad 11 Tomasz Krawczyk

krawczyk@tcs.uj.edu.pl

Kraków, semestr letni 2020/21

plan wykªadu

I Programowanie Liniowe.

I Nierówno±ci Chernoa.

I Rutowanie pakietów w sieciach.

I Wa»ony SAT.

Programowanie Liniowe

Zadanie Programowania Liniowego deniujemy nast¦puj¡co:

zminimalizuj: P

c

x

przy warunkach: P

a

x

≥ b

i = 1, . . . , m

x

≥ 0 j = 1, . . . , n.

nierówno±¢ Chernoa dla sumy prób Poissona

Twierdzenie

Niech X

, . . . , X

b¦d¡ niezale»nymi próbami Poissona takimi, »e P(X

= 1) = p

. Niech X = P

X

i niech µ = E[X ]. Wtedy, prawdziwe s¡ nast¦puj¡ce nierówno±ci

(1) dla dowolnego δ > 0

P(X ≥ (1 + δ)µ) 6

 e

( 1 + δ)



,

(2) dla 0 < δ 6 1

P(X ≥ (1 + δ)µ) 6 e

, (3) dla R ≥ 6µ

P(X ≥ R) 6 2

.

Nierówno±ci te zwane s¡ nierówno±ciami Chernoa dla prób Poissona.

nierówno±¢ Chernoa dla sumy prób Poissona

Twierdzenie

Niech X

, . . . , X

b¦d¡ niezale»nymi próbami Poissona takimi, »e P(X

= 1) = p

. Niech X = P

X

i niech µ = E[X ]. Wtedy, dla 0 < δ 6 1 prawdziwe s¡

nast¦puj¡ce nierówno±ci:

(4)

P(X 6 (1 − δ)µ) 6

 e

( 1 − δ)



,

(5)

P(X 6 (1 − δ)µ) 6 e

. Nierówno±ci te zwane s¡ nierówno±ciami Chernoa dla prób Poissona.

Wniosek: Dla 0 < δ < 1 mamy

P(|X − µ| ≥ δµ) 6 2e

.

LP-rounding - schemat

Schemat algorytmów probabilistycznych opartych na (losowym) zaokr¡glaniu rozwi¡za« LP:

I Wyra¹ problem za pomoc¡ problemu programowania liniowego, caªkowitoliczbowego (zazwyczaj NPC).

I Rozwi¡» problem wielomianowo dopuszczaj¡c rozwi¡zania b¦d¡ce liczbami rzeczywistymi (wielomianowo).

I Zaokr¡glij (losowo) rozwi¡zanie rzeczywiste do rozwi¡zania

caªkowitoliczbowego i udowodnij, »e nie jest du»o gorsze od

optymalnego.

rutowanie - minimalizacja przeci¡»enia

I D = (V , E) - graf skierowany, {(s _i , t _i ) : i = 1, . . . , k} - zbiór par wierzchoªków.

I Naszym celem jest wybranie ±cie»ki p _i z s _i do t _i dla ka»dej pary (s _i , t _i ) tak, aby zminimalizowa¢ warto±¢ przeci¡»enia

congestion(e) = |i : e ∈ p _i |

po wszystkich kraw¦dziach sieci. ‘cie»k¦ p _i wybieramy ze zbioru danych na wej±ciu ±cie»ek dopuszczalnych P _i .

I Przyjmujemy P = S ^k _i=1 P _i .

randomized LP-rounding - programowanie caªkowitoliczbowe

Równowa»ny problem programowania caªkowitoliczbowego.

Warunki:

I f

∈ {0, 1} - dla ka»dej ±cie»ki p ∈ P

zmienna f

oznacza, czy pakiety z s

do t

przesyªamy wzdªu» ±cie»ki p,

I z ka»dego P

wybieramy dokªadnie jedn¡ ±cie»k¦:

X

p∈P_i

f

= 1 dla ka»dego i = 1, . . . , k.

I warto±¢ przeci¡»enia dla ka»dej kraw¦dzi e jest ograniczona przez C:

X

wszystkie ±cie»ki p zawieraj¡ce e

f

6 C dla ka»dej kraw¦dzi e.

Minimalizujemy:

I C.

Przez OPT oznaczamy optymalne rozwi¡zanie powy»szego programowania

caªkowitoliczbowego.

randomized LP-rounding - relaksacja problemu

Zezwalamy, aby zmienne f _p przyjmowaªy warto±ci z przedziaªu [0, 1]. W wyniku powy»szej relaksacji otrzymujemy problem programowania liniowego.

Warunki:

I f p ∈ [ 0, 1] dla ka»dej ±cie»ki p,

I P

p∈P

f p = 1 dla ka»dego i = 1, . . . , k,

I P

p∈P:e∈p f _p 6 C dla ka»dej kraw¦dzi e.

Funkcja celu:

I minimalizacja C.

Rozwi¡zanie programowania liniowego: C ^∗ , f _p ^∗ . Oczywi±cie

C ^∗ 6 OPT .

randomized rounding

Interpretujemy zmienne f _p ^∗ dla p ∈ P _i jako rozkªad prawdopodobie«stwa wyboru ±cie»ki z s i do t i .

Wybieramy losowo ±cie»k¦ p _i zgodnie z rozkªadem f _p ^∗ dla p ∈ P _i , dla i = 1, . . . , k.

Chcemy wykaza¢, »e z du»ym prawdopodobie«stwem warto±¢

max _e∈E | X _e | , gdzie

X e = liczba wybranych ±cie»ek z kraw¦dzi¡ e

jest nie wiele wi¦ksze od C ^∗ (a wi¦c tak»e od OPT ).

randomized rounding: analiza

Ustalmy kraw¦d¹ e i rozwa»my zmienn¡ losow¡ X _e . Dla ka»dego i = 1, . . . , k deniujemy zmienn¡ losow¡ Y i

zdeniowan¡ nast¦puj¡co:

Y i =

 1 wybrana z P _i ±cie»ka przechodzi przez e, 0 w przeciwnym przypadku.

Wtedy:

E(Y i ) = X

p∈P

: e∈p

f _p ^∗ i ostatecznie

E[X _e ] = E[ X ^k

i=1

Y _i ] = X

e∈p

f _p ^∗ 6 C ^∗ 6 OPT .

nierówno±¢ Chernoa raz jeszcze

Twierdzenie

Niech X = P ⁿ _i=1 X _i , gdzie X _i jest niezale»n¡ zmienn¡ losow¡

zero-jedynkow¡. Niech µ = E[X ]. Niech µ _H b¦dzie takie, »e µ 6 µ H . Wtedy, dla dowolnego δ > 0,

P(X ≥ (1 + δ)µ _H ) 6

 e ^δ

(1 + δ) ^{( 1+δ)}

 µ

.

randomized rounding: analiza

Z nierówno±ci Chernoa mamy:

P(X e ≥ ( 1 + δ)OPT ) 6

 e ^δ

( 1 + δ) ^{( 1+δ)}

 OPT

.

Sieci z maksymalnym przeci¡»eniem OPT = ω(log n).

Oznacza to, »e dla ka»dego q > 0 istnieje n

takie, »e dla ka»dej instancji wej±ciowej rozmiaru n koszt optymalny wynosi co najmniej q · log n.

Ustalmy δ > 0. Dobierzmy q tak, aby (

)

=

. Je»eli

OPT > 3 · q · log n (tak jest dla odpowiednio du»ych n), to prawa strona

powy»szej nierówno±ci b¦dzie mniejsza od n

. St¡d, maksymalne przeci¡»enie

po wszystkich kraw¦dziach odchyla si¦ od OPT o wi¦cej ni» (1 + δ)OPT z

prawdopodobie«stwem nie wi¦kszym ni» 1/n (sumujemy bª¦dy po wszystkich

n

mo»liwych kraw¦dziach w sieci).

randomized rounding: analiza

Z nierówno±ci Chernoa mamy:

P(X

≥ (1 + δ)OPT ) 6  e

( 1 + δ)



. Rozwa»my sieci z dowolnym przeci¡»eniem. Mamy wówczas:

P(X

≥ (1 + δ)OPT ) 6 e

(1 + δ)

6

 e

( 1 + δ)



.

Skorzystamy z faktu, »e rozwi¡zaniem równania x

= n jest x =

= γ( n) dla pewnego c

∈ [1, 2].

 e

( 1 + δ)



=

 e 1 + δ



=

 1 γ( n)



= 1 n

,

gdzie γ(n) =

=

. A zatem, z prawdopodobie«stwem przynajmniej (1 −

) nasz algorytm zwróci rozwi¡zanie ze wspóªczynnikiem aproksymacji ( 1 + δ) = O 

log n log log n

.

rozwi¡zanie x ^x = n

Mamy równo±¢:

x

= n.

Logarytmuj¡c dwukrotnie stronami otrzymujemy:

x log x = log n (1) oraz log x + log log x = log log n (2).

Dziel¡c (1) przez nierówno±¢ 2 log x ≥ log log n otrzymujemy x 6

. Mno»¡c (2) przez x otrzymujemy x log x + x log log x = x log log n, co jest równowa»ne:

log n = x(log log n − log log x) 6 x · log log n,

co implikuje x ≥

.

wa»ony sat

Denicja problemu:

I Φ  zbiór m klauzul nad zmiennymi x 1 , . . . , x n , ka»da jest alternatyw¡ i-literaªów (i = 1, 2, 3, . . .),

I w i  waga i-tej klauzuli,

I chcemy znale¹¢ warto±ciowanie, które speªni klauzule o najwi¦kszej sumarycznej wadze.

Poka»emy algorytm probabilistyczny, który w oczekiwaniu speªni klauzule o sumarycznej wadze co najmniej ³ ₄ OPT .

Proste, je»eli ka»da klauzula ma co najmniej dwa literaªy!

problem równowa»ny

Szukamy:

I x i ∈ { 0, 1}  wartosciowanie literaªu,

I z _i ∈ { 0, 1}  warto±ciowanie i-tej klauzuli, je»eli:

I

P(i) - zbiór niezanegowanych literaªów i-tej klauzuli,

I

N(i) - zbiór zanegowanych literaªów i-tej klauzuli, to z _i musi speªnia¢ równanie:

z i 6 ( X

j∈P(i)

x j ) + X

j∈N(i)

( 1 − x j ).

I chcemy zmaksymalizowa¢ P ^m _i=1 w i z i .

Dla przykªadu: dla klauzuli z _i ≡ ( x ₁ ∨ x ₂ ∨ x ₃ ∨ ¬ x ₄ ∨ ¬ x ₅ ) dostajemy równanie

z _i 6 x 1 + x ₂ + x ₃ + (1 − x ₄ ) + (1 − x ₅ ).

relaksacja problemu: programowanie liniowe

Maksymalizujemy:

I P _m

i=1 w _i z _i przy warunkach:

I x _i ∈ [ 0, 1], z _i ∈ [ 0, 1],

I dla ka»dej klauzuli:

z _i 6 ( X

j∈P(i)

x _j ) + X

j∈N(i)

( 1 − x _j ).

Rozwi¡zanie LP: x _i ^∗ , z _i ^∗ . Oczywi±cie y ^∗ = P _m

i=1 w _i z _i ^∗ jest

ograniczeniem górnym na OPT .

algorytm

Algorytm 1:

Z prawdopodobie«stwem x _i ^∗ ustaw x i = 1; w.p.p. ustaw x i = 0.

pojedyncza klauzula

i ta klauzula: z _i ≡ ( x ₁ ∨ x ₂ ∨ x ₃ ∨ ¬ x ₄ ∨ ¬ x ₅ ) ,

Mamy równanie: z _i ^∗ 6 x ₁ ^∗ + x ₂ ^∗ + x ₃ ^∗ + ( 1 − x ₄ ^∗ ) + ( 1 − x ₅ ^∗ ) = z (mo»e by¢ nierówno±¢, gdy suma > 1).

Prawdopodobie«stwo, »e klauzula z i nie jest speªniona:

P(z _i nie jest speªniona ) = (1 − x ₁ ^∗ )( 1 − x ₂ ^∗ )( 1 − x ₃ ^∗ )( x ₄ ^∗ )( x ₅ ^∗ ) 6 (1 − ^z ₅ )(1 − ^z ₅ ) . . . (1 − ^z ₅ )

= ( 1 − ^z ₅ ) ⁵ 6 (1 − ^z

i∗

5 ) ⁵

Ogólnie, prawdopodobie«stwo, »e klauzula z _i jest speªniona jest wi¦ksze b¡d¹ równe:

1 − (1 − z _i ^∗

| z _i | ) ^{| z}

^| ,

gdzie |z _i | to liczba literaªów w klauzuli z _i . Liczba ta mo»e by¢

bliska 1 − ¹ _e < ³ ₄ .

algorytm - drugie podej±cie

Algorytm 2:

Rzu¢ monet¡,

I je»eli wypadª orzeª, dla ka»dego x _i wylosuj warto±ciowanie z jednostajnym prawdopodobie«stwem,

I je»eli wypadªa reszka, zastosuj losowe zaokr¡glanie.

analiza algorytmu

P(z _i jest speªniona) ≥ ((1 − ₂

¹

) + ( 1 − (1 − _| ^z _z

_| ) ^{| z}

^| ))/ 2

= 1 − (2 ^{−| z}

^| + ( 1 − _| ^z _z

_| ) ^{| z}

^| )/ 2

≥ 3/4z _i ^∗

Poka»emy, »e dla ka»dego l = 1, 2, . . . mamy f (l, x) = 1 − (2 ^{− l} + ( 1 − x

l ) ^l )/ 2 − 3

4 x ≥ 0.

analiza algorytmu

Poka»emy, »e:

f (l, x) = 1 − (2 ^{− l} + ( 1 − x

l ) ^l )/ 2 − 3 4 x ≥ 0.

I f ⁰ ( l, x) = (−l ·(1− ^x _l ) ^l−1 ·(− ¹ _l ))/ 2− ³ ₄ = ( 1− ^x _l ) ^l−1 / 2− ³ ₄ 6 − ¹ ₄

I f (1, 1) = 0,

I f (2, 1) = 0,

I f (l, 1) > 0 dla l > 2,

co ko«czy dowód.