TC funkcjacelu. π rozwi¡zaniePK( π rozwi¡zanieoptymalne); , c ( i,j ∈{ 1 ,...,n } )parametryPK;permutacja TC ( π )= c + c −→ min .n Znale¹¢permutacj¦miast π ,dlaktórej Zadanie: c = c ,c ∈ R . c ,i,j ∈{ 1 ,...,n } ,i 6 = j odlegªo±¢mi¦dzymiastem i ami

Przykªady problemów optymalizacji kombinatorycznej Problem Komiwoja»era (PK)

Dane:

n  liczba miast, n ∈

Z

⁺_,

c_ji, i, j ∈ {1, . . . , n}, i 6= j  odlegªo±¢ mi¦dzy miastem i a miastem j, c_ji = c_ij, c_ji ∈

R

⁺_.

Zadanie:

Znale¹¢ permutacj¦ miast π^∗, dla której T C(π^∗) =

n−1 X

j=1

c_π∗(j)π^∗(j+1) + c_π∗(n)π^∗(1) −→ min .

n, cij (i, j ∈ {1, . . . , n})  parametry PK;

permutacja π  rozwi¡zanie PK (π^∗  rozwi¡zanie optymalne);

T C  funkcja celu.

1

4 5

3 2 c

₁₂

(= c

₂₁

) = 9

c

₃₄

= 6

c

45

= 10

c

₂₅

= 10 c

₁₃

= 7

c

₃₅

= 8 c

₂₃

= 4

n = 5

Przykładowa instancja PK

c

₁₄

= 6

1

4 5

3 2 c

₁₂

= 9

c

45

= 10

c

₂₅

= 10 c

₁₃

= 7

c

₃₅

= 8 c

₂₃

= 4

Przykładowe rozwiązanie π

₁

instancji PK

TC(π

₁

) = 9 + 10 + 10 + 6 + 7 = 42 π

₁

= < 1, 2, 5, 4, 3 >

c

₁₄

= 6 c

₃₄

= 6

1

4 5

3 2 c

₁₂

= 9

c

45

= 10

c

₂₅

= 10 c

₁₃

= 7

c

₃₅

= 8 c

₂₃

= 4

Rozwiązanie π

₂

TC(π

₂

) = 37 < TC(π

₁

) = 42 π

₂

= < 1, 3, 2, 5, 4 >

c

₁₄

= 6 c

₃₄

= 6

Problem Plecakowy (PP) Dane:

A = {a₁, a₂, . . . , a_n}  zbiór n przedmiotów, n ∈

Z

⁺_, s_j, j = 1, . . . , n  rozmiar przedmiotu aj, sj ∈

Z

⁺_, w_j, j = 1, . . . , n  warto±¢ przedmiotu aj, wj ∈

Z

⁺_, B  rozmiar plecaka.

Zadanie: Znale¹¢ podzbiór A⁰ ⊆ A zbioru przedmiotów taki, »e T S = ^X

j∈A⁰

s_j ≤ B oraz

T W = ^X

j∈A⁰

w_j −→ max .

n, A, sj, wj (j = 1, . . . , n)  parametry PP;

podzbiór A⁰  rozwi¡zanie PP;

T W  funkcja celu (T S  dodatkowe ograniczenie).

Przykªadowa instancja PP n = 5, A = {a1, a₂, a₃, a₄, a₅},

j 1 2 3 4 5

s_j 5 3 2 4 5 w_j 3 4 2 6 1 B = 10.

Rozwi¡zanie (dopuszczalne) optymalne: A⁰ = {a₂, a₃, a₄},

P

j∈A⁰ s_j = 9 ≤ B = 10,

P

j∈A⁰ w_j = 12.

Problem szeregowania zada«

1|r

_j

|C

_max Dane:

J = {J₁, J₂, . . . , J_n}  zbiór n zada«, n ∈

Z

⁺_,

pojedynczy procesor maj¡cy zrealizowa¢ wszystkie zadania J1, . . . , J_n, p_j, j = 1, . . . , n  czas wykonywania (dªugo±¢) zadania Jj, pj ∈

R

⁺_, r_j, j = 1, . . . , n  termin dost¦pno±ci zadania Jj, rj ∈

R

⁺ ∪ {0},

Zadanie: Znale¹¢ permutacj¦ zada« π^∗, dla której

C

max = max

j∈J {C_π∗(j)} −→ min,

gdzie C_π^∗_(j) = S_π∗(j) + p_π∗(j) jest czasem zako«czenia wykonywania zadania zajmuj¡cego j-t¡ pozycj¦ w π^∗; ^{Sπ∗(j) = max{Cπ∗(j−1), rπ∗(j)}}  czas rozpocz¦cia wykonywania zadania π^∗(j), Cπ^∗(0) = 0, j = 1, . . . , n.

Na czym polega trudno±¢ rozwi¡zania problemów optymalizacji kom- binatorycznej?

Liczno±¢ zbioru rozwi¡za«

X

wi¦kszo±ci realnie istniej¡cych problemów jest tak du»a, »e:

(a) procedura polegaj¡ca na sprawdzeniu wszystkich mo»liwych rozwi¡za«

problemu (tzw. przegl¡d zupeªny), i wyznaczenie w±ród nich rozwi¡za- nia optymalnego, wymaga nieakceptowalnie dªugiego czasu (np. milio- nów lat);

(b) skonstruowanie algorytmów wyznaczaj¡cych optymalne (b¡d¹ chocia»

bliskie optymalnym) rozwi¡zania tych problemów w sensownym czasie jest zadaniem nietrywialnym.

Funkcja zªo»ono±ci obliczeniowej algorytmu

A

f_A(N (I)) = max{t : t  ilo±¢ operacji (jednostek czasu) potrzebnych do rozwi¡zania dowolnej instancji I problemu o roz- miarze N(I) przez algorytm A}

(N (I) = n)

W praktyce wa»ny jest tylko ksztaªt funkcji fA(N (I)) (tzn. jej zachow- nie dla rosn¡cych warto±ci rozmiaru problemu N(I)), a nie konkretny czas (konkretne warto±ci funkcji fA).

Notacja

O(·)

 funkcja f(n) jest rz¦du O(g(n)) je±li

_

c,N

^

n≥N

0 ≤ f (n) ≤ c · g(n), czyli

f (n)

g(n) −→ c dla n → ∞,

(tzn. dla n → ∞ funkcje f(n) i g(n) zachowuj¡ si¦ podobnie).

Przykªady:

f

⁽

n

⁾

O

⁽

g

⁽

n

⁾⁾

n² − 2n + 5 O(n²)

1

2n · π log ⁿ₂ O(n log n)

1

2n^{π log n2} O(n^{log n})

2³ⁿ⁻⁸ O(2ⁿ)

n! − 100n²⁵ + 0, 3n^0,3 O(n!)

Czasy dziaªania algorytmów o okre±lonych funkcjach zªo»ono±ci oblicze- niowej, przy zaªo»eniu, »e jedna operacja matematyczna zajmuje

1µs

_.

f

_A

(n) n

10 20 30 40 50 60

O(n)

0,00001 s 0,00002 s 0,00003 s 0,00004 s 0,00005 s 0,00006 s

O(n

²

)

0,0001 s 0,0004 s 0,0009 s 0,0016 s 0,0025 s 0,0036 s

O(n

⁵

)

_{0,1 s 3,2 s 24,3 s 1,7 min 5,2 min 13 min}

O(n

¹⁰

)

_{2,7 h} 118,5 dni 18,7 lat 3,3 30,9 192

wieków wieków wieki

O(2

ⁿ

)

_{0,001 s 1,0 s} 17,9 min 12,7 dni 35,7 lat 366

wieków

O(3

ⁿ

)

_{0,59 s 58 min 6,5 roku 3855 2 *}

10

⁸ _{1,3 * 10}¹³ wieków wieków wieków

O(n!)

_{3,6 s 770 8,4 *10}¹⁶ _{2,5 * 10}³² _{9,6 * 10}⁴⁸ _{2,6 * 19}⁶⁶ wieków wieków wieków wieków wieków

Wpªyw wzrostu szybko±ci komputerów na czasy dziaªania algorytmów o okre±lonych funkcjach zªo»ono±ci obliczeniowej.

f

_A

(n)

Rozmiar instancji rozwi¡zywany Rozmiar instancji rozwi¡zywany w okre±lonym czasie przez w tym samym czasie przez

wolny komputer komputer 1000 razy szybszy

O(n)

n₁ 1000·n₁

O(n

²

)

n₂ 31, 62·n₂

O(n

⁵

)

n₃ 3, 98·n₃

O(n

¹⁰

)

ⁿ₄ ^{1, 99·n}₄

O(2

ⁿ

)

n₅ n₅+10

O(3

ⁿ

)

n₆ n₆+6

n₇+3 dla n7 ≤ 10

O(n!)

n₇ n₇+2 dla 10 < n7 ≤ 30

n₇+1 dla 30 < n7 ≤ 1000

Rodzaje algorytmów ze wzgl¦du na zªo»ono±¢ obliczeniow¡:

Algorytmy wielomianowe  algorytmy, których funkcja zªo»ono±ci obli- czeniowej f(n) jest rz¦du O(p(n)), gdzie p(n) jest pewnym wielomianem zale»nym od rozmiaru problemu n, np. O(n), O(n²), O(n log n) (algo- rytmy efektywne obliczeniowo).

Algorytmy wykªadnicze (ponadwielomianowe)  algorytmy, których funk- cji zªo»ono±ci obliczeniowej f(n) nie da si¦ ograniczy¢ »adnym wielo- mianem p(n), np. O(2ⁿ), O(n^{log n}), O(n!) (algorytmy nieefektywne obliczeniowo).

Klasy zªo»ono±ci algorytmów:

1. Klasa P  zawiera wszystkie problemy, dla których skonstruowano wielomianowe algorytmy optymalne.

2. Klasa NP  zawiera wszystkie problemy, dla których skonstruowano wykªadnicze algorytmy optymalne.

P ⊂ N P

, poniewa» je±li dla pewnego problemu mamy alg. wielomia- nowy, zawsze mo»emy skonstruowa¢ alg. mniej efektywny (wykªadni- czy), np. przegl¡d zupeªny.

3. Klasa problemów NP-trudnych  podklasa NP problemów wielomia- nowo ekwiwalentnych, dla których (najprawdopodobniej) nie mo»na skon- struowa¢ algorytmów wielomianowych.

N P −

_trudne

⊂ N P

_{, ale}

P ∩N P −

_trudne

= ∅

_.

4. Klasa problemów silnie NP-trudnych  podklasa problemów NP- trudnych, których nie mo»na rozwi¡za¢ optymalnie w czasie pseudo- wielomianowym.

Dokªadne okre±lenie przynale»no±ci danego problemu do klasy zªo»ono±ci pozwala skonstruowa¢ najodpowiedniejsze algorytmy jego rozwi¡zania.

W tym celu:

(i) albo szukamy dla danego problemu optymalnego algorytmu wielomiano- wego (klasa P),

(ii) albo udowadniamy jego (siln¡) NP-trudno±¢,

przy czym nie ma reguªy, od którego z punktów nale»y zacz¡¢ analiz¦.

Problemy, dla których nie skonstruowano algorytmów wielomianowych (i) ani nie udowodniono (silnej) NP-trudno±ci (ii), tworz¡ klas¦ tymczasow¡

(tzw. problemów otwartych).

W praktyce:

9% istniej¡cych problemów nale»y do klasy P,

84% nale»y do klasy problemów NP-trudnych,

z czego 79% nale»y do klasy problemów silnie NP-trudnych,

7% to problemy otwarte.

probl. silnie NP-trudne probl. NP-trudne

klasa P

probl. „otwarte”

klasa NP

Rodzaje algorytmów (metod) optymalnych:

• Wielomianowe algorytmy dokªadne (dedykowane)  tylko dla problemów z klasy P.

• Programowanie dynamiczne  gªównie dla problemów NP-trudnych w zwykªym sensie (tzn. nie silnie NP-trudnych).

• Programowanie caªkowitoliczbowe.

• Metoda podziaªu i ogranicze«  gªównie dla problemów (silnie) NP- trudnych.

• Przegl¡d zupeªny.

Rodzaje algorytmów (metod) przybli»onych:

• Algorytmy konstrukcyjne i zachªanne  gªównie dla problemów NP- trudnych.

• Algorytmy typu popraw  gªównie dla problemów (silnie) NP-trudnych:

 lokalnego poszukiwania (np. poszukiwanie zst¦puj¡ce, poszukiwanie losowe),

 metaheurystyczne (np. poszukiwanie z zabronieniami (tabu se- arch), symulowane wy»arzanie, poszukiwanie genetyczne (ewolucyjne), poszukiwanie mrówkowe).

• Wielomianowe i w peªni wielomianowe schematy aproksymacyjne  gªównie dla problemów NP-trudnych.