Ćwiczenia z ASD. Micha l Knapik. Ostatnio kompilowane: 19 marca 2021

Cwiczenia z ASD ´

Micha l Knapik

Ostatnio kompilowane: 19 marca 2021

Cwiczenia 1 ´

Poprawno´ s´ c cz

e´ , sciowa i pe lna algorytm´ ow

1.1 Rozgrzewka

Zadanie 1.1.1. Rozwa˙zmy nastepuj_, ace funkcje:_, FUN1(n):

1. k = 1

2. while (k < n):

3. k := 2*k

4. return k

FUN2(n):

1. k = 1

2. while (k*k < n):

3. k := k + 1

4. return k

Operacje dominujace w FUN1 i FUN2 to dzia lania arytmetyczne. Oblicz dok ladn_, a_, z lo˙zono´s´c obliczeniowa obu funkcji._,

Zadanie 1.1.2. Uszereguj niemalejaco wzgl_, edem rz_, edu nast_, epuj_, ace funkcje:_, 1. n!

2. 0.001n⁵+ n³ 3. log(n!) 4. n¹⁰⁰⁰− n⁹⁹⁹ 5. 10000n⁴+ 999n³, 6. (1.000001)ⁿ 7. log(log(n)) 8. n log(n) 9. nⁿ

Zadanie 1.1.3. W dalszej cze´_,sci zaje´_,c bedziemy zajmowali sie m.in. sortowaniem._, Dobre algorytmy sortowania pozwalaja na posortowanie tablicy o rozmiarze n wy-_, konujac oko lo nlogn operacji elementarnych. S labsze algorytmy mog_, a wymaga´_, c n² operacji elementarnych.

Skr´ot MIPS oznacza liczbe milion´_, ow operacji na sekunde. Procesor Zilog Z80_, (opracowany w 1976) mo˙ze wykona´c 0.5 MIPS. Procesor AMD Ryzen Threadrip- per 3990X (2020) mo˙ze wykona´c 2300000 MIPS. Przyjrzymy sie, jak brutalna si la_, obliczeniowa ma sie do dobrego wyboru algorytm´_, ow.

1. Dobry programista opracowa l algorytm sortujacy w czasie nlogn i uruchomi l go_, na maszynie z procesorem Z80. S labszy programista napisa l program sortujacy_, w czasie n²i uruchomi l go na maszynie z procesorem AMD Ryzen Threadripper 3990X. Znajd´z wielko´s´c tablicy kt´ora Z80 posortuje szybciej ni˙z AMD Ryzen._, 2. Z poprzedniego punktu wynika, i˙z tablica taka bedzie bardzo du˙za. Czy rze-_, czywi´scie jest to sukces? Ile czasu potrwa sortowanie tej tablicy przy pomocy maszyny AMD? A ile czasu potrwa loby, gdyby zastosowano na tej maszynie algorytm sortujacy o z lo˙zono´_, sci ok. nlogn?

Przyk ladowe rozwiazanie:_,

def compare_exec_time(mips1, mips2, n):

"""True iff the worse algorithm is faster or data of size n."""

return n**2/mips1 < n*math.log(n)/mips2 n = 10

while compare_exec_time(2300000, 0.5, n):

n += 100

print(f’Z80 starts winning at n={n}’)

print(f’It would take AMD {(n**2/2300000)/(60*60*24*365)}’

’years using slower algorithm...’)

print(f’and {(n*math.log(n,2)/2300000)/(60)} minutes with faster?!’) Zadanie 1.1.4. Por´ownaj nastepuj_, ace funkcje:_,

FUN3(n):

1. m = 1

2. for i = 1 to 3

3. m := m*m

4. for j = 1 to n

5. m := m+j

4. return m

FUN4(n):

1. m = 1

2. for i = 1 to n

3. m := m*m

4. for j = 1 to 3

5. m := m+j

4. return m

Kt´ora ma wieksz_, a z lo˙zono´_, s´c obliczeniowa? Oblicz szybko oszacowanie dolne na_, warto´s´c (nie z lo˙zono´s´c) F U N 3(n) i F U N 4(n), u˙zywajac notacji Ω. Jakiego ro-_, dzaju gwarancje daje to oszacowanie? Przetestuj eksperymentalnie implementacje w_, Pythonie.

1.2 Podstawowe definicje

Algorytm ma w lasno´s´c pe lnej poprawno´sci, gdy dla wszystkich danych wej´sciowych:

1. je´sli dane wej´sciowe sa poprawne (zgodne ze specyfikacj_, a wej´_, scia), to algorytm po zatrzymaniu sie zwr´_, oci poprawny wynik (zgodny ze specyfikacja),_,

2. je´sli dane wej´sciowe sa poprawne, to algorytm w ko´_, ncu zatrzyma sie._,

Algorytm jest cze´_,sciowo poprawny, gdy spe lniony jest pierwszy z powy˙zszych warunk´ow. Drugi warunek jest zazwyczaj nazywany warunkiem stopu i jest, swoja_, droga, nierozstrzygalny - tzn. nie istnieje algorytm U, kt´_, ory biorac pseudokod do-_, wolnego algorytmu A i dowolne dane wej´sciowe x powie nam, czy A zatrzyma sie_, po wykonaniu na danych x.

Zadanie 1.2.1. Napisa´c jednolinijkowy algorytm, trywialnie cze´_,sciowo poprawny dla dowolnych danych.

Przyk ladowe rozwiazanie:_, Alg(x):

while (true) PASS

Powy˙zszy algorytm jest cze´_,sciowo poprawny, niezale˙znie od specyfikacji - bowiem nigdy sie nie zatrzyma._,

Specyfikacja danych wej´sciowych sk lada sie zazwyczaj z opisu typu, wraz z ew._, dodatkowym jego zawe˙zeniem. Poprawne dane to dane zgodne z t_, a specyfikacj_, a,_, czesto wyra˙zon_, a jako formu la pewnej logiki. Poprawno´_, s´c zwracanego wyniku wery- fikowana jest w podobny spos´ob - powinna by´c zgodna z pewna specyfikacj_, a. Istniej_, a_, jezyki takie jak Ada-Spark, w kt´_, orych mo˙zna formu lowa´c w/w warunki poprawno´sci explicite i pr´obowa´c statycznie weryfikowa´c programy. Jezyki te s_, a u˙zywane do´_, s´c sporadycznie, g l´ownie w tzw. zastosowaniach krytycznych.

1.3 Metoda niezmiennik´ ow

Metoda niezmiennik´ow s lu˙zy do dowodzenia poprawno´sci program´ow. Niezmiennik petli to warunek (specyfikowany formalnie lub w j_, ezyku bardziej naturalnym), kt´_, ory jest:

ˆ prawdziwy przed pierwsza iteracj_, a p_, etli (inicjalizowanie);_,

ˆ oraz je´sli by l prawdziwy przed dana iteracj_, a p_, etli, to b_, edzie prawdziwy i po_, niej (utrzymanie).

Je´sli wiec udowodnimy, ˙ze dana w lasno´_, s´c jest niezmiennikiem petli oraz p_, etla za-_, trzyma sie po sko´_, nczonej liczbie iteracji, to wyka˙zemy, ˙ze niezmiennik bedzie praw-_, dziwy po zako´nczeniu petli. Oczywi´_, scie musi by´c on zbudowany tak zrecznie, by_, wynika lo z tego, ˙ze badany program jest poprawny.

Zadanie 1.3.1 (Schemat Hornera). Celem jest efektywne obliczenie warto´sci wielo- mianu f (x) = P_n

i=0a_ixⁱ. Jako dane wej´sciowe podana jest tablica wsp´o lczynnik´ow wielomianu A[0, . . . , n]. Algorytm powinien realizowa´c obliczenia zgodnie ze wzor- cem:

f (x) = a₀+ x(a₁+ x(a₂+ . . . x(a_n−1+ xa_n))).

Zapisz pseudokod algorytmu i zbadaj pe lna poprawno´_, s´c algorytmu.

Przyk ladowe rozwiazanie:_, HORNER(A,x):

1. res := 0

2. i := len(A) - 1 3.

4. while (i >= 0):

5. res += A[i] + x*res

6. i--

7.

8. return res

Warunek stopu jest spe lniony w oczywisty spos´ob - petla while musi si_, e zatrzy-_, ma´c dla poprawnych danych wej´sciowych (a wiec domy´_, slnie dla i = n, gdzie n ∈ N), i to w n + 1 krokach.

Niezmiennik petli. Zacznijmy od przyk ladu, kt´_, ory pozwoli na zbudowanie pew- nej intuicji. Za l´o˙zmy, ˙ze f (x) = 9x³− 3x² + 7x − 4 i przyjrzyjmy sie zawarto´_, sci zmiennej res podczas kolejnych iteracji:

ˆ Gdy i = 0 to res = 0 przed wykonaniem iteracji i res = 9 po wykonaniu.

ˆ Gdy i = 1 to res = 9 przed i res = 9x − 3 po wykonaniu iteracji.

ˆ Gdy i = 2 to res = 9x − 3 przed i res = 9x²− 3x + 7 po.

ˆ Gdy i = 3 to res = 9x²− 3x + 7 przed i res = 9x³− 3x²+ 7x − 4 po.

Mo˙zemy wiec sformu lowa´_, c niezmiennik petli w nast_, epuj_, acy spos´_, ob:

ˆ Gdy i = n, to res = 0.

ˆ W przeciwnym przypadku res = Pⁿ_j=i+1A[j]x^j−(i+1).

Prawdziwo´s´c tego warunku dla i = n jest oczywista. Dla porzadku zauwa˙zmy, ˙ze_, po pierwszej iteracji petli mamy i = n − 1 i res = A[n] =_, Pn

j=n−1+1A[j]xj−((n−1)+1). Zajmijmy sie utrzymaniem warunku. Je´_, sli przed rozpoczeciem i–tej iteracji (tzn._, znajdujac si_, e w linijce 4) mamy:_,

res =

n

X

j=i+1

A[j]x^j−(i+1),

to wykonanie linijki 5 zmodyfikuje nam zawarto´s´c zmiennej res nastepuj_, aco:_,

res = A[i] + x ∗ (

n

X

j=i+1

A[j]x^j−(i+1)),

a po dalszych transformacjach otrzymamy warto´s´c zmiennej res po i–tej iteracji:

res = A[i] +

n

X

j=i+1

A[j]x^j−i=

n

X

j=i

A[j]x^j−i.

W kolejnej linijce warto´s´c zmiennej i jest zmniejszona o jeden, wiec powy˙zsza za-_, le˙zno´s´c zapisana przy u˙zyciu nowej warto´sci tej zmiennej przyjmie posta´c:

res =

n

X

j=i+1

A[j]x^j−(i+1).

Ko´nczymy, przygladaj_, ac si_, e zawarto´_, sci zmiennej res po wykonaniu ostatniego kroku petli. Krok ten zaczyna si_, e z i = 0 a ko´_, nczy z i = −1.

res =

n

X

j=−1+1

A[j]x^j−(−1+1)=

n

X

j=0

A[j]x^j.

A to jest dok ladnie to o co chodzi lo, czyli warto´s´c f (x).

1.4 W stron e analizy z lo˙zono´

sci

Schemat Hornera pozwala na obliczenie warto´sci wielomianu w czasie liniowym. Na- iwne podej´scie do tego problemu daje algorytm dzia lajacy w czasie kwadratowym._, Zr´´ od lem z lo˙zono´sci jest tu potegowanie, realizowane przez szereg mno˙ze´_, n. Spr´obu- jemy teraz zaprojektowa´c algorytm pozwalajacy na szybkie pot_, egowanie._,

Zadanie 1.4.1. Wykorzystaj przedstawienie wyk ladnika w postaci binarnej do za- implementowania efektywnego potegowania i oszacuj z lo˙zono´_, s´c algorytmu. Zapisz pseudokod funkcji FASTPOW(n, k) = n^k. Podpowied´z: zauwa˙z, ˙ze n^11dec = n^1011bin = n^{1·23+0·22+1·21+1·20} = n²³ · n²¹ · n²⁰. Zaobserwuj zgodnie z jaka regu l_, a jest tworzony_, nastepuj_, acy ci_, ag: n_, ¹, (n²)²= n²², ((n²)²)²= n²³, . . .

Przyk ladowe rozwiazanie (z przeliczaniem decymalne-binarne w locie):_,

FASTPOW(n,k):

1. if k == 0 return 1

2. if (k mod 2 == 1) res := n 3. else res := 1

4. k = k/2 8. mult = n*n 5. while (k > 0)

6. if (k mod 2 == 1) res *= mult

7. k = k/2

8. mult = mult*mult

9. return res

Zadanie 1.4.2. Wykorzystaj zale˙zno´s´c:

n^k= (

n(n^k−12 )² dla k nieparzystych, (n^k2)² dla k parzystych

do zaprojektowania algorytmu efektywnego potegowania. U˙zyj rekursji (metoda dziel_, i rzad´_, z). Przygotuj r´ownanie rekurencyjne na pesymistyczna z lo˙zono´_, s´c czasowa roz-_, wiazania i oszacuj j_, a._,

Przyk ladowe rozwiazanie:_, RPOW(n,k):

1. if (k == 0) return 1

2. if (k mod 2 == 1) return n * (rpow(n, (k-1)/2)* rpow(n, (k-1)/2)) 3. else return (rpow(n, k/2)* rpow(n, k/2))

R´ownanie rekurencyjne dla z lo˙zono´sci pesymistycznej:

T (k) =

 1 + T (^k−1₂ ) dla k nieparzystych, 1 + T (^k₂) dla k parzystych

Cwiczenia 2 ´

Wyszukiwanie i sortowanie - pocz atki _,

2.1 Algorytm wyszukiwania binarnego

Idea algorytmu binarnego wyszukiwania elementu e w ciagu uporz_, adkowanym arr:_, 1. Inicjalizacja l := 0, p := len(arr) − 1.

2. Element e, o ile jest obecny w ciagu, znajduje si_, e w przedziale indeksowanym_, [l, p]. Je´sli p < l, zwr´o´c -1 (e nie wystepuje w arr)._,

3. Obejrzyj warto´s´c mediany: med = arr[b^l+p₂ c]. Je´sli med = e, zwr´o´c b^l+p₂ c.

4. Je˙zeli med < e, niech l = b^l+p₂ c + 1 i wr´o´c do 2.

5. Je˙zeli med > e, niech p = b^l+p₂ c − 1 i wr´o´c do 2.

Zadanie 2.1.1. Wypisz elementy z kt´orym zostanie por´ownany klucz e przy wyszuki- waniu go w ciagu arr:_,

ˆ e = 251, arr = [0, 1, 3, 7, 11, 210, 113, 251, 325, 412, 1213, 2351].

ˆ e = 2, arr = [0, 1, 3, 7, 11, 210, 113, 251, 325, 412, 1213, 2351].

Zadanie 2.1.2. Implementacja z wyk ladu wyszukiwania binarnego nie korzysta z re- kurencji. Zaprojektuj rekurencyjna wersj_, e wyszukiwania binarnego. Jakie s_, a zalety_, a jakie wady rekurencji?

Przyk ladowe rozwiazanie:_, Rec-BinSearch(s,l,p,e):

if l > p return -1 m = floor((l+p)/2) if s[m] = e return e

if s[m] < e return Rec-BinSearch(s, m+1, p) if s[m] > e return Rec-BinSearch(s, l, m-1)

Zadanie 2.1.3. UVA: 10611 - The Playboy Chimp. Podpowied´z: zastosuj algorytm wyszukiwania binarnego zwracajacy ostatnio sprawdzany indeks zamiast -1 i obejrzyj_, elementy sasiaduj_, ace ze zwr´_, oconym indeksem.

Zadanie 2.1.4. Metoda bisekcji s lu˙zy do znajdowania pierwiastk´ow r´ownania f (x) = 0. Zak ladamy, ˙ze f jest funkcja rzeczywist_, a, ci_, ag l_, a, okre´_, slona na przedziale [a, b]_, i taka, ˙ze f (a) · f (b) < 1 (dlaczego to wystarczy, by istnia l pierwiastek w w/w_, przedziale?). Zaprojektowa´c algorytm, kt´ory dla zadanego  > 0 znajduje przedzia l [c, d] ⊆ [a, b] zawierajacy pierwiastek f i taki, ˙ze (d − c) ≤ ._,

2.2 Algorytm turniejowy

Cel algorytmu turniejowego: znale´z´c drugi najmniejszy element e w ciagu nieupo-_, rzadkowanym arr zawieraj_, acym elementy bez powt´_, orze´n. Idea dzia lania:

1. Zbuduj najni˙zsze pietro drzewa binarnego, z lo˙zone z element´_, ow arr. Bedziemy_, budowali drzewko od tej podstawy, ku zwie´nczeniu.

2. Budujemy nowe pietro. Iteruj (np. od lewej) po parach s_, asiednich w_, ez l´_, ow po- przedniego pietra (˙zadne dwie pary nie maj_, a wsp´_, olnych element´ow). Z ka˙zdej takiej pary (node(arr[i]), node(arr[i + 1])) wybierz mniejszy element i umie´s´c go w nowym we´_,zle. Lewa i prawa ga la´_,z nowego wez la powinny prowadzi´_, c do, odpowiednio, wez l´_, ow zawierajacych arr[i] i arr[i + 1]. Je´_, sli poprzednie pietro_, mia lo nieparzysta liczb_, e element´_, ow, przepisz element, kt´ory nie wzia l udzia lu_, w por´ownaniach do nowego pietra._,

3. Je˙zeli najnowsze pietro ma wi_, ecej ni˙z jeden element, wr´_, o´c do punktu2.

4. Je´sli ma tylko jeden element, jest to element najmniejszy mine. Zejd´z od korzenia w d´o l drzewa po wez lach zawieraj_, acych mine, ogl_, adaj_, ac elementy_, por´ownywane z mine. Wybieramy najmniejszy z tych element´ow.

Zadanie 2.2.1. Narysuj drzewko por´ownywa´n w algorytmie turniejowym dla ciagu_, arr = [7, 4, 9, 1, 8, 15].

Zadanie 2.2.2. Dlaczego element znaleziony w czasie schodzenia w d´o l drzewka jest drugim najmniejszym w ciagu?_,

2.3 Statystyki pozycyjne

Niech arr bedzie ci_, agiem (dla uproszczenia - r´_, o˙znych) nieuporzadkowanych liczb._, i–ta statystyk_, a pozycyjn_, a nazwiemy i–ty najmniejszy element arr, gdzie 0 ≤ i <_,

|arr| (tradycyjnie, liczymy od 0). Na wyk ladzie przedstawiono zarys algorytmu wykorzystujacego podzia ly Hoare’a, obliczaj_, acego statystyki pozycyjne w ´_, srednim czasie liniowym (przy za lo˙zeniu zrandomizowanego wyboru elementu dzielacego w_, podziale Hoare’a). Za l´o˙zmy, ˙ze mamy procedure Hoare-Partition(arr, p, r),_, kt´ora:

1. zwraca indeks q taki, ˙ze p ≤ q ≤ r, oraz

2. permutuje tablice arr[p . . . r] w taki spos´_, ob, ˙ze elementy arr[p . . . (q − 1)] sa_, mniejsze od element´ow arr[(q + 1) . . . r], za´s element arr[q] jest na w la´sciwym miejscu (tzn. tam, gdzie znalaz lby sie po posortowaniu arr)._,

Ilustracja: je´sli arr = [5, 1, 4, 9, 3, 8], to przyk ladowe wykonanie procedury Hoare- Partition(arr, 0, 6) mo ˙ze zwr´oci´c q = 3 i zmodyfikowa´c tablice arr = [3, 1, 4, 5, 9, 8]._, Pomimo, i˙z nie jest posortowana, to warto´s´c 5 znalaz la sie na swoim miejscu._,

Procedura Select(arr, p, r, i) wykorzystuje podzia ly Hoare’a w celu reku- rencyjnego wyszukania i–tej statystyki tablicy arr [p. . . r].

Select(arr, p, r, i):

if p = r then return arr[p]

q = Hoare-Partition(arr, p, r) k = q - p + 1

if i = k then return arr[q]

if i < k then return Select(arr, p, q-1, i) else return Select(arr, q+1, r, i-k)

Szczeg´o ly procedury Hoare-Partition(arr, p, r) zostana przedstawione przy_, okazji algorytmu QuickSort.

Zadanie 2.3.1. Znale´z´c najgorszy przypadek dla procedury Select i okre´sli´c jego z lo-

˙zono´s´c.

2.4 Sortowanie - pocz atki

Algorytm sortowania przez wstawianie (InsertionSort) polega na wstawianiu w ju˙z posortowana pocz_, atkow_, a cz_, e´_,s´c tablicy kolejnego elementu e. Polega to na przesu- waniu element´ow w prawo, dop´oty, dop´oki nie znajdziemy w la´sciwego miejsca do wstawienia e. Algorytm ma do´s´c elegancka i prost_, a implementacj_, e (patrz wyk lad),_, ale jego ´srednia z lo˙zono´s´c jest kwadratowa.

Zadanie 2.4.1. Zasymuluj dzia lanie InsertionSort na tablicy arr = [4, 1, 5, 1, 6, 9, 10].

Okre´sl pesymistyczny (najwieksza liczba por´_, owna´n) i optymistyczny (najmniejsza) przypadek dla tego algorytmu.

Zadanie 2.4.2. InsertionSort ma swoja nieco bardziej praktyczn_, a wersj_, e - sortowanie_, Shella (ShellSort). Zapoznaj sie z opisem tego algorytmu i przetestuj kilka wybranych_, sekwencji wyboru kroku.

Algorytm sortowania jest stabilny, je´sli posortowana tablica zachowuje pierwotna_, kolejno´s´c element´ow o tych samych kluczach. Rozwa˙zmy tablice arr = [3, 1, 4,_, 3, 5].

Zak ladamy tutaj, ˙ze elementy tablicy posiadaja jak_, a´_,s strukture wewn_, etrzn_, a, odr´_, o˙z- niajace czerwon_, a tr´_, ojke od niebieskiej. Stabilny algorytm sortowania zastosowany do_, arr zwr´oci [1,3,3, 4, 5]. Niestabilny mo˙ze zwr´oci´c [1,3,3, 4, 5]. Stabilno´s´c jest war- to´sciowa cech_, a - rozwa˙zmy sytuacj_, e, gdy sortujemy ksi_, a˙zk_, e telefoniczn_, a, najpierw_, po imionach, potem po nazwiskach.

Zadanie 2.4.3. Rozwa˙zmy dwie wersje algorytmu InsertionSort (tym razem zapisane w pseudoJavie):

insertionSortA(arr, len){

for(next = 1; next < len; next++){

curr = next;

temp = arr[next];

while((curr > 0) && (temp < arr[curr - 1])){

arr[curr] = arr[curr - 1];

curr--;

}

arr[curr] = temp;

} }

insertionSortB(arr, len){

for(next = 1; next < len; next++){

curr = next;

temp = arr[next];

while((curr > 0) && (temp <= arr[curr - 1])){

arr[curr] = arr[curr - 1];

curr--;

}

arr[curr] = temp;

} }

Kt´ory z nich jest stabilny i dlaczego?