Badania operacyjne - Programowanie nieliniowe
kierunek Informatyka, studia stacjonarne II stopnia, I rok wyklad
1 Funkcje jednej zmiennej
W rozdziale tym przypomnimy wybrane fakty dotycz ˛ace minimalizacji funkcji jednej zmiennej.
1.1 Istnienie rozwi ˛ aza´ n - twierdzenie Weierstrassa
Rozwa˙zmy zadanie postaci
J(u) → min .,
u ∈ U (1)
gdzie J : U → R, U ⊂ R jest ustalonym zbiorem.
Punkt u∗ ∈ U nazywamy punktem lokalnego minimum funkcji J na zbiorze U (lokalnym rozwi ˛azaniem zadania (1)), je´sli istnieje przedział otwarty V , zawieraj ˛acy punkt u∗, taki, ˙ze
J(u∗) ≤ J(u)
dla dowolnego u ∈ V ∩ U. Punkt u∗ ∈ U nazywany jest punktem minimum global- nego funkcji J na zbiorze U , gdy powy˙zsza nierówno´s´c jest spełniona przez wszystkie punkty u ∈ U . Zbiór wszystkich punktów minimum globalnego funkcji J na zbiorze U oznaczamy symbolem U∗. Kres dolny warto´sci funkcji J na zbiorze U oznaczamy symbolem J∗, t.zn. J∗ = inf
u∈UJ(u).
Zanim sformułujemy klasyczne twierdzenie Weierstrassa o istnieniu punktu min- imum globalnego, podamy okre´slenie funkcji półci ˛agłej z dołu.
Mówimy, ˙ze funkcja J : U → R jest półci ˛agła z dołu w punkcie u0 ∈ U, je´sli dla dowolnego ε > 0 istnieje przedział otwarty V , zawieraj ˛acy punkt u0, taki, ˙ze
J(u0) − ε ≤ J(u)
dla dowolnego u ∈ V ∩ U . Mówimy, ˙ze J jest półci ˛agła z dołu na zbiorze U, je´sli jest półci ˛agła z dołu w ka˙zdym punkcie u ∈ U.
Mo˙zna pokaza´c, ˙ze funkcja J : U → R jest półci ˛agła z dołu w punkcie u0 ∈ U wtedy i tylko wtedy, gdy dla dowolnego ci ˛agu (un) ⊂ U takiego, ˙ze lim
n→∞un = u0
zachodzi
J(u0) ≤ lim inf
n→∞ J(un).
Klasycznym wynikiem jest nast ˛epuj ˛ace twierdzenie o istnieniu minimum global- nego funkcji jednej zmiennej, nazywane twierdzeniem Weierstrassa.
Twierdzenie 1 (Weierstrassa) Je´sli funkcja J : [a, b] → R jest półci ˛agła z dołu na [a, b], to istnieje punkt minimum globalnego u∗ ∈ [a, b].
1.2 Warunki konieczne - zasada Fermata
Prawdziwa jest nast ˛epuj ˛aca zasada Fermata.
Twierdzenie 2 (Fermata) Je´sli u∗ jest punktem lokalnego minimum funkcji J:(a, b) → R i funkcja J ma w punkcie u∗ pochodn ˛a J′(u∗), to
J′(u∗) = 0. (2)
1.3 Warunki dostateczne
Jeden z warunków dostatecznych na to, by punkt u∗ był punktem lokalnego mini- mum funkcji J:(a, b) → R opisuje poni˙zsze twierdzenie.
Twierdzenie 3 Je´sli funkcja J : (a, b) → R ma w punkcie u∗ ∈ (a, b) pochodn ˛a drugiego rz ˛edu J′′(u∗), przy czym J′(u∗) = 0 i J′′(u∗) > 0, to u∗ jest punktem lokalnego minimum funkcji J na (a, b).
Uwaga 4 Je´sli spełnione s ˛a zało˙zenia powy˙zszego twierdzenia, to punkt u∗, o którym mowa w powy˙zszym twierdzeniu, jest punktem ´scisłego minimum lokalnego funkcji J, t.zn. istnieje przedział otwarty V taki, ˙ze u∗ ∈ V oraz
J(u∗) < J(u) dla dowolnego u ∈ V , u = u∗.
Uwaga 5 Analogicznie definiuje si ˛e punkt (´scisłego) maksimum lokalnego i maksi- mum globalnego. Warunek konieczny istnienia maksimum lokalnego w punkcie jest taki sam, jak w przypadku minimum, natomiast w warunku dostatecznym stosown ˛a nierówno´s´c nale˙zy zast ˛api´c nierówno´sci ˛a odwrotn ˛a.
1.4 Zało˙zenie wypukło´sci
Niech I ⊂ R b ˛edzie przedziałem (otwartym, domkni ˛etym lub jednostronnie domkni ˛e- tym). Funkcj ˛e J : I → R nazywamy wypukł ˛a, gdy
J(αu1+ (1 − α)u2) ≤ αJ(u1) + (1 − α)J(u2) dla dowolnych α ∈ [0, 1], u1, u2 ∈ I.
Wa˙zne własno´sci funkcji wypukłych opisuj ˛a poni˙zsze dwa twierdzenia.
Twierdzenie 6 Niech dana b ˛edzie funkcja wypukła J : I → R. Wówczas, ka˙zdy punkt minimum lokalnego jest punktem minimum globalnego.
Dowód. Niech u∗ ∈ I b ˛edzie punktem minimum lokalnego, t.zn. istnieje przedział otwarty V taki, ˙ze u∗ ∈ V oraz
J(u∗) ≤ J(u)
dla dowolnego u ∈ I ∩ V . Przypu´s´cmy, ˙ze u∗ nie jest punktem minimum globalnego, t.zn. istnieje punkt u ∈ I taki, ˙ze
J(u) < J(u∗).
Rozwa˙zmy punkty uα postaci uα = αu∗ + (1 − α)u, gdzie α ∈ [0, 1]. Z wypukło´sci przedziału I wynika, ˙ze uα ∈ I dla dowolnego α ∈ [0, 1]. Ponadto, dla α ∈ (0, 1) dostatecznie bliskich jedno´sci uα∈ V i w konsekwencji uα ∈ I ∩ V , przy czym
J(uα) ≤ αJ(u∗) + (1 − α)J(u) < αJ(u∗) + (1 − α)J(u∗) = J(u∗).
Przeczy to lokalnej optymalno´sci punktu u∗.
Przy zało˙zeniu wypukło´sci prawdziwe jest nast ˛epuj ˛ace odwrócenie twierdzenia Fermata.
Twierdzenie 7 (odwrócenie twierdzenia Fermata) Niech dana b ˛edzie funkcja wypukła J : (a, b) → R. Je´sli J′(u∗) = 0, to u∗ jest punktem minimum globalnego funkcji J na (a, b).
1.5 Metody numeryczne - metoda łamanych
Opiszemy teraz jedn ˛a z wielu metod numerycznych słu˙z ˛acych do przybli˙zonego wyznaczania punktów minimum globalnego funkcji jednej zmiennej okre´slonej na ograniczonym przedziale domkni ˛etym [a, b] ⊂ R.
Mówimy, ˙ze funkcja J : [a, b] → R spełnia warunek Lipschitza, je´sli istnieje stała L > 0 taka, ˙ze
|J(u) − J(v)| ≤ L |u − v|
dla dowolnych u, v ∈ [a, b]. Łatwo pokaza´c, ˙ze je´sli a = a0 < a1 < ... < an = b jest podziałem przedziału [a, b] i funkcja J spełnia warunek Lipschitza na ka˙zdym przedziale [ai−1, ai] ze stał ˛a Li, to J spełnia warunek Lipschitza na przedziale [a, b]
ze stał ˛a L = max
1≤i≤nLi. Ponadto, je´sli J jest ró˙zniczkowalna na [a, b] i jej pochodna
J′ jest ograniczona na [a, b], to J spełnia warunek Lipschitza na [a, b] ze stał ˛a L = sup
u∈[a,b]
|J′(u)|.
Niech dana b ˛edzie funkcja J : [a, b] → R spełniaj ˛aca warunek Lipschitza ze stał ˛a L. Ustalmy dowolny punkt u0 i rozwa˙zmy funkcj ˛e g(·, u0) jednej zmiennej u ∈ [a, b]
postaci
g(u, u0) = J(u0) − L |u − u0| =
J(u0) + Lu − Lu0; u < u0
J(u0) − Lu + Lu0; u ≥ u0
.
Jest to funkcja kawałkami liniowa, której wykres jest łaman ˛a, składaj ˛ac ˛a si ˛e z dwóch odcinków prostych o współczynnikach kierunkowych L, −L, ł ˛acz ˛acych si ˛e w punkcie (u0, J(u0)). Z warunku Lipschitza wynika natychmiast, ˙ze
g(u, u0) = J(u0) − L |u − u0| ≤ J(u)
dla dowolnego u ∈ [a, b]. A wi ˛ec wykres funkcji J le˙zy powy˙zej łamanej i ma z ni ˛a punkt wspólny (u0, J(u0)). Oznaczmy p0(u) = g(u, u0). Niech u1 ∈ [a, b] b ˛edzie takim punktem, ˙ze
p0(u1) = min
u∈[a,b]p0(u) (oczywi´scie u1 = a lub u1 = b). Okre´slmy now ˛a funkcj ˛e
p1(u) = max{g(u, u1), p0(u)}, u ∈ [a, b].
Punkt u2 ∈ [a, b] niech b ˛edzie taki, ˙ze
p1(u2) = min
u∈[a,b]p1(u).
Załó˙zmy, ˙ze w wy˙zej opisany sposób utworzyli´smy sko´nczony ci ˛ag punktów u0, u1, ...,un i funkcji p0, p1,...,pn−1. Wówczas okre´slamy funkcj ˛e
pn(u) = max{g(u, un), pn−1(u)} = max
0≤i≤ng(u, ui), u ∈ [a, b], i punkt un+1 przy pomocy warunku
pn(un+1) = min
u∈[a,b]pn(u)
(je´sli wybór punktu un+1 przy pomocy powy˙zszego warunku nie jest jednoznaczny, wybieramy dowolny punkt spełniaj ˛acy ten warunek).
Wykresem funkcji pn jest łamana, zło˙zona z odcinków prostych o współczyn- nikach kierunkowych równych −L, L. Oczywi´scie,
pn−1(u) = max
0≤i≤n−1g(u, ui) ≤ max
0≤i≤ng(u, ui) = pn(u) dla u ∈ [a, b]. Ponadto, z faktu, ˙ze
g(u, ui) ≤ J(u) dla u ∈ [a, b], i = 0, ..., n, wynika, ˙ze
pn(u) ≤ J(u) dla u ∈ [a, b], n = 0, 1, ...
Mamy nast ˛epuj ˛ace
Twierdzenie 8 Je´sli funkcja J spełnia warunek Lipschitza na przedziale [a, b] i J∗ := inf
u∈[a,b]J(u), to ci ˛ag (un) otrzymany przy pomocy metody łamanych ma nast ˛epu- j ˛ace własno´sci:
1) lim
n→∞J(un) = J∗
2) 0 ≤ J(un+1) − J∗ ≤ J(un+1) − pn(un+1), n = 0, 1, ...
3) lim
n→∞ρ(un, U∗) = 0, gdzie ρ(un, U∗) = inf
u∈U∗|un− u|
(oczywi´scie, U∗ = ∅).
2 Funkcje wielu zmiennych - cz ˛ e´s´c I
Rozwa˙zmy zadanie postaci
J(u) → min ., u ∈ U
(3) gdzie J : U → R, U ⊂ Rn jest ustalonym zbiorem.
2.1 Istnienie rozwi ˛ aza´ n - twierdzenie Weierstrassa
Okre´slenie funkcji półci ˛agłej z dołu i charakteryzacja "ci ˛agowa" takich funkcji s ˛a, po zast ˛apieniu przedziału kul ˛a w przypadku definicji, takie same, jak w przypadku funkcji jednej zmiennej. Podobnie rzecz ma si ˛e z definicj ˛a (´scisłego) minimum, maksimum lokalnego. Dla przykladu, punkt u∗ ∈ U nazywamy punktem lokalnego minimum funkcji J na zbiorze U (lokalnym rozwi ˛azaniem zadania (3)), je´sli istnieje kula K(u∗, r) taka, ˙ze
J(u∗) ≤ J(u) dla dowolnego u ∈ K(u∗, r) ∩ U .
Mamy nast ˛epuj ˛ace twierdzenie o istnieniu rozwi ˛aza´n optymalnych.
Twierdzenie 9 (Weierstrassa) Je´sli U ⊂ Rn jest zbiorem zwartym i funkcja J : U → R jest półci ˛agła z dołu na zbiorze U , to istnieje punkt minimum globalnego funkcji J na zbiorze U.
Dowód. Niech (uk) ⊂ U b ˛edzie ci ˛agiem minimalizuj ˛acym, t.zn. lim
k→∞J(uk) = J∗ =
u∈UinfJ(u) ∈ R ∪ {−∞}. Ze zwarto´sci zbioru U wynika, ˙ze istniej ˛a podci ˛ag (uki) oraz punkt u∗ ∈ U takie, ˙ze lim
i→∞uki = u∗. Wówczas, J∗ ≤ J(u∗) ≤ lim inf
i→∞ J(uki) = lim
i→∞J(uki) = lim
k→∞J(uk) = J∗. St ˛ad wynika, ˙ze J(u∗) = J∗ ∈ R.
2.2 Warunki konieczne - zasada Fermata
Rozwa˙zmy zadanie (3). Mamy nast ˛epuj ˛ace:
Twierdzenie 10 (zasada Fermata) Je´sli U ⊂ Rn jest zbiorem otwartym i u∗
jest punktem lokalnego minimum funkcji J : U → R, przy czym istnieje gradient
∇J(u∗) = (∂u∂J1(u∗), ...,∂u∂J
n(u∗)), to
∇J(u∗) = 0. (4)
Dowód. Istnienie gradientu funkcji J w punkcie u∗ oznacza istnienie, dla dowol- nego i = 1, ..., n, pochodnej funkcji
ϕi : (−δ, δ) ∋ t → J(u∗+ tei) ∈ R
w punkcie t = 0, gdzie δ jest pewn ˛a liczb ˛a dodatni ˛a, ei jest i-tym wektorem jednos- tkowym. Poniewa˙z u∗ jest punktem lokalnego minimum funkcji J, wi ˛ec punkt 0 jest punktem minimum lokalnego funkcji ϕi i w konsekwencji
ϕ′i(0) = 0, i = 1, ..., n.
A wi ˛ec ∇J(u∗) = (ϕ′1(0), ..., ϕ′n(0)) = 0, co ko´nczy dowód.
2.3 Warunki dostateczne
U˙zyteczne jest nast ˛epuj ˛ace
Twierdzenie 11 (warunki dostateczne drugiego rz ˛edu) Niech U ⊂ Rnb ˛edzie zbiorem otwartym, funkcja J : U → R niech b ˛edzie funkcj ˛a klasy C2 (t.zn. posiada- j ˛ac ˛a na U ci ˛agłe wszystkie pochodne cz ˛astkowe rz ˛edu drugiego) oraz ∇J(u∗) = 0.
Je´sli macierz ∇2J(u∗) =
∂2J
∂ui∂uj(u∗)
1≤i,j≤njest dodatnio okre´slona, tzn.
∇2J(u∗)h, h
>
0 dla dowolnego h = 0 (równowa˙znie, det
∂2J
∂ui∂uj(u∗)
1≤i,j≤k > 0 dla dowolnego k = 1, ..., n), to u∗ jest punktem ´scisłego minimum lokalnego funkcji J na U .
Je´sli macierz ∇2J(u∗) =
∂2J
∂ui∂uj(u∗)
1≤i,j≤njest ujemnie okre´slona, tzn.
∇2J(u∗)h, h
<
0 dla dowolnego h = 0 (równowa˙znie, (−1)kdet
∂2J
∂ui∂uj(u∗)
1≤i,j≤k > 0 dla dowolnego k = 1, ..., n), to u∗ jest punktem ´scisłego maksimum lokalnego.
Je´sli iloczyn skalarny
∇2J(u∗)h, h
przyjmuje warto´sci zarówno dodatnie jak i ujemne, to J nie ma w punkcie u∗ ani minimum lokalnego ani maksimum lokalnego.
2.4 Zało˙zenie wypukło´sci
Przypomnijmy, ˙ze zbiór U ⊂ Rn nazywamy wypukłym, gdy spełniony jest warunek αx + (1 − α)y ∈ U
dla dowolnych α ∈ [0, 1], x, y ∈ U .
Mówimy, ˙ze funkcja J : U → R, gdzie U ⊂ Rn jest zbiorem wypukłym, jest wypukła, gdy spełniony jest warunek
J(αx + (1 − α)y) ≤ αJ(x) + (1 − α)J(y) dla dowolnych α ∈ [0, 1], x, y ∈ U .
Podobnie, jak w przypadku funkcji jednej zmiennej, prawdziwe jest nast ˛epuj ˛ace twierdzenie.
Twierdzenie 12 Je´sli funkcja J : U → R jest wypukła, to ka˙zdy punkt lokalnego minimum funkcji J na zbiorze U jest punktem jej minimum globalnego.
Przypomnijmy, ˙ze mówimy, i˙z funkcja J : Rn ⊃ K(u∗, ε) → R jest ró˙zniczkowalna w punkcie u∗, je´sli istnieje wektor a ∈ Rn taki, ˙ze
J(u∗+ h) − J(u∗) = a, h + o(h) dla |h| < ε, gdzie o : K(0, ε) → R jest tak ˛a funkcj ˛a, ˙ze lim
h→0 o(h)
|h| = 0. W takim przypadku a = ∇J(u∗).
Ponadto, mówimy, ˙ze funkcja J o warto´sciach rzeczywistych jest klasy C1 na zbiorze U ⊂ Rn (U nie musi by´c zbiorem otwartym), je´sli jest ró˙zniczkowalna w ka˙zdym punkcie tego zbioru i wszystkie pochodne cz ˛astkowe pierwszego rz ˛edu funkcji J s ˛a funkcjami ci ˛agłymi na U (gdy zbiór U jest otwarty, wystarczy ˙z ˛ada´c jedynie istnienia i ci ˛agło´sci na U wszystkich pochodnych cz ˛astkowych pierwszego rz ˛edu).
Kolejne twierdzenie nazywane jest kryterium optymalno´sci dla funkcji wypukłych na zbiorze wypukłym.
Twierdzenie 13 (kryterium optymalno´sci dla funkcji wypukłych) Niech U ⊂ Rn b ˛edzie zbiorem wypukłym, J - rzeczywist ˛a funkcj ˛a klasy C1 na U. Wówczas, je´sli punkt u∗ ∈ U jest punktem minimum globalnego funkcji J na zbiorze U , to
∇J(u∗)), u − u∗ ≥ 0 (5)
dla dowolnego u ∈ U, przy czym je´sli u∗ ∈ IntU, to warunek (5) równowa˙zny jest warunkowi
∇J(u∗) = 0.
Je´sli ponadto, funkcja J jest wypukła na U i u∗ ∈ U , to warunek (5) jest wystar- czaj ˛acy na to, aby punkt u∗ był punktem minimum globalnego funkcji J na zbiorze U .
Dowód. Załó˙zmy, ˙ze punkt u∗ jest punktem minimum globalnego. Wówczas, z wypukło´sci U oraz ró˙zniczkowalno´sci funkcji J w punkcie u∗ mamy
0 ≤ J(u∗+ α(u − u∗)) − J(u∗) = α ∇J(u∗)), u − u∗ + o(α), sk ˛ad
0 ≤ ∇J(u∗)), u − u∗ +o(α) α
dla 0 < α ≤ 1 (tutaj o(α) jest tak ˛a funkcj ˛a, ˙zeo(α)α → 0 gdy α → 0+). Przechodz ˛ac w powy˙zszej nierówno´sci z α do 0+, otrzymujemy ˙z ˛adan ˛a nierówno´s´c. Je´sli u∗ ∈ IntU, to dla dowolnego e ∈ Rn istnieje ε0 o tej własno´sci, ˙ze u∗ + εe ∈ U dla |ε| < ε0. Stosuj ˛ac warunek (5) do punktów postaci u = u∗+ εe z ε ∈ (0, ε0), dostajemy
∇J(u∗), e ≥ 0 dla dowolnego e ∈ Rn. To oznacza, ˙ze ∇J(u∗) = 0.
Załó˙zmy teraz, ˙ze funkcja J jest wypukła na U, u∗ ∈ U i spełniony jest warunek (5). Wówczas (1 ), otrzymujemy
J(u) − J(u∗) ≥ ∇J(u∗)), u − u∗ ≥ 0
dla dowolnego u ∈ U , co oznacza, ˙ze u∗ jest punktem minimum globalnego.
1Prawdziwa jest nastepuj ˛aca charakteryzacja gładkich funkcji wypukłych: je´sli U ⊂ Rn jest zbiorem wypuklym i funkcja J jest klasy C1 na U , to na to, aby J była funkcja wypukł ˛a na U potrzeba i wystarcza, aby spełniony był warunek
J(u) ≥ J(v) + J′(v), u − v , u, v ∈ U.
Uwaga 14 Druga cz ˛e´s´c powy˙zszego kryterium optymalno´sci jest uogólnieniem odwróce- nia twierdzenia Fermata (przy zało˙zeniach wypukło´sci i gładko´sci funkcji J).
2.5 Metody numeryczne - metoda gradientowa
Rozwa˙zmy zadanie bez ogranicze´n
J(u) → min u ∈ Rn , zakładaj ˛ac, ˙ze funkcja J : Rn → R jest klasy C1.
Korzystaj ˛ac z definicji ró˙zniczkowalno´sci funkcji J oraz nierówno´sci Cauchy’ego - Buniakowskiego (− |∇J(u)| |v| ≤ ∇J(u), v ≤ |∇J(u)| |v| dla dowolnego v ∈ Rn, przy czym je´sli ∇J(u) = 0, to prawa nierówno´s´c jest równo´sci ˛a tylko dla v = α∇J(u), a lewa nierówno´s´c - tylko dla v = −α∇J(u), gdzie α ≥ 0), mo˙zna pokaza´c,
˙ze je´sli ∇J(u∗) = 0, to kierunkiem najszybszego spadku warto´sci funkcji J w punkcie u∗ jest kierunek antygradientu −∇J(u∗) (tzn. dla dowolnego h ∈ Rn \ {0}, h =
−∇J(u∗), |h| = |∇J(u∗)|, istnieje τ1 > 0 takie, ˙ze
J(u∗+ τ (−∇J(u∗))) < J(u∗+ τ h)
dla 0 < τ < τ1). Na tym spostrze˙zeniu opiera si ˛e konstrukcja tzw. metody gradien- towej - metody wyznaczania przybli˙zonych rozwi ˛aza´n powy˙zszego zadania. Podamy teraz opis jednego z wariantów tej metody.
Niech dany b ˛edzie dowolny punkt u0 ∈ Rn. Rozwa˙zmy ci ˛ag (uk)k∈N∪{0}okre´slony w sposób rekurencyjny wzorem
uk+1 = uk− αk∇J(uk), k = 0, 1, ..., (6) gdzie αk> 0 dla k = 0, 1, ... jest tzw. krokiem k-tej iteracji.
Uwaga 15 Je´sli ∇J(uk) = 0, to αk > 0 mo˙zna wybra´c tak, by spełniona była nierówno´s´c J(uk+1) < J(uk) (2). Je´sli ∇J(uk) = 0, to post ˛epowanie nale˙zy prz-
2Z okre´slenia ró˙zniczkowalno´sci funkcji J w punkcie u:
J(u + h) = J(u) + ∇J(u), h + o(u, h), h ∈ Rn,
erwa´c (ci ˛ag tworzony zgodnie z powy˙zszym wzorem b ˛edzie stały). Punkt uk jest wówczas punktem spełniaj ˛acym warunek konieczny istnienia minimum funkcji J na przestrzeni Rn. Warto przypomnie´c, ˙ze gdy funkcja J jest wypukła, ka˙zdy punkt, w którym gradient zeruje si ˛e, jest punktem minimum globalnego funkcji J na Rn.
Sposób ustalania warto´sci parametru αkwyznacza wariant metody gradientowej.
Opiszemy teraz dwa takie warianty. Symbolem Jk, k = 0, 1, ..., oznaczmy funkcj ˛e postaci
Jk : [0, ∞) ∋ α −→ J(uk− α∇J(uk)) ∈ R.
Metod ˛a najszybszego spadku nazywamy wariant, w którym krok αk > 0 ustalany jest na podstawie warunku
α≥0infJk(α) = Jk(αk) (7)
(zgodnie z Uwag ˛a 15, je´sli powy˙zszy kres dolny jest osi ˛agany przez funkcj ˛e Jk oraz
∇J(uk) = 0, to punktem realizuj ˛acym ów kres jest punkt αk > 0).
Je´sli nie jest mo˙zliwe wyznaczenie punktu αkspełniaj ˛acego równo´s´c (7), to mo˙zna za αkprzyj ˛a´c punkt, który realizuje powy˙zszy kres dolny z dokładno´sci ˛a δk > 0, czyli
α≥0infJk(α) ≤ Jk(αk) ≤ inf
α≥0Jk(α) + δk. (8)
Uwaga 16 Z okre´slenia kresu dolnego i ci ˛agło´sci funkcji Jkwynika, ˙ze gdy inf
α≥0Jk(α) >
−∞, to istnieje punkt αk > 0 spełniaj ˛acy warunek (8).
Prawdziwe jest nast ˛epuj ˛ace
Twierdzenie 17 (o zbie˙zno´sci metody gradientowej) Załó˙zmy, ˙ze szereg∞ k=0δk
jest zbie˙zny, funkcja J : Rn → R jest wypukła, ró˙zniczkowalna, przy czym gradient
∇J jest funkcj ˛a spełniaj ˛ac ˛a warunek Lipschitza na Rn, tzn. istnieje stała L ≥ 0 taka, ˙ze
|∇J(u) − ∇J(y)| ≤ L |u − y| , u, y ∈ Rn. wynika, ˙ze
J(uk+1) − J(uk) = αk[− |∇J(uk)|2+ ok(αk)α−1k ] < 0 dla dostatecznie małych warto´sci αk>0, gdzie ok(α) = o(uk,−α∇J(uk))
Załó˙zmy te˙z, ˙ze dla pewnego u0 zbiór Mδ(u0) = {u ∈ Rn; J(u) ≤ J(u0) + δ}, gdzie δ = ∞
k=0δk, jest ograniczony. Wówczas, J∗ = inf
u∈RnJ(u) > −∞, U∗ = {u ∈ Rn; J(u) = J∗} = ∅, ci ˛ag (uk)k∈N∪{0} okre´slony warunkami (6)-(8) jest taki, ˙ze
k→∞limJ(uk) = J∗
oraz
k→∞limρ(uk, U∗) = 0, gdzie ρ(uk, U∗) = inf
u∈U∗|uk− u|.
3 Funkcje wielu zmiennych - cz ˛ e´s´c II
3.1 Warunki konieczne - zasady mno˙zników Lagrange’a
Rozwa˙zmy zadanie postaci
J(u) → inf ,
u ∈ U = {u ∈ Rn; fi(u) = θ, i = 1, ..., m} (9) gdzie J : Rn→ R, fi : Rn → R, i = 1, ..., m.
Przypomnijmy
Twierdzenie 18 (o funkcji uwikłanej) Niech dane b ˛ed ˛a funkcje gi = gi(w, z) : Rs× Rn→ R, i = 1, ..., n, klasy C1 oraz punkt (a, b) ∈ Rs× Rn taki, ˙ze
gi(a, b) = 0, i = 1, ..., n det[∂gi
∂zj
(a, b)]1≤i,j≤n= 0.
Wówczas istnieje δ > 0 i funkcja z = z(w) = (z1(w), ..., zn(w)) : K(a, δ) → Rn klasy C1 taka, ˙ze
z(a) = b,
gi(w, z(w)) = 0, w ∈ K(a, δ), i = 1, ..., n.
Twierdzenie 19 (pierwsza zasada mno˙zników Lagrange’a) Je´sli funkcje J, fi, i = 1, ..., m, s ˛a klasy C1 na Rn i punkt u∗ jest punktem lokalnego minimum dla zada- nia (9), to istniej ˛a liczby (mno˙zniki Lagrange’a) λ0, λ1, ..., λm ∈ R, nie wszystkie równe zero i takie, ˙ze
λ0∇J(u∗) +m
i=1λi∇fi(u∗) = 0. (10) Dowód. Warunek dany w tezie twierdzenia oznacza liniow ˛a zale˙zno´s´c wektorów
∇J(u∗), ∇f1(u∗), ..., ∇fm(u∗)
w przestrzeni Rn. Przypu´s´cmy, ˙ze warunek ten nie jest spełniony, tzn. powy˙zsze wektory s ˛a liniowo niezale˙zne. Oznacza to, ˙ze m+1 ≤ n. W przypadku, gdy m+1 <
n mo˙zemy uzupełni´c (i uzupełniamy) układ wektorów ∇J(u∗), ∇f1(u∗), ..., ∇fm(u∗) wektorami dm+1, ..., dn−1 tak, by układ wektorów
∇J(u∗), ∇f1(u∗), ..., ∇fm(u∗), dm+1, ..., dn−1
był układem liniowo niezale˙znym w Rn.
Rozwa˙zmy teraz funkcje (gdy m + 1 = n, nie rozwa˙zamy ostatniej grupy funkcji) g0(t, u) = J(u) − J(u∗) + t,
gi(t, u) = fi(u), i = 1, ..., m,
gi(t, u) = di, u − u∗ , i = m + 1, ..., n − 1,
okre´slone na R1 × Rn. Łatwo wida´c, ˙ze powy˙zszy układ funkcji spełnia zało˙zenia twierdzenia o funkcji uwikłanej z punktem (a, b) postaci (0, u∗). Z twierdzenia tego wynika, ˙ze istnieje δ > 0 i funkcja u = u(t) = (u1(t), ..., un(t)) : (−δ, δ) → Rn klasy C1 (wykorzystamy tylko ci ˛agło´s´c funkcji u) taka, ˙ze
u(0) = u∗
oraz
J(u(t)) = J(u∗) − t,
fi(u(t)) = 0, i = 1, ..., m,
dla t ∈ (−δ, δ). To oznacza w szczególno´sci, ˙ze dla t ∈ (0, δ) punkty u(t) spełniaj ˛a ograniczenia typu równo´sci wyst ˛epuj ˛ace w zadaniu (9), przy czym
J(u(t)) = J(u∗) − t < J(u∗).
Przeczy to optymalno´sci punktu u∗, gdy˙z u(t) → u∗, gdy t → 0.
Twierdzenie 20 Je´sli spełnione s ˛a zało˙zenia powy˙zszej zasady mno˙zników Lagrange’a oraz wektory ∇fi(u∗), i = 1, ..., m, s ˛a liniowo niezale˙zne, to λ0 = 0 i mo˙zna przyj ˛a´c λ0 = 1.
Dowód. Załó˙zmy, ˙ze wektory ∇fi(u∗), i = 1, ..., m, s ˛a liniowo niezale˙zne i przy- pu´s´cmy, ˙ze λ0 = 0. Wówczas
m
i=1λi∇fi(u∗) = 0
przy czym λi = 0 dla pewnego i ∈ {1, ..., m}. Jest to sprzeczne z liniow ˛a nieza- le˙zno´sci ˛a wektorów ∇fi(u∗), i = 1, ..., m.
Rozwa˙zmy teraz zadanie z ograniczeniami mieszanymi
J(u) → inf ,
u ∈ U = {u ∈ Rn; fi(u) = θ, i = 1, ..., m, hk(u) ≤ 0, k = 1, ..., s} (11) Prawdziwe jest nast ˛epuj ˛ace
Twierdzenie 21 (druga zasada mno˙zników Lagrange’a) Je´sli funkcje J, fi, i = 1, ..., m, hk, k = 1, ..., s s ˛a klasy C1 na Rn i punkt u∗ jest punktem lokalnego minimum dla zadania (11), to istniej ˛a mno˙zniki Lagrange’a λ0, λ1, ..., λm, µ1, ..., µs∈ R, nie wszystkie równe zero i takie, ˙ze
λ0 ≥ 0, µ1 ≥ 0, ..., µs ≥ 0 λ0∇J(u∗) +m
i=1λi∇fi(u∗) +s
k=1µk∇hk(u∗) = 0 µkhk(u∗) = 0, k = 1, ..., s.
3.2 Warunki dostateczne
Twierdzenie 22 Niech dane b ˛edzie zadanie
J(u) → inf ,
u ∈ U = {u ∈ Rn; fi(u) = θ, i = 1, ..., m}
Załó˙zmy, ˙ze funkcje J, fi, i = 1, ..., m s ˛a klasy C2 na Rn, t.zn. maj ˛a na Rn ci ˛agłe wszystkie pochodne cz ˛astkowe do rz ˛edu drugiego wł ˛acznie. Je´sli istnieje punkt u∗ ∈ U i mno˙zniki Lagrange’a λ0, λ1, ..., λm ∈ R nie wszystkie równe zero i takie, ˙ze λ0 ≥ 0, spełniony jest warunek
λ0∇J(u∗) +m
i=1λi∇fi(u∗) = 0 oraz
(λ0[ ∂2J
∂uj∂uk
(u∗)]1≤j,k≤n+ m
i=1
λi[ ∂2fi
∂uj∂uk
(u∗)]1≤j,k≤n)h, h
> 0 (< 0)
dla wszystkich h = 0 takich, ˙ze
∇J(u∗), h ≤ 0 (≥ 0), (12)
∇fi(u∗), h = 0, i = 1, ..., m, (13) to u∗ jest punktem ´scisłego lokalnego minimum (maksimum) funkcji J na zbiorze U.
3.3 Zało˙zenie wypukło´sci - twierdzenie Kuhna-Tuckera
Rozwa˙zmy nast ˛epuj ˛ace zadanie
J(u) → inf ,
u ∈ U = {u ∈ Rn; u ∈ A, fi(u) ≤ θ, i = 1, ..., m} (14) gdzie A ⊂ Rn, J, fi: Rn → R, i = 1, ..., m.
Dowód kolejnego twierdzenia oparty jest na nastepuj ˛acym klasycznym wyniku o odzielaniu.
Lemat 23 Niech D b ˛edzie niepustym wypukłym podzbiorem przestrzeni Rm takim,
˙ze 0 /∈ D. Wówczas istnieje wektor (a1, ..., am) ∈ Rm\ {0} taki, ˙ze m
i=1
aixi ≥ 0
dla dowolnego (x1, ..., xm) ∈ D.
Poni˙zsze twierdzenie pokazuje, ˙ze tak˙ze w przypadku zadania (14), przy do- datkowych zało˙zeniach wypukło´sci, warunek konieczny istnienia minimum jest warunk- iem dostatecznym
Twierdzenie 24 (Kuhna-Tuckera) Niech J, f1,...,fm : Rn → R b ˛ed ˛a funkcjami wypukłymi i A ⊂ Rn- zbiorem wypukłym. Je´sli u∗ jest rozwi ˛azaniem globalnym zada- nia (14), to istniej ˛a mno˙zniki Lagrange’a λ0 ≥ 0, λ1 ≥ 0,...,λm ≥ 0 nie znikaj ˛ace jednocze´snie i takie, ˙ze
λ0J(u∗) + m
i=1
λifi(u∗) = min
u∈A(λ0J(u) + m
i=1
λifi(u)) (15) λifi(u∗) = 0, i = 1, ...m. (16) Jesli ponadto istnieje punkt u ∈ A taki, ˙ze
fi(u) < 0, i = 1, ..., m, (17) to λ0 = 0 i mo˙zna przyj ˛a´c λ0 = 1. Na odwrót, je´sli istniej ˛a λ0 > 0, λ1 ≥ 0,...,λm ≥ 0 i punkt u∗ ∈ U spełniaj ˛acy (15) i (16), to u∗ jest rozwi ˛azaniem globalnym zadania (14).
Dowód twierdzenia. Konieczno´s´c. Niech u∗ b ˛edzie rozwi ˛azaniem globalnym zadania (14). Bez zmniejszania ogólno´sci rozwa˙za´n mo˙zemy zało˙zy´c, ˙ze
J(u∗) = 0.
Rozwa˙zmy nast ˛epuj ˛acy zbiór
C = {µ = (µ0, µ1, ..., µm) ∈ R1+m; istnieje punkt u ∈ A taki, ˙ze J(u) < µ0 oraz fi(u) ≤ µi dla i = 1, ..., m}.
Zbiór C jest niepusty. Istotnie, wystarczy rozwa˙zy´c punkt µ = (1, 0, ..., 0), który nale˙zy do C, bowiem J(u∗) = 0 < 1, fi(u∗) ≤ 0, i = 1, ..., m oraz u∗ ∈ A.
Zbiór C jest wypukły. Istotnie, niech (µ10, µ11, ..., µ1m) ∈ C, (µ20, µ21, ..., µ2m) ∈ C, u1, u2 ∈ A b ˛ed ˛a takie, ˙ze
J(u1) < µ10, J(u2) < µ20, fi(u1) ≤ µ1i, fi(u2) ≤ µ2i, i = 1, ...m.
Wówczas, dla dowolnego α ∈ (0, 1) mamy
αu1+ (1 − α)u2 ∈ A
J(αu1+ (1 − α)u2) ≤ αJ(u1) + (1 − α)J(u2) < αµ10+ (1 − α)µ20,
fi(αu1+ (1 − α)u2) ≤ αfi(u1) + (1 − α)fi(u2) ≤ αµ1i + (1 − α)µ2i, i = 1, ..., m.
Oznacza to, ˙ze
α(µ10, µ11, ..., µ1m) + (1 − α)(µ20, µ21, ..., µ2m) ∈ C.
0∈ C. Istotnie, w przeciwnym bowiem razie istniałby punkt / u ∈ A taki, ˙ze J( u) < 0,
fi( u) ≤ 0, i = 1, ...m,
co przeczyłoby temu, ˙ze u∗ jest rozwi ˛azaniem zadania (14).
Zatem, z twierdzenia o oddzielaniu wynika istnienie punktu (λ0, λ1, ..., λm) ∈ R1+m{0} takiego, ˙ze
m i=0
λiµi ≥ 0 (18)
dla (µ0, µ1, ..., µm) ∈ C.
λi≥ 0, i = 0, 1, ..., m. Istotnie, ustalmy bowiem dowolne ε > 0, wska´znik i0 ∈ {0, 1, ..., m} i rozwa˙zmy punkt postaci µε = (ε, ..., ε, 1, ε, ..., ε) ∈ R1+m, którego i0- owa współrz ˛edna jest równa 1. Oczywi´scie, µε ∈ C (wystarczy rozwa˙zy´c punkt u∗ ∈ A). A wi ˛ec z ostatniej nierówno´sci
λi0 ≥ −ε m i=0, i =i0
λi,
co, wobec dowolno´sci ε > 0, oznacza, ˙ze λi0 ≥ 0.
Mno˙zniki λi, i = 1, ..., m, spełniaj ˛a warunek (16). Ustalmy dowolny wska´znik i0 ∈ {1, ..., m}. Je´sli fi0(u∗) = 0, to oczywi´scie λi0fi0(u∗) = 0. Przypu´s´cmy wi ˛ec,
˙ze fi0(u∗) < 0 i rozwa˙zmy punkt µδ = (δ, 0, ..., 0, fi0(u∗), 0, ..., 0) ∈ R1+m z dowol- nie ustalon ˛a liczb ˛a δ > 0 i i0-ow ˛a współrz ˛edn ˛a równ ˛a fi0(u∗). Oczywi´scie µδ ∈ C (wystarczy rozwa˙zy´c punkt u∗ ∈ A). Z nierówno´sci (18) wynika, ˙ze
λi0fi0(u∗) ≥ −λ0δ, co, wobec dowolno´sci δ > 0, oznacza, ˙ze
λi0fi0(u∗) ≥ 0,
czyli λi0 ≤ 0. Wobec faktu, ˙ze λi0 ≥ 0, mamy wi ˛ec równo´s´c λi0 = 0 i w konsekwencji λi0fi0(u∗) = 0.
Spełniony jest warunek (15). Niech u ∈ A. Rozwa˙zmy punkt postaci (J(u)+
δ, f1(u), ..., fm(u)) ∈ R1+m, gdzie δ > 0 jest dowolnie ustalone. Oczywi´scie punkt ten nale˙zy do zbioru C (wystarczy rozwa˙zy´c punkt u). Zatem, korzystaj ˛ac z nierówno´sci (18), mamy
λ0J(u) + m
i=1
λifi(u) ≥ −λ0δ.
St ˛ad, wobec dowolno´sci δ > 0,
λ0J(u) + m
i=1
λifi(u) ≥ 0
dla u ∈ A. Ponadto z (16) i faktu, ˙ze J(u∗) = 0 mamy
0 = λ0J(u∗) + m
i=1
λifi(u∗). (19)
A wi ˛ec
λ0J(u∗) + m
i=1
λifi(u∗) = min
x∈A(λ0J(u) + m
i=1
λifi(u)). (20)
Przypu´s´cmy teraz, ˙ze spełniony jest warunek (17), t.zn. istnieje punkt u ∈ A taki,
˙ze
fi(u) < 0, i = 1, ..., m, oraz λ0 = 0. Wówczas z (19) wynika, ˙ze
λ0J(u) + m
i=1
λifi(u) = m
i=1
λifi(u)
< 0 = λ0J(u∗) + m
i=1
λifi(u∗),
co jest sprzeczne z (20). Zatem λ0 > 0.
Dostateczno´s´c. Załó˙zmy, ˙ze istniej ˛a mno˙zniki λ0 > 0, λ1, ..., λm ≥ 0 takie, ˙ze spełnione s ˛a warunki (15), (16), przy czym u∗ ∈ U . Bez zmniejszania ogólno´sci rozwa˙za´n mo˙zemy zało˙zy´c, ˙ze λ0 = 1. Wówczas, dla dowolnego u ∈ U mamy
J(u) ≥ J(u) + m
i=1
λifi(u) ≥ J(u∗) + m
i=1
λifi(u∗) = J(u∗).
Oznacza to, wobec dowolno´sci u ∈ U, i˙z u∗ jest rozwi ˛azaniem globalnym zadania (14).
Uwaga 25 Łatwo wida´c, ˙ze przy zało˙zeniach wypukło´sci (podobnie, jak wcze´sniej) ka˙zde rozwi ˛azanie lokalne zadania (14) jest jego rozwi ˛azaniem globalnym.
Z faktu, ˙ze w przypadku funkcji wypukłej na przestrzeni Rn punkt, w którym jest ona ró˙zniczkowalna jest punktem minimum globalnego wtedy i tylko wtedy, gdy gradient w tym punkcie znika, wynika nast ˛epuj ˛acy
Wniosek 26 Niech J, f1,...,fm : Rn → R b ˛ed ˛a funkcjami wypukłymi i ró˙zniczkowal- nymi w punkcie u∗. Je´sli u∗ jest rozwi ˛azaniem globalnym zadania (14) ze zbiorem A = Rn, to istniej ˛a mno˙zniki Lagrange’a λ0 ≥ 0, λ1 ≥ 0,...,λm ≥ 0 nie znikaj ˛ace jednocze´snie i takie, ˙ze
λ0∇J(u∗) +m
i=1λi∇fi(u∗) = 0,
λifi(u∗) = 0, i = 1, ...m.
Je´sli ponadto istnieje punkt u ∈ Rn taki, ˙ze
fi(u) < 0, i = 1, ..., m, to λ0 = 0 i mo˙zna przyj ˛a´c λ0 = 1.
Na odwrót, je´sli istniej ˛a λ0 > 0, λ1 ≥ 0,...,λm ≥ 0, takie, ˙ze λ0∇J(u∗) +m
i=1λi∇fi(u∗) = 0, λifi(u∗) = 0, i = 1, ...m, f1(u∗) ≤ 0, ..., fm(u∗) ≤ 0,
to u∗ jest rozwi ˛azaniem globalnym zadania (14) ze zbiorem A = Rn.
Drug ˛a cz ˛e´s´c powy˙zszego twierdzenia mo˙zna traktowa´c jako odwrócenie drugiej zasady mno˙zników Lagrange’a (przy zało˙zeniu wypukło´sci).
3.4 Metody numeryczne - metoda projekcji gradientu
Mówimy, ˙ze funkcja J : U → R, gdzie U jest wypukłym podzbiorem Rn, jest silnie wypukła, je´sli istnieje stała κ > 0 taka, ˙ze
J(αu + (1 − α)v) ≤ αJ(u) + (1 − α)J(v) − α(1 − α)κ |u − v|2
dla α ∈ [0, 1], u, v ∈ U . Mo˙zna pokaza´c, ˙ze J jest silnie wypukła na U ze stał ˛a κ wtedy i tylko wtedy, gdy funkcja g(u) = J(u) − κ |u|2 jest wypukła na U.
Symbolem PU(u) oznaczamy rzut punktu u ∈ Rn na wypukły i domkni ˛ety zbiór U ⊂ Rn, t.zn. punkt nale˙z ˛acy do zbioru U i spełniaj ˛acy warunek
|u − PU(u)| = inf
v∈U|u − v| .
Metod ˛e projekcji gradientu, słu˙z ˛ac ˛a do numerycznego rozwi ˛azywania zadania postaci
J(u) → min .,
u ∈ U (21)
opisuje poni˙zsze twierdzenie. Dowód tego twierdzenia mo˙zna znale´z´c w [V].
Twierdzenie 27 (o zbie˙zno´sci metody projekcji gradientu) Niech U ⊂ Rn b ˛edzie zbiorem wypukłym i domkni ˛etym, J : U → R - funkcjonałem klasy C1, ograniczonym z dołu, którego gradient spełnia warunek Lipschitza (ze stał ˛a L). Je´sli (uk) ⊂ Rn jest ci ˛agiem okre´slonym wzorem rekurencyjnym
uk+1 = PU(uk− αk∇J(uk)), k = 0, 1, ..., (22) przy dowolnie ustalonym u0 ∈ U, gdzie parametr αk, k = 0, 1, ..., jest taki, ˙ze
ε0 ≤ αk ≤ 2
L + 2ε (23)
(tutaj ε0, ε s ˛a ustalonymi dodatnimi parametrami metody), to ci ˛ag (J(uk)) jest nierosn ˛acy oraz
k→∞lim uk− uk+1 = 0. (24)
Je´sli, dodatkowo, J jest silnie wypukły na U, to ci ˛ag (uk) jest zbie˙zny do u∗- jedynego punktu minimum funkcji J na U, przy czym istnieje stała c ≥ 0 taka, ˙ze
uk− u∗2 ≤ c
k, k = 1, 2, ... (25)
Uwaga 28 Stał ˛a c mo˙zna wyznaczy´c (por. [V]).
Przyklad 29 Rozwa˙zmy zadanie
J(u = (u1, u2)) = (u1− 1)2+ (u2 + 1)2 → min ,
u ∈ U = {u = (u1, u2) ∈ R2; f1(u) = −u1 ≤ θ, f2(u) = −u2 ≤ θ}
Aby rozwi ˛aza´c to zadanie, zastosujemy metod ˛e projekcji gradientu, z punktem pocz ˛atkowym u0 = (0, 0).
Zauwa˙zmy, ˙ze gradient ∇J(u1, u2) = (2(u1 − 1), 2(u2 + 1)) funkcji J spełnia warunek Lipschitza ze stał ˛a L = 2:
∇J(u1, u2) − ∇J(v1, v2)
=
(2(u1− 1), 2(u2+ 1)) − (2(v1− 1), 2(v2+ 1))
=
(2(u1− v1), 2(u2− v2))
= 2
(u1, u2) − (v1, v2)
.
Przyjmuj ˛ac ε0 = 14, ε = 3 wida´c, ˙ze musi by´c αk = 14 dla dowolnego k = 0, 1, ...
Mamy
∇J(u0) = ∇J(0, 0) = (−2, 2) i w konsekwencji
u1 = PU((0, 0) − 1
4(−2, 2)) = PU(1 2, −1
2) = (1
2, 0) = (1 − (1 2)1, 0).
Podobnie,
∇J(u1) = ∇J(1
2, 0) = (−1, 2) i w konsekwencji
u2 = PU((1
2, 0) − 1
4(−1, 2)) = PU(3 4, −1
2) = (3
4, 0) = (1 − (1 2)2, 0).
Poka˙zemy, korzystaj ˛ac z zasady indukcji matematycznej, ˙ze uk = (1 − (1
2)k, 0), k = 0, 1, ...
Istotnie, wzór jest prawdziwy dla k = 0. Załó˙zmy, ˙ze jest prawdziwy dla ustalonej liczby naturalnej k ≥ 0. Wówczas,
uk+1 = PU(uk− αk∇J(uk)) = PU((1 − (1
2)k, 0) − 1
4(2(1 − (1
2)k) − 2, 2 · 0 + 2)
= PU(1 − (1 2)k− 1
2(1 − (1
2)k) +1
4 · 2), 0 − 1
4· 2) = PU(1 − (1 2)k+ 1
2(1 2)k, −1
2)
= PU(1 − (1
2)k(1 −1 2), −1
2) = PU(1 − (1
2)k+1, −1
2) = (1 − (1
2)k+1, 0)
Zatem, korzystaj ˛ac z silnej wypukło´sci funkcji J na zbiorze U, a nawet R2 (bo J(u1, u2) − |(u1, u2)|2 = −2u1 + 2u2 + 2), stwierdzamy, ˙ze ci ˛ag (uk) jest zbie˙zny do jedynego rozwi ˛azania u∗. Tym samym
u∗ = lim uk = lim(1 − (1
2)k, 0) = (1, 0).
!["Razwitije promyszlennosti i torgowli w lewobiereżnych rajonach mołdowskogo Podniestrowia w porieformiennyj period (1861-1905 gg)", I. I. Żarkuckij, Kisziniew 1985 : [recenzja]](data:image/gif;base64,R0lGODlhAQABAIAAAP///wAAACH5BAEAAAAALAAAAAABAAEAAAICRAEAOw==)