Zlozonosc obliczeniowa problemow ciaglych

Materialy do wykladu:

Zlozonosc obliczeniowa problemow ciaglych

Leszek Plaskota

Instytut Matematyki Stosowanej i Mechaniki Uniwersytet Warszawski

13 czerwca 2014

Spis tre´ sci

1 Podstawowe pojecia_, 1

1.1 Zadanie, informacja, algorytm . . . 1 1.2 Algorytmy optymalne . . . 3 1.3 Gdy zadanie jest liniowe... . . 6

2 Algorytmy afiniczne dla funkcjona l´ow 9

2.1 Funkcjona l Minkowskiego . . . 9 2.2 Afiniczne algorytmy optymalne . . . 10 2.3 Gdy zadanie nie jest funkcjona lem... . . 13

3 Optymalno´s´c algorytm´ow splajnowych 17

3.1 Algorytmy splajnowe . . . 17 3.2 Splajny w przestrzeniach Hilberta . . . 18 3.3 Klasyczne funkcje splajnowe . . . 20

4 Informacja optymalna 25

4.1 Minimalny promie´n i optymalna informacja . . . 25 4.2 Informacja optymalna w przestrzeniach Hilberta . . . 26 4.3 Ca lkowanie funkcji r-g ladkich . . . 29

5 Algorytmy adaptacyjne 33

5.1 Informacja adaptacyjna a nieadaptacyjna . . . 33 5.2 Kiedy adaptacja nie pomaga? . . . 34 5.3 Adaptacyjna kwadratura Simpsona . . . 36

6 Ca lkowanie funkcji z osobliwo´sciami 43

6.1 G l´owny wynik . . . 43 6.2 Pomocnicze lematy . . . 45

iii

6.3 Algorytm adaptacyjny . . . 48

7 Przypadek asymptotyczny 51 7.1 B lad asymptotyczny_, . . . 51

7.2 Twierdzenie o r´ownowa˙zno´sci . . . 52

7.3 Istotno´s´c za lo˙ze´n . . . 54

8 Ca lkowanie w [0, 1]^d 57 8.1 Sformu lowanie zadania . . . 57

8.2 Interpolacja na siatkach regularnych . . . 58

8.2.1 Posta´c wielomianu interpolacyjnego . . . 58

8.2.2 B lad interpolacji_, . . . 61

8.3 Kwadratury interpolacyjne . . . 63

8.3.1 Kwadratury proste . . . 63

8.3.2 Kwadratury z lo˙zone . . . 64

8.4 Przekle´nstwo wymiaru . . . 65

9 Metody Monte Carlo 69 9.1 Wstep, metody niedeterministyczne . . . ._, 69

9.2 Klasyczna metoda Monte Carlo . . . 70

9.2.1 Definicja i b lad . . . ._, 70

9.2.2 Ca lkowanie z waga . . . ._, 72

9.3 Redukcja wariancji . . . 73

9.3.1 Losowanie warstwowe . . . 73

9.3.2 Funkcje kontrolne . . . 76

9.4 Generowanie liczb (pseudo-)losowych . . . 78

9.4.1 Liniowy generator kongruencyjny . . . 79

9.4.2 Odwracanie dystrybuanty i ‘akceptuj albo odrzu´c’ . . . 79

9.4.3 Metoda Box-Muller dla rozk ladu gaussowskiego . . . . 81

10 Metody quasi-Monte Carlo 83 10.1 Co to sa metody quasi-Monte Carlo? . . . ._, 83

10.2 Dyskrepancja . . . 84

10.3 B lad quasi-Monte Carlo_, . . . 86

10.3.1 Formu la Zaremby . . . 86

10.3.2 Nier´owno´s´c Koksmy-Hlawki . . . 88

10.4 Ciagi o niskiej dyskrepancji_, . . . 91

10.4.1 Ciag Van der Corputa . . . ._, 91

SPIS TRE´SCI v 10.4.2 Konstrukcje Haltona i Sobol’a . . . 92 10.4.3 Sieci (t, m, d) i ciagi (t, d)_, . . . 93

Rozdzia l 1

Podstawowe poj ecia _,

1.1 Zadanie, informacja, algorytm

Nasze zadanie numeryczne bedziemy opisywa´_, c jako aproksymacje operatora_, S : F → G,

gdzie F jest pewna przestrzeni_, a liniow_, a, a G przestrzeni_, a unormowan_, a z_, norma k · k. Dok ladniej, chcemy aproksymowa´_, c warto´sci S(f ) dla wszystkich element´ow

f ∈ E ⊆ F,

gdzie E jest ustalonym zbiorem w przestrzeni F . Zdanie “f nale˙zy do E”

interpretujemy jako informacje a priori (pocz_, atkow_, a) o zadaniu._,

Zak ladamy, ˙ze opr´ocz informacji a priori dysponujemy r´ownie˙z informacja_, a posteriori o elemencie f , kt´ora jest postaci y = N (f ), gdzie

N : F → Y

jest operatorem informacji. Chocia˙z formalnie Y mo˙ze by´c dowolnym zbio- rem to zwykle Y = Rⁿ albo jest pozbiorem zbioru wszystkich sko´nczonych ciag´_, ow rzeczywistych. ´Zr´od lo informacji y nie jest istotne. Mo˙ze ona pocho- dzi´c np. z obserwacji albo wcze´sniejszych oblicze´n.

Ostatecznie, element rozwiazania S(f ) aproksymowany jest jako_, S(f ) = ϕ(y)˜

gdzie odwzorowanie

ϕ : Y → G 1

jest algorytmem (u˙zywajacym informacji N ). Mo˙zemy wi_, ec napisa´_, c, ˙ze ope- rator rozwiazania S jest aproksymowany przez z lo˙zenie_,

S = ϕ ◦ N.˜

Przyklad 1.1 Niech F bedzie zbiorem funkcji f : [0, 1] → R spe lniaj_, acych,

warunek Lipschitza, a E ⊂ F podzbiorem funkcji, dla kt´orych sta la Lip- schitza wynosi 1, tzn. dla dowolnych x, y ∈ [0, 1]

|f (x) − f (y)| ≤ |x − y|.

Informacja y = N (f ) o funkcji f ∈ F dana jest przez warto´sci f w sko´nczonej liczbie punkt´ow, tzn. N : F → Rⁿ oraz

N (f ) = [f (t1), f (t2), . . . , f (tn)],

gdzie t_i ∈ [0, 1], 1 ≤ i ≤ n. W przestrzeni F funkcji lipschitzowskich rozpa- trzymy dwa zadania: ca lkowanie i aproksymacje jednostajn_, a funkcji._,

W zadaniu ca lkowania operator rozwiazania S = Int : F → G = R_, wyra˙za sie wzorem_,

Int(f ) = Z 1

0

f (x) dx.

Algorytm wykorzystujacy informacj_, e o f dany jest jako ϕ : R_, ⁿ → R. Na przyk lad, ϕ mo˙ze by´c kwadratura,_,

ϕ([f (t1), . . . , f (tn)]) =

n

X

i=1

aif (ti).

W zadaniu aproksymacji jednostajnej mamy G = C([0, 1]) z norma_, kf k = kf k_C= max

0≤x≤1|f (x)|,

a operator rozwiazania dany jest jako S = App : F → C([0, 1]),_, App(f ) = f.

Tutaj algorytm ϕ : Rⁿ → C([0, 1]) konstruuje przybli˙zenie funkcji f , kt´ore jest funkcja ci_, ag l_, a. Na przyk lad, ϕ(N (f )) mo˙ze by´_, c kawa lkami liniowa in-_, terpolacja funkcji f w punktach t_{, i}, 1 ≤ i ≤ n.

1.2. ALGORYTMY OPTYMALNE 3

1.2 Algorytmy optymalne

Zauwa˙zmy, ˙ze algorytm jest funkcja jedynie y, a to oznacza, ˙ze wszystkie_, elementy zbioru

SN⁻¹y := { S(f₁) : f₁ ∈ E, N (f₁) = y }

sa aproksymowane t_, a sam_, a warto´sci_, a ϕ(y). St_, ad, je´sli zbi´_, or SN⁻¹y jest wieloelementowy, to zwykle S(f ) 6= ϕ(N (f )), czyli mamy do czynienia z nieuchronnym b ledem aproksymacji. Dla danej f b l_, ad ten wynosi_,

kS(f ) − ϕ(N (f ))k.

Jasne jest, ˙ze chcemy skonstruowa´c algorytm “najlepszy” z mo˙zliwych.

W tym celu musimy mie´c kryterium por´ownywania r´o˙znych algorytm´ow.

Spo´sr´od wielu mo˙zliwo´sci wybierzemy kryterium b ledu najgorszego (pesymi-_, stycznego). Dok ladniej, b lad najgorszy (ang. worst case error) algorytmu ϕ_, korzystajacego z informacji N wyra˙za si_, e wzorem_,

e^wor(N, ϕ) = sup

f ∈E

kS(f ) − ϕ(N (f ))k.

Definicja 1.1 Algorytm ϕ^∗ nazywamy optymalnym dla danej informacji N je´sli ma najmniejszy b lad spo´_, sr´od wszystkich algorytm´ow wykorzystujacych_, informacje N , tzn._,

e^wor(N, ϕ^∗) = inf

ϕ e^wor(N, ϕ)

Podamy teraz wygodna interpretacj_, e geometryczn_, a algorytmu optymal-_, nego. W tym celu, przypomnijmy najpierw, ˙ze promieniem (Czebyszewa) zbioru A ⊆ G nazywamy wielko´s´c

r(A) = inf

g∈Gsup

g1∈A

kg − g₁k.

Je´sli dla pewnego g^∗ ∈ G mamy r(A) = sup_g1∈Akg^∗− g₁k to g^∗ jest centrum zbioru A.

Definicja 1.2 Promieniem informacji N nazywamy wielko´s´c rad(N ) = sup

y∈N (E)

r(SN⁻¹y).

Twierdzenie 1.1 Dla danej informacji N mamy

infϕ e^wor(N, ϕ) = rad(N ). (1.1) Algorytm optymalny ϕ^∗ istnieje wtedy i tylko wtedy gdy dla ka˙zdego y ∈ N (E) warunek r(SN⁻¹y) = rad(N ) implikuje, ˙ze zbi´or SN⁻¹y ma centrum. W szczeg´olno´sci, je´sli dla ka˙zdego y ∈ N (E) istnieje centrum g_y zbioru SN⁻¹y to algorytm centralny

ϕ^∗(y) = g_y ∀y ∈ N (E) jest optymalny.

Dow´od. Rozpisujac (faktoryzuj_, ac) b l_, ad dowolnego algorytmu ϕ wzgl_, edem_, informacji mamy

e^wor(N, ϕ) = sup

y∈N (E)

sup

f ∈E∩N⁻¹y

kS(f ) − ϕ(y)k

= sup

y∈N (E)

sup

g∈SN⁻¹y

kg − ϕ(y)k.

Z definicji promienia zbioru mamy, ˙ze dla ka˙zdego y inf

ϕ(y) sup

g∈SN⁻¹y

kg − ϕ(y)k = r(SN⁻¹y), a stad (1.1)._,

Aby pokaza´c pozosta la cz_, e´s´_, c tezy, wystarczy zauwa˙zy´c, ˙ze je´sli dla pew- nego y mamy r(SN⁻¹y) < rad(N ) i centrum nie istnieje to mo˙zna znale´z´c ˜g_y dla kt´orego

r(SN⁻¹y) < sup

g∈SN⁻¹y

kg − ˜g_yk ≤ rad(N ).

Dlatego w tym przypadku mo˙zna przyja´_,c ϕ^∗(y) = ˜g_y.

Z drugiej strony, je´sli dla pewnego y mamy r(SN⁻¹y) = rad(N ) i centrum nie istnieje to algorytm optymalny nie istnieje, bo wtedy dla dowolnego ϕ(y)

sup

g∈SN⁻¹y

kg − ϕ(y)k > r(SN⁻¹y) = rad(N ). 

Nie zawsze latwo jest znale´z´c centrum zbioru, a tym samym algorytm optymalny. Poka˙zemy teraz klase algorytm´_, ow, kt´ore sa bliskie optymalnym,_, ale sa prostsze w konstrukcji._,

1.2. ALGORYTMY OPTYMALNE 5 Definicja 1.3 Algorytm ϕ^I nazywamy interpolacyjnym je´sli

ϕ^I(y) = S(f_y) ∀y ∈ N (E)

gdzie f_y jest dowolnym elementem interpolujacym dane, tzn. spe lniaj_, acym_, f_y ∈ E oraz N (f_y) = y.

Zanim poka˙zemy formu le na b l_, ad algorytmu interpolacyjnego, przypo-_, mnimy, ˙ze ´srednica zbioru A ⊂ G nazywamy wielko´s´_, c

d(A) = sup

g1,g2∈A

kg₁− g₂k.

Latwo wykaza´c, ˙ze r(A) ≤ d(A) ≤ 2 · r(A) (patrz ´cwiczenie 1.1).

Definicja 1.4 ´Srednica informacji N nazywamy wielko´_, s´c diam(N ) = sup

y∈N (E)

d(SN⁻¹y).

Oczywi´scie

rad(N ) ≤ diam(N ) ≤ 2 · rad(N ).

Ponadto, je´sli S jest funkcjona lem to diam(N ) = 2 rad(N ).

Twierdzenie 1.2 Dla algorytmu interpolacyjnego ϕ^I korzystajacego z infor-_, macji N mamy

e^wor(N, ϕ^I) ≤ diam(N ) ≤ 2 · rad(N ).

Dow´od. Z definicji algorytmu interpolacyjnego oraz ´srednicy zbioru wy- nika, ˙ze dla dowolnego f ∈ E o informacji y = N (f ),

kS(f ) − ϕ^I(y)k = kS(f ) − S(f_y)k ≤ d(SN⁻¹y) ≤ diam(N ). 

Przyklad 1.2 Rozpatrzmy zadania ca lkowania i aproksymacji jednostajnej z przyk ladu 1.1. Dla danej informacji y = [y₁, y₂, . . . , y_n] interpretowanej jako warto´sci pewnej funkcji z E w punktach odpowiednio

0 ≤ t₁ < t₂ < · · · < t_n≤ 1,

definujemy koperte g´_, orna f_{, y}⁺ i koperte doln_, a f_{, y}⁻ jako f_y⁺(x) = min

1≤i≤n yi+ |x − ti|, f_y⁻(x) = max

1≤i≤n y_i− |x − t_i|.

Latwo zauwa˙zy´c, ˙ze f_y⁺, f_y⁻ ∈ N⁻¹y oraz je´sli f ∈ N⁻¹y to f_y⁻ ≤ f ≤ f_y⁺. Stad_,

ϕ^∗_Int(y) = Int(f_y⁺) + Int(f_y⁻) 2

jest algorytmem centralnym dla ca lkowania.

Z kolei dla aproksymacji jednostajnej algorytmem centralnym jest ϕ^∗_App(y) = f_y⁺+ f_y⁻

2 .

1.3 Gdy zadanie jest liniowe...

Zadanie nazywamy liniowym gdy operatory rozwiazania S i informacji N s_, a_, odwzorowaniami liniowymi. Oczywi´scie, wtedy r´ownie˙z przeciwdziedzina Y operatora N musi by´c przestrzenia liniow_, a, na przyk lad Y = R_, ⁿ. Dla zada´n liniowych formu ly na promie´n i ´srednice informacji znacznie si_, e upraszczaj_, a._,

Dla zbioru A ⊂ F definiujemy zbi´or bal(A) = a₁− a₂

2 : a₁, a₂ ∈ A

 .

Latwo zauwa˙zy´c, ˙ze niezale˙znie od A, zbi´or bal(A) jest zbalansowany, czyli symetryczny wzgledem zera. Ponadto, je´sli A jest wypuk ly i zbalansowany_, to bal(A) = A (´cwiczenie 1.5).

Twierdzenie 1.3 Je´sli operatory rozwiazania S i informacji N s_, a liniowe_, to

diam(N ) = 2 · sup

h∈bal(E)∩ker(N )

kShk.

Je´sli, dodatkowo, zbi´or E jest wypuk ly i zbalansowany to diam(N ) = 2 · sup

h∈E∩ker(N )

kShk.

1.3. GDY ZADANIE JEST LINIOWE... 7 Dow´od. Niech f₁, f₂ ∈ E, N f₁ = N f₂. Wtedy (f₁ − f₂)/2 ∈ bal(E) i N ((f₁− f₂)/2) = 0. Stad_,

kSf₁− Sf₂k = 2 ·

S f₁− f₂ 2



≤ 2 · sup{ kShk : h ∈ bal(E), N h = 0 } i wobec dowolno´sci f₁, f₂ nier´owno´s´c “≤” jest udowodniona.

Aby pokaza´c nier´owno´s´c w druga stron_, e zauwa˙zmy, ˙ze je´sli h ∈ bal(E),_, N h = 0 to istnieja f_{, 1}, f₂ ∈ E takie, ˙ze h = (f₁ − f₂)/2 i N f₁ = N f₂ =: y.

Stad_,

2 · kShk = kSf₁− Sf₂k ≤ d(SN⁻¹y) ≤ diam(N ) i teza wynika z dowolno´sci h.

Pozosta la cze´s´_, c twierdzenia wynika z faktu, ˙ze je´sli A jest wypuk ly i zbalansowany to bal(A) = A. 

Przyklad 1.3 Zadania ca lkowania i aproksymacji jednostajnej, zdefiniowa- ne w przyk ladzie 1.1 sa zadaniami liniowymi._, Ponadto, zbi´or E funkcji spe lniajacych warunek Lipschitza ze sta l_, a 1 jest wypuk ly i zbalansowany._, Dlatego mo˙zemy zastosowa´c twierdzenie 1.3.

Przypominajac, ˙ze przez f_{, 0}⁺ oznaczyli´smy koperte g´_, orna dla informacji_, zerowej, dla ca lkowania mamy

diam_Int(N ) = 2 Z 1

0

f₀⁺(x) dx = t²₁+ (1 − t_n)²+1 2

n

X

i=2

(t_i− t_i−1)²,

a dla aproksymacji jednostajnej diam_App(N ) = 2 max

0≤x≤1f₀⁺(x) = max { 2t₁, 2(1 − t_n), t_i− t_i−1, 2 ≤ i ≤ n } . Poniewa˙z Int jest funkcjona lem to mamy rad_Int(N ) = diam_Int(N )/2. Sto- sujac interpretacje geometryczne mo˙zna pokaza´_, c, ˙ze r´ownie˙z rad_App(N ) = diam_App(N )/2 (´cwiczenie 1.7).

Cwiczenia ´

Cw. 1.1 Wyka˙z, ˙ze dla dowolnego zbioru A ⊆ G mamy r(A) ≤ d(A) ≤ 2 · r(A).

Cw. 1.2 Znajd´z przyk lad przestrzeni G o nastepuj_, acej w lasno´sci: dla do-_, wolnego 1 ≤ c ≤ 2 istnieje zbi´or A_c ⊂ G taki, ˙ze d(A) = c · r(A).

Cw. 1.3 Podaj przyk lad przestrzeni G i zbioru A ⊂ G dla kt´orego (i) centrum nie istnieje,

(ii) centrum nie jest wyznaczone jednoznacznie.

Cw. 1.4 Za l´o˙zmy, ˙ze je´sli zbi´or A ⊂ G ma ´srodek symetrii, tzn. istnieje g^∗ ∈ G takie, ˙ze je´sli g ∈ A to 2g^∗− g ∈ A. Wyka˙z, ˙ze wtedy g^∗ jest centrum A oraz r(A) = d(A)/2.

Cw. 1.5 Wyka˙z, ˙ze dla dowolnego A ⊆ G zbi´or bal(A) jest (i) zbalansowany,

(ii) wypuk ly o ile A jest wypuk ly,

(iii) r´owny A o ile A jest wypuk ly i zbalansowany.

Cw. 1.6 Wyka˙z, ˙ze je´sli dla dw´och informacji liniowych N₁, N₂ : F → Rⁿ mamy ker N₁ = ker N₂ to dla dowolnego zadania S na dowolnym zbiorze E mamy rad(N₁) = rad(N₂). Czy implikacja odwrotna jest r´ownie˙z prawdziwa?

Cw. 1.7 Wyka˙z, ˙ze dla zadania aproksymacji jednostajnej z przyk ladu 1.1 mamy diam_App(N ) = 2 rad_App(N ) oraz interpolacja kawa lkami liniowa oparta na n wez lach t_, i jest algorytmem optymalnym.

Rozdzia l 2

Algorytmy afiniczne dla funkcjona l´ ow

Jasne jest, ˙ze zale˙zy nam na istnieniu algorytm´ow ϕ, kt´ore sa nie tylko opty-_, malne, albo bliskie optymalnym, ale jednocze´snie sa proste w realizacji. Do_, takich algorytm´ow nale˙za algorytmy liniowe lub afiniczne, tzn. takie kt´_, ore liniowo albo afinicznie zale˙za od uzyskanej informacji y o elemencie f . Na_, przyk lad, dla zadania ca lkowania algorytmami liniowymi sa dobrze znane_, kwadratury. W tym rozdziale poka˙zemy istnienie takich algorytm´ow dla aproksymacji funkcjona low liniowych S na podstawie informacji liniowej N . Najpierw jednak przypomnimy pojecie funkcjona lu Minkowskiego (ang._, gauge function), kt´ore bedzie pe lni´_, c wa˙zna rol_, e w naszych rozwa˙zaniach._,

2.1 Funkcjona l Minkowskiego

Niech X bedzie dowoln_, a przestrzeni_, a liniow_, a._, Zbi´or B ⊆ X nazywamy poch laniajacym gdy dla ka˙zdego x ∈ X istnieje α > 0 taka, ˙ze αx ∈ B._,

Niech B ⊆ X bedzie zbiorem wypuk lym, zbalansowanym i poch laniaj_, a-_, cym. Dla x ∈ X definiujemy funkcjona l Minkowskiego

p_B(x) = inf{ t > 0 : x/t ∈ B }, Poniewa˙z B jest poch laniajacy to 0 ≤ p_{, B}(x) < ∞.

Lemat 2.1 Funkcjona l p_B jest seminorma na podprzestrzeni X._, 9

Dow´od. Je´sli α = 0 to p_B(αx) = p_B(0) = 0 = αp_B(x). Je´sli za´s α 6= 0 to p_B(αx) = |α| inf{t/|α| > 0 : |α|x/t ∈ B}

= |α| inf{s > 0 : x/s ∈ B} = |α|p_B(x).

Aby pokaza´c nier´owno´s´c tr´ojkata zauwa˙zmy najpierw, ˙ze je´sli x/t, y/s ∈ B_, to wobec wypuk lo´sci B mamy

x + y t + s =

 t t + s



·x t +

 s t + s



· y s ∈ B.

Dlatego

p_B(x) + p_B(y) = inf{t > 0 : x/t ∈ B} + inf{s > 0 : y/s ∈ B}

= inf{t + s > 0 : x/t, y/s ∈ B}

≥ inf{t + s > 0 : (x + y)/(t + s) ∈ B}

= p_B(x + y). 

2.2 Afiniczne algorytmy optymalne

Jeste´smy ju˙z gotowi, aby pokaza´c g l´owne twierdzenie tego rozdzia lu.

Twierdzenie 2.1 Niech S : F → R bedzie funkcjona lem liniowym, a N :_, F → Y informacja liniow_, a, przy czym Y = R_, ⁿ. (i) Je´sli E jest zbiorem wypuk lym i zbalansowanym to istnieje algorytm optymalny, kt´ory jest liniowy.

(ii) Je´sli E jest wypuk ly to istnieje algorytm optymalny, kt´ory jest afiniczny.

Dow´od.

(i) Bez zmniejszenia og´olno´sci mo˙zemy za lo˙zy´c, ˙ze E jest te˙z poch laniajacy._, Inaczej mogliby´smy ograniczy´c sie do podprzestrzeni rozpi_, etej przez wszyst-_, kie elementy zbioru E, wzgledem kt´_, orej E jest poch laniajacy._,

Oznaczmy przez r promie´n informacji N , r := rad(N ) = sup

h∈E∩ker(N )

|Sh|.

Je´sli r = 0 to dla ka˙zdego y ∈ N (F ) zbi´or SN⁻¹y jest jednoelementowy.

Algorytm ϕ(y) = SN⁻¹y jest wiec dobrze okre´slony, liniowy i dok ladny._,

2.2. AFINICZNE ALGORYTMY OPTYMALNE 11 Za l´o˙zmy wiec, ˙ze r > 0. Niech_,

B := { (N f, Sf ) : f ∈ E } ⊂ bY := Y × R

oraz p_B bedzie funkcjona lem Minkowskiego zbioru B. Niech dalej P b_, edzie_, jednowymiarowa podprzestrzeni_, a b_, Y element´ow postaci (0, g) dla g ∈ R.

Zauwa˙zmy, ˙ze dla ka˙zdego x = (0, g) ∈ P mamy p_B(x) = |g|/r, co wy- nika bezpo´srednio z definicji zbioru B i promienia informacji. Przestrze´n bY roz lo˙zymy na sume prost_, a,_,

Y = bb Y₀⊕ bY₁,

gdzie bY0 = {x ∈ bY : pB(x) = 0}, a bY1 jest dope lnieniem bY0 do bY zawie- rajacym P . Dalej b_, edziemy traktowa´_, c bY₁ jako przestrze´n unormowana z_, norma p_{, B}.

Na podprzestrzeni P definiujemy teraz funkcjona l liniowy ξ₁(0, g) = g/r.

Jego norma na P (indukowana przez p_B) wynosi 1. Zgodnie z twierdzeniem Hahna-Banacha o rozszerzaniu funkcjona l´ow, ξ₁ mo˙zna rozszerzy´c do funk- cjona lu ξ₂ okre´slonego na bY₁ nie zwiekszaj_, ac jego normy, tzn. takiego, ˙ze_,

1. ξ₂(x) = ξ₁(x) dla x ∈ P , oraz 2. |ξ₂(x)| ≤ p_B(x) dla x ∈ bY₁.

Funkcjona l ξ₂ rozszerzymy teraz po raz drugi, tym razem do funkcjona lu ξ₃ okre´slonego na ca lej przestrzeni bY . Mianowicie, dla x = x0 + x1, x0 ∈ bY0, x₁ ∈ bY₁ k ladziemy

ξ₃(x) = ξ₂(x₁).

Poniewa˙z, z nier´owno´sci tr´ojkata,_,

p_B(x₁) = p_B(x₁) − p_B(x₀) ≤ p_B(x) ≤ p_B(x₁) + p_B(x₀) = p_B(x₁), to p_B(x) = p_B(x₁), a stad_,

|ξ₃(x)| = |ξ₂(x₁)| ≤ p_B(x₁) = p_B(x).

Funkcjona l ξ₃ przedstawimy w postaci

ξ₃(y, g) = ξ₃(y, 0) + ξ₃(0, g) = ϕ₁(y) + g/r, gdzie ϕ₁(y) = ξ₃(y, 0).

Dla dowolnego f ∈ E mamy (N f, Sf ) ∈ B i dlatego

|ξ₃(N f, Sf )| =    

ϕ₁(N f ) + Sf r

≤ 1,

Podstawiajac ϕ = −rϕ_{, 1} otrzymujemy ostatecznie

|Sf − ϕ(N f )| ≤ r,

a to oznacza, ˙ze ϕ jest poszukiwanym optymalnym algorytmem liniowym.

(ii) Rozpatrzmy to samo zadanie S z taka sam_, a informacj_, a N , ale ze zbio-_, rem bal(E) zamiast E. Oczywi´scie promie´n informacji sie nie zmienia i wy-_, nosi r. Poniewa˙z bal(E) jest wypuk ly i zbalansowany, istnieje algorytm li- niowy ϕ, kt´ory jest optymalny. Dla dowolnych f₁, f₂ ∈ E mamy wiec_,

S f₁− f₂ 2



− ϕ



N f₁− f₂ 2



≤ r, albo

|(Sf₁− ϕ(N f₁)) − (Sf₂− ϕ(N f₂)| ≤ 2r, a stad_,

sup

f ∈E

(Sf − ϕ(N f )) − inf

f ∈E(Sf − ϕ(N f )) ≤ 2r.

Przesuwajac algorytm ϕ o ´srodek odcinka o ko´_, ncach wyznaczonych przez powy˙zsze ‘sup’ i ‘inf’ otrzymujemy algorytm afiniczny, kt´orego b lad wynosi_, r, czyli jest optymalny. 

Przyklad 2.1 Powr´o´cmy na moment to zadania ca lkowania funkcji lipschit- zowskich z przyk ladu 1.1, na podstawie warto´sci funkcji podca lkowej w punk- tach t₁ < · · · < t_n. Jak wiemy, w tym przypadku algorytm optymalny (a nawet centralny) ϕ^∗ jest ´srednia arytmetyczn_, a ca lek z koperty dolnej i ko-_, perty g´ornej. Latwo zauwa˙zy´c, ˙ze ϕ^∗ to nic innego jak z lo˙zona kwadratura trapez´ow

φ^∗([f (t₁), . . . , f (t_n)])

= t1f (t1) +

n

X

i=2

(ti− ti−1) f (t_i−1) + f (t_i) 2



+ (1 − tn)f (tn)

= f (t₁) t₁+ t₂ 2

 +

n−1

X

i=2

f (t_i) t_i−1+ t_i+1 2



+ f (t_n)



1 − t_n−1+ t_n 2

 ,

kt´ora jest oczywi´scie algorytmem liniowym.

2.3. GDY ZADANIE NIE JEST FUNKCJONA LEM... 13

2.3 Gdy zadanie nie jest funkcjona lem...

Je´sli zadanie S nie jest funkcjona lem, a operatorem liniowym to twierdze- nie 2.1 nie jest w og´olno´sci prawdziwe. Podamy teraz ekstremalny przyk lad zadania liniowego korzystajacego z informacji liniowej, z wypuk lym i zbalan-_, sowanym zbiorem E, dla kt´orego b lad dowolnego algorytmu liniowego jest_, niesko´nczony, a promie´n informacji jest dowolnie ma ly.

Niech X₁ bedzie przestrzeni_, a Hilberta z iloczynem skalarnym h·, ·i. Ro-_, zwa˙zmy liniowe i r´o˙znowarto´sciowe przekszta lcenie M : X₁ → X₁ spe lniajace_,

M (X₁) 6= X₁ oraz M (X₁) = X₁.

Niech F = M (X₁) i niech X₂ bedzie przestrzeni_, a unormowan_, a, tak_, a ˙ze X_{, 1} ⊂ X₂ i norma w X₂ jest s labsza od normy w X₁, tzn. k · k_X2 ≤ αk · k_X1 dla pewnej α > 0. Okre´slamy przestrze´n G jako X₁ z norma_,

kgk_G = kM gk_X2 ∀g ∈ X₁. Operator rozwiazania S : F → G definiujemy jako_,

S(f ) = g ⇐⇒ M g = f.

Zdefiniujemy teraz zbi´or E. We´zmy f1 ∈ X1\ F . Poniewa˙z F jest podprze- strzenia X_{, 1} to mo˙zemy zak lada´c bez zmniejszenia og´olno´sci, ˙ze kf₁k_X1 = 1.

Rozwa˙zmy rzut prostopad ly T w X₁ dany r´ownaniem T f = f − hf, f1if1 ∀f ∈ X1. Zbi´or E definiujemy jako

E = {f ∈ F : kT f k_X1 ≤ 1 }.

Oczywi´scie, E jest wypuk ly i zbalansowany. Wa˙zna dla p´_, o´zniejszych rozwa˙za´n w lasno´scia zbioru E jest, ˙ze chocia˙z f_{, 1} nie nale˙zy do E to pewna wielokrotno´s´c af_a aproksymacji f_a elementu f₁ ju˙z nale˙zy do E. Istotnie, dla ka˙zdego dodatniego a, wobec gesto´sci F w X_{, 1}, istnieje f_a ∈ F taki, ˙ze kf_a− f₁k_X1 ≤ a⁻¹. Poniewa˙z T f₁ = 0, mamy

kT (af_a)k_X1 = akT (f_a− f₁)k_X1 ≤ akf_a− f₁k_X1 ≤ 1.

Stad af_{, a} ∈ E.

Niech teraz N = [L₁, L₂, . . . , L_n] bedzie informacj_, a nieadaptacyjn_, a, gdzie_, L_i sa pewnymi funkcjona lami liniowymi._,

Lemat 2.2 Dla dowolnego algorytmu liniowego ϕ^L(N (f )) = Pn

j=1L_j(f )g_j, gdzie g_j ∈ G, mamy

e^wor(ϕ^L, N ) = +∞.

Dow´od. Niech af_a ∈ E, kf_a− f₁k_X1 ≤ a⁻¹. Wtedy e^wor(ϕ^L, N ) ≥ kaf_a−

n

X

j=1

L_j(af_a)g_jk_G

= a kaf_a−

n

X

j=1

L_j(af_a)M g_jk_X

2

≥ a kf₁−

n

X

j=1

L_j(f_a)M g_jk_X

2 − akf_a− f₁k_X2

≥ a inf

x∈Akf1− xkX2 − 1,

gdzie A = span(M g₁, M g₂, . . . , M g_n) ⊂ F . Poniewa˙z A jest sko´nczenie wy- miarowa i f1 ∈ A, infimum w ostatnim wzorze jest dodatnie. Wobec do-/ wolno´sci a mamy wiec e_, ^wor(ϕ^L, N ) = +∞. 

Teraz zdefiniujemy algorytm nieliniowy o b ledzie sko´_, nczonym, kt´ory ko- rzysta z informacji N . Zak ladamy, ˙ze funkcjona ly L_j sa postaci L_{, j} = h·, f_ji, gdzie fj sa wzajemnie prostopad le, tzn. hf_, i, fji = δi,j, oraz f2, f3, . . . , fn

nale˙za do F_{, 1}. (Przypomnijmy, ˙ze f₁ ∈ F/ ₁.) Niech ρ(N ) = sup

h∈X1∩ker N

khk_X2 khk_X1.

Poniewa˙z X₁ jest ciag lym zanurzeniem w X_{, 2}, ρ(N ) jest sko´nczone i dodatnie.

Nieliniowy algorytm ϕ^N definiujemy nastepuj_, aco. Ustalamy δ > 0. Wo-_, bec gesto´sci F w X_, 1, istnieje u1 = u1(N (f )) ∈ F takie, ˙ze

kM u₁− f₁k_X2 ≤ δρ(N )

|hf, f₁i|.

Poniewa˙z f₂, . . . , f_n ∈ M (X₁), istnieja u_{, 2}, . . . , u_n takie, ˙ze M u_j = f_j dla j = 2, 3, . . . , n. Definiujemy algorytm

ϕ^N(N (f )) = hf, f₁iu₁(N (f )) +

n

X

j=2

hf, f_jiu_j.

2.3. GDY ZADANIE NIE JEST FUNKCJONA LEM... 15 Zauwa˙zmy, ˙ze algorytm ϕ^N jest “ lagodnie” nieliniowy, poniewa˙z dla ustalo- nego hf, f₁i jest on afiniczny ze wzgledu na hf, f_{, 1}i, . . . , hf, f_ni. Poka˙zemy,

˙ze

e^wor(ϕ^N, N ) ≤ (1 + δ)ρ(N ).

W tym celu, dla f ∈ E ustalamy

e(f ) = kS(f ) − ϕ^N(N (f ))k_G = kf − hf, f₁iM u₁−

n

X

j=2

hf, f_jik_X

2. Mo˙zemy napisa´c, ˙ze f = hf, f₁if₁ + g, gdzie g = T f . Zatem hg, f₁i = 0.

Poniewa˙z hf₁, f_ji = 0, mamy hf, f_ji = hg, f_ji dla j = 2, . . . , n. K ladac_, h = g −Pn

j=2hg, f_jif_j dostajemy e(f ) ≤ |hf, f₁i| kf₁− M u₁k_X2 + kg −

n

X

j=2

hg, f_jif_jk_X

2 ≤ δρ(N ) + khk_X2. Poniewa˙z hf_i, f_ji = δ_i,j, mamy hh, f_ji = 0 dla j = 1, 2, . . . , n. Stad h ∈ ker N ._, Ponadto,

khk²_X

1 = kgk²_X

1 − 2

n

X

j=2

hg, f_ji²+

n

X

j=2

hg, f_ji² ≤ kgk²_X

1 = kT f k²_X

1 ≤ 1.

Stad khk_, X2 ≤ ρ(N ) i e(f ) ≤ (1 + δ)ρ(N ). Poniewa˙z jest to prawda dla_, dowolnych f ∈ E to mamy e^wor(ϕ^N, N ) ≤ (1 + δ)ρ(N ).

Promie´n informacji rad(N ) jest r´owny ρ(N ). Rzeczywi´scie, rad(N ) ≥ 1

2diam(N ) = sup{kS(h)k : h ∈ E ∩ ker N }

= sup{khk_X2 : h ∈ F ∩ ker N, kT hk_X1 = khk_X1 ≤ 1 }

= supnkhk_X2

khk_X1 : h ∈ X₁∩ ker No

= ρ(N ).

Z drugiej strony, rad(N ) ≤ e^wor(ϕ^N, N ) ≤ (1 + δ)ρ(N ). Poniewa˙z δ mo˙ze by´c dowolna liczb_, a dodatni_, a, rad(N ) = ρ(N )._,

W ko´ncu poka˙zemy, ˙ze promie´n informacji rad(N ) mo˙ze by´c dowolnie ma ly. Rzeczywi´scie, niech S : X₁ → X bedzie w lo˙zeniem, Sh = h ∀h._, Wtedy rad(N ) = kSk_{ker N}. Je´sli S jest zwarty to mo˙zemy wybra´c f₂, . . . , f_n tak, ˙ze rad(N ) da˙zy do zera gdy n → ∞._,

Cwiczenia ´

Cw. 2.1 Wyka˙z, ˙ze zadanie aproksymacji funkcjona lu liniowego na podsta- wie informacji liniowej danym zbiorze wypuk lym E jest tak trudne jak trudne jest najtrudniejsze podzadanie jednowymiarowe, tzn.

rad(E; N ) = sup

I⊂E

rad(I; N ), gdzie I oznacza odcinek domkniety._,

Cw. 2.2 Rozpatrzmy zadanie ca lkowania z waga wyk ladnicz_, a,_, S(f ) =

Z ∞ 0

f (x) exp(−x) dx,

w klasie E funkcji f : R⁺ → R, f(0) = 0, spe lniajacych warunek Lipschitza,

ze sta la 1, na podstawie informacji_,

N (f ) = [f (x₁), f (x₂), . . . , f (x_n)],

0 ≤ x₁ < x₂ < · · · < x_n. Znajd´z promie´n informacji N i wska˙z, je´sli istnieje, algorytm optymalny, kt´ory jest liniowy.

Cw. 2.3 Wyka˙z, ˙ze z lo˙zona kwadratura trpez´ow nie jest algorytmem opty- malnym dla zadania ca lkowania z Cw 2.2.

Cw. 2.4 Niech E bedzie klas_, a funkcji f ∈ C_, ¹([0, 1]) takich, ˙ze

|f⁰(x)| ≤ ψ(x),

gdzie ψ jest nieujemna, niemalejaca i ci_, ag la._, Zak ladajac, ˙ze informacja_, N (f ) = [f (0), f (1)], wska˙z, o ile istnieja, algorytm centralny oraz algorytm_, optymalny, kt´ory jest liniowy, dla zada´n

(i) ca lkowania,

(ii) aproksymacji f w normie jednostajnej k · k∞. Ile wynosi promie´n informacji dla obu zada´n?

Rozdzia l 3

Optymalno´ s´ c algorytm´ ow splajnowych

W klasycznym ujeciu splajny, czyli funkcje sklejane, to funkcje kawa lkami_, wielomianowe i do pewnego stopnia g ladkie w punktach ich sklejania. Natu- ralne czy periodyczne funkcje sklejane interpolujace dane posiadaj_, a r´_, owno- cze´snie pewne w lasno´sci minimalizacyjne, kt´ore przypomnimy w sekcji 3.3 i kt´ore sa punktem wyj´scia do uog´_, olnienia pojecia splajnu._,

3.1 Algorytmy splajnowe

Rozpatrujemy zadanie liniowe S : F → G z informacja liniow_, a N : F → R_, ⁿ. Zak ladamy, ˙ze w F zdefiniowana jest seminorma k · k_F.

Definicja 3.1 Niech ρ ≥ 1. Dla danej informacji y, element s(y) nazywamy splajnem je´sli minimalizuje seminorme w´_, sr´od wszystkich element´ow interpo- lujacych dane, tzn._,

(i) N (s(y)) = y,

(ii) ks(y)k_F ≤ ρ · inf{kf k_F : f ∈ F, N f = y }.

Algorytm ϕspl(y) = S(s(y)) dla y ∈ N (F ), nazywamy algorytmem splajno- wym.

Zauwa˙zmy, ˙ze splajn (a tym samym algorytm splajnowy) zawsze istnieje gdy ρ > 1, ale wtedy nie jest wyznaczony jednoznacznie.

17

Twierdzenie 3.1 Niech E = {f ∈ F : kf k_F ≤ 1} bedzie kul_, a jednostkow_, a_, w F . Wtedy dla ka´zdego f ∈ E mamy

kSf − ϕ_spl(N f )k ≤ c(f ) · diam(N ), gdzie c(f ) = (1 + ρ)kf k_F/2. Stad_,

e^wor(N, ϕ_spl) ≤ 1 + ρ

2 · diam(N ).

(Przyjmujemy, ˙ze je´sli kf kF = 0 i diam(N ) = ∞ to c(f )diam(N ) = ∞.) Dow´od. Bez zmniejszenia og´olno´sci mo˙zemy za lo˙zy´c, ˙ze je´sli khk_F = 0 i N h = 0 to Sh = 0, bo w przeciwnym przypadku promie´n informacji jest niesko´nczony.

Z w lasno´sci (i) splajnu mamy, ˙ze N (f − s(N f )) = 0, a z w lasno´sci (ii),

˙ze ks(N f )k_F ≤ ρkf k_F. Stad, je´sli kf − s(N f )k_{, F} = 0 to Sf − ϕ_spl(N f ) = S(f − s(N f )) = 0, a je´sli kf − s(N f )k_F 6= 0 to

kSf − ϕ_spl(N f )k = kf − s(N f )k_F · S

 f − s(N f ) kf − s(N f )k_F



≤ (kf k_F + ks(N f )k_F) · sup{kShk : khk_F ≤ 1, N h = 0}

= 1 + ρ

2 kf k_F · diam(N ).

Druga cze´s´_, c tezy wynika z faktu, ˙ze kf k_F ≤ 1. 

Algorytmy splajnowe sa wi_, ec co najwy˙zej dwa razy gorsze od optymalnych_, o ile zadanie liniowe jest zdefiniowane na kuli jednostkowej.

3.2 Splajny w przestrzeniach Hilberta

Za l´o˙zmy teraz, ˙ze F jest przestrzenia Hilberta z iloczynem skalarnym h·, ·i_{, F} i norma kf k_, F = phf, fiF, a informacja jest nie tylko liniowa, ale r´ownie˙z ciag la (co implikuje, ˙ze jej j_, adro jest podprzestrzeni_, a domkni_, et_, a). Okazuje_, sie, ˙ze wtedy splajn jest wyznaczony jednoznacznie i zale˙zy liniowo od danych_, y. Rzeczywi´scie, przedstawmy przestrze´n F w postaci sumy prostej,

F = ker N ⊕ F₁,

3.2. SPLAJNY W PRZESTRZENIACH HILBERTA 19 gdzie F₁ jest uzupe lnieniem ortogonalnym podprzestrzeni ker N do F . Niech dalej eN : F₁ → N (F ) bedzie obci_, eciem N do podprzestrzeni F_{, 1}, tzn. eN f = N f , ∀f . Oczywi´scie, eN jest bijekcja, a je´sli tak to odwzorowanie odwrotne_, Ne⁻¹ : N (F ) → F₁ istnieje i jest liniowe. Jednocze´snie, f_y := eN⁻¹y jest jedynym elementem splajnowym. Je´sli bowiem N f = y i f 6= f_y to f = f₀+ f_y, gdzie 0 6= f₀ ∈ ker N , i z twierdzenia Pitagorasa dostajemy

kf k²_F = kf₀k²_F + kf_yk²_F > kf_yk_F.

Za l´o˙zmy teraz, dla uproszczenia, ˙ze dimN (F ) = n. Wtedy N f = [hf, ξ₁i_F, hf, ξ₂i_F, . . . , hf, ξ_ni_F],

gdzie ξ_i sa liniowo niezale˙zne. (Z twierdzenia Riesza wynika, ˙ze takie ξ_{, j} istnieja.) Wtedy_,

F₁ = span{ξ₁, ξ₂, . . . , ξ_n},

bo jadro sk lada si_, e z element´_, ow prostopad lych do wszystkich ξ_j. Element splajnowy mo˙zna wyznaczy´c jako s(y) = Pn

j=1a_jξ_j, gdzie a = (a₁, . . . , a_n) jest rozwiazaniem uk ladu r´_, owna´n liniowych Ga = y z macierza_,

G = (hξ_i, ξ_ji)ⁿ_i,j=1 i prawa stron_, a y = (y_{, 1}, . . . , y_n).

Wzory te przyjmuja szczeg´_, olnie prosta posta´_, c gdy elementy ξ_j tworza_, uk lad ortonormalny. Wtedy bowiem a = y oraz

s(y) =

n

X

j=1

y_jξ_j.

Twierdzenie 3.2 Niech S : F → G bedzie zadaniem liniowym, a N in-_, formacja liniow_, a i ci_, ag l_, a. Je´_, sli ponadto F jest przestrzenia Hilberta, a E_, kula jednostkow_, a w F , to algorytm splajnowy ϕ_{, spl} jest jedynym algorytmem optymalnym,

e^wor(N, ϕ_spl) = rad(N ) = 1

2diam(N ) = sup{ kShk : h ∈ ker N, khk_F ≤ 1 }.

Dow´od. Wobec tego, ˙ze

E ∩ N⁻¹y = { s(y) + h : h ∈ ker N, khk²_F ≤ 1 − ks(y)k²_F},

mamy

S(E ∩ N⁻¹y) = { S(s(y)) + Sh : h ∈ ker N, khk²_F ≤ 1 − ks(y)k²_F}.

To oznacza, ˙ze S(E ∩ N⁻¹y) jest symetryczny wok´o l S(s(y)) = ϕ_spl(y). A je´sli tak, to ϕ_spl(y) jest jego centrum (patrz. ´cwiczenie 1.4) oraz

r(S(E ∩ N⁻¹y) = sup{ kShk : h ∈ ker N, khk²_F ≤ 1 − ks(y)k²_F}, co ko´nczy dow´od. 

3.3 Klasyczne funkcje splajnowe

W tym podrozdziale poka˙zemy, ˙ze klasyczne splajny wielomianowe sa te˙z_, splajnami w og´olniejszym sensie, zdefiniowanym na poczatku tego rozdzia lu._, Ograniczymy sie przy tym do naturalnych splajn´_, ow wielomianowych, chocia˙z fakty pokazane poni˙zej sa prawdziwe r´_, ownie˙z dla splajn´ow okresowych.

Niech a < b oraz dane bed_, a w_, ez ly_,

a = t₀ ≤ t₁ < t₂ < · · · < t_n≤ t_n+1= b.

Niech Πk bedzie przestrzeni_, a wielomian´_, ow stopnia co najwy˙zej k.

Definicja 3.2 Splajnem naturalnym rzedu r ≥ 1 odpowiadaj_, acym w_, ez lom_, t_i, 1 ≤ i ≤ n, nazywamy funkcje p : R → R spe lniaj_, ac, a warunki:_,

(a) p ∈ Π_2r−1 na ka˙zdym z podprzedzia l´ow (t_i, t_i+1), 0 ≤ i ≤ n, (b) p ma pochodne rzedu do 2r − 2 w l_, acznie na ca lej prostej R,_, (c) p ∈ Π_r−1 na p´o lprostych (−∞, t₁] i [t_n, ∞).

Niech Wr(a, b) bedzie przestrzeni_, a Sobolewa funkcji f : [a, b] → R posia-_, dajacych pochodn_, a rz_, edu r − 1, kt´_, ora jest bezwzglednie ci_, ag la_, ¹ i f^(r) jest ca lkowalna z kwadratem,

W_r(a, b) = {f : [a, b] → R : f^(r−1) bezwgl. ciag la i f_, ^(r)∈ L²(a, b) }.

Oczywi´scie, splajny naturalne rzedu r ograniczone do przedzia lu [a, b] tworz_, a_, sko´nczenie wymiarowa podprzestrze´_, n liniowa w W_{, r}, kt´ora oznaczymy przez_, Sr.

1Przypomnujmy, ˙ze g : [a, b] → R jest bezwzglednie ci, ag la gdy istnieje funkcja_, ca lkowalna h taka, ˙ze g(x) = g(a) +Rx

a h(t) dt. Funkcje h nazywamy (uog´_, olniona) po-_, chodna g_, ⁰ funkcji g.

3.3. KLASYCZNE FUNKCJE SPLAJNOWE 21 Lemat 3.1 Niech f ∈ W_r(a, b),

f (t_i) = 0, 1 ≤ i ≤ n.

Wtedy dla dowolnego naturalnego splajnu p rzedu r mamy_, Z b

a

f^(r)(x)p^(r)(x) dx = 0,

tzn. f jest prostopad la do Sr wzgledem semi-iloczynu skalarnego_, hf1, f2iF :=

Z b a

f₁^(r)(x)f₂^(r)(x2) dx.

Dow´od. Ca lkujac przez cz_, e´sci mamy_, Z b

a

f^(r)(x)p^(r)(x) dx =f^(r−1)(x)p^(r)(x)^b

a− Z b

a

f^(r−1)(x)p^(r+1)(x) dx.

Zauwa˙zmy, ˙zef^(r−1)(x)p^(r)(x)b

a = 0, poniewa˙z p^(r)zeruje sie na p´_, o lprostych (−∞, t₁] i [t_n, +∞). Postepuj_, ac indukcyjnie dostajemy_,

Z b a

f^(r)(x)p^(r)(x) dx = − Z b

a

f^(r−1)(x)p^(r+1)(x) dx

= f^(r−2)(x)p^(r+1)(x)^b

a− Z b

a

f^(r−2)(x)p^(r+2)(x) dx

= · · · = (−1)ⁱ Z b

a

f^(r−i)(x)p^(r+i)(x) dx

= Z b

a

f⁰(x)p^(2r−1)(x) dx.

Funkcja p^(2r−1) jest sta la na ka˙zdym pododcinku [t_i, t_i+1]. Oznaczajac przez_, pi jej warto´s´c na [ti, ti+1] otrzymujemy ostatecznie

Z b a

f⁰(x)p^(2r−1)(x) dx =

n−1

X

i=1

p_i(f (t_i−1) − f (t_i)) = p_mf (b) − p₁f (a) = 0. 

Lemat 3.2 Dla dowolnej funkcji f ∈ W_r(a, b) istnieje naturalny splajn p_f rzedu r interpoluj_, acy f w punktach t_{, i}, tzn.

p_f(t_i) = f (t_i), 1 ≤ i ≤ n.

Dodatkowo, je´sli n ≥ r to p_f jest wyznaczony jednoznacznie oraz kp_fk_F ≤ kf k_F,

gdzie kgk_F =phg, giF = qRb

a (g^(r)(x))² dx.

Dow´od. Je´sli n < r to jako pf mo˙zemy wzia´_,c dowolny wielomian stopnia r − 1 interpolujacy f . Niech wi_, ec n ≥ r._,

Najpierw poka˙zemy, ˙ze p_f ≡ 0 jest jedynym splajnem interpolujacym_, dane zerowe, tzn. pf(ti) = 0 ∀i. Rzeczywi´scie, stosujac lemat 3.1 z f =_, p ∈ S_r mamy kpk_F = 0. To implikuje, ˙ze p jest wielomianem stopnia co najwy˙zej r − 1 znikajacym w n > r − 1 punktach, czyli p ≡ 0._,

Zauwa˙zmy teraz, ˙ze aby znale´z´c wsp´o lczynniki wielomianu pf zale˙zy rozwiaza´_, c uk lad r´owna´n z macierza kwadratow_, a. Poniewa˙z, jak pokazali´smy,_, uk lad jednorodny ma jednoznaczne rozwiazanie, p_{, f} interpolujacy f istnieje_, i jest wyznaczony jednoznacznie.

Aby zako´nczy´c dow´od, zauwa˙zmy, ˙ze wobec lematu 3.1 mamy hp_f, f − p_fi_F = 0, a stad_,

kf k²_F = k(f − p_f) + p_fk²_F = kf − p_fk²_F + kp_fk²_F ≥ kp_fk²_F. 

Niech teraz F = W_r(a, b), E = {f ∈ F : kf k_F ≤ 1}, a informacja N f = [f (t₁), . . . , f (t_n)].

Wtedy, zgodnie za nasza teori_, a na temat optymalno´sci algorytm´_, ow splajno- wych mamy, ˙ze dla dowolnego zadania liniowego S : F → G optymalnym algorytmem jest ϕ(N f ) = S(pf), gdzie pf jest splajnem naturalnym inter- polujacym f w punktach t_{, i}, 1 ≤ i ≤ n.

Cwiczenia ´

Cw. 3.1 Je´sli w definicji splajnu naturalnego warunek (c) zastapimy przez_, warunek, ˙ze p i wszystkie jej pochodne rzedu do 2r − 2 w l_, acznie s_, a (b − a)_,

3.3. KLASYCZNE FUNKCJE SPLAJNOWE 23 okresowe to m´owimy o splajnach okresowych. Wyka˙z, ˙ze lematy 3.1 i 3.2 zachodza r´_, ownie˙z dla splajn´ow okresowych i okresowych funkcji, tzn. gdy f ∈ fW_r(a, b), gdzie

Wf_r(a, b) = {f ∈ W_r(a, b) : f⁽ⁱ⁾(a) = f⁽ⁱ⁾(b), 0 ≤ i ≤ r − 1}.

Rozdzia l 4

Informacja optymalna

Dotychczas zajmowali´smy sie algorytmami optymalnymi dla zadanej infor-_, macji. W wielu zadaniach mamy mo˙zliwo´s´c doboru informacji, np. w za- daniu numerycznego ca lkowania zwykle mo˙zemy dobra´c punkty, w kt´orych obliczamy warto´sci funkcji.

4.1 Minimalny promie´ n i optymalna informa- cja

Bedziemy zak lada´_, c, ˙ze rozwiazuj_, ac zadanie S : F → G mamy do dyspozycji_, jedynie informacje N_n : F → Rⁿz pewnej klasy N_n, parametryzowanej indek- sem n. Na przyk lad, dla zada´n zdefiniowanych na przestrzeniach funkcyjnych mo˙zemy zak lada´c, ˙ze mo˙zliwe sa jedynie obliczenia n warto´sci funkcji, a dla_, zada´n zdefiniowanych na przestrzeniach Hilberta F obliczenia dowolnych n funkcjona l´ow.

Definicja 4.1 Niech N_n, n ≥ 1, bedzie rodzin_, a informacji dopuszczalnych._, Wielko´s´c

r(n) = inf

Nn∈N_nrad(N_n) nazywamy n-tym minimalnym promieniem informacji.

Informacje N_{, n}^∗ nazywamy n-ta optymaln_, a je´_, sli N_n^∗ ∈ N_n oraz rad(N_n^∗) = r(n).

25

Przyklad 4.1 Rozpatrzmy zadania ca lkowania i aproksymacji jednostajnej funkcji z przyk ladu 1.1, gdzie klasa N_n dopuszczalnych informacji sk lada sie_, z oblicze´n n warto´sci funkcji,

N_n(f ) = [f (t₁), . . . , f (t_n)]

dla dowolnych tj ∈ [0, 1]. Formu ly na promie´n informacji zosta ly obliczone w przyk ladzie 1.3 i wynosza_,

rad_Int(N_n) = t²₁+ (1 − t_n)²+1 2

n

X

i=2

(t_i− t_i−1)²,

rad_App(N_n) = max { 2t₁, 2(1 − t_n), t_i− t_i−1, 2 ≤ i ≤ n } .

Minimalizujac oba promienie w standardowy spos´_, ob ze wzgledu na punkty_, t_i dostajemy, ˙ze w obu przypadkach optymalna informacja

N_n^∗ = [f (t^∗₁), . . . , f (t^∗_n)], gdzie

t^∗_i = i − 1/2

n , 1 ≤ j ≤ n.

Odpowiednie minimalne promienie wynosza_, r(Int; n) = 1

4n, r(App; n) = 1 2n.

4.2 Informacja optymalna w przestrzeniach Hilberta

Rozpatrzmy teraz zadanie opisywane ciag lym operatorem liniowym S : F →_, G dzia lajacym z o´srodkowej przestrzeni Hilberta F z iloczynem skalarnym_, h·, ·i_F w przestrze´n Hilberta G z iloczynem skalarnym h·, ·i.

Uwaga 4.1 Przypomnijmy, ˙ze przestrze´n F jest o´srodkowa wtedy i tylko wtedy gdy istnieje w niej przeliczalny zbi´or, kt´ory jest gesty. Konsekwencj_, a_, tego jest istnienie przeliczalnej i ortonormalnej bazy zupe lnej, tzn. takiego ciagu {f_{, j}}^∞_j=1, ˙ze hf_i, f_ji_F = δ_i,j (delta Kroneckera) oraz dla ka˙zdego f ∈ F

f =

∞

X

j=1

hf, f_ji_Ff_j,

4.2. INFORMACJA OPTYMALNA W PRZESTRZENIACH HILBERTA27 przy czym zbie˙zno´s´c szeregu rozumiemy tutaj jako zbie˙zno´s´c w normie prze- strzeni F .

Zak ladamy dalej, ˙ze klasa Nn dopuszczalnych informacji sk lada sie z ob-_, licze´n n funkcjona l´ow liniowych ciag lych, tzn. N_{, n}∈ N_n gdy

N_n(f ) = [hf, ξ₁i_F, hf, ξ₂i_F, . . . , hf, ξ_ni_F], dla dowolnych ξ_j ∈ F .

Aby znale´z´c n-ty minimalny promie´n i informacje optymaln_, a, pos lu˙zymy_, sie pewnymi faktami z Analizy Funkcjonalnej. Niech S_, ^∗ : G → F bedzie_, przekszta lceniem sprze˙zonym do S, jednoznacznie zdefiniowanym r´_, owno´scia_,

hSf, gi = hf, S^∗gi_F, ∀f ∈ F ∀g ∈ G.

Uwaga 4.2 Istnienie operatora sprze˙zonego wynika z twierdzenie Riesza._, Rzeczywi´scie, wobec ciag lo´sci S, funkcjona l hS(·), gi_{, F} jest na przestrzeni F ciag ly dla ka˙zdego g ∈ G, a jego repezentantem jest w la´snie S_, ^∗g. Latwo sprawdzi´c, ˙ze odwzorowanie przyporzadkowuj_, ace g element S_, ^∗g jest r´ownie˙z liniowe i ciag le._,

Oznaczmy

W := S^∗S : F → F.

Operator W jest samosprze˙zony, bo_,

hW f₁, f₂i_F = hS^∗Sf₁, f₂i_F = hSf₁, Sf₂i_F = hf₁, S^∗Sf₂i_F = hf₁, W f₂i_F. W jest r´ownie˙z nieujemnie okre´slony, bo

hW f, f i_F = kSf k² ≥ 0.

A je´sli tak to istnieje w F przeliczalna, ortonormalna i zupe lna baza {ξ_j^∗}j≥1

sk ladajaca si_, e z wektor´_, ow w lasnych operatora W . W dodatku, odpowia- dajace im warto´sci w lasne λ_{, j} sa nieujemne,_,

W ξ_j^∗ = λjξ_j^∗, j ≥ 1.

Na podstawie twierdzenia 3.2 mamy, ˙ze

rad(N_n)² = sup{kShk² : h ∈ ker N_n, khk_F ≤ 1}

= sup{hW h, hi_F : h ∈ ker N_n, khk_F ≤ 1}.