Rozdzia l 3 Normy wektor´ow i macierzy

Rozdzia l 3

Normy wektor´ ow i macierzy

W tym rozdziale zak ladamy, ˙ze

K ⊆ C.

3.1 Og´ olna definicja normy

Niech ψ : K^m,n → [0, +∞) bedzie przekszta lceniem spe lniaj֒ acym warunki:_֒ (i) ∀A ∈ K^m,n ψ(A) = 0 ⇐⇒ A = 0,

(ii) ∀A ∈ K^m,n∀u ∈ K ψ(u ∗ A) = |u| · ψ(A), (iii) ∀A, B ∈ K^m,n ψ(A + B) ≤ ψ(A) + ψ(B)

(nier´owno´s´c tr´ojkata albo subaddytywno´s´c)._֒

Ka˙zde takie przekszta lcenie ψ nazywamy norma w K_֒ ^m,n i oznaczamy ψ(A) = kAk.

Norma jest miara “wielko´sci” macierzy. Dlatego_֒ kA − Bk

uznajemy za miare odleg lo´sci mi_֒ edzy macierzami A i B._֒

Powiemy, ˙ze norma jest monotoniczna gdy warunek |A| ≤ |B| (tzn. gdy

|a^i,j| ≤ |b^i,j| ∀i, j) implikuje kAk ≤ kBk. Je´sli norma w K^n,n spe lnia kA ∗ Bk ≤ kAk · kBk, ∀A, B ∈ K^n,n,

to m´owimy, ˙ze norma jest submultiplikatywna.

25

26 ROZDZIA L 3. NORMY WEKTOR ´OW I MACIERZY

3.2 Normy wektor´ ow

3.2.1 Normy p-te

Wektory w Kⁿ sa szczeg´olnymi macierzami. W tym przypadku, wa˙znymi_֒ przyk ladami norm sa normy Schura, zdefiniowane dla danej p, 1 ≤ p ≤ ∞,_֒ jako

k~xk^p =

n

X

i=1

|xⁱ|^p

!1/p

dla 1 ≤ p < ∞, k~xk^∞ = max

1≤i≤n|xⁱ|.

Nietrudno zauwa˙zy´c, ˙ze k~xk^∞= limp→∞k~xk^p, ∀~x ∈ Kⁿ.

Warunki (i) i (ii) normy sa trywialnie spe lnione przez normy Schura._֒ Warunek (iii) latwo sprawdzi´c dla p = 1, ∞. Dla p = 1 mamy bowiem

k~x + ~yk¹ =

n

X

i=1

|xⁱ+ yi| ≤

n

X

i=1

|xⁱ| +

n

X

i=1

|yⁱ| = k~xk¹+ k~yk¹, a dla p = ∞

k~x + ~yk∞= max

1≤i≤n|xi+ y_i| ≤ max

1≤i≤n|xi| + max

1≤i≤n|yi| = k~xk∞+ k~yk∞. (W obu przypadkach zastosowali´smy nier´owno´s´c tr´ojkata |u + v| ≤ |u| + |v|_֒ dla liczb zespolonych u i v.) Dla innych warto´sci p warunek (iii) jest du˙zo trudniej pokaza´c. Dlatego ograniczymy sie tu jedynie do przypadku p = 2._֒ Lemat 3.1 (Nier´owno´s´c Schwarza)

Dla dowolnych ~u, ~v ∈ Kⁿ mamy

|~u^H ∗ ~v| ≤ k~uk² · k~vk². Dow´od. Dla t ∈ K mamy

0 ≤ k~u + ~v ∗ tk²2 = (~u + ~v ∗ t)^H · (~u + ~v ∗ t)

= ~u^H ∗ ~u + ¯t· t ∗ ~v^H ∗ ~v + ~u^H ∗ ~v ∗ t + ~v^H ∗ ~u ∗ ¯t

= k~uk²2+ |t|²· k~vk²2+ |t| · |~u^H ∗ ~v| · ω^(ϕ+ψ)+ ω^−(ϕ+ψ)
, gdzie t = |t| · ω^ψ, ~u^H ∗ ~v = |~u^H ∗ ~v| · ω^ϕ, ω = cos 1 + ı · sin 1.

Biorac teraz ψ = −ϕ mamy_֒

0 ≤ k~uk²2+ 2|t| · |~u^H ∗ ~v| + |t|²· k~vk²2, a biorac ψ = π − ϕ mamy_֒

0 ≤ k~uk²2− 2|t| · |~u^H ∗ ~v| + |t|²· k~vk²2. Stad dla dowolnej τ ∈ R otrzymujemy_֒

0 ≤ k~uk²2+ 2τ |~u^H ∗ ~v| + τ²k~vk²2.

Poniewa˙z prawa strona ostatniej nier´owno´sci jest, jako funkcja τ , tr´ojmianem kwadratowym o warto´sciach nieujemnych, to

0 ≥ ∆ = 4 |~u ∗ ~v|²− k~uk²2· k~vk²2
, co implikuje |~u^H ∗ ~v| ≤ k~uk²· k~vk² i ko´nczy dow´od.

Na podstawie nier´owno´sci Schwarza mamy teraz

k~u + ~vk²2 = k~uk²2+ k~vk²2+ ~u^H ∗ ~v + ~v^H ∗ ~u

= k~uk²2+ k~vk²2+ 2ℜ(~u^H ∗ ~v)

≤ k~uk²2+ k~vk²2+ 2|~u^H ∗ ~v|

≤ k~uk²2+ k~vk²2+ 2k~uk²k~vk²

= (k~uk²+ k~vk²)², czyli nier´owno´s´c tr´ojkata dla k · k_֒ ².

3.2.2 Po˙zyteczne (nie)r´ owno´ sci

Nietrudno pokaza´c nastepuj_֒ ace nier´owno´sci l_֒ acz_֒ ace normy p-te Schura dla_֒ p = 1, 2, ∞. Mianowicie, dla ka˙zdego ~u ∈ Kⁿ mamy

k~uk^∞ ≤ k~uk¹ ≤ n · k~uk^∞, k~uk^∞ ≤ k~uk² ≤ √

n · k~uk^∞, k~uk² ≤ k~uk¹ ≤ √

n · k~uk²,

28 ROZDZIA L 3. NORMY WEKTOR ´OW I MACIERZY przy czym ostatnia z tych nier´owno´sci jest konsekwencja nier´owno´sci Schwa-_֒ rza,

k~uk¹ =

n

X

i=1

|uⁱ| =

n

X

i=1

|uⁱ| · |1| ≤

n

X

i=1

|uⁱ|²

!1/2 n

X

i=1

1²

!1/2

=√

n · k~uk².

Dodatkowo zauwa˙zamy, ˙ze nier´owno´sci tych nie mo˙zna poprawi´c. Na przy- k lad, dla pierwszego wersora ~e1 mamy k~e¹k^p = 1 ∀p, a dla ~1 = [1, 1, . . . , 1] ∈ Kⁿ mamy k~1k¹ =√

nk~1k² = nk~1k^∞.

Kula jednostkow_֒ a w K_֒ ⁿ (ze wzgledu na norm_֒ e k · k) nazywamy zbi´or_֒ wektor´ow

K = { ~u ∈ Kⁿ: k~uk ≤ 1} .

Z podanych powy˙zej nier´owno´sci wynika w szczeg´olno´sci, ˙ze K1 ⊂ K² ⊂ K^∞,

gdzie K_p jest kula jednostkow_֒ a w normie p-tej Schura._֒

Zauwa˙zmy jeszcze, ˙ze normy p-te sa monotoniczne oraz, ˙ze dla dowolnej_֒ macierzy permutacji P ∈ K^n,n i wektora ~x ∈ Kⁿ

kP ∗ ~xk^p = k~xk^p,

tzn. norma p-ta wektora jest niezmiennicza ze wzgledu na przestawienia_֒ kolejno´sci jego wsp´o lrzednych._֒

3.3 Normy macierzy

3.3.1 Normy p-te

Normy p-te macierzy sa definiowane (indukowane) przez normy p-te wek-_֒ tor´ow w nastepuj_֒ acy spos´ob:_֒

kAk^p = sup

~06=~x∈Kⁿ

kA ∗ ~xk^p k~xk^p

= sup { kA ∗ ~xkp : ~x ∈ Kⁿ, k~xkp = 1} .

Zauwa˙zmy, ˙ze u˙zywamy tego samego oznaczenia dla norm wektora jak i ma- cierzy. Jest to uzasadnione, gdy˙z norma p-ta macierzy jest uog´olnieniem

normy p-tej wektora. Dla A = [u1, . . . , um]^T ∈ K^m,1 = K^m mamy bowiem kAk^p = sup_|t|=1kA ∗ tk^p = (Pm

i=1|uⁱ|^p)^1/p. (Tutaj t ∈ K!)

Wprost z definicji wynika, ˙ze normy indukowane macierzy spe lniaja wa-_֒ runek zgodno´sci (z norma wektorow_֒ a), tzn._֒

∀A ∈ K^m,n∀~x ∈ Kⁿ kA ∗ ~xk^p ≤ kAk^p· k~xk^p. Normy te sa r´ownie˙z submultiplikatywne,_֒

∀A ∈ K^m,l∀B ∈ K^l,n kA ∗ Bk^p ≤ kAk^p· kBk^p. Rzeczywi´scie, dla ~x ∈ K^l mamy

k(A ∗ B) ∗ ~xk^p = kA ∗ (B ∗ ~x)k^p ≤ kAk^p· kB ∗ ~xk^p

≤ kAk^p· kBk^p · k~xk^p, skad_֒

sup

~ x6=~0

k(A ∗ B) ∗ ~xkp

k~xk^p ≤ kAk^p· kBk^p. Dla macierzy permutacji P ∈ K^m,m i Q ∈ K^n,n mamy

kP ∗ A ∗ Q^Tk^p = kAk^p,

co oznacza, ˙ze przestawienie kolumn i wierszy macierzy nie zmienia jej p- tej normy. Rzeczywi´scie, poniewa˙z przestawienie wsp´o lrzednych nie zmienia_֒ normy p-tej wektora, mamy

sup

~ x6=~0

kP ∗ A ∗ Q^T ∗ ~xk^p

k~xk^p = sup

~x6=~0

kA ∗ Q^T ∗ ~xk^p

kQ^T ∗ ~xk^p = sup

~ y6=~0

kA ∗ ~yk^p k~yk^p .

3.3.2 Po˙zyteczne (nie)r´ owno´ sci

Dla niekt´orych p, norme mo˙zna wyrazi´c w spos´ob pozwalaj_֒ acy j_֒ a latwo ob-_֒ liczy´c.

Lemat 3.2 Dla dowolnej macierzy A = (ai,j) ∈ K^m,n (a) kAk∞ = max_1≤i≤mPn

j=1|ai,j|, (b) kAk¹ = max1≤j≤nPm

i=1|a^i,j|.

30 ROZDZIA L 3. NORMY WEKTOR ´OW I MACIERZY Dow´od. (a) Dla ~x = [x1, . . . , xn]^T ∈ Kⁿ mamy

kA ∗ ~xk^∞ = max

1≤i≤m

n

X

j=1

ai,j· x^j     

≤ max_1≤i≤m

n

X

j=1

|a^i,j| · |x^j|

≤ k~xk^∞· max

1≤i≤m n

X

j=1

|a^i,j|

! .

Z drugiej strony, we´zmy ~x^∗ = (x^∗_j) taki, ˙ze x^∗_j = ω^−ϕj, 1 ≤ j ≤ n, gdzie ϕ^j jest argumentem liczby as,j, tzn. as,j = |a^s,j|ω^ϕj, a s jest tym indeksem i, dla kt´orego suma Pn

j=1|a^i,j| jest najwieksza. Wtedy k~x֒ ^∗k^∞= 1 oraz kA ∗ ~x^∗k^∞ ≥

n

X

j=1

as,j· x^∗j

=     

n

X

j=1

|a^s,j|ω^ϕjω^−ϕj     

=

n

X

j=1

|a^s,j|,

a stad kAk_֒ ∞≥ max1≤i≤mPn

j=1|ai,j|.

(b) Dla dowolnego ~x mamy

kA ∗ ~xk¹ =

m

X

i=1

n

X

j=1

ai,j· x^j     

≤

m

X

i=1 n

X

j=1

|a^i,j| · |x^j|

=

n

X

j=1

|x^j| ·

m

X

i=1

|a^i,j| ≤ max

1≤j≤n m

X

i=1

|a^i,j|

!

· k~xk¹.

Z drugiej strony, dla ~x^∗ takiego, ˙ze x^∗_j = 0 dla j 6= s, x^∗j = 1 dla j = s, gdzie s jest tym indeksem j dla kt´orego suma Pm

i=1|a^i,j| jest najwieksza, mamy֒

k~x^∗k¹ = 1 oraz kA ∗ ~xk¹ =Pm

i=1|a^i,s|, a stad kAk֒ ¹ ≥ max^1≤j≤nPm

i=1|a^i,j|.

Z powy˙zszego lematu latwo wida´c, ˙ze

kA^Tk^∞ = kA^Hk^∞ = kAk¹, kA^Tk¹ = kA^Hk¹ = kAk^∞.

Szczeg´olna rol_֒ e odgrywa norma druga k · k_֒ ², ze wzgled´ow, kt´ore b_֒ ed_֒ a jasne_֒ p´o´zniej. Niestety, nie wyra˙za sie ona w tak prosty spos´ob jak k · k_֒ ¹ i k · k^∞. W odr´o˙znieniu od tych ostatnich, norma druga ma jednak dodatkowa wa˙zn_֒ a_֒ w lasno´s´c; mianowicie, dla dowolnej A ∈ K^m,n

kA^Tk² = kA^Hk² = kAk².

R´owno´s´c ta wynika bezpo´srednio z faktu, ˙ze kAk² = sup

~ z

sup

~ y

~y^H ∗ A ∗ ~z ,

gdzie suprema wziete s_֒ a po ~z ∈ K_֒ ⁿ i ~y ∈ K^m takich, ˙ze k~zk² = 1 = k~yk². Rzeczywi´scie, dla dowolnych ~y i ~z o jednostkowych normach mamy

|~y^H ∗ A ∗ ~z| ≤ k~yk²· kA ∗ ~zk² = kA ∗ ~zk² ≤ kAk²,

przy czym w pierwszej nier´owno´sci zastosowali´smy nier´owno´s´c Schwarza. Z drugiej strony, dla ~z o jednostkowej normie i takiego, ˙ze A ∗ ~z 6= ~0 mamy

kA ∗ ~zk² = kA ∗ ~zk²2

kA ∗ ~zk² = (A ∗ ~z)^H ∗ A ∗ ~z

kA ∗ ~zk² ≤ sup

k~yk₂=1

~y^H ∗ A ∗ ~z , gdzie podstawili´smy ~y = A ∗ ~z/kA ∗ ~zk2.

3.3.3 Norma Frobeniusa

Norme Frobeniusa (albo Euklidesow_֒ a) macierzy A ∈ K_֒ ^m,n definiujemy jako

kAkF =

m

X

i=1 n

X

j=1

|ai,j|²

!1/2

.

Zaleta normy k · k_֒ ^F jest jej latwa “obliczalno´s´c”, natomiast wada, ˙ze nie jest_֒ to norma indukowana przez ˙zadna norm_֒ e wektorow_֒ a._֒

Zwiazek mi_֒ edzy norm_֒ a Frobeniusa i norm_֒ a drug_֒ a pokazuje nast_֒ epuj_֒ acy_֒ lemat.

Lemat 3.3 Dla dowolnej A ∈ K^m,n mamy

kAk2 ≤ kAkF ≤ pmin(m, n) · kAk2.

Dow´od. Wykorzystujac nier´owno´s´c Schwarza, dla dowolnego ~x ∈ K_֒ ⁿ o jednostkowej normie drugiej mamy

kA ∗ ~xk²2 =

m

X

i=1

n

X

j=1

ai,j· x^j     

2

≤

m

X

i=1 n

X

j=1

|a^i,j| · |x^j|

!2

≤

m

X

i=1 n

X

j=1

|a^i,j|²

! _n X

j=1

|x^j|²

!

= kAk²F,

32 ROZDZIA L 3. NORMY WEKTOR ´OW I MACIERZY a stad kAk_֒ ² ≤ kAk^F.

Z drugiej strony, przedstawiajac A jako_֒

A = [~a1, ~a2, . . . , ~an] , ~aj ∈ K^m,

mamy kAk² ≥ kA ∗ ~e^jk² = k~a^jk², gdzie ~ej jest j-tym wersorem. Stad_֒

kAk²2 ≥ 1 n ·

n

X

j=1

ka^jk²2 = 1

n · kAk²F, czyli kAk^F ≤√

n · kAk². Ale r´ownie˙z kAk^F = kA^Tk^F ≤√

m · kA^Tk² =√

m · kAk², co ko´nczy dow´od.

Zauwa˙zymy jeszcze jedna w lasno´s´c norm p-tych macierzy. Niech macierz_֒ A bedzie dana w postaci blokowej,_֒

A = [A1, A2, . . . , As] . Wtedy

kA^kk^p = sup

k~xkkp=1kA^k∗ ~x^kk^p = sup

k~xkkp=1,~xj=~0,j6=k

s

X

j=1

Aj∗ ~x^j p

≤ sup

k~xkp=1kA ∗ ~xk^p = kAk^p. Podobnie, je´sli

A =









 A1

A2

...

At









 to

kA^kk^pp = sup

k~xkp=1kA^k∗ ~xk^pp ≤ sup

k~xkp=1 t

X

j=1

kA^j ∗ ~xk^pp

= sup

k~xkp=1kA ∗ ~xk^pp = kAk^pp.

Stad dostajemy wniosek, ˙ze je´sli A jest w postaci blokowej to dla ka˙zdego_֒ bloku Ai,j mamy

kAi,jkp ≤ kAkp, 1 ≤ p ≤ ∞.

Oczywi´scie, ta w lasno´s´c zachodzi r´ownie˙z dla normy Frobeniusa.

34 ROZDZIA L 3. NORMY WEKTOR ´OW I MACIERZY