������� ��� ���������
�������������� � �������� ��������
Jerzy Tiuryn
Wydziaª Matematyki, Informatyki i Me haniki,
Uniwersytet Warszawski
1pa¹dziernika,2021
Contents
1 Metodaelimina jiGaussa 3
1.1 Sprowadzanieukªadudoposta is hodkowej . . . . . . . . . . . . . . . . . . . 4
1.2 Stabilno±¢numery znaukªadu . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.3 Interpreta jageometry zna . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
2 Algebra ma ierzy 9 2.1 Transponowaniema ierzy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
2.2 Dodawaniema ierzy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
2.3 Mno»eniema ierzyprzezskalar . . . . . . . . . . . . . . . . . . . . . . . . . . 10
2.4 Mno»eniema ierzy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
2.5 Ma ierzodwrotna . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
3 Posta¢ma ierzowa ukªadu równa« 19 3.1 RozkªadLDUma ierzy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
3.2 Wyzna zaniema ierzyodwrotnej . . . . . . . . . . . . . . . . . . . . . . . . . 23
4 Przestrzenie liniowe 25 4.1 Podprzestrzeniefundamentalnedlama ierzy . . . . . . . . . . . . . . . . . . 26
4.1.1 Przestrze«kolumnC(A) . . . . . . . . . . . . . . . . . . . . . . . . . . 26
4.1.2 Przestrze«zerowaN (A) . . . . . . . . . . . . . . . . . . . . . . . . . . 26
4.1.3 Przestrze«wierszyma ierzyA . . . . . . . . . . . . . . . . . . . . . . 28
4.1.4 Dualnaprzestrze«zerowama ierzyA . . . . . . . . . . . . . . . . . . 28
4.2 Liniowaniezale»no±¢wektorów . . . . . . . . . . . . . . . . . . . . . . . . . . 28
4.3 Bazaprzestrzeniliniowej . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
4.4 Wymiarprzestrzeniliniowej . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
4.5 Przeksztaª enialiniowe. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
4.6 Rz¡dma ierzy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
5 Ortogonalno±¢ 38
5.1 Dªugo±¢wektora . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
5.2 K¡tpomidzywektorami . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
5.3 Rzutwektoranaprost¡ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
5.4 Dopeªnienieortogonalneprzestrzeni . . . . . . . . . . . . . . . . . . . . . . . 39
5.5 Metodanajmniejszy hkwadratów . . . . . . . . . . . . . . . . . . . . . . . . 41
5.6 Rzutwektoranapodprzestrze« . . . . . . . . . . . . . . . . . . . . . . . . . . 43
5.7 Bazaortonormalna,ortogonaliza jaGrama-S hmidta. . . . . . . . . . . . . . 45
6 Wyzna znik ma ierzy 48 6.1 Aksjomaty znade ni jawyzna znika. . . . . . . . . . . . . . . . . . . . . . . 48
6.2 Rozwini ieLapla e'a . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
6.3 Pewnezastosowaniawyzna zników . . . . . . . . . . . . . . . . . . . . . . . . 54
6.3.1 Wyzna znikama ierzodwrotna . . . . . . . . . . . . . . . . . . . . . 55
6.3.2 Rozwi¡zywanieukªadówrówna« . . . . . . . . . . . . . . . . . . . . . 55
6.3.3 Obli zanieobjto± ibryªy . . . . . . . . . . . . . . . . . . . . . . . . . 56
7 Warto± iwªasne iwektory wªasne 60 7.1 Li zbyzespolone . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
7.2 Diagonaliza jama ierzy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
7.3 Potgowaniema ierzy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
7.4 Funk jaeksponen jalna . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
7.5 Ma ierzehermitowskie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
7.6 Rozkªadspektralnyma ierzy . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
7.7 Analizaskªadowy hgªówny h . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
8 Rozkªad ma ierzywedªug warto± i osobliwy h 73 8.1 Ma ierzedodatniookre±lonei dodatniopóªokre±lone . . . . . . . . . . . . . . 73
8.2 RozkªadSVD . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
1 Metoda elimina ji Gaussa
Metodaelimina jiGaussajestsposobemrozwi¡zywaniaukªadówrówna«. Przedstawimyj¡
naprostymprzykªadzie.
Przykªad 1.1 Rozwa»myukªadrówna«liniowy h
x1− 2x2+ 5x3= 4
3x1− 4x2+ 9x3= −2 (1.1)
8x1− 10x2+ 3x3= 3
Zauwa»my,»ezbiórrozwi¡za«takiegoukªaduniezmienisi,je±li:
(a) od jednego równania(nazwijmy go R1) odejmiemy inne równanie(nazwijmy goR2)
pomno»oneprzezstaª¡orazzast¡pimyR1 takotrzymanymrównaniem;
(b) zamienimydwarównaniamiejs ami.
Z powodów, które si wyja±ni¡pó¹niej, bdziemy przyjmowa¢ przy stosowaniu reguªy
(a),»e równanieR2 wystpujew ze±niej wukªadzierówna«ni»równanieR1.
Stosuj¡ tylkoreguª(a)mo»emywyzna zy¢wszystkierozwi¡zaniaukªadurówna«(1.1).
Postpujemykolejnoeliminuj¡ zmienn¡x1zrówna«drugiegoitrze iego,nastpniezmienn¡
x2zrównaniatrze iego. Natym polega metodarozwi¡zywaniaukªadówrówna«liniowy h zwanaelimina j¡Gaussa. Wnaszymprzykªadzie,odejmuj¡ pierwszerównaniepomno»one
przez3od drugiegorównania,dostajemy
x1− 2x2+ 5x3= 4 2x2− 6x3= −14 8x1− 10x2+ 3x3= 3
Podobnieeliminujemyx1ztrze iegorównania(odejmuj¡ pierwszerównaniepomno»one
przez8):
x1− 2x2+ 5x3= 4 2x2− 6x3= −14 6x2− 37x3= −29
Nastpnie eliminujemyx2 ztrze iegorównania(odejmuj¡ drugierównaniepomno»one
przez3):
x1− 2x2+ 5x3= 4
2x2− 6x3= −14 (1.2)
−19x3= 13
Teraz mo»emy bardzo ªatwoznale¹¢ rozwi¡zanieukªadu (1.2): najpierw wyli zamy x3
ztrze iegorównania,nastpniepodstawiamyt warto±¢ dorówna«pierwszego i drugiego.
Wyli zamyzdrugiegorównaniawarto±¢x2,podstawiamytwarto±¢dorównaniapierwszego iwresz iewyli zamywarto±¢dlax1. Dostajemywtensposób:
x3= −13/19 x2= −94/19 x1= −177/19
Ukªad równa« (1.2) jest w bardzo wygodnej posta i do znajdowania rozwi¡za« i za-
sªuguje na spe jaln¡ nazw bdziemy gonazywa¢ ukªadem w posta i s hodkowej, a
wspóª zynniki stoj¡ e przyx1 (w pierwszymrównaniu), przy x2 w drugimrównaniu oraz
przyx3 wtrze imrównaniu, zyli1,2i -19bdziemynazywa¢warto± iami wiod¡ ymi ukªadu. Formalnede ni jety hpoj¢przedstawimywsek ji1.1. ⊠
Przykªad 1.2 Zoba zmy osistanie,gdyzastosujemyelimina jGaussadoukªaduotrzy-
manegoz(1.1)przezzamianrówna«: drugiegoitrze iego.Powyeliminowaniux1zdrugiego
itrze iegorównaniadostaniemyukªad:
x1− 2x2+ 5x3= 4 6x2− 37x3= −29
2x2− 6x3= −14
idalej(mno»¡ drugierównanieprzez1/3iodejmuj¡ odtrze iego):
x1− 2x2+ 5x3= 4
6x2− 37x3= −29 (1.3)
(19/3)x3= −13/3
Otrzymali±mywi inny, równowa»ny( zyli maj¡ yte samerozwi¡zania),ukªadwposta i
s hodkowejowarto± ia hwiod¡ y h: 1,6oraz19/3. ⊠
Jak dot¡d nie potrzebowali±mystosowa¢reguª (b) ozamianie równa« aby sprowadzi¢
ukªaddoposta is hodkowej. Rozwa»myteraznastpuj¡ y ukªadrówna«
Przykªad 1.3
x1− 2x2+ 5x3= 4
−6x3= −14 6x2− 37x3= −29
Abysprowadzi¢powy»szyukªaddoposta is hodkowejmusimyzamieni¢równaniadrugiei
trze ie. Dostajemywów zasukªad
x1− 2x2+ 5x3= 4 6x2− 37x3= −29
−6x3= −14
owarto± ia hwiod¡ y h: 1,6,-6. Ostatnie(najni»sze)równanieoniezerowejlewejstronie
ukªaduwposta is hodkowejbdziemy nazywa¢najni»szym s hodkiem, apierwszena-
jwy»szym. ⊠
1.1 Sprowadzanie ukªadu do posta i s hodkowej
Wogólno± i,ukªadm równa«onniewiadomy hx1, . . . , xn maposta¢:
β1,1x1+ . . . + β1,nxn= α1
· · · (1.4)
βm,1x1+ . . . + βm,nxn= αm
li zbyrze zywisteβ1,1, . . . , βm,ns¡nazywanewspóª zynnikamiukªadu,ali zbyα1, . . . , αm
wyrazamiwolnymi. Ukªad,wktórymwszystkiewyrazywolnes¡zeraminazywasiukªa-
dem jednorodnym. Je±liukªadmarozwi¡zanieto mówimy,»eukªadjestniesprze zny.
Wprze iwnym przypadku,ukªadnazywasisprze znym.
Ukªad(1.4)jestwposta i s hodkowej je±lika»derównanieukªaduoniezerowejlewej
stroniemaj¡ eposta¢
βi,jxj+ . . . + βi,nxn = αi, (1.5)
gdzie βi,j 6= 0 ma t wªasno±¢, »e dla dowolnej zmiennej xk wystpuj¡ ej w równania h dalszy h( zylionumera hwikszy hodi)mamyj < k. Takierównaniebdziemynazywa¢
s hodkiem owarto± i wiod¡ ej βi,j zwi¡zanejze zmienn¡ wiod¡ ¡ xj.
Zauwa»my, »e zpowy»szej de ni jiposta is hodkowejwynika, »e zmiennawiod¡ axj
zrównania(1.5)nie wystpujewrównania hoindeksa h wikszy hodi (wystar zywzi¡¢
k = j). Równie»ukªadrówna«
x2= 1 x1= 1
niejestwposta is hodkowej(tutajwystar zywzi¡¢i = 1orazk = 1).
Nastpuj¡ e dwie reguªy pozwalaj¡ sprowadzi¢ dowolny sko« zony ukªad równa« do
posta is hodkowej.
(E) Nie hRi orazRj bd¡odpowiednio i-tym orazj-tym równaniemukªadu orazi < j.
Wów zas dla dowolnej staªej α ∈ R mo»emy zast¡pi¢ równanie Rj równaniem Rj
dodanym dorównaniaRi pomno»onegoprzezα.
(P) Mo»emyzamieni¢kolejno±¢dowolny hdwó hrówna«.
Dlauprosz zenianota jiprzyjmiemynastpuj¡ ¡konwen j.Wszystkiezmiennerozwa»any h
ukªadów s¡ indeksowane li zbami naturalnymi. Przyjmujemy, »e ka»dy ukªad równa«za-
wiera zmienne x1, . . . , xn, gdzie xn jest zmienn¡ onajwikszym indeksie. O zywi± ie nie wszystkie zmienne ukªadu musz¡ expli ite wystpowa¢ (zmienne o wspóª zynnika h ze-
rowy hs¡pomijane). Naprzykªadukªadzawieraj¡ ytylkojednorównanie
x2+ x3= 5
jestwposta is hodkowejozmienny hx1, x2orazx3,natomiastukªad
x2+ x4= 5
jestte» wposta is hodkowej ozmienny hx1, x2, x3 orazx4. Jestdrobnaniedogodno±¢w takim rozumieniu zbioruzmienny h danegoukªadu równa«. Rozwa»myrównaniex1 = 1.
Maonodokªadniejednorozwi¡zanie,gdyjesttraktowanejakoukªadojednejzmiennejoraz
ma niesko« zeniewiele rozwi¡za«, gdytraktujemyten ukªadjakozawieraj¡ yzmienne x1
orazx2. Abyunikn¡¢takiejniejednozna zno± ipowinni±myzawszeokre±la¢zbiórzmienny h rozwa»anegoukªadurówna«. Umawiamysie,»e je±liwrozwa»anymukªadzierówna«zbiór
zmienny htox1, . . . , xn,gdziezmiennaxn pojawiasiexpli itewukªadzie,toniebdziemy
okre±la¢ zbioruzmienny h. W pozostaªy h przypadka h musimypodawa¢takie okre±lenie
zbioruzmienny h.
Zanotujmy kilka o zywisty h, ale wa»ny h obserwa ji doty z¡ y h ukªadów w posta i
s hodkowej.
(S1) Li zbas hodków( zyliwarto± iwiod¡ y h)jestniewikszaod li zbyzmienny h.
(S2) Ka»dawarto±¢wiod¡ ajestró»naodzera.
(S3) Li zba s hodkówmo»e by¢mniejsza odli zbyrówna«. W tym przypadku wszystkie
dolnerównania(odnajni»szegos hodka)wukªadziewposta is hodkowejmaj¡posta¢
(dlapewnegok ≤ m):
0 = αk
. . . 0 = αm
gdzieαk,...,αms¡wyrazamiwolnymiukªadu. Je±lidlapewnegoi(k ≤ i ≤ m),mamy
»e αi jest warto± i¡ ró»n¡ od zera, to ukªad jest sprze zny, zyli nie ma rozwi¡za«.
Je±linatomiastka»deαi jestrówne0,to ukªadma o najmniej jednorozwi¡zanie.
(S4) Przypu±¢my teraz, »e ukªad ma rozwi¡zanie. Wszystkie rozwi¡zania tego ukªadu
mo»na opisa¢nastpuj¡ o:
(a) za zynamyodnajni»szegos hodka. Maonposta¢
βi,jxj+ βi,j+1xj+1+ . . . + βi,nxn = αi,
gdzieβi,j, . . . , βi,norazαis¡wspóª zynnikamiukªadu. Niektórezty hwspóª zyn- ników, za wyj¡tkiem βi,j, mog¡ by¢równe0. adne zmienne nie wystpuj¡w
równania honumerzewikszymodi. Zatemjesttos hodekowarto± iwiod¡ ej βi,j (βi,j 6= 0) zwi¡zanej ze zmienn¡ xj. Zmiennexj+1, . . . , xn s¡ zmiennymi
wolnymi mog¡przyjmowa¢dowolnewarto± iwrozwi¡zaniu. Zmiennawiod¡ a
xjstoj¡ aprzywarto± iwiod¡ ejjestzmienn¡ zwi¡zan¡jejwarto±¢jestjed-
nozna zniewyzna zonaprzezwarto± izmienny hwolny h:
xj= −βi,j+1
βi,j
xj+1− . . . − βi,n
βi,j
xn+ αi
βi,j
.
(b) Powstawieniuxjdos hodkaojedenwy»szegowyzna zamyzmienn¡stoj¡ ¡przy
warto± iwiod¡ ejtegos hodkawzale»no± iodwarto± iwolny htegoiwszystki h
ni»szy hs hodków. Powy»szeuwagimo»emyprzedstawi¢wposta inastpuj¡ ej
obserwa ji: ka»dazmienna stoj¡ aprzy warto± i wiod¡ ej jest zwi¡zana
i w ka»dym rozwi¡zaniu ukªadu jej warto±¢ zale»y od warto± i zmi-
enny h wolny h wystpuj¡ y h wtym oraz wszystki h ni»szy h s hod-
ka h. W sz zególno± i,je±li ukªad jest niesprze zny to ma on dokªadniejedno
rozwi¡zaniewtedyitylkowtedy gdyli zbas hodków( zyliwarto± iwiod¡ y h)
jestrównali zbiezmienny h (azatemje±lika»dazmiennajestzwi¡zana).
(S5) Je±lili zbazmienny h ukªaduniesprze znegojestwikszaodli zbyrówna«,toukªad
tenmaniesko« zeniewielerozwi¡za«(bowiemukªadten,posprowadzeniudoposta i
s hodkowej, ma mniej s hodków ni» zmienny h, a zatem pewne zmienne musz¡ by¢
wolne, o dajeniesko« zeniewielerozwi¡za«).
(S6) Ukªad jednorodny(gdy wszystkiewyrazy wolne s¡ zerami) jest zawsze niesprze zny
(bo x1 = · · · = xn = 0 jest rozwi¡zaniem). Zatem, je±li li zba zmienny h ukªadu jednorodnego jest wiksza od li zby równa«, to ukªad ten ma niesko« zenie wiele
rozwi¡za«.
1.2 Stabilno±¢ numery zna ukªadu
Reguªa (P), zylipermuta jarówna«, bywau»ywanado poprawy stabilno± inumery znej
ukªadu. Rozwa»mynastpuj¡ yprzykªad.
Przykªad 1.4
100x1− 67x2= 67
−3x1+ 2x2+ 7x3= 5 50x1− 2x2+ 6x3= 8
Redukuj¡ zmienn¡x1 zdrugiegoitrze iegorównaniadostajemy
100x1− 67x2= 67
−0.01x2+ 7x3= 7.01 (1.6)
31.5x2+ 6x3= −25.5
Je±literazwyeliminujemyzmienn¡x2 ztrze iegorównaniatodostaniemyukªad
100x1− 67x2= 67
−0.01x2+ 7x3= 7.01 22056x3= 22056
Powy»szyukªadrówna«mabardzomaª¡jedn¡zeswoi hwarto± iwiod¡ y h. Poniewa»
rozwi¡zuj¡ ukªaddzielimyprzezwarto± iwiod¡ e,towtymprzypadkumo»etoprowadzi¢
dokumula jibªdówwynikaj¡ y hzzaokr¡gle«wynikówdzieleniaprzezbardzomaª¡li zb.
Zoba zmy osidzieje,gdyzamienimyrównaniadrugieitrze iemiejs amiwukªadzie(1.6)
iwyeliminujemyzmienn¡x2zrównaniatrze iego.
100x1− 67x2= 67 31.5x2+ 6x3= −25.5
7 1
525x3= 7 1 525
Zauwa»my,»ewarto± iwiod¡ epowy»szegoukªadurówna«s¡du»obardziejzrównowa»one.
⊠
1.3 Interpreta ja geometry zna
Zbiór wszystki h rozwi¡za« pojedyn zego równaniaz ukªadu (1.4) opisuje zbiór punktów
wprzestrzeninwymiarowejnazywanyhiperpªasz zyzn¡. Dlan = 2hiperpªasz zyznyto proste,adlan = 3hiperpªasz zyznytopªasz zyzny. Zbiórrozwi¡za«takiegoukªadurówna«
to prze i ie teoriomnogo± iowehiperpªasz zyzn odpowiadaj¡ y h posz zególnym równan-
iom. Rysunek1przedstawia mo»liwesytua jejakiemo»emynapotka¢ przyrozwi¡zywaniu
ukªadutrze hrówna«zdwomaniewiadomymi. Hiperpªasz zyznyodpowiadaj¡ erównaniom
s¡ tutaj prostymi napªasz zy¹nie. Ukªadyrówna«odpowiadaj¡ esytua jomzRysunku1
przedstawiamywtabeliponi»ej.
(a) (b) ( ) (d) (e) (f) (g)
x+y=1 x+y=1 x+y=1 x+y=1 x+y=1 x+y=1 x+y=1
2x+2y=2 x-y=1 x-y=1 x-y=1 x+y=2 2x+2y=2 x+y=2
3x+3y=3 2x-2y=2 x=1 y=-1 x-y=1 x+y=2 x+y=3
(a) (b) (c)
L1=L2=L3
L1 L2
L3 L1
L2=L3
L1 L2
L3
L1 L2
L3
L1=L2
L3
L1
L2 L3
(d) (e) (f)
(g)
Figure1: Mo»liwekombina jeukªadutrze hrówna«zdwomaniewiadomymi.Sytua je(a- )
przedstawiaj¡ukªadyniesprze zne. Wprzypadku(a)mamyniesko« zeniewielerozwi¡za«.
Wprzypadka h(b)i( )jestdokªadniejednorozwi¡zanie. Ukªadyprzedstawionewpunkta h
(d-g)s¡ sprze zne. Pokazanes¡ró»nesytua jeprowadz¡ edosprze zno± i.
