Wybrane metody
cyfrowego przetwarzania sygnaªów
z przykªadami programów w Matlabie
NR 3309
Piotr Porwik
Wybrane metody
cyfrowego przetwarzania sygnaªów
z przykªadami programów w Matlabie
Wydawnictwo Uniwersytetu l¡skiego • Katowice 2015
Redaktor serii: Informatyka i In»ynieria Biomedyczna Mariusz Boryczka
Recenzent
Michaª Wo¹niak
Spis tre±ci
1. Przedmowa . . . 9
2. Algebra liniowa. Poj¦cia podstawowe . . . 13
2.1. Macierze . . . 13
2.1.1. Dziaªania ma macierzach . . . 14
2.1.2. Rodzaje macierzy . . . 15
2.2. Przestrze« liniowa . . . 18
2.2.1. Przestrze« euklidesowa . . . 21
2.2.2. Ortogonalizacja GramaSchmidta . . . 23
2.2.3. Metryka przestrzeni . . . 24
2.2.4. Baza i wymiar przestrzeni liniowej . . . 26
3. Preliminaria . . . 31
3.1. Arytmetyka modularna. Kongruencje . . . 31
3.2. Zwykªy i rozszerzony algorytm Euklidesa . . . 33
3.3. Chi«skie twierdzenie o resztach . . . 35
3.4. Notacja O . . . 37
4. Dyskretne reprezentacje deterministycznych sygnaªów ci¡gªych . . . 41
5. Wybrane dyskretne transformacje i transformaty . . . 51
5.1. Transformata (widmo) . . . 52
5.2. Dyskretna transformacja Fouriera . . . 59
5.2.1. Jednowymiarowa transformacja Fouriera . . . 60
5.2.2. Szybka dyskretna transformacja Fouriera . . . 67
5.2.3. Dwuwymiarowa transformacja Fouriera . . . 81
5.3. Dyskretna transformacja kosinusowa . . . 85
5.3.1. Jednowymiarowa transformacja kosinusowa . . . 86
5.3.2. Jednowymiarowa szybka transformacja kosinusowa . . . 91
5.3.3. Dwuwymiarowa transformacja kosinusowa . . . 94
5.4. Dyskretna transformacja sinusowa . . . 96 5.4.1. Jednowymiarowa transformacja sinusowa . . . 96 5.4.2. Jednowymiarowa szybka transformacja sinusowa . . . . 102 5.4.3. Dwuwymiarowa transformacja sinusowa . . . 106 5.5. Funkcje i transformacja Hartleya . . . 107 5.5.1. Dyskretna jednowymiarowa transformacja Hartleya . . . 109 5.5.2. Dyskretna szybka transformacja Hartleya . . . 113 5.5.3. Dyskretna dwuwymiarowa transformacja Hartleya . . . 115 5.6. Transformacja GoodaThomasa . . . 116 5.7. Funkcje i transformacja VilenkinaChrestensona . . . 122 5.7.1. Funkcje VilenkinaChrestensona . . . 122 5.7.2. Dyskretna szybka transformacja VilenkinaChrestensona 128 5.8. Funkcje i transformacje Walsha . . . 129 5.8.1. Dyskretne funkcje Walsha . . . 134 5.8.2. Dyskretna jednowymiarowa
transformacja WalshaHadamarda . . . 138 5.8.3. Dyskretna szybka transformacja WalshaHadamarda . . 140 5.8.4. Dyskretna dwuwymiarowa transformacja Walsha . . . . 144 5.8.5. Binarne funkcje Walsha . . . 147 5.9. Funkcje i transformacje Haara . . . 148 5.9.1. Dyskretne funkcje Haara . . . 151 5.9.2. Dyskretna jednowymiarowa transformacja Haara . . . . 153 5.9.3. Dyskretne szybkie transformacje Haara . . . 154 5.9.4. Dyskretna dwuwymiarowa transformacja Haara . . . 165 6. Wybrane zastosowania
dyskretnego przetwarzania danych . . . 167 6.1. Transformacje w zastosowaniach przetwarzania obrazów 2D . . 168 6.2. Transformacja z falk¡ Haara . . . 182 6.3. Widmowa analiza binarnych funkcji boolowskich . . . 189 6.4. Porz¡dkowanie Binarnego Diagramu Decyzyjnego . . . 205
6
7. Zako«czenie . . . 215
Literatura . . . 217
Summary . . . 221
Zusammenfassung . . . 221
1. Przedmowa
Próby zast¦powania sygnaªu analogowego sygnaªem cyfrowym s¡ podejmo- wane od wielu lat. Zalety sygnaªu cyfrowego s¡ niezaprzeczalne, to powoduje,
»e w ostatnich latach wprost lawinowo ro±nie liczba urz¡dze« przetwarzaj¡cych sygnaª w sposób cyfrowy. Obecnie jest to ju» konstatacja trywialna. Sygnaªem mo»e by¢ ci¡g próbek wyodr¦bnionych z sygnaªu ci¡gªego lub inny dyskretny zbiór danych na przykªad komputerowy obraz w formacie bitmapy. Nale»y jednak sobie u±wiadomi¢, »e dane cyfrowe s¡ ±ci±le powi¡zane z sygnaªami ana- logowymi, które przecie» powszechnie wyst¦puj¡ w przyrodzie. Dane cyfrowe s¡ przewa»nie odpowiednio pobieranymi w procesie próbkowania chwilowymi warto±ciami sygnaªu analogowego. Dane tego typu mo»na zapisywa¢ w po- staci wektorów, gdzie wspóªrz¦dna wektora stanowi pojedyncz¡ warto±¢ próbki.
Dziedzin¡ i zbiorem warto±ci ka»dego sygnaªu cyfrowego s¡ warto±ci dyskretne, a te mo»na modelowa¢ w przestrzeniach wektorowych. Metody korzystaj¡ce z poj¦¢ przestrzeni wektorowej, podobnie jak metody przestrzeni funkcyjnych, umo»liwiaj¡ reprezentacj¦ danych za pomoc¡ kombinacji liniowej wektorów ba- zowych. Dobór odpowiedniego zbioru wektorów bazowych (bazy) mo»e by¢
dokonywany ró»nie. Taki sposób opisu sygnaªu pierwotnego oznacza zawsze jego reprezentacj¦ za pomoc¡ sko«czonego zbioru wspóªczynników odpowiada- j¡cej mu kombinacji liniowej wektorów bazy. Wspóªczynniki te nazwane s¡
równie» wspóªczynnikami widmowymi wzgl¦dem rozpatrywanych funkcji bazo- wych. Ich uporz¡dkowany zbiór jednoznacznie reprezentuje sygnaª pierwotny.
Analiza tych wspóªczynników ich warto±ci i miejsca wyst¡pienia pozwala na odkrywanie cech sygnaªu, co mo»e by¢ utrudnione lub niemo»liwe w bez- po±redniej obserwacji danych pierwotnych. Wymienione zagadnienia s¡ mi¦dzy innymi tematem niniejszej monogra i. Chocia» teoria i praktyka przetwarza- nia analogowego i cyfrowego wzajemnie si¦ przenikaj¡, o czym b¦dzie mowa w dalszej cz¦±ci pracy, to przedstawione zagadnienia dotycz¡ cyfrowej analizy danych, z uwzgl¦dnieniem praktycznej wiedzy wynikaj¡cej z informacji o roz- kªadzie wspóªczynników widmowych.
9
Niniejsza ksi¡»ka jest adresowana do tych Czytelników, którzy zaintere- sowani s¡ metodami analizy sygnaªów cyfrowych. Pierwsza cz¦±¢ monogra i ma charakter teoretyczny, omówiono w niej wybrane sposoby transformacji sy- gnaªów dyskretnych w ró»nych bazach, w których funkcjami bazowymi mog¡
by¢ zarówno funkcje trygonometryczne, jak równie» funkcje odcinkowo-staªe o odpowiednich wªasno±ciach. Rozwa»ania teoretyczne znajduj¡ wiele prak- tycznych zastosowa«. Firmy produkuj¡ce zintegrowane systemy obliczeniowe zainteresowane s¡ przy±pieszaniem pracy komputerów. Nowe rekon gurowalne architektury sprz¦towe oparte na ukªadach FPGA (ang. Field Programmable Gate Arrays) pozwalaj¡ na wr¦cz skokowe przyspieszenie oblicze«, gdy» wiele opisanych w tej ksi¡»ce algorytmów mo»na realizowa¢ sprz¦towo. Omówione techniki obserwacji sygnaªów znajduj¡ zastosowanie w analizie d¹wi¦ku, syste- mach wizyjnych, przetwarzaniu obrazów, ltracji cyfrowej i wielu innych.
Rozwa»ania teoretyczne obja±niane s¡ za pomoc¡ przykªadów rachunko- wych i kompletnych programów komputerowych, realizuj¡cych wybrane algo- rytmy. Wywody teoretyczne pozwalaj¡ bardziej dociekliwemu Czytelnikowi na
±ledzenie przeksztaªce« matematycznych, które w efekcie ko«cowym umo»li- wiaj¡ konstrukcj¦ odpowiednich algorytmów i ich zapis w j¦zyku programowa- nia.
Dla realizacji programów komputerowych wykorzystano znane ±rodowisko programistyczne Matlab, przeznaczone do zapisu algorytmów, wizualizacji, ana- lizy danych oraz oblicze« numerycznych. W rozwi¡zaniach programowych za- stosowano ±rodowisko Matlab ver. 7.0, ale programy mog¡ by¢ równie» urucha- miane w najnowszych wersjach programu Matlab. Mo»na równie» korzysta¢
z odpowiedników Matlaba, udost¦pnianych na licencji FLOSS (ang. Free Open Source Software), takich jak Octave czy Scilab.
Od Czytelnika wymaga si¦ jedynie podstawowych umiej¦tno±ci programo- wania, gdy» Matlab dostarcza wiele gotowych funkcji i procedur wywoªywanych pojedynczym poleceniem. Czytelnikom nieznaj¡cym programu Matlab mo»na poleci¢ wiele prac opisuj¡cych wyczerpuj¡co to ±rodowisko programistyczne od strony formalnej i praktycznej [10,22,27,39].
10
W drugiej cz¦±ci monogra i pokazano, w jaki sposób wiedz¦ teoretyczn¡ za- stosowa¢ do rozwi¡zywania niektórych zada« in»ynierskich. Tym zagadnieniom po±wi¦cony zostaª rozdziaª ostatni, w którym pokazano zastosowania transfor- macji jedno- i dwuwymiarowych w wydobywaniu kierunkowych szczegóªów ob- razu rzeczywistego. W tym samym rozdziale przedstawiono równie» sposoby analizy binarnych funkcji boolowskich metodami widmowymi oraz sposoby roz- szerzania tego typu funkcji do form peªnych.
Cz¦±¢ prezentowanych tutaj materiaªów byªa wykorzystywana w trakcie prowadzonych przeze mnie wykªadów dla studentów studiów informatycznych w Instytucie Informatyki, na Wydziale Informatyki i Nauki o Materiaªach Uni- wersytetu l¡skiego. Zatem ksi¡»ka ta mo»e sªu»y¢ tak»e jako podr¦cznik.
Uwa»ny Czytelnik dostrze»e, »e prezentowana w niniejszej monogra i te- matyka zostaªa omówiona w sposób szczegóªowy, a uj¦cie poszczególnych partii materiaªu nie wymaga studiowania literatury dodatkowej. Autor ma nadziej¦,
»e zdoªaª zrealizowa¢ przyj¦te zaªo»enie, by ka»dy z rozdziaªów stanowiª za- mkni¦t¡ caªo±¢, któr¡ mo»na studiowa¢ niezale»nie. Przyj¦cie takiej formuªy pozwoli Czytelnikowi skupi¢ si¦ na poznawaniu opisywanych w kolejnych roz- dziaªach zagadnie«, bez konieczno±ci poszukiwania literatury uzupeªniaj¡cej.
Niezb¦dne pozycje literaturowe s¡ oczywi±cie w odpowiednich miejscach przy- woªywane, pozwalaj¡c dociekliwemu odbiorcy na lektur¦ dodatkowych prac.
Zaª¡czona na ko«cu ksi¡»ki bibliogra a ma zarówno wskaza¢ prace, na podsta- wie których dokonywano wywodów teoretycznych, jak i skªoni¢ Czytelnika do dalszej lektury.
W tym miejscu chc¦ podzi¦kowa¢ dr. hab. Michaªowi Baczy«skiemu z In- stytutu Matematyki Uniwersytetu l¡skiego w Katowicach za dyskusje dotycz¡ce ró»nych zagadnie« opisywanych w tej ksi¡»ce.
Niniejsza praca przybraªa ostateczny ksztaªt dzi¦ki szczegóªowym uwagom Recenzenta prof. dr. hab. in». Michaªa Wo¹niaka z Politechniki Wrocªawskiej, za które jestem Mu niezmiernie wdzi¦czny.
11
Ksi¡»k¦ pragn¦ zadedykowa¢ onie Teresie oraz moim Córkom Monice, Ewie i Marcie. To One wspieraªy mnie w pracy nad niniejsz¡ monogra ¡. Je- stem Im za to niezmiernie wdzi¦czny i wiem, »e nie oddadz¡ tego »adne sªowa.
Tu» przed uko«czeniem pracy nad ksi¡»k¡ Monika urodziªa synka Adasia. Po raz pierwszy zostaªem dziadkiem. To sprawiªo, »e postanowiªem szybko, z oczy- wistych wzgl¦dów, uko«czy¢ monogra ¦. Tak wi¦c równie» Ada± przyczyniª si¦
do jej wydania.
2. Algebra liniowa. Poj¦cia podstawowe
Zaprezentowane w niniejszym rozdziale poj¦cia nie opisuj¡ w caªo±ci za- gadnie« algebry liniowej i zostaªy przedstawione wybiórczo, w mo»liwie prosty, zwarty sposób. Pozwalaj¡ jednak Czytelnikowi ze zrozumieniem studiowa¢ ma- teriaªy zawarte w kolejnych rozdziaªach ksi¡»ki. Przytoczone w tym rozdziale informacje podane s¡ bez dowodów, gdy» te mo»na znale¹¢ w bogatej lite- raturze przedmiotu. Osoby zainteresowane dokªadnym poznaniem wszystkich dziaªów algebry liniowej powinny zapozna¢ si¦ ze ¹ródªowymi pracami po±wi¦- conymi tym zagadnieniom [16,21]. Prawdziwo±¢ przedstawionych w niniejszym rozdziale zale»no±ci mo»na sprawdzi¢ samodzielnie, wykorzystuj¡c do tego celu odpowiednie funkcje zawarte w takich dedykowanych programach matematycz- nych, jak: Mathematica, Matlab czy Maple. Programy tego typu s¡ nieustannie rozwijane i dost¦pne w wersjach peªnych (profesjonalnych) b¡d¹ ”okrojonych”
studenckich, w których ogranicza si¦ np. ich funkcjonalno±¢ lub wielko±¢
danych, na których mo»na przeprowadza¢ obliczenia.
2.1. Macierze
Ukªad liczb m × n, gdzie m, n ∈ N
a11 a12 · · · a1j · · · a1n a21 a22 · · · a2j · · · a2n ... ... ... ... ... ...
ai1 ai2 · · · aij · · · ain ... ... ... ... ... ...
am1 am2 · · · amj · · · amn
= A, (2.1)
rozmieszczonych w m wierszach i n kolumnach nazywamy macierz¡. Macierz mo»e by¢ traktowana równie» jako tablica. Element macierzy A stoj¡cy w i- tym wierszu oraz w j-tej kolumnie oznaczany jest symbolem aij. Macierz A mo»na tak»e przedstawia¢ w innym zapisie, w postaci [aij]m×n lub [aij], gdy 13
znany jest wymiar analizowanej macierzy. Macierz jest wi¦c funkcj¡ okre±lon¡
w zbiorze par liczb {i, j}, gdzie i = 1, ..., m, j = 1, ..., n, która parze {i, j}
przyporz¡dkowuje element aij.
2.1.1. Dziaªania ma macierzach Dodawanie macierzy
Niech A = [aij]m×n oraz niech B = [bij]m×n. Warunkiem koniecznym i dostatecznym dodawania (odejmowania) macierzy jest zgodno±¢ ich wymia- rów. Sum¡ (ró»nic¡) dwóch macierzy A i B jest macierz C = [cij]m×n, której elementy okre±lone s¡ wzorem:
cij = aij± bij, (2.2)
dla i = 1, ..., m oraz j = 1, ..., n. Wtedy C=A ± B . Mno»enie macierzy przez liczb¦
Niech A = [aij]m×n oraz λ jest dowoln¡ liczb¡, wtedy:
λA = Aλ = [λaij]. (2.3)
Iloczyn macierzy
Niech A = [aij]m×n oraz B = [bij]n×q. Iloczynem dwóch macierzy A oraz B nazywamy macierz C = [cij]m×q, której elementy wyznaczane s¡ wedªug zale»no±ci:
cij =Xn
k=1aikbkj = ai1b1j + ai2b2j + ... + ainbnj, (2.4) dla i = 1, ..., m oraz j = 1, ..., q.
Iloczyn macierzy C = AB mo»na obliczy¢ tylko wtedy, gdy liczba kolumn macierzy A jest równa liczbie wierszy macierzy B. Mno»enie macierzy, poza przypadkami szczególnymi, nie jest przemienne, co oznacza, »e AB 6= BA.
14
De nicja 2.1. Dana jest macierz A o wymiarach m × n z elementami aij
oraz macierz B o wymiarach r × s z elementami bij. Iloczynem Kroneckera macierzy A oraz B jest macierz D o wymiarach mr × ns zbudowana w sposób nast¦puj¡cy:
D = A ⊗ B =
a11B a12B ... a1nB a21B a22B ... a2nB ... ... ... ...
am1B am2B ... amnB
, (2.5)
gdzie symbol ⊗ oznacza mno»enie macierzy(tzw. kronekerowskie) wedªug reguªy (2.5).
2.1.2. Rodzaje macierzy
1. Macierz A = [aij]m×n, w której wszystkie elemeny s¡ równe 0, nazywamy macierz¡ zerow¡. Inaczej mówi¡c, je±li A = [aij] jest macierz¡ zerow¡, to wszystkie elementy aij = 0, dla i = 1, ..., m, j = 1, ..., n. Tak¡ macierz oznacza si¦ cz¦sto symbolem 0m×n. Nale»y równie» zauwa»y¢, »e z równania AB = 0nie wynika, »e A = 0 lub B = 0, gdy» istniej¡ niezerowe macierze A (A 6= 0) lub B (B 6= 0), których iloczyn jest macierz¡ zerow¡ [36].
2. Macierz kwadratowa A jest macierz¡ o wymiarze n × n. Liczb¦ wier- szy (kolumn) takiej macierzy nazywamy stopniem macierzy. Te elementy aij macierzy A, które posiadaj¡ oba wska¹niki równe, tworz¡ w macierzy kwadratowej przek¡tn¡ gªówn¡.
3. Macierz A = [aij]n×n jest macierz¡ osobliw¡, gdy:
det(A) = 0, (2.6)
w przeciwnym przypadku, gdy det(A) 6= 0, macierz A jestnieosobliwa.
4. Macierz A = [aij]n×n, w której wszystkie elementy niezerowe znajduj¡ si¦
na gªównej przek¡tnej, nazywa si¦macierz¡ diagonaln¡.
15
Dla macierzy diagonalnych speªnione s¡ nast¦puj¡ce warunki:
aij =
( di dla i = j
0 dla i 6= j . (2.7)
Macierz diagonalna oznaczana jest równie» symbolem diag(d1, d2, ..., dn), gdzie di= aiis¡ elementami gªównej przek¡tnej macierzy. Je±li di= 1, ma- cierz A nazywa si¦ macierz¡ jednostkow¡. Macierz jednostkow¡ stop- nia n zwykle oznacza si¦ symbolem In. Je±li di = λi, diagonalna ma- cierz A nazywa si¦macierz¡ skalarn¡. Je±li A jest macierz¡ skalarn¡, to diag(λ1, λ2, ..., λn) = λIn. Zauwa»my równie», »e λInA = λA. Szczegól- nym przypadkiem macierzy skalarnej jest macierz jednostkowa. Macierze jednostkowe i skalarne s¡ przemienne z dowoln¡ macierz¡ tego samego stop- nia, co oznacza, »e AIn= InA.
5. Dla macierzy A = [aij]m×n macierz¡ transponowan¡ jest macierz B = [bij]m×n, której elementy okre±lone s¡ wzorem:
bij = aji, (2.8)
dla i = 1, ..., m oraz j = 1, ..., n. Macierz transponowan¡ do macierzy A oznacza si¦ symbolem AT.
6. Je»eli AT = A, to macierz A nazywa si¦ macierz¡ symetryczn¡. Je±li AT = −A, to macierz A nazywa si¦ macierz¡ antysymetryczn¡ albo sko±nosymetryczn¡.
7. Niech A = [aij]n×n. Macierz A jest macierz¡ odwracaln¡, je±li istnieje taka macierz B = [bij]n×n, »e zachodzi:
A · B = B · A = In. (2.9)
Wyznacznik macierzy odwracalnej jest ró»ny od zera: det(A) 6= 0.
16
8. Macierz¡ odwrotn¡ do macierzy A = [aij]n×n jest macierz kwadratowa oznaczana symbolem A−1, która speªnia warunek:
A · A−1= A−1· A = In, (2.10)
A−1In= A−1. (2.11)
Je»eli macierz A posiada macierz odwrotn¡, to A jest macierz¡ odwracaln¡.
9. Niech A = [aij]n×n. Macierz A jestmacierz¡ ortogonaln¡, je±li speªniony jest warunek:
A−1 = AT. (2.12)
Z warunków (2.10) oraz (2.12) wynika, »e dla macierzy ortogonalnych speª- nione jest tak»e równanie:
A · AT = In. (2.13)
Dla macierzy ortogonalnej det(A) = 1. Je±li macierz jest macierz¡ or- togonaln¡, to wektory wierszowe tej macierzy tworz¡ baz¦ ortonormaln¡
przestrzeni En.Baz¦ ortonormaln¡ przestrzeni Entworz¡ równie» wektory kolumnowe macierzy A.
10. Niech K b¦dzie ciaªem zawartym w ciele liczb zespolonych Z. Je±li dana jest liczba x = a+bi, to przez x oznacza si¦ liczb¦ sprz¦»on¡ a−bi. Macie- rz¡ sprz¦»on¡ trywialnie z macierz¡ A = [aij]m×n nazywamy macierz oznaczan¡ symbolem A, której ka»dy element jest liczb¡ sprz¦»on¡ do od- powiadaj¡cego mu elementu macierzy A:
aij 7→ aij. (2.14)
Je±li wi¦c A =
"
3 1 + i 2i 20 − 4i
#
, to macierz¡ trywialnie z ni¡ sprz¦»on¡ jest
macierz A =
"
3 1 − i
−2i 20 + 4i
# .
17
11. Macierz¡ sprz¦»on¡ hermitowsko z macierz¡ A nazywamy macierz oznaczan¡ symbolem A∗, dla której speªniona jest zale»no±¢:
A∗ = AT. (2.15)
12. Macierz hermitowska A jest macierz¡, dla której zachodzi:
A = A∗. (2.16)
Inaczej mówi¡c, macierz hermitowska jest tak¡ macierz¡, która jest równa transpozycji swojej macierzy sprz¦»onej.
Je±li wi¦c A =
"
2 1 + i 1 − i −2
#
, to A =
"
2 1 − i 1 + i −2
#
oraz A∗ = AT =
"
2 1 + i 1 − i −2
#
= A.
13. Macierz¡ unitarn¡ A = [aij]n×nnazywamy macierz kwadratow¡ speªnia- j¡c¡ wªasno±¢:
A∗· A = In, (2.17)
co oznacza, »e macierz unitarna A posiada macierz odwrotn¡ A∗, czyli A∗ = A−1. Tak wi¦c macierz unitarna posiada macierz odwrotn¡ b¦d¡c¡
hermitowskim sprz¦»eniem jej samej.
2.2. Przestrze« liniowa
Przestrze« liniowa nazywana jest równie» przestrzeni¡ wektorow¡ i jest jed- nym z elementów algebry liniowej oraz analizy funkcjonalnej. Przestrzenie tego typu znajduj¡ zastosowanie w bardzo wielu dziedzinach wspóªczesnych bada«
naukowych. Naturalnymi przykªadami przestrzeni liniowych s¡ dwu- i trójwy- miarowe przestrzenie euklidesowe. Przestrze« liniowa jest struktur¡ algebra- iczn¡, skªadaj¡c¡ si¦ ze zbioru wektorów V , ciaªa liczbowego K oraz dziaªa«
dodawania i mno»enia wektorów.
18
De nicja 2.2. Przestrzeni¡ liniow¡ nad ciaªem K nazywamy niepusty zbiór V z dwoma dziaªaniami dwuargumentowymi:
dodawaniem wektorów: a + b, dla dowolnych a, b ∈ V ,
mno»eniem wektora przez skalar: αa, gdzie α ∈ K oraz a ∈ V . Dla wymienionych dziaªa« speªnione by¢ musz¡ poni»sze aksjomaty:
1. Wyst¦puje przemienno±¢ dodawania: a + b = b + a.
2. Zapewniona jest ª¡czno±¢ dodawania: (a + b) + c = a + (b + c).
3. Istnieje element neutralny o przestrzeni V taki, »e: a + o = a.
4. Istnieje element przeciwny do danego elementu:
dla ka»dego wektora a ∈ V istnieje wektor −a ∈ V taki, »e a + (−a) = o.
5. α(βa) = (αβ)a.
6. (α + β)a = αa + βa oraz α(a + b) = αa + αb.
Przykªad 2.1. Niech n ∈ N oraz niech Rn b¦dzie zbiorem wektorów o n wspóªrz¦dnych takich, »e: Rn= {a = [a1, a2, ..., an] : ai ∈ R dla 1 ≤ i ≤ n},
∀a,b∈Rn [a1, a2, ..., an] + [b1, b2, ..., bn] = [a1+ b1, a2+ b2, ..., an+ bn],
∀a∈Rn ∀α∈R αa = [αa1, αa2, ..., αan]. Tak zde niowany zbiór Rn jest wtedy przestrzeni¡ liniow¡ nad ciaªem R.
De nicja 2.3. Niech V b¦dzie przestrzeni¡ liniow¡ nad R. Iloczynem ska- larnym w przestrzeni V nazywamy funkcj¦, która ka»dej parze wektorów tej przestrzeni przypisuje liczb¦ rzeczywist¡ ha, bi. Funkcja ta speªnia nast¦puj¡ce warunki:
1. ha,bi = hb,ai.
2. ha + b, ci = ha, ci + hb, ci dla dowolnych a, b, c ∈ V .
3. hαa, bi = α ha, bi dla dowolnych a, b ∈ V oraz dla ka»dego α ∈ R.
19
4. ha, ai ≥ 0 dla ka»dego a ∈ V .
5. ha, ai = 0 wtedy i tylko wtedy, gdy a = o.
Niech a = [a1, a2, ..., an] oraz b = [b1, b2, ..., bn], gdzie n ∈ N i a, b ∈ V . Wtedy iloczyn skalarny w przestrzeni V wyznaczany jest wedªug nast¦puj¡cej formuªy:
ha, bi = a1b1+ a2b2+ ... + anbn=
n
X
i=1
aibi.
Przestrze« liniowa z wprowadzonym do niej iloczynem skalarnym nazywana jest tak»e przestrzeni¡ unitarn¡, w której mo»liwe jest de niowanie takich poj¦¢, jak k¡t, dªugo±¢ wektora (czyli norma elementu przestrzeni) lub ortogonalno±ci elementów. Przestrzenie unitarne, zupeªne ze wzgl¦du na metryk¦ generowan¡
przez norm¦ (zale»n¡ od iloczynu skalarnego), s¡ przestrzeniami metrycznymi i nazywane s¡ tak»e przestrzeniami Hilberta.
De nicja 2.4. Niech V b¦dzie przestrzeni¡ liniow¡ nad ciaªem K. Wektory v1, v2, ..., vn tej przestrzeni, gdzie n ∈ N, s¡ liniowo niezale»ne wtedy i tylko wtedy, gdy z warunku α1v1+ α2v2+ ... + αnvn= odla dowolnych wspóªczynni- ków α1, α2, ..., αn∈ K wynika, »e jedynymi takimi wspóªczynnikami s¡ skalary o warto±ciach α1= α2 = ... = αn= 0.
De nicja 2.5. Niech V b¦dzie przestrzeni¡ liniow¡ nad ciaªem K. Wektory v1, v2, ..., vn tej przestrzeni, gdzie n ∈ N, s¡ liniowo zale»ne wtedy i tylko wtedy, gdy Wαi6=0 (czyli nie wszystkie wspóªczynniki równocze±nie s¡ zerami), dla których speªniona jest równo±¢ α1v1+ α2v2+ ... + αnvn= o. Oznacza to,
»e wektor vi mo»e by¢ wpisany w liniowy zwi¡zek z innym.
De nicja 2.6. Ukªad v1, v2, ..., vn liniowo niezale»nych wektorów przestrzeni nazywa si¦ ukªadem maksymalnym tej przestrzeni, je»eli w wyniku doª¡czenia do tego ukªadu dowolnego wektora vn+1 otrzymamy ukªad wektorów liniowo za- le»nych.
Na podstawie wymienionych powy»ej de nicji mo»na przedstawi¢ wa»ne wªa±ciwo±ci wektorów liniowo zale»nych i liniowo niezale»nych.
20
Niech V b¦dzie przestrzeni¡ liniow¡ nad ciaªem K oraz niech a,v1, v2, ..., vn
b¦d¡ wektorami tej przestrzeni. Niech W b¦dzie podprzestrzeni¡ liniow¡ prze- strzeni V , zbudowan¡ nad tym samym ciaªem K, wówczas [16,31]:
wektor a jest liniowo niezale»ny wtedy i tylko wtedy, gdy a 6= o,
wektory o, v1, v2, ..., vn s¡ liniowo zale»ne,
je»eli wektory v1, v2, ..., vn s¡ liniowo zale»ne, to wektory a,v1, v2, ..., vn s¡
równie» liniowo zale»ne,
je»eli wektory v1, v2, ..., vn∈ W s¡ liniowo zale»ne (niezale»ne) w przestrzeni V, to s¡ równie» zale»ne (niezale»ne) w przestrzeni W.
De nicja 2.7. Niech V b¦dzie przestrzeni¡ liniow¡ nad ciaªem K. Niech v1, v2, ..., vn ∈ V oraz α1, α2, ..., αn ∈ K, wtedy wektor b = α1v1+ α2v2 + ... + αnvn nazywa si¦ kombinacj¡ liniow¡ wektorów.
Warunkiem wystaczaj¡cym na to, aby wektory v1, v2, ..., vn∈ V, dla n ≥ 2, byªy liniowo zale»ne jest warunek, aby co najmniej jeden z nich byª kombinacj¡
liniow¡ pozostaªych. Gdy takiej kombinacji liniowej nie mo»na znale¹¢, wek- tory s¡ niezale»ne. Opisywany warunek mo»na równie» odnie±¢ do przestrzeni niesko«czenie wymiarowych. Niesko«czony zbiór wektorów przestrzeni liniowej V∞jest liniowo niezale»ny, je»eli ka»dy jego sko«czony podzbiór wektorów jest liniowo niezale»ny. Gdy tak nie jest, zbiór takich wektorów jest liniowo zale»ny.
2.2.1. Przestrze« euklidesowa
De nicja 2.8. Przestrze« liniowa, w której zostaª wprowadzony iloczyn ska- larny, nazywana jest przestrzeni¡ euklidesow¡ E.
Przykªad 2.2. Przywoªuj¡c de nicje podane w poprzednim paragra e, mo»na ªatwo wykaza¢ zale»no±¢ lub niezale»no±¢ ró»nych wektorów:
1.W przestrzeni euklidesowej Rn wektory e1 = [1, 0, ..., 0], e2 = [0, 1, ..., 0], ..., en= [0, 0, ..., 1] s¡ liniowo niezale»ne. Dodatkowo wektory te stanowi¡ ukªad maksymalny tej przestrzeni.
21
Poniewa» wektory ei s¡ liniowo niezale»ne, to mo»na powiedzie¢, »e prze- strze« Rn jest przestrzeni¡ generowan¡ przez te wektory. Oznacza to, »e przestrze« Rnjest przestrzeni¡ euklidesow¡ En.
2.W przestrzeni euklidesowej R3nad ciaªem R wektory a = [2, 1, 0], b = [1, 2, 1]
oraz c = [1, −1, −1] s¡ liniowo zale»ne, poniewa» warunek α1a + α2b + α3c = o = [0, 0, 0]mo»e by¢ speªniony dla warto±ci skalarów α1= −1, α2 = α3= 1, αi ∈ R.
3.W przestrzeni euklidesowej R3 nad ciaªem R wektory a = [0, 1, 0] oraz b = [1, 0, 1]s¡ wektorami liniowo niezale»nymi, poniewa» warunek α1a + α2b = o mo»e by¢ speªniony jedynie dla skalarów o warto±ciach α1 = α2 = 0, αi ∈ R. De nicja 2.9. Niech a b¦dzie dowolnym wektorem przestrzeni euklidesowej E.
Norm¡ wektora zadan¡ przez iloczyn skalarny nazywamy liczb¦:
kak =pha, ai. (2.18)
Norma wektora nazywana jest tak»e dªugo±ci¡ wektora.
Iloczyn skalarny w przestrzeni E wyznacza wi¦c norm¦ euklidesow¡ zadan¡
wzorem (2.18). Wektor a przestrzeni euklidesowej E jest unormowany wtedy, gdy kak = 1. Dowolny wektor a ∈ E mo»na normowa¢. Operacja normowania generuje nowy, unormowany wektor b = a
kak przestrzeni, który jest wspóªli- niowy z wektorem a.
De nicja 2.10. Dwa wektory a i b przestrzeni euklidesowej E s¡ ortogo- nalne, je»eli ich iloczyn skalarny wynosi zero, to znaczy jest speªniona równo±¢:
ha, bi = 0.
Dwa wektory ortonormalne s¡ unormowanymi wektorami ortogonalnymi.
Wektor zerowy o jest ortogonalny do ka»dego wektora. Ortogonalno±¢ wek- torów mo»na równie» sprawdzi¢ inaczej. Dwa wektory a i b przestrzeni eu- klidesowej s¡ ortogonalne wtedy i tylko wtedy, gdy speªniony jest warunek:
22
kak2 + kbk2 = ka + bk2. Dla przestrzeni E2 ortogonalno±¢ wektorów ozna- cza, »e s¡ one prostopadªe. Poj¦cie ortogonalno±ci wektorów mo»na równie»
odnie±¢ do przestrzeni En, dla dowolnego n. Wa»n¡ wªasno±ci¡ normy (2.18) w przestrzeniach rzeczywistych jest reguªa równolegªoboku:
2 · kak2+ 2 · kbk2 = ka + bk2+ ka − bk2. (2.19) Oznacza to, »e iloczyn skalarny mo»na równie» wyznaczy¢ z formuªy:
ha, bi = 12(ka + bk2− kak2− kbk2). (2.20) Zbiór wektorów przestrzeni euklidesowej E nazywamy ukªadem ortogonal- nym wtedy i tylko wtedy, gdy dowolna para wektorów z tego zbioru jest ortogo- nalna. Zbiór wektorów przestrzeni E jest ukªadem ortonormalnym, gdy skªada si¦ z unormowanych wektorów parami ortogonalnych.
Oznacza to, »e dla ka»dej pary wektorów vi, vj ∈ Emamy:
hvi, vji =
( C dla i = j
0 dla i 6= j . (2.21)
Gdy C = 1, wektory vi, vj s¡ unormowane. Gdy C 6= 1, wymienione wektory nie s¡ unormowane.
2.2.2. Ortogonalizacja GramaSchmidta
Dowolny zbiór liniowo niezale»nych wektorów, czyli baz¦ {v1, v2, ..., vn} przestrzeni euklidesowej, mo»na przeksztaªci¢ w zbiór wektorów ortogonalnych, czyli baz¦ ortogonaln¡ {w1, w2, ..., wn} tej samej przestrzeni, ortogonalizuj¡c j¡ w procesie GramaSchmidta [31]. W takim przypadku wektory bazy orto- gonalnej s¡ sukcesywnie budowane na podstawie formuªy:
w1 = v1
w2 = v2−hv2, w1i kw1k2 w1
w3 = v3− hv3, w1i
kw1k2 w1+ hv3, w2i kw2k2 w2
.
(2.22)
23
Z opisu (2.22) wynika, »e podan¡ procedur¦ ortogonalizacji wektorów mo»na zapisa¢ w sposób rekurencyjny:
wn= vn− hvn, w1i
kw1k2 ◦ w1+hvn, w2i
kw2k2 ◦ w2+ ... + hvn, wn−1i
kwn−1k2 ◦ wn−1
. (2.23) Aby zbudowa¢ w ten sposób zbiór ortonormalny, ka»dy wektor nale»y dodat- kowo podzieli¢ przez jego norm¦, co ju» omówiono wcze±niej.
Przykªad 2.3. Dane s¡ dwa wektory v1 = [1, 0, −2], v2 = [5, 1, 4]. Nale»y zor- togonalizowa¢ te wektory. Stosuj¡c bezpo±rednio formuª¦ (2.22), otrzymujemy:
w1 = v1 = [1, 0, −2], w2 = v2− hv2, w1i
kw1k2 w1= [5, 1, 4] −[5, 1, 4] ◦ [1, 0, −2]
5 ◦ [1, 0, −2] = [285 , 1,145]. Wektory v1 oraz v2 rzeczywi±cie nie byªy ortogonalne, bo ich iloczyn skalarny hv1, v2i 6= 0. Po ortogonalizacji wektory w1 i w2 s¡ ju» ortogonalne:
hw1, w2i = [1, 0, −2] ◦ [285, 1,145] = 0.
2.2.3. Metryka przestrzeni
Metryka przestrzeni jest funkcj¡ podaj¡c¡ sposób obliczania odlegªo±ci po- mi¦dzy dwoma punktami nale»¡cymi do danej przestrzeni. Metryka opisuje wi¦c geometryczne wªa±ciwo±ci zbioru. Sformuªowanie ogólnych warunków, ja- kie powinna speªnia¢ ta odlegªo±¢, prowadzi do poj¦cia przestrzeni metrycznej.
De nicja 2.11. Zbiór X nazywamy przestrzeni¡ metryczn¡, je±li ka»dej parze elementów a, b, c ∈ X przyporz¡dkowana jest nieujemna liczba d w taki sposób,
»e speªnione s¡ nast¦puj¡ce aksjomaty metryki:
1. d(a, b) = 0 ⇔ a = b.
2. d(a, b) = d(b, a).
3. d(a, b) + d(b, c) ≥ d(a, c).
24
Funkcj¦ d nazywamy metryk¡, a warto±¢ funkcji d(a, b) dla ustalonej pary elementów (a, b) nazywamy odlegªo±ci¡ pomi¦dzy punktami a i b, przy czym
”odlegªo±¢” jest w pewnym uproszczeniu synonimem poj¦cia ”niepodobie«stwo”.
Zgodnie z aksjomatem nr 1 podanym w De nicji 2.11, je±li wektory s¡ iden- tyczne, to ich niepodobie«stwo wynosi zero. W zbiorze X metryk¦ mo»na de - niowa¢ w ró»ny sposób. Metryki s¡ odpowiednio zde niowanymi odlegªo±ciami pomi¦dzy wektorami. Je±li funkcja, wedªug której wyznacza si¦ odlegªo±¢ po- mi¦dzy wektorami, nie speªnia warunku 3 De nicji 2.11, to funkcja d nazywana jest miar¡, np. odlegªo±¢ euklidesowa jest metryk¡, ale kwadrat odlegªo±ci eu- klidesowej nie jest metryk¡ tylko miar¡, gdy» nie speªnia wszystkich podanych powy»ej aksjomatów metryki. Poni»ej przedstawiono kilka najbardziej popu- larnych miar i metryk.
Niech a = [a1, a2, ..., an] oraz b = [b1, b2, ..., bn], gdzie n ∈ N i a, b ∈ Rn, wtedy:
metryka euklidesowa: dE(a, b) =pPn
i=1(ai− bi)2,
metryka Manhattan (taksówkowa): dM(a, b) =Pn
i=1|ai− bi|,
metryka Czebyszewa: dC(a, b) = max{|ai− bi|, i = 1, ..., n},
metryka Minkowskiego: dK(a, b) =
Pn
i=1|ai− bi|k1k ,
dla k = 1 jest równowa»na metryce dM,
dla k = 2 jest równowa»na metryce dE,
dla k → ∞ jest równowa»na niewa»onej metryce dC,
metryka Dice'a: dD(a, b) = 2Pn i=1aibi
Pn
i=1a2i +Pn i=1b2i,
metryka Jaccarda: dJ(a, b) =
Pn i=1aibi Pn
i=1a2i +Pn
i=1b2i −Pn i=1aibi,
miara kosinusowa: dcos(a, b) = a · b
||a|| · ||b|| =
Pn i=1aibi r
Pn
i=1a2i ·q Pn
i=1b2i ,
25
która wyra»a kosinus k¡ta mi¦dzy znormalizowanymi wektorami. Miar¦ ko- sinusow¡ mo»na przeksztaªci¢ do metryki:
dcos(a, b) = 1 − a · b
||a|| · ||b||,
dla której speªnione s¡ teraz wszystkie podane aksjomaty z De nicji 2.11,
miara Tanimoto: dT(a, b) = aT · b
||a||2+ ||b||2− aT · b.
Podane powy»ej wspóªczynniki sªu»¡ do wyznaczania odlegªo±ci w prze- strzeniach metrycznych. W niektórych dziedzinach, takich jak przetwarzanie obrazów lub klasy kacja i rozpoznawanie wzorców, wymienione miary odle- gªo±ci nazywane s¡ tak»e wspóªczynnikami podobie«stwa obiektów. Parame- try (cechy) obiektów reprezentowane s¡ wtedy przez poszczególne wspóªrz¦dne wektorów a oraz b opisuj¡cych te obiekty.
2.2.4. Baza i wymiar przestrzeni liniowej
De nicja 2.12. Ukªad wektorów v1, v2, ..., vn nazywamy baz¡ sko«czon¡ prze- strzeni liniowej V , je±li:
vi ∈ V dla i = 1, 2, ..., n,
wektory v1, v2, ..., vn s¡ liniowo niezale»ne.
Aby ukªad wektorów tworzyª baz¦, musi speªnia¢ dwa warunki: ka»dy punkt przestrzeni daje si¦ przedstawi¢ jako kombinacja wektorów z tego ukªadu oraz mo»na tego dokona¢ tylko w jeden sposób (tzn. wektory ukªadu musz¡ by¢
liniowo niezale»ne). Oznacza to, »e dowolny zbiór n liniowo niezale»nych wek- torów przestrzeni n wymiarowej tworzy baz¦ tej przestrzeni. Mówimy wtedy, »e wektory v1, v2, ..., vn rozpinaj¡ przestrze« V . Przestrze« skªadaj¡ca si¦ tylko z wektora zerowego o = [0, ..., 0] nie ma bazy, gdy» nie zawiera ukªadu wektorów liniowo niezale»nych.
Je»eli przestrze« liniowa V ma baz¦ sko«czon¡, to liczba n wektorów bazy nazywa si¦ jej wymiarem. Wymiar przestrzeni jest oznaczany jako dim V = n.
26
Mo»na równie» wykaza¢, »e dowolny zbiór wektorów liniowo niezale»nych w przestrzeni liniowej mo»na uzupeªni¢ do bazy tej przestrzeni, oraz »e ka»de dwie bazy przestrzeni V skªadaj¡ si¦ zawsze z tej samej liczby wektorów [21, 31]. W zale»no±ci od ukªadu wektorów przestrzeni mamy do czynienia z baz¡
ortogonaln¡ lub ortonormaln¡ tej przestrzeni.
Przykªad 2.4. Wektory a = [1, 3, −2], b = [5, 1, 4] oraz c = [−1, 1, 1] two- rz¡ baz¦ ortogonaln¡ liniowej przestrzeni euklidesowej E3. Jak wiadomo, baz¦
przestrzeni tworz¡ tylko wektory liniowo niezale»ne. Dla wykazania liniowej niezale»no±ci wektorów a, b oraz c wystarczy stwierdzi¢, »e równanie:
α1a + α2b + α3c = o
posiada jedynie rozwi¡zanie dla α1 = α2 = α3 = 0. Mo»na to sprawdzi¢, rozwi¡zuj¡c ukªad równa«:
α11 + α25 − α31 = 0, α13 + α21 + α31 = 0,
−α12 + α24 + α31 = 0.
Powy»szy ukªad równa« mo»na przedstawi¢ w postaci macierzy:
B =
1 5 −1
3 1 1
−2 4 1
.
Poniewa» wyznacznik det(B) 6= 0, zatem ukªad równa« jest jednorodnym ukªa- dem Cramera z jedynym rozwi¡zaniem α1 = α2 = α3 = 0. Wektory bazy a, b oraz c s¡ parami ortogonalne, gdy» np. iloczyn skalarny wektorów ha, ci = 1 · (−1) + 3 · 1 − 2 · 1 = 0.
Podobne zwi¡zki zachodz¡ dla iloczynów skalarnych wektorów ha, bi = hb, ci = 0. Wektory nie s¡ unormowane, gdy» ||a|| =√
14, ||b|| =√
42oraz ||c|| =√ 3. Przykªad 2.5. Wektory a = [−12,
√3
2 , 0], b = [√23,12, 0]oraz c = [0, 0, 1] tworz¡
baz¦ ortonormaln¡ liniowej przestrzeni euklidesowej E3.
27
Liniow¡ niezale»no±¢ wektorów a, b, c mo»na sprawdzi¢ identycznie jak w przy- kªadzie poprzednim. Rozwi¡zanie wskazuje, »e wektory a, b oraz c s¡ liniowo niezale»ne. Iloczyny skalarne ha, bi = ha, ci = hb, ci = 0, tak wi¦c odpowied- nie wektory s¡ parami ortogonalne. Wektory s¡ te» unormowane, poniewa»
kak = kbk = kck = 1.
Spostrze»enie 2.1. Ortogonalno±¢ wektorów implikuje ich liniow¡ niezale»- no±¢. Niech V jest przestrzeni¡ liniow¡. Wektory v1, v2, ..., vn∈ V, z których ka»dy ma n elementów, tworz¡ baz¦ tej przestrzeni wtedy i tylko wtedy, gdy
det
v1 v2 ...
vn
n×n
6= 0. (2.24)
Wektory bazowe przestrzeni mo»na wi¦c zapisywa¢ tak»e w postaci macie- rzy.
Niech A = [aij]n×n, gdzie n ∈ N. Wówczas unormowane wektory wier- szowe a1, a2, ..., an∈ En macierzy A:
a1 = [a11, a12, ..., a1n], (2.25) a2 = [a21, a22, ..., a2n],
...
an = [an1, an2, ..., ann],
tworz¡ baz¦ ortonormaln¡ przestrzeni liniowej En wtedy i tylko wtedy, gdy macierz A jest macierz¡ nieosobliw¡, A−1 = A, a iloczyn macierzy AAT = In, det(A) = 1. Baz¦ En tworz¡ równie» wektory kolumnowe macierzy A.
Mo»na ªatwo wykaza¢, »e macierz A musi rzeczywi±cie posiada¢ takie wªasno±ci.
Wiersze macierzy A z zaªo»enia musz¡ by¢ parami ortogonalne. Dotyczy to równie» kolumn tej macierzy. Z twierdzenia Cauchy'ego o wyznaczniku iloczynu macierzy [36] wynika, »e det(AAT) = det(A) · det(AT).
28
Z wªasno±ci wyznaczników wynika, »e det(A) = det(AT), zatem det(AAT) = det(A) · det(A) = [det(A)]2. Poniewa» macierz A jest ortogonalna, zatem [det(A)]2 = det(A) = 1. Macierz A jest wi¦c macierz¡ nieosobliw¡. Iloczyn macierzy AAT = In jest macierz¡ diagonaln¡ (jednostkow¡). Macierz jed- nostkowa jest oczywi±cie nieosobliwa, gdy» det(In) = 1.Je±li wiersze macierzy A nie s¡ unormowane, to macierz A tworzy baz¦ ortogonaln¡ przestrzeni En. Mamy wtedy AAT = λIn.
Przykªad 2.6. Dana jest macierz A[aij]:
A =
1 2
1 2
1 2
1 2 1
2 −12 12 −12
1 2
1
2 −12 −12
1
2 −12 −12 12
= 1 2
1 1 1 1
1 −1 1 −1
1 1 −1 −1
1 −1 −1 1
. (2.26)
atwo równie» zauwa»y¢, »e A−1 = AT, A = AT oraz AAT = I4. Macierz A jest wi¦c symetryczna. Ka»da para wektorów wierszowych (kolumnowych) macierzy A jest ortogonalna, gdy» wybieraj¡c w sposób dowolny dwa wektory wierszowe (kolumnowe) macierzy A, na przykªad wektory a2 = [12, −12,12, −12] oraz a4= [12, −12, −12,12], ich iloczyn skalarny wynosi ha2, a4i = 12·12+ (−12) · (−12) +12 · (−12) + (−12) ·12 = 0.
W identyczny sposób mo»na post¡pi¢ dla ka»dej pary wektorów wierszowych (kolumnowych), otrzymuj¡c identyczne wyniki:
hai, aji = 0 dla i, j = 1, ..., 4 oraz i 6= j, hai, aii = ||ai|| = 1 dla i = 1, ..., 4.
Zbiór wektorów wierszowych(kolumnowych) macierzy A jest wi¦c zbiorem wek- torów ortogonalnych i unormowanych. Wektory a1, a2, a3, a4 s¡ równie» li- niowo niezale»ne, gdy» rozwi¡zanie równania:
α1a1+ α2a2+ α3a3+ α4a4= o, które rozwin¡¢ mo»na do ukªadu równa«:
29
α11 2+ α21
2 + α31 2+ α41
2 = 0, α112− α212 + α312− α412 = 0, α11
2+ α21
2 − α312− α412 = 0, α112− α212 − α312+ α412 = 0,
jest mo»liwe tylko dla wspóªczynników o warto±ciach α1 = α2 = α3 = 0. Oznacza to, »e wszystkie wektory wierszowe (kolumnowe) macierzy A tworz¡
baz¦ ortonormaln¡ liniowej przestrzeni euklidesowej E4.
Gdyby oznaczy¢ przez B macierz znajduj¡c¡ si¦ po prawej stronie równania (2.26), w której wyst¦puj¡ tylko warto±ci ±1, to zbiór wektorów wierszowych tej macierzy jest tak»e zbiorem wektorów ortogonalnych, gdy» hbi, bji = 0 dla i, j = 1, ..., 4 oraz i 6= j, ale hbi, bii = 4 oraz ||bi|| = 2, dla i = 1, ..., 4.
Wtedy det(B) = 16, B = BT, B−1 = 14BT, a iloczyn macierzy BBT = 14In. Z punktu widzenia wymaga« dotycz¡cych ortogonalno±ci macierzy macierz B nie jest ortogonalna, gdy» nie zachodz¡ dla niej zwi¡zki B−1 = BT oraz det(B) = 1. Wektory bis¡ wektorami nieunormowanymi, ale wszystkie maj¡ t¦
sam¡ dªugo±¢ (ró»n¡ od 1). Wektory macierzy B rozpinaj¡ liniow¡ przestrze«
euklidesow¡ E4.
3. Preliminaria
Opisywane w tym rozdziale zagadnienia s¡ znane i zostaªy omówione w lite- raturze, nie wnosz¡ wi¦c nowych tre±ci. Przyj¦cie takiej formuªy ich prezentacji pozwala Czytelnikowi skupi¢ si¦ na analizie opisywanych w kolejnych rozdzia- ªach zagadnie«, bez konieczno±ci poszukiwania i studiowania literatury dodat- kowej. Niezb¦dne pozycje literaturowe s¡ oczywi±cie w odpowiednich miejscach przywoªywane, pozwalaj¡c w razie potrzeby na lektur¦ dodatkowych prac.
3.1. Arytmetyka modularna. Kongruencje
Arytmetyka modularna, nazywana tak»e arytmetyk¡ reszt, jest podobna do zwykªej arytmetyki na liczbach caªkowitych z t¡ ró»nic¡, »e obliczenia prowa- dzone s¡ modulo n (mod n).
De nicja 3.1. Niech n b¦dzie liczb¡ naturaln¡ (n ∈ N) oraz niech a oraz b b¦d¡ liczbami caªkowitymi (a, b, k ∈ Z). Mówimy, »e a przystaje do b modulo n, je»eli ró»nica a − b jest podzielna przez n, co symbolizuje zapis a ≡ b (mod n) lub a ≡nb:
a ≡ b (mod n) ⇔ _
k∈Z
a − b = k · n. (3.1)
Liczb¦ n nazywamy moduªem kongruencji.
Zgodnie z De nicj¡ (3.1), kongruencja to sposób zapisu informuj¡cego, »e dwie liczby caªkowite a oraz b daj¡ t¦ sam¡ reszt¦ przy dzieleniu ka»dej z nich przez pewn¡ liczb¦ naturaln¡ n. Inaczej: liczby a i b przystaj¡ modulo n (s¡
kongruentne), je±li ich ró»nica a − b dzieli si¦ bez reszty przez n.
Notacja a ≡ b (mod n) oznacza, »e dla pewnej liczby k ∈ Z zachodzi zwi¡zek a = b + k · n. Zapis a (mod n) odnosi si¦ do operacji tzw. redukcji modularnej, która oznacza, »e reszta z dzielenia a/n speªnia warunek a/n < n.
Formalny opis arytmetyki modularnej przedstawi¢ mo»na za pomoc¡ teorii grup. Grup¦ (A, ⊕n) tworzy zbiór A wraz ze de niowan¡ w A operacj¡ ⊕n
posiadaj¡c¡ nast¦puj¡ce wªasno±ci:
31
Dla a, b ∈ A element a ⊕nb ∈ A.
Istnieje element e ∈ A zwany elementem neutralnym taki, »e e ⊕na = a ⊕ne = adla dowolnego a ∈ A.
Dla a, b, c ∈ A zachodzi (a ⊕nb) ⊕nc = a ⊕n(b ⊕nc).
Dla elementu a ∈ A istnieje dokªadnie jeden element odwrotny b ∈ A taki,
»e a ⊕nb = b ⊕na = e.
Zgodnie z powy»szym, mo»na wprowadzi¢ w zbiorze A = {0, 1, ..., n − 1}
arytmetyk¦ modulo n, de niuj¡c dziaªania:
dodawania:
a + b =
( a + b, dla a + b < n
a + b − n, dla a + b ≥ n , (3.2)
odejmowania:
a − b =
( a − b, dla a − b ≥ 0
a − b + n, dla a − b < 0 , (3.3)
wyznaczenia liczby przeciwnej do liczby a:
c =
( −a + n, dla a > 0
0, dla a = 0 , (3.4)
wyznaczenia liczby odwrotnej do liczby a (mod n). Jest to taka liczba x, »e:
ax ≡ 1 (mod n). (3.5)
Liczb¦ x zapisuje si¦ cz¦sto w postaci:
x = [a−1]n. (3.6)
32
Program 3.1. Liczb¦ odwrotn¡ modulo n do liczby a mo»na wyznaczy¢ za pomoc¡ programu Matlab.
% Obliczanie odwrotnosci a modulo n
a=13; % Liczba a
n=8; % Liczba modulo
p0=0; p1=1; % Zmienne pomocnicze a0=a; n0=n; % Zmienne pomocnicze
q=floor(n0/a0); % Zwraca najwieksza liczbe calkowita,
% mniejsza lub rowna n0/a0 r=mod(n0,a0); % Reszta z dzielenia n0/a0
while (r>0) % Glowna petla programu. Warunek zakonczenia t=p0-q*p1;
if (t>=0) t=mod(t,n);
else
t=n-(mod(-t,n));
end
p0=p1; p1=t;
n0=a0; a0=r;
q=floor(n0/a0);
r=mod(n0,a0);
end
p1 % Wyznaczona liczba
3.2. Zwykªy i rozszerzony algorytm Euklidesa
Za pomoc¡ zwykªego algorytmu Euklidesa wyznacza si¦ najwi¦kszy wspólny dzielnik (NW D) dwóch liczb naturalnych a oraz b. Jest to powszechnie znany algorytm, implementowany w ró»nych j¦zykach programowania. Jego opis jest wi¦c zb¦dny. Algorytm Euklidesa jest implementowany w wielu pakietach ma- tematycznych.
33
Znalezienie najwi¦kszego wspólnego dzielnika (NW D) liczb a oraz b umo»- liwia na przykªad polecenie Matlaba gcd(a, b), a polecenie mod(a, b) wyznacza reszt¦ z dzielenia a/b.
W rozszerzonym algorytmie Euklidesa, oprócz znajdowania NW D(a, b), a, b > 0, wyznaczane s¡ równie» takie liczby caªkowite s, t, »e [8,29]:
N W D(a, b) = a · s + b · t. (3.7) Istnienie takich liczb udowadnia lemat E. Bezout, który rozstrzyga, »e to»- samo±¢ (3.7) jest zawsze prawdziwa. W praktycznej realizacji algorytmu Eukli- desa wykorzystuje si¦ spostrze»enie, »e dla a > b i a, b ∈ N zachodzi zwi¡zek:
N W D(a, b) = N W D((a mod b), b), (3.8) gdzie a mod b oznacza reszt¦ z dzielenia a/b.
Program 3.2. Iteracyjna realizacja rozszerzonego algorytmu Euklidesa, gdzie wykorzystuje si¦ zale»no±¢ (3.8). Dla danych wej±ciowych (liczby A, B) algo- rytm wyznacza liczby s, t, zgodnie z formuª¡ (3.7).
a=A; b=B; % A i B dane wejsciowe
s=1; t=0; r=0; u=1; % Zmienne pomocnicze
while a<0 | a~=round(a) % Kontrola poprawnosci liczby a a=input('podaj wartosc a:');
end;
while b<0 | b~=round(b) % Kontrola poprawnosci liczby b b=input('podaj wartosc b:');
end;
while (b~=0) % Glowna petla programu
c=mod(a,b); % Reszta z dzielenia a/b
d=floor(a/b); % Czesc calkowita z dzielenia a/b
a=b; % Zapamietanie biezacej wartosci b
b=c; % Zapamietanie biezacej wartosci c
34
n_r=s-d*r;
n_u=t-d*u;
s=r;
t=u;;
r=n_r;
u=n_u;
end s t
Algorytm Euklidesa mo»na zrealizowa¢ w dwóch technikach programowania w wersji iteracyjnej lub rekurencyjnej.
3.3. Chi«skie twierdzenie o resztach
Chi«skie twierdzenie o resztach (ang. Chinese remainder theorem CRT) mówi, »e okre±lony ukªad kongruencji speªnia dokªadnie jedna liczba.
Twierdzenie to jest cz¦sto wykorzystywane w algorytmach kryptogra cz- nych, gdy» pozwala na wykonywanie operacji matematycznych na du»ych licz- bach.
Twierdzenie 3.1. (chi«skie twierdzenie o resztach). Niech M = Πki=1mi jest iloczynem liczb wzgl¦dnie pierwszych, m1, ..., mk ∈ N r {0}, co oznacza, »e N W D(mi, mj) = 1, dla i 6= j.
Niech a1, ..., ak∈ N b¦d¡ dowolnymi liczbami. Wtedy ukªad równa« diofantycz- nych jest ukªadem kongruencji:
c ≡ ai (mod mi), i = 1, ..., k, (3.9) i ma dokªadnie jedno rozwi¡zanie c takie, »e:
c =
k
X
i=1
M
mi · si· ai, (mod M ), (3.10) 35
gdzie liczba si jest rozwi¡zaniem kongruencji typu mMi · c ≡ 1 (mod mi), dla i = 1, ..., k.
Przykªad 3.1. Korzystaj¡c z chi«skiego twierdzenia o resztach, nale»y wyzna- czy¢ dodatnie rozwi¡zanie ukªadu kongruencji:
c ≡ 4 (mod 3) c ≡ 7 (mod 10) c ≡ 6 (mod 7)
.
Poniewa» NW D(3, 10) = NW D(3, 7) = NW D(10, 7) = 1, zatem liczby 3, 10 oraz 7 s¡ wzgl¦dnie pierwsze. Ukªad kongruencji ma wi¦c rozwi¡zanie. Otrzy- mujemy M = 3 · 10 · 7 = 210 oraz:
M
m1 = 210 3 = 70, M
m2 = 210 10 = 21, M
m3 = 210 7 = 30.
Z podstaw arytmetyki modularnej wiadomo, »e zachodzi zwi¡zek: NW D(a, b) = a · s + b · t, gdzie s i t s¡ pewnymi liczbami caªkowitymi. Je±li znane s¡ liczby aoraz b, tutaj znane s¡ pary liczb: (70, 3) (21, 10) oraz (30, 7), to zestawy liczb si t mo»na wyznaczy¢ za pomoc¡ rozszerzonego algorytmu Euklidesa, który byª ju» opisany wcze±niej:
70 · c ≡ 1 (mod 3) : N W D(70, 3) = 1 = 70 · 1 + 3 · (−23) → s1 = 1, 21 · c ≡ 1 (mod 10) : N W D(21, 10) = 1 = 21 · 1 + 10 · (−2) → s2 = 1, 30 · c ≡ 1 (mod 7) : N W D(30, 7) = 1 = 30 · (−3) + 7 · (13) → s3 = −3.
Wtedy, na podstawie chi«skiego twierdzenia o resztach, otrzymujemy:
c = 70 · 1 · 4 + 21 · 1 · 7 + 30 · (−3) · 6 = −113 (mod 210) lub w innym zapisie: −113 ≡21097, bo −113 (mod 210) = 97.
36
Rozwi¡zaniem zbioru kongruencji jest wi¦c liczba c = 97.
W Matlabie mo»na ªatwo sprawdzi¢, »e warunki zadanego ukªadu kongruencji s¡
speªnione, gdy»: mod(97, 3) = mod(4, 3) = 1, mod(97, 10) = mod(7, 10) = 7 oraz mod(97, 7) = mod(6, 7) = 6.
3.4. Notacja O
Wiele wspóªczesnych naukowych i technologicznych zagadnie« jest tak skom- plikowanych, »e wymagaj¡ stosowania komputerów. Jednocze±nie zmierza si¦
do tego, aby komputery dziaªaªy szybko, czyli by szybko±¢ oblicze« byªa du»a.
Aby zwi¦kszy¢ szybko±¢ dziaªania procesorów, niezb¦dne jest udoskonalanie technologii projektowania i wytwarzania ukªadów mikroelektronicznych o du-
»ym stopniu scalenia. Produkowane obecnie ukªady o ultrawysokim stopniu scalenia (ang. Ultra Large Scale of Integration) s¡ tak wydajne, »e szeroko±¢
±cie»ek ª¡cz¡cych wewn¦trzne elementy ukªadu jest bliska wymiarom atomo- wym, co mo»e stanowi¢ barier¦ dalszego post¦pu technologicznego. Pewnym ograniczeniom podlegaj¡ równie» próby podnoszenia cz¦stotliwo±ci taktowania ukªadów, gdy» pojawiaj¡ si¦ wtedy kªopotliwe do wyeliminowania opó¹nienia czasowe zakªócaj¡ce wspóªprac¦ elementów wewn¦trznych. Innym rodzajem eksperymentów zmierzaj¡cych do zwi¦kszenia szybko±ci dziaªania ukªadów s¡
próby ró»nicowania napi¦¢ zasilaj¡cych ukªad. Wyra nowana technologia nie zwalnia jednak od poszukiwa« takich rozwi¡za« programowych, które z zastoso- waniem danego sprz¦tu b¦d¡ wykonywane najszybciej. Badaniem algorytmów zajmuje si¦ algorytmika.
Niektóre algorytmy s¡ szybsze od innych. Wszystkie jednak wymagaj¡ wi¦- cej czasu, by operowa¢ na wi¦kszej liczbie danych wej±ciowych. Je±li liczba danych wej±ciowych nie b¦dzie du»a, to prawdopodobnie nie zauwa»y si¦ ró»- nicy w czasie dziaªania ró»nych algorytmów na danej maszynie, ale dla zadania operuj¡cego na du»ej liczbie danych wybór wªa±ciwego algorytmu ma znaczenie kluczowe mo»e prowadzi¢ do istotnego skrócenia czasu oblicze«. Sposobem oceny algorytmu mo»e by¢ szacowanie jego zªo»ono±ci czasowej. Zªo»ono±¢ cza- sowa jest elementem zªo»ono±ci obliczeniowej, w przypadku której badany jest 37
czas wykonania lub zapotrzebowanie algorytmu na pami¦¢ operacyjn¡. Miar¡
zªo»ono±ci czasowej jest liczba podstawowych (dominuj¡cych) operacji niezb¦d- nych do zrealizowania algorytmu. Pomiar rzeczywistego czasu byªby myl¡cy, ze wzgl¦du na siln¡ zale»no±¢ realizacji algorytmu od u»ytego kompilatora oraz sprz¦tu komputerowego, którym dysponujemy. Znaj¡c czas wykonania elemen- tarnej operacji na danym komputerze, zªo»ono±¢ czasow¡ mo»na okre±la¢ rów- nie» w jednostkach czasu, czego jednak si¦ nie praktykuje.
Projektuj¡c algorytm, chcemy, »eby jego zªo»ono±¢ obliczeniowa byªa jak najmniejsza, czyli aby program liczyª si¦ jak najkrócej i wykorzystywaª jak naj- mniej zasobów pami¦ci operacyjnej. D¡»ymy wi¦c do minimalizowania kosztów algorytmu. Nie zawsze takie rozumowanie jest jednak uprawnione cz¦sto lepiej jest dobra¢ prostszy algorytm ni» poszukiwa¢ algorytmu szybkiego, lecz bar- dziej zªo»onego, a tym samym trudniejszego do zapisania w wybranym j¦zyku programowania, co mo»e by¢ przyczyn¡ powstawania trudnych do znalezienia i eliminacji bª¦dów wykonania.
De nicja 3.2. Niech t i g b¦d¡ ci¡gami liczb rzeczywistych. Zapisujemy, »e:
t(n) = O(g(n)) (3.11)
wtedy, gdy istniej¡ staªe c, n0 ∈ R+ takie, »e:
^
n>n0
t(n) ≤ c · g(n), (3.12)
gdzie n jest rozmiarem danych wej±ciowych.
Mówimy wtedy, »e funkcja t jest co najwy»ej rz¦du g.
Równo±¢ t(n) = O(g(n)) nale»y interpretowa¢ w ten sposób, »e funkcja t(n) nale»y do zbioru wszystkich funkcji, które speªniaj¡ t¦ równo±¢. De - nicja 3.2 wskazuje, »e dla du»ych n warto±ci t nie s¡ wi¦ksze ni» warto±ci g pomno»one przez pewn¡ staª¡, czyli funkcja t(n) jest dla wszystkich n wi¦k- szych od n0 ograniczona przez funkcj¦ g(n) pomno»on¡ przez pewn¡ staª¡ c.
Ten sposób szacowania zªo»ono±ci powoduje eliminowanie skªadników wolniej 38
rosn¡cych oraz zaniedbywanie staªych, przez które mno»one s¡ funkcje. Nie zawsze jest to korzystne. Zaªó»my, »e mamy dwa algorytmy, które rozwi¡zuj¡
to samo zadanie.
Niech pierwszy algorytm ma zªo»ono±¢ O(1012n), a drugi O(n2). Liczba operacji elementarnych, szacowanych notacj¡ O, w algorytme drugim wydaje si¦ wi¦ksza ni» w algorytmie pierwszym. Tak jest rzeczywi±cie dopiero dla odpowienio du»ych n: n > 1012.
Mo»e si¦ jednak zdarzy¢, »e algorytm wykonuje ró»n¡ liczb¦ iteracji w zale»- no±ci od konkretnego zestawu danych wej±ciowych. Wtedy mo»emy bada¢ czas jego wykonania w najgorszym przypadku, czyli gdy przetwarzamy najgorszy z mo»liwych zestawów danych. Mówimy wtedy o zªo»ono±ci pesymistycznej.
Spo±ród wielu ró»nych zªo»ono±ci czasowych algorytmów najbardziej po»¡- dane s¡ te, których zªo»ono±¢ jest rz¦du O(1), O(n) lub O(n log2n), a wi¦c o zªo»ono±ci staªej, liniowej lub liniowo-logarytmicznej. Najwolniej wykony- wanymi algorytmami s¡ algorytmy o zªo»ono±ci wielomianowej O(nx), gdzie x jest dodatni¡ staª¡ caªkowit¡, i algorytmy o zªo»ono±ci wykªadniczej O(xn)dla x > 2.Prezentowane w kolejnych rozdziaªach ksi¡»ki algorytmy charakteryzo- wane s¡ mi¦dzy innymi za pomoc¡ notacji O.
4. Dyskretne reprezentacje
deterministycznych sygnaªów ci¡gªych
W ±wiecie rzeczywistym mierzone sygnaªy maj¡ charakter ci¡gªy s¡ to wi¦c sygnaªy analogowe. W opisie sygnaªów analogowych wykorzystuje si¦
przestrzenie funkcyjne. Reprezentacja sygnaªów analogowych w kategoriach przestrzeni funkcyjnych jest dobrze ugruntowana teoretycznie, pozwalaj¡c na rozwi¡zywanie praktycznych zagadnie« teorii sygnaªów. Pod wieloma wzgl¦- dami przestrzenie funkcyjne s¡ podobne do przestrzeni wektorowych, co po- zwala przenie±¢ obliczenia do tych przestrzeni. Podstawowe poj¦cia przestrzeni funkcyjnej maj¡ jednak ograniczenia, których nie ma w przypadku przestrzeni wektorowych. Podstaw¡ rozpatrywanych w tym rozdziale przestrzeni funk- cyjnych jest zaªo»enie, »e funkcje musz¡ by¢ caªkowalne z kwadratem. Waru- nek ten wynika z faktu, »e podobnie jak w przestrzeniach wektorowych, tak»e w przestrzeniach funkcyjnych obowi¡zuje poj¦cie iloczynu skalarnego i normy.
De nicja 4.1. Iloczynem skalarnym rzeczywistych, ci¡gªych funkcji f(x) i g(x) zmiennej rzeczywistej, okre±lonych na przedziale I, nazywamy caªk¦:
hf (x), g(x)i = Z
I
f (x) · g(x)dx. (4.1)
Suma iloczynów wspóªrz¦dnych wektorów (De nicja 2.3) zostaªa wi¦c zast¡- piona caªk¡ iloczynu funkcji.
De nicja 4.2. Norm¡ funkcji f(x), okre±lonej na przedziale I, nazywamy liczb¦:
kf (x)k =phf(x), f(x)i = v u u t Z
I
f2(x)dx. (4.2)
Aby mo»na byªo wyznaczy¢ norm¦ funkcji, musi istnie¢ caªka z jej kwadratu, co wynika bezpo±rednio ze wzoru (4.2). Je»eli nie jest to doprecyzowane, to najcz¦±ciej ma si¦ na uwadze funkcje caªkowalne w sensie Lebesgue'a. Trzeba pami¦ta¢, »e nie ka»da funkcja speªnia ten wa»ny postulat.
41
Przykªad 4.1. Mo»na policzy¢ caªk¦ R1
0
√1
xdx = 2√
x|10= 2, co wynika z faktu,
»e R xadx = 1
a + 1xa+1+ C, a 6= −1.
Natomiast dla funkcji
1
√x
2
jej caªka R1
0
1
√x
2
dx =
1
R
0
1
xdx = +∞, gdy»
caªkaR1
0
1
xdx = lim
ε→0+ 1
R
ε
1
xdx = lim
ε→0+(ln 1 − ln ε) = lim
ε→0+(− ln ε) = +∞.
De nicja 4.3. Funkcje f(x) oraz g(x) s¡ ortogonalne na przedziele I, je±li:
hf (x), g(x)i = Z
I
f (x) · g(x)dx = 0. (4.3)
Przykªad 4.2. Funkcjami ortogonalnymi w przedziale [−π, π] s¡ funkcje sin(nx) oraz cos(mx) dla n,m ∈ C i n 6= m. Funkcje te s¡ caªkowalne z kwadratem:
ksin(nx)k = v u u u t
π
Z
−π
sin2(nx)dx =√ π,
kcos(mx)k = v u u u t
π
Z
−π
cos2(mx)dx =√ π.
Z trygonometrii wiadomo, »e:
sin(α) + sin(β) = 2 sin12(α + β) cos12(α − β).
Niech 12(α + β) = nx i 12(α − β) = mx. Jest to ukªad równa«, w którym poszukiwanymi warto±ciami s¡ α oraz β. Rozwi¡zuj¡c ten ukªad, otrzymujemy α = (n + m)xi β = (n − m)x, st¡d:
sin(n + m)x + sin(n − m)x = 2 sin(nx) · cos(mx),
1
2sin(n + m)x + sin(n − m)x = sin(nx) · cos(mx).
42
