Analiza szeregów czasowych

Wydział Matematyki i Nauk Informacyjnych Politechnika Warszawska

Analiza

szeregów czasowych

Jan Mielniczuk

Wykład 1

Szeregi czasowe i ich miary zależności

(X_t)_t∈T, X_t∈ L²(Ω, F , P ), t ∈ T .

Z reguły będziemy rozważali szeregi rzeczywiste: X_t∈ R, czasami będziemy rozpatrywali X_t∈ C.

Istotny nie omawiany tu przypadek: X_t∈ R^k, k > 1.

Jeśli T ⊂ R jest przeliczalny i elementy T oznaczają momenty czasowe, to

(X_t)_t∈T – szereg czasowy. Szereg czasowy jest zatem procesem stochastycznym indeksowa- nym elementami zbioru przeliczalnego, które mają znaczenie momentów czasowych.

Z reguły tutaj: T = N lub T = Z.

Często: szeregi (np. finansowe) indeksowane dniami tygodnia. Efekt weekendowy!

Przykład. Dane uspop.data dotyczą wielości populacji USA w latach 1790-1990. Wczytanie danych do środowiska R

library(MASS)

USpop <- ts(data=scan("USPOP.DATA"), start=1790, end=1990, frequency=0.1)

# opcja frequency- liczba obserwacji na jednostkę czasu, w tym przypadku jedenostka

#-1 rok,frequency=0.1 oznacza 1 obserwacja na 10 lat

ts.plot(USpop, gpars=list(xlab="Year", ylab="Population", type="o")) 3

● ● ● ● ● ●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

Year

Population

1800 1850 1900 1950

0.0e+005.0e+071.0e+081.5e+082.0e+082.5e+08

1.0.1 Podprzestrzenie liniowe związane z (X_t)

L²(Ω, F , P ): rzeczywista przestrzeń Hilberta z iloczynem skalarnym

< X, Y >= EXY =

Z

X(ω)Y (ω)dP (ω) (ogólnie, dla zmiennych o wartościach zespolonych < X, Y >= EX ¯Y )

Z reguły X oznaczać będzie zmienną losową całkowalną z kwadratem X ∈ L², wtedy k X k²:= EX². Jednakże czasami będziemy oznaczali (X_t)_t∈T =: X. Niech sp(X_t)_t∈T oznacza powłokę liniową zmiennych {X_t, t ∈ T }. Załóżmy, że X_t∈ L² dla każdego t ∈ T .

H(X) = sp(Xt, t ∈ T )(domknięcie w L²)

= {a₁X_t1 + a₂X_t2 + · · · + a_nX_tn, t₁, . . . t_n∈ T, a₁, . . . a_n∈ R, n ∈ N}

⊂ {g(X_t1, X_t2, . . . , X_tn) ∈ L²(Ω, F , P ), g : Rⁿ→ R, borelowska}

– podprzestrzeń funkcji całkowalnych z kwadratem, mierzalnych względem σ−ciała gene- rowanego przez proces (X_t).

H_t = sp(X_s, s ¬ t) (wiedza o procesie (X_s) do momentu t)

H_t⊂ H_t+1 ⊂ . . .

5 dla T = Z definiujemy przestrzeń resztową:

H−∞= ^\

t∈Z

H_t {0} ∈ H−∞, {0} − z.l. = 0 p.w.

H−∞ może zawierać coś więcej niż niż tylko element 0.

Przykład X_t= ε + ε_t, ε_t− i.i.d., Eε²_t < ∞, Eε_t= 0, Eε² < ∞

⇓

ε ∈ H−∞, gdyż

Xt+ Xt−1+ · · · + X_t−|t|+1

|t| = ε_t−|t|+1+ · · · + εt

|t|

| {z }

→0, gdy t→−∞

+ε ∈ H_t

L²

−→ ε ∈ H−∞ (H−∞− domknięta).

1.0.2 Funkcja autokowariancji procesu X

γ_X(s, t) = Cov(X_s, X_t) = E((X_s− EX_s)(X_t− EX_t)) = < X_s− EX_s, X_t− EX_t >

Wartość γ_X(s, t) dobrze określona, jeśli X_t, X_s ∈ L². Uwaga: dla procesów o wartościach zespolonych

γ_X(s, t) = E((X_s− EX_s)(X_t− EX_t)) Proces stacjonarny w szerszym sensie (proces sss)

(i) EX_t= m, t ∈ Z (ii) V arX_t< ∞, t ∈ Z

(iii) γ_X(s, t) = γ_X(s + r, t + r), r, s, t ∈ Z Uwaga: (ii) zawsze spełniony X_t∈ L²(Ω, F , P ).

Tak samo definiujemy proces sss dla t ∈ N.

Dla procesu sss γX(t, s) jest funkcją różnicy t − s tylko!

Definiujemy funkcję jednej zmiennej (funkcja autokowariancji procesu sss, czasami ozna- czana ACF, podobnie jak funkcja autokorelacji)

γ_X(h) := γ_X(h, 0) = γ_X(s, t), dla s − t = h.

γ_X(h) : Z −→ R Własności γ_X(h).

(i) V ar(X_t) = γ(0), t ∈ Z.

(ii) |γ(h)| ¬ γ(0), t, h ∈ Z.

(|Cov(X_t+h, X_t)| ¬ (V arX_t+h)^1/2(V arX_t)^1/2 = γ(0)^1/2γ(0)^1/2 = γ(0) ) (iii) γ(h) = γ(−h) (γ(h) = γ(−h)).

(iv) γ_X(·) jest nieujemnie określona, tzn. ∀a₁, . . . , a_n∈ R, t1, . . . , t_n∈ R,

X

1¬i,j¬n

a_ia_jγ_X(t_i− t_j) ­ 0. (1.1)

w = (X_t1 − EX_t1, . . . , X_tn− EX_tn)⁰, EX_ti = m a = (a₁, . . . , a_n):

V ar(a⁰w) =^X

i,j

a_ia_jγ_X(t_i− t_j) ­ 0.

(1.1) ≡ a⁰Γna ­ 0.

Zatem macierz Γ_n =^γ_X(t_i− t_j)^

i,j¬n − nieujemnie określona.

Proces stacjonarny w węższym sensie (proces sws).

Dla dowolnych t₁, t₂, . . . , t_k, h ∈ Z

(Xt1, Xt2, . . . , Xt_k) ∼ (X^D t1+h, Xt2+h, . . . , Xt_k+h)

Dystrybucyjne własności procesu nie zależą od momentu czasu, w którym zaczynamy go obserwować. Rzeczywiście, jesli zaczniemy obserwować proces nie w momencie 0, a w mo- mencie h, to moment t_i w nowym układzie czasowym odpowiada momentowi t_i+ h.

Oczywiście proces sws + istnienie EX_t² =⇒ proces sss. Jednakże dla procesu sws nie zakładamy z góry, że jego elementy są całkowalne z kwadratem.

Ścisła stacjonarność =⇒ X_t+h ∼ X^D _t(równość jednowymiarowych rozkładów brzegowych).

Dla procesu sws X₁, . . . , X_npochodzą z tego samego rozkładu i jego parametry można esty- mować na podstawie jednej trajektorii X1(ω), . . . , Xn(ω), . . . . Trudność: zależność między zmiennymi X1, . . . , Xn, dlatego często konieczne dodatkowe warunki, np. ergodyczność.

Dla procesu sss możliwe do estymacji są jego niezmienne w czasie charakterystyki średnio- kwadratowe: funkcja kowariancji i wariancja oraz średnia procesu.

Przykład.

(i) (Xi)_i∈Z i.i.d., X_i ∼ N (0, 2)^D

(ii) (X_i)_i∈Z niezależne, X_2k ∼ N (0, 2), X^D _2k+1 ∼ χ^{D 2}₁− 1 (i) – ściśle stacjonarny

(ii) proces sss (γ_X(0) = 2, γ_X(h) = 0 dla h 6= 0) ale nie sws (rozkłady brzegowe dla parzystych i nieparzystych indeksów są różne).

7 Przykłady procesów stacjonarnych

(i) (X_t)_t∈Z – ciąg nieskorelowanych z.l. o średniej m i wariancji σ² µX(t) = EXt= m

γ_X(r, s) = σ²· δ_rs

proces sss, jest sws gdy zmienne niezależne o tym samym rozkładzie, dla m = 0 – biały szum (słaby, gdy sss, silny, gdy sws)

Uwaga Oznaczenie WN(0, σ²) (white noise) może oznaczać zarówno silny jak i słaby biały szum.

(ii) Proces liniowy. Konstruowany w oparciu o : (εt)_t∈Z− WN(0, σ²). oraz c_j ∈ `^{2 P∞}_j=−∞c²_j < ∞^: ustalony ciąg.

Proces liniowy X_t

X_t =

∞

X

j=−∞

c_jε_t−j, t ∈ Z

k X_t k²= σ²

∞

X

j=−∞

c²_j < ∞

proces dobrze określony i EX_t= 0 dla t ∈ Z (ćwiczenia). Ciągłość < ·, · > =⇒

< X_t+k, X_t >= lim

n,m→∞<

m

X

i=−m

c_iε_t+k−i,

n

X

j=−n

c_jε_t−j >=

=

∞

X

i=−∞

∞

X

j=−∞

c_ic_j< ε_t+k−i, ε_t−j >

| {z }

σ²δt+k−i,t−j

= σ²

∞

X

i=−∞

c_ic_i−k = σ²

∞

X

i=−∞

c_ic_i+k



j = i − k,

∞

X

i=−∞

c_ic_i−k =

∞

X

i=−∞

c_ic_i+k



zależy tylko od k. Xt – proces sss. Gdy (εt) – silny WN(0, σ²), to Xt – proces sws.

Przypadek szczególny: c_j = 0 dla j < 0 - jednostronny proces liniowy, średnia ruchoma nieskończonego rzędu MA(∞)

X_t=

∞

X

j=0

c_jε_t−j, t ∈ Z Zauważmy, że w tym przypadku

X_t∈ H_t(ε).

MA(q) – średnia ruchoma rzędu q

X_t=

q

X

i=0

c_iε_t−i Tradycyjny zapis: θ_i = c_i i θ₀ = 1

X_t= ε_t+ θ₁ε_t−1+ · · · + θ_qε_t−q

1.0.3 Funkcja autokorelacji procesu (ACF)

(X_t)_t∈Z – proces sss

ρ_X(h) = ρ(X_t+h, X_t) = γ_X(h)

{γX(0)γX(0)}^1/2 = γ_X(h) γX(0) (ρX(h) = ρX(−h), |ρX(h)| ¬ ρX(0) = 1).

Przykład. Rysunek poniżej przedstawia próbkową funkcję autokorelacji dla reszt danych uspop.dat po dopasowaniu krzywej kwadratowej od czasu. Zaznaczone przedziały ufności dla białego szumu

0 20 40 60 80 100 120

−0.50.00.51.0

Lag

ACF

Series USres

Procesy czysto niedeterministyczne PND (Purely Non-Deterministic)

Proces sss o średniej 0 jest czysto niedeterministyczny (PND - purely non-deterministic) jeśli

H−∞= {0}.

Uwaga. Zakładamy, że średnia procesu jest równa 0, gdyż w ogólnej sytuacji, jeśli zachodzi dla procesu Prawo Wielkich Liczb w L², to rozumując jak w poprzednim przykładzie łatwo pokazać, że EX_t ∈ H−∞. Z reguły będziemy zakładać, że średnia procesu sss jest równa 0, jeśli nie, rozpatrujemy proces X_t := X_t− EX_t.

Fakt. (ε_t) − słaby WN(0, σ²) jest PND.

Chcemy udowodnić, że jeśli Y ∈ H−∞(ε) =⇒ Y = 0 p.w. (prawie wszędzie).

Y ∈ H_t−1(ε) ⊂ H_t(ε),

9 ale ε_t⊥ H_t−1(ε) =⇒< Y, ε_t >= 0 ∀t

Y ∈ H(ε) i (ε_t) – baza w H(ε) (!) ( znakiem (!) oznaczać będziemy fakty wymagające małego dowodu), zatem

Y =

∞

X

s=−∞

c_sε_s, (c_s) ∈ `²

=⇒ c_s=< Y, ε_s >= 0 =⇒ Y = 0.

(!): Aby sprawdzić, że (εt) – baza w H(ε), wystarczy stwierdzić, że jest to maksymalny układ ortogonalny. Jeśli bowiem istniałby wektor a ∈ H(ε)⊥(ε_t), to a⊥sp(ε_t) i a⊥sp(ε_t) = H(ε), sprzeczność.

ACF mierzy zależność (liniową) par. Zależność rozkładów wielowymiarowych mierzy się w oparciu o momenty i kumulanty X = (X₁, . . . , X_k)⁰.

ϕ_X(t₁, . . . , t_k) = E exp{it⁰X} = ^X

ν1+···+νk¬n

i^{ν1+ν2+···+νk}

ν₁! . . . ν_k! m^(ν_X^1,...,νk)t^ν₁¹. . . t^ν_k^k + o(|t|ⁿ), gdzie

m^(ν_X^1,...,νk)= E(X₁^ν1· · · X_k^νk).

Rozpatrzmy odpowiednie rozwinięcie dla ln ϕ_X(t₁, . . . , t_k)

ln ϕ_X(t₁, . . . , t_k) = ^X

ν1+···+νk¬n

c^(ν_X^1,...,νk)i^{ν1+ν2+···+νk}

ν₁! . . . ν_k! t^ν₁¹. . . t^ν_k^k + o(|t|ⁿ) =

= ^X

|ν|¬n

i^ν

ν!c^(ν)_X t^ν + o(|t|ⁿ),

gdzie

t^ν = t^ν₁¹. . . t^ν_k^k, µ = µ₁! . . . µ_k!, |µ| = µ₁+ · · · + µ_k c^(ν_X^1,...,νk) – kumulant zmiennych X₁^ν1, . . . , X_k^νk

cum(X1, . . . , X_k) = c^(1,...,1)_X

(współczynnik przy t₁· X₂· · · t_k w rozwinięciu ln ϕ(t) (po pominięciu i^k)).

Związki między kumulantami a momentami

ϕ_X(t) = exp(ln ϕ_X(t)) =

∞

X

q=0

1 q!

nln ϕ_X(t)^oq Porównując współczynniki dostajemy

m^(ν)_X =^X

q­0

X

λ⁽¹⁾+···+λ^(q)=ν

1 q!

ν!

λ⁽¹⁾! · · · λ^(q)!

q

Y

p=1

c^(λ_X^(p))

Uwaga: suma po układach uporządkowanych multindeksów. Układy

λ⁽¹⁾+ · · · + λ^(q) = ν

λ^(q)+ · · · + λ⁽¹⁾ = ν liczymy oddzielnie!

W szczególności

E(X₁· · · X_k) =^X

q­0

X

różne podziały ν1···νq ν1∪···∪νq ={1,2,...,k}

D_ν1· · · D_νq

D_νs = cum(X_α1, . . . , X_αm) {α1, . . . , αm} = νs

(liczba wszystkich partycji {ν₁, . . . , ν_q} = q! liczba partycji różnych) Analogicznie rozwijamy ln Ee^it0X

ln x = ^X

q­1

(−1)^q−1 q x^q

c^(ν)_X =^X

q­0

X

λ(1)+···+λ(q)=ν układy uporządkowane

(−1)^q−1 q

ν!

λ⁽¹⁾! · · · λ^(q)!

q

Y

i=1

m^(λ_X⁽ⁱ⁾⁾

dla ν = (1, . . . , 1)

cum(X₁, . . . , X_k) = ^X

q

X(−1)^q−1(q − 1)!E^{ Y}

i∈ν1

X_i^E^{ Y}

i∈νq

X_i^ (1.2) druga suma po różnych partycjach zbioru {1, . . . , k}.

Z (1.2) wynika cum(X₁) = EX₁

cum(X₁, X₂) = EX₁X₂− EX₁EX₂ = Cov(X₁, X₂) Własności kumulantów

(1) Jeśli nietrywialny podzbiór wsp. X jest niezależny od reszty, to cum(X₁, . . . , X_k) = 0

(niespełnione dla momentu E(X₁· · · X_k) !).

I – układ indeksów odpowiadający zmiennym niezależnym od reszty J = {1, . . . , k} \ I.

log Ee^it0X = log Ee^{i(t0IXI+t0JXJ)} = log Ee^it0IXI + log Ee^it0JXJ

| {z }

po rozwinięciu nie zawiera układu t1,...,t_k

(2) Kumulanty wielowymiarowego rozkładu normalnego rzędu > 2 są równe 0.

X ∼ N (m, Σ)

11 ϕ(t) = exp(t⁰m − t⁰Σt)

W rozwinięciu ln ϕ(t) = t⁰m − t⁰Σt występują tylko wyrazy t_i oraz t_i· t_j. (3)

cum(α₁X₁+ β₁Y₁, X₂, . . . , X_k) = α₁cum(X₁, X₂, . . . , X_k) + β₁cum(Y₁, X₂, . . . , X_k) Twierdzenie (o partycji).

Zmienne X_ij ustawione w tablicy: X_ij, i = 1, . . . , I, j = 1, . . . , j_i.

Y_i =

ji

Y

k=1

X_ik, i = 1, . . . , I

cum(Y₁, . . . , Y_I) =^Xcum(X_ij, i_j ∈ ν₁) × · · · × cum(X_ij, i_j ∈ ν_p) Suma po wszystkich nierozkładalnych partycjach tablicy

(1, 1) . . . (1, j₁) ... ... ... (I, 1) . . . (I, j_I)

(partycja nierozkładalna: suma elementów podpartycji nie może zawierać całych wierszy).

Zadania

1. Udowodnić, że (i) proces liniowy zdefiniowany w wykładzie jest dobrze określony (ii) EXt= 0.

W dowodzie częsci (i) pokazać, że X_tⁿ=^Pn_i=−nc_jε_t−j jest ciągiem Cauchy’ego (względem n).

2. Zdefiniujmy proces harmoniczny X_t=

∞

X

j=−∞

c_je^iλjtε_t,

gdzie (c_j) ∈ `² i c_j ∈ C i (εt) - WN(0, σ²). Uzasadnić:

(i) X_t jest dobrze określony i EX_t= 0;

(ii) Obliczyć funkcję kowariancji γ(s, t) i sprawdzić, czy proces jest sss.

3. Niech Y_t będzie procesem zdefiniowanym jako

Y_t= µ + ε_t+ θ₁ε_t−1+ θ₁₂ε_t−12,

gdzie εt-WN(0, σ²). Sprawdzić, że proces jest sss i znależć funkcję kowariancji tego procesu.

4. Pokazać, że dla procesu liniowego γ(h) → 0, gdy h → ∞. Skonstruować proces sss, dla którego funkcja kowariancji nie ma tej własności.

5. Pokazać, że jeśli ε_t jest białym szumem WN(0, σ²), to H−∞(ε) = {0}.

6. W oparciu o poprzednie zadanie uzasadnić tę samą własność dla jednostronnego procesu liniowego.

Wykład 2

Optymalna predykcja liniowa

(X_t)_t∈Z – szereg czasowy sss o średniej m i funkcji kowariancji γ(·).

Problem optymalnej prognozy liniowej (h–krokowej). Obserwujemy X1, . . . , X_n. Chcemy prognozować (estymować) wartość Xn+h w oparciu o te zmienne, ograniczając się do ich kombinacji afinicznych. Załóżmy na początku, że funkcja kowariancji γ_X(h) jest znana.

Szukamy rzutu X_n+h na sp(1, X₁, . . . , X_n).

Równoważnie, szukamy arg min_a0,a1,...,anS(a₀, a₁, . . . , a_n), gdzie

S(a₀, a₁, . . . , a_n) =k X_n+h− a₀−

n

X

i=1

a_iX_n+1−i k²= E^X_n+h− a₀−

n

X

i=1

a_iX_n+1−i^2

P_nX_n+h – rzut Xn+h na sp(1, X1, . . . , X_n) (kombinacja liniowa a0 +^Pn_i=1a_iX_n+1−i, reali- zująca minimum S(a₀, a₁, . . . , an) (rzutujemy Xn+h na domkniętą podprzestrzeń liniową przestrzeni Hilberta, zatem rzut istnieje).

PnXn+h

X_n+h− P_nX_n+h X_n+h

Hiperpłaszczyzna

Rys. 2.1: Wektor PnX_n+h jako rzut prostopadły wektora Xn+h

13

Równania normalne

Wektor X_n+h− P_nX_n+h musi być prostopadły ( w sensie przestrzeni L²) do generatorów podprzestrzeni sp(1, X1, . . . , Xn). Zatem

(1) X_n+h− P_nX_n+h⊥ 1

(2) X_n+h− P_nX_n+h⊥ X_j, j = 1, . . . , n (1)

E^1(X_n+h− a₀−

n

X

i=1

a_iX_n+1−i)^= 0 (2)

∀j ¬ n E^Xj(Xn+h− a0−

n

X

i=1

aiXn+1−i)^= 0 (1) jest równoważne

a₀ = m(1 −

n

X

i=1

a_i) (2.1)

⇓

(2) ≡ E^Xj(Xn+h− m −

n

X

i=1

ai(Xn+1−i− m))^= 0

⇓

Cov(X_n+h, X_j) =

n

X

i=1

a_iCov(X_n+1−i, X_j) j := n + 1 − j, j = 1, . . . , n po podstawieniu (2) równoważna

γ(h + j − 1) =

n

X

i=1

a_iγ(i − j), j = 1, . . . , n. (2.2) Zdefiniujmy

Γ_n=^γ(i − j)^n

i,j=1

(ważny obiekt: macierz kowariancji (X1, X2, . . . , Xn)⁰) γ_n(h) = (γ(h), γ(h + 1), . . . , γ(h + n − 1))⁰

γ_n(h) jest wektorem kowariancji X_n+h z X_n, . . . , X₁. a_n= (a₁, a₂, . . . , a_n)⁰

(2.2) ≡ Γna_n= γ_n(h) Jeśli Γ⁻¹_n istnieje, to an jednoznaczne i

a_n= Γ⁻¹_n γ_n(h) (2.3)

Równania (2.1) i (2.3) zwane są równaniami Yule’a-Walkera.

15 Błąd prognozy h–krokowej (bez straty ogólności załóżmy, że m = 0)

σ_n,h² = k Xn+h− PnXn+hk²=k Xn+hk² − k PnXn+hk²=

= γ(0)− < X_n+h, P_nX_n+h

| {z }

a⁰_nXn

>= γ(0) − a⁰_nγ_n(h) =

= γ(0) − γ⁰_n(h)Γ⁻¹_n γ_n(h) (2.4)

(ostatnia równość zachodzi, gdy Γn odwracalna).

(2.4) – podstawowy wzór na średniokwadratowy błąd prognozy.

σ_n² := σ_n,1² (dla prognozy jednokrokowej), γ_n := γ_n(1)

Fakt (i) σ_n² > 0 jest równoważne odwracalności Γ_n. W tym przypadku σ²_n= |Γ_n+1| / |Γ_n|

(ii) Jeśli σ² = ||Xt − P_Ht−1X_t||² > 0 (tzw. proces niedeterministyczny), to σ²_n > 0 dla każdego n i

σ² = exp( lim

n→∞

1

nlog |Γ_n|).

Dowód (i) wynika ze wzoru

det





A B

C D



= |A| |D − CA⁻¹B| = |D| |A − BD⁻¹C| (2.5) i postaci

Γ_n+1 =





γ(0) γ⁰_n γ_n Γn





Z (2.5) dostajemy

|Γ_n+1| =^γ(0) − γ⁰_nΓ⁻¹_n γ_n

| {z }

σ_n²

|Γ_n|

Dowód (ii)-ćwiczenia.

Uwagi

(i) (2.1 implikuje

PnXn+h = a₀+

n

X

i=1

aiXn+1−i = m +

n

X

i=1

ai(Xn+1−i− m) (2.6)

Z (2.6) wynika, że optymalny predyktor dla procesu o średniej m

= m + optymalny predyktor dla procesu X_t− m (o średniej 0).

(ii) Oczywiście, wektor współczynników prognozy X_n+h na podstawie 1, X_n, X_n−1, . . . , X₁, jest taki sam jak dla prognozy

X_t+h na podstawie 1, X_t, X_t−1, . . . , X_t−n+1

| {z }

n obserwacji

(iii)

σ_n² ¬ σ²_n−1¬ · · · ¬ σ₀² = V ar(X_n+1) = γ(0).

(iv)

σ_n² → σ² gdy n → ∞.

(ćwiczenia)

2.1 Algorytm Durbina–Levinsona i współczynnik ko- relacji częściowej

Rozpatrzmy sytuację, gdy h = 1 (prognoza jednokrokowa).

Tradycyjnie (a₁, . . . , a_n)⁰ oznaczamy (ϕ_n1, . . . , ϕ_nn)⁰

P_nX_n+1= m + ϕ_n1(X_n− m) + ϕ_n2(X_n−1− m) + · · · + ϕ_nn(X₁− m) Bey straty ogólności przyjmijmy zatem, że m = 0.

Algorytm Durbina–Levinsona: wyliczamy (ϕ_ni)ⁿ_i=1i σ_n² na podstawie (ϕn−1,i)ⁿ⁻¹_i=1 i σ_n−1² . σ₀² = γ(0)

ϕnn =ⁿγ(n) −

n−1

X

j=1

ϕn−1,jγ(n − j)^oσ_n−1⁻² (2.7)











ϕ_n,1 ... ϕ_n,n−1











=











ϕ_n−1,1 ... ϕ_n−1,n−1











− ϕ_nn











ϕ_n−1,n−1 ... ϕ_n−1,1











(2.8)

σ²_n= (1 − ϕ²_nn)σ²_n−1= · · · = γ(0)

n−1

Y

i=1

(1 − φ²_i,i) (2.9) Z (2.7): ϕ₁₁ = γ(1)/γ(0).

Zatem rzut X₂ na X₁: ^γ(1)_γ(0)X₁

Na podstawie ϕ_n−1,1, . . . , ϕ_n−1,n−1 wyliczamy σ_n−1² (z (2.9)), później ϕ_n,n z (2.7) i ϕ_n,i, i = 1, . . . , n − 1 z (2.8).

Dowód.

K₁ = sp{X₂, . . . , X_n}

K₂ = sp{X₁− PK₁X₁} – przestrzeń jednowymiarowa K₁ ⊥ K₂