Modelowanie i identyfikacja
Wykład 5: Metoda zmiennych instrumentalnych
Gniewomir Sarbicki
Dla ustalonego wektora parametrów rozkładu θ znamy funkcję fθ(~yN) gęstości prawdopodobieństwa otrzymania wyjścia ~yN. Ze wzoru na prawdopodobieństwo warunkowe otrzymujemy rozkład prawdopodobieństwa wektora parametrów θ:
f (θ|~xN) = fθ(~xN|θ)g(θ)/f (~xN), gdzie f (~xN) = Z
θ
fθ(~xN)g(θ)dθ (1) Rozkład g(θ) jest rozkładem a priori parametrów układu. Wartość ˆθ, która
maksymalizuje (1) nazywamy estymatorem maksymalnego prawdopodobieństwa.
Prawdopodobieństwo sukcesu w jednym losowaniu wynosi p. Prawdopodobieństwo n sukcesów w N próbach wynosi:
P (n|p) = N n
!
pn(1 − p)N −n (2)
Za rozkład apriori parametru p należy wziąć rozkład jednostajny na odcinku [0, 1] (maksymalizujący entropię). Jeżeli w N próbach otrzymaliśmy n sukcesów, pry nieznanym parametrze p, jego rozkład prawdopodobieństwa wynosi:
P (p|n) =
N n
pn(1 − p)N −n R1
0 N
n
pn(1 − p)N −ndp = (N + 1) N n
!
pn(1 − p)N −n (3)
Powyższy rozkład osiąga wartość maksymalną dla wartości Nn. Jest to estymator maksymalnego prawdopodobieństwa dla p.
Prawdopodobieństwo sukcesu w jednym losowaniu wynosi p. Prawdopodobieństwo n sukcesów w N próbach wynosi:
P (n|p) = N n
!
pn(1 − p)N −n (2)
Za rozkład apriori parametru p należy wziąć rozkład jednostajny na odcinku [0, 1]
(maksymalizujący entropię). Jeżeli w N próbach otrzymaliśmy n sukcesów, pry nieznanym parametrze p, jego rozkład prawdopodobieństwa wynosi:
P (p|n) =
N n
pn(1 − p)N −n R1
0 N
n
pn(1 − p)N −ndp = (N + 1) N n
!
pn(1 − p)N −n (3)
Powyższy rozkład osiąga wartość maksymalną dla wartości Nn. Jest to estymator maksymalnego prawdopodobieństwa dla p.
Prawdopodobieństwo sukcesu w jednym losowaniu wynosi p. Prawdopodobieństwo n sukcesów w N próbach wynosi:
P (n|p) = N n
!
pn(1 − p)N −n (2)
Za rozkład apriori parametru p należy wziąć rozkład jednostajny na odcinku [0, 1]
(maksymalizujący entropię). Jeżeli w N próbach otrzymaliśmy n sukcesów, pry nieznanym parametrze p, jego rozkład prawdopodobieństwa wynosi:
P (p|n) =
N n
pn(1 − p)N −n R1
0 N
n
pn(1 − p)N −ndp = (N + 1) N n
!
pn(1 − p)N −n (3)
Powyższy rozkład osiąga wartość maksymalną dla wartości Nn. Jest to estymator maksymalnego prawdopodobieństwa dla p.
Załóżmy, że prawdziwą wartością p jest 13 i otrzymaliśmy w dziesięciu próbach wyniki:
[0, 1, 1, 0, 1, 0, 0, 0, 1, 1]. rozkład prawdopodobieństwa p zmienia się w następujący sposób:
0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9
0 1 2
p
P(p|n)
N = 0, n = 0 N = 2, n = 1 N = 4, n = 2 N = 6, n = 3 N = 8, n = 3 N = 10, n = 5
Estymator ˆpN = n/N jest:
nieobciążony: E(ˆpN) = E(ˆn)/N = p
asymptotycznie nieobciążony: limN →∞E( ˆpN) = p
Załóżmy, że wyjście układu w modelu jest obarczone szumem V0:
Y (N ) = ~~ ΦT(N )~θ0+ ~V0(N ) (4)
Asymptotycznym obciążeniem estymatora będzie: lim
N →∞
~ˆ
θN − ~θ0 = lim
N →∞R(N )−1 lim
N →∞
1
NΦ(N )V0(N )
= lim
N →∞R(N )−1 lim
N →∞
1 N
N
X
t=1
φ(t)v~ 0(t) (5)
Obciążenie to będzie równe 0, jeżeli v0 jest nieskorelowany z wierszami Φ, czyli z wektorem wartości wyjściowych.
Jeżeli v0 nie jest szumem białym, jest na ogół skorelowany z wyjściem.
Załóżmy, że wyjście układu w modelu jest obarczone szumem V0:
Y (N ) = ~~ ΦT(N )~θ0+ ~V0(N ) (4)
Asymptotycznym obciążeniem estymatora będzie:
lim
N →∞
~ˆ
θN − ~θ0 = lim
N →∞R(N )−1 lim
N →∞
1
NΦ(N )V0(N )
= lim
N →∞R(N )−1 lim
N →∞
1 N
N
X
t=1
φ(t)v~ 0(t) (5)
Obciążenie to będzie równe 0, jeżeli v0 jest nieskorelowany z wierszami Φ, czyli z wektorem wartości wyjściowych.
Jeżeli v0 nie jest szumem białym, jest na ogół skorelowany z wyjściem.
Załóżmy, że wyjście układu w modelu jest obarczone szumem V0:
Y (N ) = ~~ ΦT(N )~θ0+ ~V0(N ) (4)
Asymptotycznym obciążeniem estymatora będzie:
lim
N →∞
~ˆ
θN − ~θ0 = lim
N →∞R(N )−1 lim
N →∞
1
NΦ(N )V0(N )
= lim
N →∞R(N )−1 lim
N →∞
1 N
N
X
t=1
φ(t)v~ 0(t) (5)
Obciążenie to będzie równe 0, jeżeli v0 jest nieskorelowany z wierszami Φ, czyli z wektorem wartości wyjściowych.
Jeżeli v0 nie jest szumem białym, jest na ogół skorelowany z wyjściem.
Załóżmy, że wyjście układu w modelu jest obarczone szumem V0:
Y (N ) = ~~ ΦT(N )~θ0+ ~V0(N ) (4)
Asymptotycznym obciążeniem estymatora będzie:
lim
N →∞
~ˆ
θN − ~θ0 = lim
N →∞R(N )−1 lim
N →∞
1
NΦ(N )V0(N )
= lim
N →∞R(N )−1 lim
N →∞
1 N
N
X
t=1
φ(t)v~ 0(t) (5)
Obciążenie to będzie równe 0, jeżeli v0 jest nieskorelowany z wierszami Φ, czyli z wektorem wartości wyjściowych.
Jeżeli v0 nie jest szumem białym, jest na ogół skorelowany z wyjściem.
W takiej sytuacji w równaniu na estymator metody najlepszych kwadratów:
1 N
N
X
t=1
φ(t)~
y(t) − ~φ(t)T~θˆN
= 0 (6)
Zastąpimy wektor ~φ(t) pewną jego funkcją ~ζ(t):
1 N
N
X
t=1
~ζ(t)
y(t) − ~φ(t)T~θˆN
= 0, (7)
od której będziemy wymagać, by była nieskorelowana z v0: E
~ζ(t)v0(t)= ~0 (8)
det 1 N
X
t
~ζ(t)~φT(t) 6= 0 (9)
Składowe wektora ~ζ(t) nazywamy zmiennymi instrumentalnymi (IV - instrumental variables).
W takiej sytuacji w równaniu na estymator metody najlepszych kwadratów:
1 N
N
X
t=1
φ(t)~
y(t) − ~φ(t)T~θˆN
= 0 (6)
Zastąpimy wektor ~φ(t) pewną jego funkcją ~ζ(t):
1 N
N
X
t=1
~ζ(t)
y(t) − ~φ(t)T~θˆN
= 0, (7)
od której będziemy wymagać, by była nieskorelowana z v0: E
~ζ(t)v0(t)= ~0 (8)
det 1 N
X
t
~ζ(t)~φT(t) 6= 0 (9)
Składowe wektora ~ζ(t) nazywamy zmiennymi instrumentalnymi (IV - instrumental variables).
Macierz, której kolumnami są ~ζ(t) w kolejnych chwilach czasu, będzemy oznaczać jako Z.
Rozwiązaniem równania (6) jest:
~ˆ
θIVN = (ZΦT)−1Z ~Y (10)
Jeżeli Z = Φ, to otrzymujemy estymator metody najmniejszych kwadratów. Zmienne instrumentalne dobieramy tak, by były niezależne od szumu, ale możliwie silnie skorelowane z wektorami ~φ(t) (kolumnami macierzy Φ(t), regresorami). Praktyczną metodą doboru jest zastąpienie w Z wyjść z układu (skorelowanych z szumem) przez wejścia filtrowane przez transmitacją układu, otrzymaną najpierw za pomocą metody najmniejszych kwadratów.
Prostszą metodą jest zastąpienie wyjść przez przesunięte w czasie wyjścia.
Macierz, której kolumnami są ~ζ(t) w kolejnych chwilach czasu, będzemy oznaczać jako Z.
Rozwiązaniem równania (6) jest:
~ˆ
θIVN = (ZΦT)−1Z ~Y (10)
Jeżeli Z = Φ, to otrzymujemy estymator metody najmniejszych kwadratów. Zmienne instrumentalne dobieramy tak, by były niezależne od szumu, ale możliwie silnie skorelowane z wektorami ~φ(t) (kolumnami macierzy Φ(t), regresorami). Praktyczną metodą doboru jest zastąpienie w Z wyjść z układu (skorelowanych z szumem) przez wejścia filtrowane przez transmitacją układu, otrzymaną najpierw za pomocą metody najmniejszych kwadratów.
Prostszą metodą jest zastąpienie wyjść przez przesunięte w czasie wyjścia.
Macierz, której kolumnami są ~ζ(t) w kolejnych chwilach czasu, będzemy oznaczać jako Z.
Rozwiązaniem równania (6) jest:
~ˆ
θIVN = (ZΦT)−1Z ~Y (10)
Jeżeli Z = Φ, to otrzymujemy estymator metody najmniejszych kwadratów.
Zmienne instrumentalne dobieramy tak, by były niezależne od szumu, ale możliwie silnie skorelowane z wektorami ~φ(t) (kolumnami macierzy Φ(t), regresorami). Praktyczną metodą doboru jest zastąpienie w Z wyjść z układu (skorelowanych z szumem) przez wejścia filtrowane przez transmitacją układu, otrzymaną najpierw za pomocą metody najmniejszych kwadratów.
Prostszą metodą jest zastąpienie wyjść przez przesunięte w czasie wyjścia.
Macierz, której kolumnami są ~ζ(t) w kolejnych chwilach czasu, będzemy oznaczać jako Z.
Rozwiązaniem równania (6) jest:
~ˆ
θIVN = (ZΦT)−1Z ~Y (10)
Jeżeli Z = Φ, to otrzymujemy estymator metody najmniejszych kwadratów.
Zmienne instrumentalne dobieramy tak, by były niezależne od szumu, ale możliwie silnie skorelowane z wektorami ~φ(t) (kolumnami macierzy Φ(t), regresorami).
Praktyczną metodą doboru jest zastąpienie w Z wyjść z układu (skorelowanych z szumem) przez wejścia filtrowane przez transmitacją układu, otrzymaną najpierw za pomocą metody najmniejszych kwadratów.
Prostszą metodą jest zastąpienie wyjść przez przesunięte w czasie wyjścia.
Macierz, której kolumnami są ~ζ(t) w kolejnych chwilach czasu, będzemy oznaczać jako Z.
Rozwiązaniem równania (6) jest:
~ˆ
θIVN = (ZΦT)−1Z ~Y (10)
Jeżeli Z = Φ, to otrzymujemy estymator metody najmniejszych kwadratów.
Zmienne instrumentalne dobieramy tak, by były niezależne od szumu, ale możliwie silnie skorelowane z wektorami ~φ(t) (kolumnami macierzy Φ(t), regresorami).
Praktyczną metodą doboru jest zastąpienie w Z wyjść z układu (skorelowanych z szumem) przez wejścia filtrowane przez transmitacją układu, otrzymaną najpierw za pomocą metody najmniejszych kwadratów.
Prostszą metodą jest zastąpienie wyjść przez przesunięte w czasie wyjścia.
Macierz, której kolumnami są ~ζ(t) w kolejnych chwilach czasu, będzemy oznaczać jako Z.
Rozwiązaniem równania (6) jest:
~ˆ
θIVN = (ZΦT)−1Z ~Y (10)
Jeżeli Z = Φ, to otrzymujemy estymator metody najmniejszych kwadratów.
Zmienne instrumentalne dobieramy tak, by były niezależne od szumu, ale możliwie silnie skorelowane z wektorami ~φ(t) (kolumnami macierzy Φ(t), regresorami).
Praktyczną metodą doboru jest zastąpienie w Z wyjść z układu (skorelowanych z szumem) przez wejścia filtrowane przez transmitacją układu, otrzymaną najpierw za pomocą metody najmniejszych kwadratów.
Prostszą metodą jest zastąpienie wyjść przez przesunięte w czasie wyjścia.
Powtarzając kroki w wyprowadzeniu algorytmu RLS, możemy wyrazić wzór na ˆθN przez ˆθN −1 oraz ζN i φN:
θˆN = ˆθN −1+ PNζNeN (11) PN = PN −1−PN −1ζNφTNPN −1
1 + φTNPN −1ζN (12)
Otrzymujemy w ten sposób rekurencyjny algorytm zmiennych instrumentalnych (RIV). Do powyższych wzorów możemy wprowadzić współczynnik zapominania:
θˆN = ˆθN −1+ PNζNeN (13) PN = 1
λ PN −1−PN −1ζNφTNPN −1
λ + φTNPN −1ζN
!
(14)
Powtarzając kroki w wyprowadzeniu algorytmu RLS, możemy wyrazić wzór na ˆθN przez ˆθN −1 oraz ζN i φN:
θˆN = ˆθN −1+ PNζNeN (11) PN = PN −1−PN −1ζNφTNPN −1
1 + φTNPN −1ζN (12)
Otrzymujemy w ten sposób rekurencyjny algorytm zmiennych instrumentalnych (RIV).
Do powyższych wzorów możemy wprowadzić współczynnik zapominania:
θˆN = ˆθN −1+ PNζNeN (13) PN = 1
λ PN −1−PN −1ζNφTNPN −1
λ + φTNPN −1ζN
!
(14)
Powtarzając kroki w wyprowadzeniu algorytmu RLS, możemy wyrazić wzór na ˆθN przez ˆθN −1 oraz ζN i φN:
θˆN = ˆθN −1+ PNζNeN (11) PN = PN −1−PN −1ζNφTNPN −1
1 + φTNPN −1ζN (12)
Otrzymujemy w ten sposób rekurencyjny algorytm zmiennych instrumentalnych (RIV).
Do powyższych wzorów możemy wprowadzić współczynnik zapominania:
θˆN = ˆθN −1+ PNζNeN (13) PN = 1
λ PN −1−PN −1ζNφTNPN −1 λ + φTNPN −1ζN
!
(14)
