Entropia i jej własno´sci
Jacek Jurkowski, Fizyka Statystyczna
Instytut Fizyki
2015
Jacek Jurkowski, Fizyka Statystyczna Entropia
Entropia termodynamiczna
• dS = dQ
T dla procesów odwracalnych
• i wówczas
∆S = Z
A→B
dQ T
gdzie powy˙zsza całka nie zale˙zy od procesu A → B, a tylko od stanu pocza˛tkowego A i ko´ncowego B
• Ogólnie dS dQ
T , bowiem ma miejsce produkcja entropii diS, dS = dQ
T + diS
Jacek Jurkowski, Fizyka Statystyczna Entropia
Entropia termodynamiczna
• dS = dQ
T dla procesów odwracalnych
• i wówczas
∆S = Z
A→B
dQ T
gdzie powy˙zsza całka nie zale˙zy od procesu A → B, a tylko od stanu pocza˛tkowego A i ko´ncowego B
• Ogólnie dS dQ
T , bowiem ma miejsce produkcja entropii diS, dS = dQ
T + diS
Jacek Jurkowski, Fizyka Statystyczna Entropia
Entropia termodynamiczna
• dS = dQ
T dla procesów odwracalnych
• i wówczas
∆S = Z
A→B
dQ T
gdzie powy˙zsza całka nie zale˙zy od procesu A → B, a tylko od stanu pocza˛tkowego A i ko´ncowego B
• Ogólnie dS dQ
T , bowiem ma miejsce produkcja entropii diS, dS = dQ
T + diS
Jacek Jurkowski, Fizyka Statystyczna Entropia
Entropia termodynamiczna
• dS = dQ
T dla procesów odwracalnych
• i wówczas
∆S = Z
A→B
dQ T
gdzie powy˙zsza całka nie zale˙zy od procesu A → B, a tylko od stanu pocza˛tkowego A i ko´ncowego B
• Ogólnie dS dQ
T , bowiem ma miejsce produkcja entropii diS, dS = dQ
T + diS
Jacek Jurkowski, Fizyka Statystyczna Entropia
Entropia statystyczna
• Niech P = (p1, . . . , pN) be˛dzie prawdopodobie´nstwem (N mo˙ze by´c niesko´nczone!)
Definicja
Entropie˛ definiuje sie˛ jako
S(P ) = −k
N
X
i=1
piln pi albo S(P ) = −
N
X
i=1
pilog2pi,
gdzie przyjmujemy 0 · ln 0 = 0 , a k jest stała˛ Boltzmanna.
• N = 2
S(p) = −k[p ln p + (1 − p) ln(1 − p)] , 0 ¬ p ¬ 1
• N = 3
S(p1, p2) = −k[p1ln p1+p2ln p2+(1−p1−p2) ln(1−p1−p2)] , 0 ¬ p1, p2¬ 1
Jacek Jurkowski, Fizyka Statystyczna Entropia
Entropia statystyczna
• Niech P = (p1, . . . , pN) be˛dzie prawdopodobie´nstwem (N mo˙ze by´c niesko´nczone!)
Definicja
Entropie˛ definiuje sie˛ jako
S(P ) = −k
N
X
i=1
piln pi albo S(P ) = −
N
X
i=1
pilog2pi,
gdzie przyjmujemy 0 · ln 0 = 0 , a k jest stała˛ Boltzmanna.
• N = 2
S(p) = −k[p ln p + (1 − p) ln(1 − p)] , 0 ¬ p ¬ 1
• N = 3
S(p1, p2) = −k[p1ln p1+p2ln p2+(1−p1−p2) ln(1−p1−p2)] , 0 ¬ p1, p2¬ 1
Jacek Jurkowski, Fizyka Statystyczna Entropia
Entropia statystyczna
• Niech P = (p1, . . . , pN) be˛dzie prawdopodobie´nstwem (N mo˙ze by´c niesko´nczone!)
Definicja
Entropie˛ definiuje sie˛ jako
S(P ) = −k
N
X
i=1
piln pi albo S(P ) = −
N
X
i=1
pilog2pi,
gdzie przyjmujemy 0 · ln 0 = 0 , a k jest stała˛ Boltzmanna.
• N = 2
S(p) = −k[p ln p + (1 − p) ln(1 − p)] , 0 ¬ p ¬ 1
• N = 3
S(p1, p2) = −k[p1ln p1+p2ln p2+(1−p1−p2) ln(1−p1−p2)] , 0 ¬ p1, p2¬ 1
Jacek Jurkowski, Fizyka Statystyczna Entropia
Entropia statystyczna
• Niech P = (p1, . . . , pN) be˛dzie prawdopodobie´nstwem (N mo˙ze by´c niesko´nczone!)
Definicja
Entropie˛ definiuje sie˛ jako
S(P ) = −k
N
X
i=1
piln pi albo S(P ) = −
N
X
i=1
pilog2pi,
gdzie przyjmujemy 0 · ln 0 = 0 , a k jest stała˛ Boltzmanna.
• N = 2
S(p) = −k[p ln p + (1 − p) ln(1 − p)] , 0 ¬ p ¬ 1
• N = 3
S(p1, p2) = −k[p1ln p1+p2ln p2+(1−p1−p2) ln(1−p1−p2)] , 0 ¬ p1, p2¬ 1
Jacek Jurkowski, Fizyka Statystyczna Entropia
Entropia statystyczna
• Niech P = (p1, . . . , pN) be˛dzie prawdopodobie´nstwem (N mo˙ze by´c niesko´nczone!)
Definicja
Entropie˛ definiuje sie˛ jako
S(P ) = −k
N
X
i=1
piln pi albo S(P ) = −
N
X
i=1
pilog2pi,
gdzie przyjmujemy 0 · ln 0 = 0 , a k jest stała˛ Boltzmanna.
• N = 2
S(p) = −k[p ln p + (1 − p) ln(1 − p)] , 0 ¬ p ¬ 1
• N = 3
S(p1, p2) = −k[p1ln p1+p2ln p2+(1−p1−p2) ln(1−p1−p2)] , 0 ¬ p1, p2¬ 1
Jacek Jurkowski, Fizyka Statystyczna Entropia
Wykresy entropii
Jacek Jurkowski, Fizyka Statystyczna Entropia
Własno´sci entropii
• Własno´sci entropii:
1 0 ¬ S(P ) ¬ k ln N
S(P ) = 0 ⇐⇒ P = (0, . . . , 1, . . . , 0) S(P ) = k ln N ⇐⇒ P = (N1, . . . ,N1) (dowód w oparciu o tw. Lagrange’a)
Jacek Jurkowski, Fizyka Statystyczna Entropia
Własno´sci entropii
• Własno´sci entropii:
1 0 ¬ S(P ) ¬ k ln N
S(P ) = 0 ⇐⇒ P = (0, . . . , 1, . . . , 0) S(P ) = k ln N ⇐⇒ P = (N1, . . . ,N1) (dowód w oparciu o tw. Lagrange’a)
Jacek Jurkowski, Fizyka Statystyczna Entropia
Własno´sci entropii
• Własno´sci entropii:
1 0 ¬ S(P ) ¬ k ln N
S(P ) = 0 ⇐⇒ P = (0, . . . , 1, . . . , 0) S(P ) = k ln N ⇐⇒ P = (N1, . . . ,N1) (dowód w oparciu o tw. Lagrange’a)
Jacek Jurkowski, Fizyka Statystyczna Entropia
Własno´sci entropii
• Własno´sci entropii:
1 0 ¬ S(P ) ¬ k ln N
S(P ) = 0 ⇐⇒ P = (0, . . . , 1, . . . , 0) S(P ) = k ln N ⇐⇒ P = (N1, . . . ,N1) (dowód w oparciu o tw. Lagrange’a)
Jacek Jurkowski, Fizyka Statystyczna Entropia
Tw. Lagrange’a
Tw. Lagrange’a
Je´sli funkcja f (x1, . . . , xn) ma w pewnym punkcie ekstremum warunkowe przy wa- runkach Wi(x1, . . . , xn) = 0, i = 1, . . . , r < n, to funkcja
g(x1, . . . , xn) = f (x1, . . . , xn) −
r
X
i=1
λiWi(x1, . . . , xn)
ma w tym punkcie ekstremum lokalne przy pewnych warto´sciach mno˙zników Lagran- ge’a λi.
Jacek Jurkowski, Fizyka Statystyczna Entropia
Tw. Lagrange’a
Tw. Lagrange’a
Je´sli funkcja f (x1, . . . , xn) ma w pewnym punkcie ekstremum warunkowe przy wa- runkach Wi(x1, . . . , xn) = 0, i = 1, . . . , r < n, to funkcja
g(x1, . . . , xn) = f (x1, . . . , xn) −
r
X
i=1
λiWi(x1, . . . , xn)
ma w tym punkcie ekstremum lokalne przy pewnych warto´sciach mno˙zników Lagran- ge’a λi.
Jacek Jurkowski, Fizyka Statystyczna Entropia
Sympleks
• Zbiór wszystkich rozkładów prawdopodobie´nstw PN =
n
(p1, . . . , pN) ; 0 ¬ pi¬ 1 ,
N
X
i=1
pi= 1 o
tworzysympleks
• Sympleks PNjest zbiorem wypukłym, tzn.
∀ P, Q ∈ PN ∀ α ∈ [0, 1] αP + (1 − α)Q ∈ PN
Sympleks przy N = 3
Jacek Jurkowski, Fizyka Statystyczna Entropia
Sympleks
• Zbiór wszystkich rozkładów prawdopodobie´nstw PN = n
(p1, . . . , pN) ; 0 ¬ pi¬ 1 ,
N
X
i=1
pi= 1o
tworzysympleks
• Sympleks PNjest zbiorem wypukłym, tzn.
∀ P, Q ∈ PN ∀ α ∈ [0, 1] αP + (1 − α)Q ∈ PN
Sympleks przy N = 3
Jacek Jurkowski, Fizyka Statystyczna Entropia
Sympleks
• Zbiór wszystkich rozkładów prawdopodobie´nstw PN = n
(p1, . . . , pN) ; 0 ¬ pi¬ 1 ,
N
X
i=1
pi= 1o
tworzysympleks
• Sympleks PNjest zbiorem wypukłym, tzn.
∀ P, Q ∈ PN ∀ α ∈ [0, 1] αP + (1 − α)Q ∈ PN
Sympleks przy N = 3
Jacek Jurkowski, Fizyka Statystyczna Entropia
Własno´sci entropii
3 Entropia S(P ) jest funkcja˛ wkle˛sła˛ (wypukła˛ w góre˛) na dowolnym wypukłym podzbiorze P ⊂ PN, tzn.
∀ α ∈ [0, 1] S(αP + (1 − α)Q) αS(P ) + (1 − α)S(Q) . Równo´s´c zachodzi wtedy i tylko wtedy gdy P = Q.
4 Je´sli na zbiorze wypukłym P ⊂ PN entropia jest ograniczona z góry, to osia˛ga maksimum na dokładnie jednym rozkładzie prawdopodobie´nstwa
P∗= (p∗1, . . . , p∗N),
S(P∗) = sup
P ∈P
S(P ) .
Definicja
Rozkładem reprezentatywnym P∗ zbioru P nazywamy jedyny rozkład prawdopo- dobie´nstwa maksymalizuja˛cy entropie˛.
Jacek Jurkowski, Fizyka Statystyczna Entropia
Własno´sci entropii
3 Entropia S(P ) jest funkcja˛ wkle˛sła˛ (wypukła˛ w góre˛) na dowolnym wypukłym podzbiorze P ⊂ PN, tzn.
∀ α ∈ [0, 1] S(αP + (1 − α)Q) αS(P ) + (1 − α)S(Q) . Równo´s´c zachodzi wtedy i tylko wtedy gdy P = Q.
4 Je´sli na zbiorze wypukłym P ⊂ PN entropia jest ograniczona z góry, to osia˛ga maksimum na dokładnie jednym rozkładzie prawdopodobie´nstwa
P∗= (p∗1, . . . , p∗N),
S(P∗) = sup
P ∈P
S(P ) .
Definicja
Rozkładem reprezentatywnym P∗ zbioru P nazywamy jedyny rozkład prawdopo- dobie´nstwa maksymalizuja˛cy entropie˛.
Jacek Jurkowski, Fizyka Statystyczna Entropia
Własno´sci entropii
3 Entropia S(P ) jest funkcja˛ wkle˛sła˛ (wypukła˛ w góre˛) na dowolnym wypukłym podzbiorze P ⊂ PN, tzn.
∀ α ∈ [0, 1] S(αP + (1 − α)Q) αS(P ) + (1 − α)S(Q) . Równo´s´c zachodzi wtedy i tylko wtedy gdy P = Q.
4 Je´sli na zbiorze wypukłym P ⊂ PN entropia jest ograniczona z góry, to osia˛ga maksimum na dokładnie jednym rozkładzie prawdopodobie´nstwa
P∗= (p∗1, . . . , p∗N),
S(P∗) = sup
P ∈P
S(P ) .
Definicja
Rozkładem reprezentatywnym P∗ zbioru P nazywamy jedyny rozkład prawdopo- dobie´nstwa maksymalizuja˛cy entropie˛.
Jacek Jurkowski, Fizyka Statystyczna Entropia
Własno´sci entropii
3 Entropia S(P ) jest funkcja˛ wkle˛sła˛ (wypukła˛ w góre˛) na dowolnym wypukłym podzbiorze P ⊂ PN, tzn.
∀ α ∈ [0, 1] S(αP + (1 − α)Q) αS(P ) + (1 − α)S(Q) . Równo´s´c zachodzi wtedy i tylko wtedy gdy P = Q.
4 Je´sli na zbiorze wypukłym P ⊂ PN entropia jest ograniczona z góry, to osia˛ga maksimum na dokładnie jednym rozkładzie prawdopodobie´nstwa
P∗= (p∗1, . . . , p∗N),
S(P∗) = sup
P ∈P
S(P ) .
Definicja
Rozkładem reprezentatywnym P∗ zbioru P nazywamy jedyny rozkład prawdopo- dobie´nstwa maksymalizuja˛cy entropie˛.
Jacek Jurkowski, Fizyka Statystyczna Entropia
Makrostan ze wzgle˛du na zmienna˛ losowa˛
Makrostan
Makrostanem ze wzgle˛du na dyskretna˛ zmienna˛ losowa˛ f nazywamy naste˛puja˛cy wypukły podzbiór sympleksu PN
PN ⊃ Kf = n
P = (p1, . . . , pN) ; pi 0 ,
N
X
i=1
pi= 1 , hf i = mo ,
Tw. o postaci rozkładu reprezentatywnego dla makrostanu
Rozkład reprezentatywny P∗= (p∗1, . . . , p∗N) makrostanu Kf ma posta´c: p∗i = Z−1(λ)e−λfi,
gdzie funkcje˛ Z(λ) =
N
X
i=1
e−λfinazywamysuma˛ statystyczna˛oraz równo´s´c
−∂ ln Z(λ)
∂λ = m
jednoznacznie okre´sla funkcje˛ λ(m).
Jacek Jurkowski, Fizyka Statystyczna Entropia
Makrostan ze wzgle˛du na zmienna˛ losowa˛
Makrostan
Makrostanem ze wzgle˛du na dyskretna˛ zmienna˛ losowa˛ f nazywamy naste˛puja˛cy wypukły podzbiór sympleksu PN
PN ⊃ Kf = n
P = (p1, . . . , pN) ; pi 0 ,
N
X
i=1
pi= 1 , hf i = mo ,
Tw. o postaci rozkładu reprezentatywnego dla makrostanu
Rozkład reprezentatywny P∗= (p∗1, . . . , p∗N) makrostanu Kf ma posta´c: p∗i = Z−1(λ)e−λfi,
gdzie funkcje˛ Z(λ) =
N
X
i=1
e−λfinazywamysuma˛ statystyczna˛oraz równo´s´c
−∂ ln Z(λ)
∂λ = m
jednoznacznie okre´sla funkcje˛ λ(m).
Jacek Jurkowski, Fizyka Statystyczna Entropia
Makrostan ze wzgle˛du na zmienna˛ losowa˛
Makrostan
Makrostanem ze wzgle˛du na dyskretna˛ zmienna˛ losowa˛ f nazywamy naste˛puja˛cy wypukły podzbiór sympleksu PN
PN ⊃ Kf = n
P = (p1, . . . , pN) ; pi 0 ,
N
X
i=1
pi= 1 , hf i = mo ,
Tw. o postaci rozkładu reprezentatywnego dla makrostanu
Rozkład reprezentatywny P∗= (p∗1, . . . , p∗N) makrostanu Kf ma posta´c:
p∗i = Z−1(λ)e−λfi,
gdzie funkcje˛ Z(λ) =
N
X
i=1
e−λfinazywamysuma˛ statystyczna˛oraz równo´s´c
−∂ ln Z(λ)
∂λ = m
jednoznacznie okre´sla funkcje˛ λ(m).
Jacek Jurkowski, Fizyka Statystyczna Entropia
Makrostan ze wzgle˛du na kilka zmiennych losowych
Przykład: Znale´z´c rozkład reprezentatywny dla makrostanu
Kf = n
P = (p1, p2, . . .); pi 0 ,
∞
X
i=1
pi= 1 , hf i = m o
je´sli warto´sciami zmiennej losowej f sa˛ kolejne liczby naturalne, tzn. fi= i, i = 1, 2, . . ..
Definicja
Makrostanem ze wzgle˛du na dyskretne zmienne losowe f1, . . . , fr nazywamy naste˛puja˛cy wypukły podzbiór sympleksu PN
PN⊃ Kf1,...,fr = n
(p1, . . . , pN) ; pi 0 ,
N
X
i=1
pi= 1 , hfji = mj,
j = 1, . . . , ro
, fij := fj(ωi) ,
Jacek Jurkowski, Fizyka Statystyczna Entropia
Makrostan ze wzgle˛du na kilka zmiennych losowych
Przykład: Znale´z´c rozkład reprezentatywny dla makrostanu
Kf = n
P = (p1, p2, . . .); pi 0 ,
∞
X
i=1
pi= 1 , hf i = m o
je´sli warto´sciami zmiennej losowej f sa˛ kolejne liczby naturalne, tzn. fi= i, i = 1, 2, . . ..
Definicja
Makrostanem ze wzgle˛du na dyskretne zmienne losowe f1, . . . , fr nazywamy naste˛puja˛cy wypukły podzbiór sympleksu PN
PN⊃ Kf1,...,fr = n
(p1, . . . , pN) ; pi 0 ,
N
X
i=1
pi= 1 , hfji = mj,
j = 1, . . . , ro
, fij := fj(ωi) ,
Jacek Jurkowski, Fizyka Statystyczna Entropia
Twierdzenie o rozkładzie reprezentatywnym
Twierdzenie
Rozkład reprezentatywny P∗= (p∗1, . . . , p∗N) makrostanu Kf1,...,fr ma posta´c:
p∗i = Z−1(λ1, . . . , λr) exp h
−
r
X
j=1
λjfij i
,
gdzie funkcje˛ Z(λ1, . . . , λr) =
N
X
i=1
exph
−
r
X
j=1
λjfiji
nazywamy suma˛ statystyczna˛
oraz
−∂ ln Z(λ1, . . . , λr)
∂λj
= mj, j = 1, . . . , r .
Jacek Jurkowski, Fizyka Statystyczna Entropia
Twierdzenie o rozkładzie reprezentatywnym
Twierdzenie
Rozkład reprezentatywny P∗= (p∗1, . . . , p∗N) makrostanu Kf1,...,fr ma posta´c:
p∗i = Z−1(λ1, . . . , λr) exp h
−
r
X
j=1
λjfij i
,
gdzie funkcje˛ Z(λ1, . . . , λr) =
N
X
i=1
exph
−
r
X
j=1
λjfiji
nazywamy suma˛
statystyczna˛
oraz
−∂ ln Z(λ1, . . . , λr)
∂λj
= mj, j = 1, . . . , r .
Jacek Jurkowski, Fizyka Statystyczna Entropia
Znaczenie entropii
• Informacja — zaj´scie zdarzenia ωkdostarcza informacji Ik(P ) = log2 1
p(ωk) = − log2pk
• Zdarzenia mniej prawdopodobne dostarczaja˛ wie˛cej informacji!
• Entropia okre´sla ´srednia˛ informacje˛ jaka mo˙ze by´c uzyskana w wyniku jakiego´s do´swiadczenia losowego
S(P ) = hI(P )i = −X
k
pklog2pk
• Je´sli P jest rozkładem zmiennej losowej f , to S(P ) okre´sla (´srednia˛) ilo´s´c informacji zawarta˛ w f .
Jacek Jurkowski, Fizyka Statystyczna Entropia
Znaczenie entropii
• Informacja — zaj´scie zdarzenia ωkdostarcza informacji Ik(P ) = log2 1
p(ωk) = − log2pk
• Zdarzenia mniej prawdopodobne dostarczaja˛ wie˛cej informacji!
• Entropia okre´sla ´srednia˛ informacje˛ jaka mo˙ze by´c uzyskana w wyniku jakiego´s do´swiadczenia losowego
S(P ) = hI(P )i = −X
k
pklog2pk
• Je´sli P jest rozkładem zmiennej losowej f , to S(P ) okre´sla (´srednia˛) ilo´s´c informacji zawarta˛ w f .
Jacek Jurkowski, Fizyka Statystyczna Entropia
Znaczenie entropii
• Informacja — zaj´scie zdarzenia ωkdostarcza informacji Ik(P ) = log2 1
p(ωk) = − log2pk
• Zdarzenia mniej prawdopodobne dostarczaja˛ wie˛cej informacji!
• Entropia okre´sla ´srednia˛ informacje˛ jaka mo˙ze by´c uzyskana w wyniku jakiego´s do´swiadczenia losowego
S(P ) = hI(P )i = −X
k
pklog2pk
• Je´sli P jest rozkładem zmiennej losowej f , to S(P ) okre´sla (´srednia˛) ilo´s´c informacji zawarta˛ w f .
Jacek Jurkowski, Fizyka Statystyczna Entropia
Znaczenie entropii
• Informacja — zaj´scie zdarzenia ωkdostarcza informacji Ik(P ) = log2 1
p(ωk) = − log2pk
• Zdarzenia mniej prawdopodobne dostarczaja˛ wie˛cej informacji!
• Entropia okre´sla ´srednia˛ informacje˛ jaka mo˙ze by´c uzyskana w wyniku jakiego´s do´swiadczenia losowego
S(P ) = hI(P )i = −X
k
pklog2pk
• Je´sli P jest rozkładem zmiennej losowej f , to S(P ) okre´sla (´srednia˛) ilo´s´c informacji zawarta˛ w f .
Jacek Jurkowski, Fizyka Statystyczna Entropia
Znaczenie entropii
• Informacja — zaj´scie zdarzenia ωkdostarcza informacji Ik(P ) = log2 1
p(ωk) = − log2pk
• Zdarzenia mniej prawdopodobne dostarczaja˛ wie˛cej informacji!
• Entropia okre´sla ´srednia˛ informacje˛ jaka mo˙ze by´c uzyskana w wyniku jakiego´s do´swiadczenia losowego
S(P ) = hI(P )i = −X
k
pklog2pk
• Je´sli P jest rozkładem zmiennej losowej f , to S(P ) okre´sla (´srednia˛) ilo´s´c informacji zawarta˛ w f .
Jacek Jurkowski, Fizyka Statystyczna Entropia
Inne rodzaje entropii
• Miara podobie´nstwa dwóch rozkładów P i Q (Q absolutnie cia˛gły wzgle˛dem P ) — entropia wzajemna
S(P ||Q) =X
k
pklog2pk
qk
= −S(P ) −X
k
pklog2qk
• Entropia wzajemna jest nieujemna, przy czym warto´s´c 0 przyjmuje tylko dla identycznych rozkładów P = Q
S(P ||Q) 0
• Entropia rozkładu ła˛cznego uk`= (P × Q)(ωk, η`) S(P × Q) = −X
k,`
uk`log2uk`
• Entropia warunkowa — ilo´s´c informacji o P × Q jaka mo˙ze by´c uzyskana na podstawie znajomo´sci rozkładu Q
S(P |Q) = S(P × Q) − S(Q)
Jacek Jurkowski, Fizyka Statystyczna Entropia
Inne rodzaje entropii
• Miara podobie´nstwa dwóch rozkładów P i Q (Q absolutnie cia˛gły wzgle˛dem P ) — entropia wzajemna
S(P ||Q) =X
k
pklog2pk
qk
= −S(P ) −X
k
pklog2qk
• Entropia wzajemna jest nieujemna, przy czym warto´s´c 0 przyjmuje tylko dla identycznych rozkładów P = Q
S(P ||Q) 0
• Entropia rozkładu ła˛cznego uk`= (P × Q)(ωk, η`) S(P × Q) = −X
k,`
uk`log2uk`
• Entropia warunkowa — ilo´s´c informacji o P × Q jaka mo˙ze by´c uzyskana na podstawie znajomo´sci rozkładu Q
S(P |Q) = S(P × Q) − S(Q)
Jacek Jurkowski, Fizyka Statystyczna Entropia
Inne rodzaje entropii
• Miara podobie´nstwa dwóch rozkładów P i Q (Q absolutnie cia˛gły wzgle˛dem P ) — entropia wzajemna
S(P ||Q) =X
k
pklog2pk
qk
= −S(P ) −X
k
pklog2qk
• Entropia wzajemna jest nieujemna, przy czym warto´s´c 0 przyjmuje tylko dla identycznych rozkładów P = Q
S(P ||Q) 0
• Entropia rozkładu ła˛cznego uk`= (P × Q)(ωk, η`) S(P × Q) = −X
k,`
uk`log2uk`
• Entropia warunkowa — ilo´s´c informacji o P × Q jaka mo˙ze by´c uzyskana na podstawie znajomo´sci rozkładu Q
S(P |Q) = S(P × Q) − S(Q)
Jacek Jurkowski, Fizyka Statystyczna Entropia
Inne rodzaje entropii
• Miara podobie´nstwa dwóch rozkładów P i Q (Q absolutnie cia˛gły wzgle˛dem P ) — entropia wzajemna
S(P ||Q) =X
k
pklog2pk
qk
= −S(P ) −X
k
pklog2qk
• Entropia wzajemna jest nieujemna, przy czym warto´s´c 0 przyjmuje tylko dla identycznych rozkładów P = Q
S(P ||Q) 0
• Entropia rozkładu ła˛cznego uk`= (P × Q)(ωk, η`) S(P × Q) = −X
k,`
uk`log2uk`
• Entropia warunkowa — ilo´s´c informacji o P × Q jaka mo˙ze by´c uzyskana na podstawie znajomo´sci rozkładu Q
S(P |Q) = S(P × Q) − S(Q)
Jacek Jurkowski, Fizyka Statystyczna Entropia
Inne rodzaje entropii
• Miara podobie´nstwa dwóch rozkładów P i Q (Q absolutnie cia˛gły wzgle˛dem P ) — entropia wzajemna
S(P ||Q) =X
k
pklog2pk
qk
= −S(P ) −X
k
pklog2qk
• Entropia wzajemna jest nieujemna, przy czym warto´s´c 0 przyjmuje tylko dla identycznych rozkładów P = Q
S(P ||Q) 0
• Entropia rozkładu ła˛cznego uk`= (P × Q)(ωk, η`) S(P × Q) = −X
k,`
uk`log2uk`
• Entropia warunkowa — ilo´s´c informacji o P × Q jaka mo˙ze by´c uzyskana na podstawie znajomo´sci rozkładu Q
S(P |Q) = S(P × Q) − S(Q)
Jacek Jurkowski, Fizyka Statystyczna Entropia
Entropia wzajemna
• Wspólna informacja zawarta w P i Q
S(P : Q) = S(P ) + S(Q) − S(P × Q)
• Własno´sci
S(P : Q) = S(P ) − S(P |Q)
S(P : Q) = S(P × Q||P Q)
Jacek Jurkowski, Fizyka Statystyczna Entropia
Entropia wzajemna
• Wspólna informacja zawarta w P i Q
S(P : Q) = S(P ) + S(Q) − S(P × Q)
• Własno´sci
S(P : Q) = S(P ) − S(P |Q)
S(P : Q) = S(P × Q||P Q)
Jacek Jurkowski, Fizyka Statystyczna Entropia
Entropia wzajemna
• Wspólna informacja zawarta w P i Q
S(P : Q) = S(P ) + S(Q) − S(P × Q)
• Własno´sci
S(P : Q) = S(P ) − S(P |Q)
S(P : Q) = S(P × Q||P Q)
Jacek Jurkowski, Fizyka Statystyczna Entropia
Entropia wzajemna
• Wspólna informacja zawarta w P i Q
S(P : Q) = S(P ) + S(Q) − S(P × Q)
• Własno´sci
S(P : Q) = S(P ) − S(P |Q)
S(P : Q) = S(P × Q||P Q)
Jacek Jurkowski, Fizyka Statystyczna Entropia
Entropia w przypadku cia˛głej zmiennej losowej
• Cia˛głej zmiennej losowej f okre´slonej na podzbiorach Ω ⊂ Rn odpowiada ge˛sto´s´c rozkładu ρ(x1, . . . , xn) ≡ ρ(x)
Entropia
Entropie˛ definiujemy w tym przypadku jako S(ρ) = −k
Z
Ω
ρ(x) ln ρ(x)dx ,
Makrostan
Makrostanem ze wzgle˛du na cia˛głe zmienne losowe f1, . . . , fr nazywamy naste˛puja˛cy zbiór:
Kf1,...,fr = n
ρ : Ω → R+; Z
Ω
ρ(x)dx = 1 , E(fj) = mj, j = 1, . . . , r o
,
Jacek Jurkowski, Fizyka Statystyczna Entropia
Entropia w przypadku cia˛głej zmiennej losowej
• Cia˛głej zmiennej losowej f okre´slonej na podzbiorach Ω ⊂ Rn odpowiada ge˛sto´s´c rozkładu ρ(x1, . . . , xn) ≡ ρ(x)
Entropia
Entropie˛ definiujemy w tym przypadku jako S(ρ) = −k
Z
Ω
ρ(x) ln ρ(x)dx ,
Makrostan
Makrostanem ze wzgle˛du na cia˛głe zmienne losowe f1, . . . , fr nazywamy naste˛puja˛cy zbiór:
Kf1,...,fr = n
ρ : Ω → R+; Z
Ω
ρ(x)dx = 1 , E(fj) = mj, j = 1, . . . , r o
,
Jacek Jurkowski, Fizyka Statystyczna Entropia
Entropia w przypadku cia˛głej zmiennej losowej
• Cia˛głej zmiennej losowej f okre´slonej na podzbiorach Ω ⊂ Rn odpowiada ge˛sto´s´c rozkładu ρ(x1, . . . , xn) ≡ ρ(x)
Entropia
Entropie˛ definiujemy w tym przypadku jako S(ρ) = −k
Z
Ω
ρ(x) ln ρ(x)dx ,
Makrostan
Makrostanem ze wzgle˛du na cia˛głe zmienne losowe f1, . . . , fr nazywamy naste˛puja˛cy zbiór:
Kf1,...,fr = n
ρ : Ω → R+; Z
Ω
ρ(x)dx = 1 , E(fj) = mj, j = 1, . . . , r o
,
Jacek Jurkowski, Fizyka Statystyczna Entropia
Entropia w przypadku cia˛głej zmiennej losowej
• Cia˛głej zmiennej losowej f okre´slonej na podzbiorach Ω ⊂ Rn odpowiada ge˛sto´s´c rozkładu ρ(x1, . . . , xn) ≡ ρ(x)
Entropia
Entropie˛ definiujemy w tym przypadku jako S(ρ) = −k
Z
Ω
ρ(x) ln ρ(x)dx ,
Makrostan
Makrostanem ze wzgle˛du na cia˛głe zmienne losowe f1, . . . , fr nazywamy naste˛puja˛cy zbiór:
Kf1,...,fr = n
ρ : Ω → R+; Z
Ω
ρ(x)dx = 1 , E(fj) = mj, j = 1, . . . , r o
,
Jacek Jurkowski, Fizyka Statystyczna Entropia
Twierdzenie o rozkładzie reprezentatywnym
Twierdzenie
Ge˛sto´s´c rozkładu reprezentatywnego ρ∗(x) makrostanu Kf1,...,fr ma posta´c:
ρ∗(x) = Z−1(λ1, . . . , λr) exp h
−
r
X
j=1
λjfj(x) i
,
gdzie suma statystyczna ma posta´c Z(λ1, . . . , λr) =
Z
Ω
exp h
−
r
X
j=1
λjfj(x) i
dx
oraz
−∂ ln Z(λ1, . . . , λr)
∂λj
= mj, j = 1, . . . , r .
gdzie mj = Z
Ω
fj(x)ρ(x)dx.
Jacek Jurkowski, Fizyka Statystyczna Entropia
Twierdzenie o rozkładzie reprezentatywnym
Twierdzenie
Ge˛sto´s´c rozkładu reprezentatywnego ρ∗(x) makrostanu Kf1,...,fr ma posta´c:
ρ∗(x) = Z−1(λ1, . . . , λr) exp h
−
r
X
j=1
λjfj(x) i
,
gdzie suma statystyczna ma posta´c Z(λ1, . . . , λr) =
Z
Ω
exp h
−
r
X
j=1
λjfj(x) i
dx
oraz
−∂ ln Z(λ1, . . . , λr)
∂λj
= mj, j = 1, . . . , r .
gdzie mj = Z
Ω
fj(x)ρ(x)dx.
Jacek Jurkowski, Fizyka Statystyczna Entropia
