Entropia w teorii informacji
Jarosław Ludwikowski
Uniwersytet Śląski
grudzień 2008
Kilka słów wstępu
Entropia, w różnych teoriach jest postrzegana na potrzeby określonej dziedziny. Np. w termodynamice jako uśredniona charakterystyka opisująca stan zrównoważonego systemu. W informatyce entropię należy rozpatrywać jednocześnie z ilością informacji oraz jej cennością.
Entropia od greckiego en-trope przemieniać się. W termodynamice oznacza prawdopodobieństwo stanu cieplnego materii, w matematyce poziom nieokreśloności sytuacji lub zadania. W informatyce natomiast entropia charakteryzuje możliwość oddawania informacji przez źródło. Wszystkie te pojęcia mają wspólną cechę, a mianowicie opisują bogactwo i różnorodność stanów.
Kilka słów wstępu
Entropia, w różnych teoriach jest postrzegana na potrzeby określonej dziedziny. Np. w termodynamice jako uśredniona charakterystyka opisująca stan zrównoważonego systemu. W informatyce entropię należy rozpatrywać jednocześnie z ilością informacji oraz jej cennością.
Entropia od greckiego en-trope przemieniać się. W termodynamice oznacza prawdopodobieństwo stanu cieplnego materii, w matematyce poziom nieokreśloności sytuacji lub zadania. W informatyce natomiast entropia charakteryzuje możliwość oddawania informacji przez źródło. Wszystkie te pojęcia mają wspólną cechę, a mianowicie opisują bogactwo i różnorodność stanów.
Metody określania miary ilości informacji
1 metoda uwzględniająca strukturalną budowę informacji
2 metoda uwzględniająca zależności statystyczne
3 metoda uwzględniająca semantyczną wartość informacji.
Metody określania miary ilości informacji
1 metoda uwzględniająca strukturalną budowę informacji
2 metoda uwzględniająca zależności statystyczne
3 metoda uwzględniająca semantyczną wartość informacji.
Metody określania miary ilości informacji
1 metoda uwzględniająca strukturalną budowę informacji
2 metoda uwzględniająca zależności statystyczne
3 metoda uwzględniająca semantyczną wartość informacji.
Metody określania miary ilości informacji
1 metoda uwzględniająca strukturalną budowę informacji
2 metoda uwzględniająca zależności statystyczne
3 metoda uwzględniająca semantyczną wartość informacji.
metoda uwzględniająca strukturalną budowę informacji
W teorii strukturalnej uwzględnia się determinowaną budowę masywów informacji. Pomiar tych masywów następuje przez obliczenie elementów informacyjnych (kwantów), tworzących te struktury, albo przez
odpowiednie kodowanie tych masywów (metoda kombinatoryczna). Teoria ta ma szczególne zastosowanie do oceny możliwości aparatury
zaimplementowanej w systemach informatycznych (np. kanałów łączności, pamięci czy urządzeń rejestrujących).
metoda uwzględniająca zależności statystyczne
Statystyczna teoria operuje pojęciem entropii jako miary nieokreśloności, uwzględniającej prawdopodobieństwo pojawienia się tych lub innych zdarzeń, a tym samym określenia informatywności. Pozwala ona określić parametry systemów informatycznych w konkretnych zastosowaniach, np.
podczas przesyłu informacji w systemie łączności o określonych parametrach (statystykach).
metoda uwzględniająca semantyczną wartość informacji
Trzecie podejście uwzględnia zasadność, cenność, pożyteczność oraz istotę informacji. Ma ona szczególne zastosowanie w dokonywaniu ocen
efektywności eksperymentu (doświadczenia) logicznego.
metody określania miary informacji
W strukturalnej teorii informacji można wydzielić trzy metody określania miary informacji, a mianowicie:
1 metodę geometryczną
2 metodę kombinatoryczną
3 metodę addytywną.
Najszersze zastosowanie znalazła binarna addytywna miara, tzw. miara Hartleya, która pozwala na dokonanie pomiaru ilości informacji w binarnej algebrze, a jednostką jest wtedy bit.
metody określania miary informacji
W strukturalnej teorii informacji można wydzielić trzy metody określania miary informacji, a mianowicie:
1 metodę geometryczną
2 metodę kombinatoryczną
3 metodę addytywną.
Najszersze zastosowanie znalazła binarna addytywna miara, tzw. miara Hartleya, która pozwala na dokonanie pomiaru ilości informacji w binarnej algebrze, a jednostką jest wtedy bit.
metody określania miary informacji
W strukturalnej teorii informacji można wydzielić trzy metody określania miary informacji, a mianowicie:
1 metodę geometryczną
2 metodę kombinatoryczną
3 metodę addytywną.
Najszersze zastosowanie znalazła binarna addytywna miara, tzw. miara Hartleya, która pozwala na dokonanie pomiaru ilości informacji w binarnej algebrze, a jednostką jest wtedy bit.
metody określania miary informacji
W strukturalnej teorii informacji można wydzielić trzy metody określania miary informacji, a mianowicie:
1 metodę geometryczną
2 metodę kombinatoryczną
3 metodę addytywną.
Najszersze zastosowanie znalazła binarna addytywna miara, tzw. miara Hartleya, która pozwala na dokonanie pomiaru ilości informacji w binarnej algebrze, a jednostką jest wtedy bit.
metody określania miary informacji
W strukturalnej teorii informacji można wydzielić trzy metody określania miary informacji, a mianowicie:
1 metodę geometryczną
2 metodę kombinatoryczną
3 metodę addytywną.
Najszersze zastosowanie znalazła binarna addytywna miara, tzw. miara Hartleya, która pozwala na dokonanie pomiaru ilości informacji w binarnej algebrze, a jednostką jest wtedy bit.
Miara Hartley’a
Hartley jako bazę do określenia miary ilości informacji wprowadził pojęcie entropii, którą należy rozumieć jako miarę różnorodności rozpatrywanego zbioru.
Niech moc zadanego skończonego zbioru X będzie równa N. Entropią takiego zbioru będziemy nazywać wielkość
H(X) = log2N (1)
Miara Hartley’a
Hartley jako bazę do określenia miary ilości informacji wprowadził pojęcie entropii, którą należy rozumieć jako miarę różnorodności rozpatrywanego zbioru.
Niech moc zadanego skończonego zbioru X będzie równa N. Entropią takiego zbioru będziemy nazywać wielkość
H(X) = log2N (1)
Miara Hartley’a
Hartley jako bazę do określenia miary ilości informacji wprowadził pojęcie entropii, którą należy rozumieć jako miarę różnorodności rozpatrywanego zbioru.
Niech moc zadanego skończonego zbioru X będzie równa N. Entropią takiego zbioru będziemy nazywać wielkość
H(X) = log2N (1)
Załóżmy, że ze zbioru X jest wybierany określony element x. Entropią zbioru ”wybrany został element x”będzie:
H(x) = log21 = 0
Ilość informacji, jaką uzyskujemy podczas wyboru elementu x, można przyjąć za miarę różnorodności, jaka pojawia się przy wyborze konkretnego elementu z bazowego zbioru
I(X) = H(X) − H(x)
W związku z tym, że H(x)=0, ilość informacji będzie równa entropii bazowego zbioru, tj.
I(X) = log2N
Załóżmy, że ze zbioru X jest wybierany określony element x. Entropią zbioru ”wybrany został element x”będzie:
H(x) = log21 = 0
Ilość informacji, jaką uzyskujemy podczas wyboru elementu x, można przyjąć za miarę różnorodności, jaka pojawia się przy wyborze konkretnego elementu z bazowego zbioru
I(X) = H(X) − H(x)
W związku z tym, że H(x)=0, ilość informacji będzie równa entropii bazowego zbioru, tj.
I(X) = log2N
Załóżmy, że ze zbioru X jest wybierany określony element x. Entropią zbioru ”wybrany został element x”będzie:
H(x) = log21 = 0
Ilość informacji, jaką uzyskujemy podczas wyboru elementu x, można przyjąć za miarę różnorodności, jaka pojawia się przy wyborze konkretnego elementu z bazowego zbioru
I(X) = H(X) − H(x)
W związku z tym, że H(x)=0, ilość informacji będzie równa entropii bazowego zbioru, tj.
I(X) = log2N
Załóżmy, że ze zbioru X jest wybierany określony element x. Entropią zbioru ”wybrany został element x”będzie:
H(x) = log21 = 0
Ilość informacji, jaką uzyskujemy podczas wyboru elementu x, można przyjąć za miarę różnorodności, jaka pojawia się przy wyborze konkretnego elementu z bazowego zbioru
I(X) = H(X) − H(x)
W związku z tym, że H(x)=0, ilość informacji będzie równa entropii bazowego zbioru, tj.
I(X) = log2N
Załóżmy, że ze zbioru X jest wybierany określony element x. Entropią zbioru ”wybrany został element x”będzie:
H(x) = log21 = 0
Ilość informacji, jaką uzyskujemy podczas wyboru elementu x, można przyjąć za miarę różnorodności, jaka pojawia się przy wyborze konkretnego elementu z bazowego zbioru
I(X) = H(X) − H(x)
W związku z tym, że H(x)=0, ilość informacji będzie równa entropii bazowego zbioru, tj.
I(X) = log2N
Załóżmy, że ze zbioru X jest wybierany określony element x. Entropią zbioru ”wybrany został element x”będzie:
H(x) = log21 = 0
Ilość informacji, jaką uzyskujemy podczas wyboru elementu x, można przyjąć za miarę różnorodności, jaka pojawia się przy wyborze konkretnego elementu z bazowego zbioru
I(X) = H(X) − H(x)
W związku z tym, że H(x)=0, ilość informacji będzie równa entropii bazowego zbioru, tj.
I(X) = log2N
Jeżeli rozpatrywane są dwa niezależne doświadczenia X i Y, a także doświadczenie złożone XY, polegające na jednoczesnym zrealizowaniu się obu doświadczeń, stopień nieokreśloności eksperymentu powinien być sumą nieokreśloności doświadczeń X oraz Y. Jak było wspomniane wcześniej stopień nieokreśloności zdarzenia mierzy się jego entropią (1).
Uogólniając, dla zbiorów X1, X2, . . . , Xnspośród których wybierane są niezależne elementy x1X1, x2X2, . . . , xnXnentropię możemy wyznaczyć ze wzoru:
H(X1, X2, . . . ., Xn) = H(X1) + H(X2) + · · · + H(Xn) (2)
Jeżeli rozpatrywane są dwa niezależne doświadczenia X i Y, a także doświadczenie złożone XY, polegające na jednoczesnym zrealizowaniu się obu doświadczeń, stopień nieokreśloności eksperymentu powinien być sumą nieokreśloności doświadczeń X oraz Y. Jak było wspomniane wcześniej stopień nieokreśloności zdarzenia mierzy się jego entropią (1).
Uogólniając, dla zbiorów X1, X2, . . . , Xnspośród których wybierane są niezależne elementy x1X1, x2X2, . . . , xnXnentropię możemy wyznaczyć ze wzoru:
H(X1, X2, . . . ., Xn) = H(X1) + H(X2) + · · · + H(Xn) (2)
Jeżeli rozpatrywane są dwa niezależne doświadczenia X i Y, a także doświadczenie złożone XY, polegające na jednoczesnym zrealizowaniu się obu doświadczeń, stopień nieokreśloności eksperymentu powinien być sumą nieokreśloności doświadczeń X oraz Y. Jak było wspomniane wcześniej stopień nieokreśloności zdarzenia mierzy się jego entropią (1).
Uogólniając, dla zbiorów X1, X2, . . . , Xnspośród których wybierane są niezależne elementy x1X1, x2X2, . . . , xnXnentropię możemy wyznaczyć ze wzoru:
H(X1, X2, . . . ., Xn) = H(X1) + H(X2) + · · · + H(Xn) (2)
W wielu sytuacjach konieczne jest określenie ilości informacji dla zbiorów, w których wystąpienie różnych zjawisk nie jest jednakowo prawdopodobne.
W takich przypadkach miara Hartey’a nie daje dokładny wyników.
Dygresja...
Claude Elwood Shannon (urodzony 30 kwietnia 1916 - zmarł 24 lutego 2001 po długotrwałych zmaganiach z chorobą Alzheimera) - amerykański matematyk i inżynier, profesor MIT. Jeden z twórców teorii informacji.
Jako jeden z pierwszych pojął doniosłość kodu binarnego i już jako młody człowiek proroczo twierdził, że ciągami zer i jedynek da się opisać tekst, obraz i dźwięk.
Stworzył modele procesu komunikacyjnego wykorzystywane później przez psychologów. Jego najsłynniejsze dzieło to ”Matematyczna teoria komunikacji opublikowana w 1948 roku, która położyła podwaliny pod termodynamikę komunikacyjną.
Dygresja...
Claude Elwood Shannon (urodzony 30 kwietnia 1916 - zmarł 24 lutego 2001 po długotrwałych zmaganiach z chorobą Alzheimera) - amerykański matematyk i inżynier, profesor MIT. Jeden z twórców teorii informacji.
Jako jeden z pierwszych pojął doniosłość kodu binarnego i już jako młody człowiek proroczo twierdził, że ciągami zer i jedynek da się opisać tekst, obraz i dźwięk.
Stworzył modele procesu komunikacyjnego wykorzystywane później przez psychologów. Jego najsłynniejsze dzieło to ”Matematyczna teoria komunikacji opublikowana w 1948 roku, która położyła podwaliny pod termodynamikę komunikacyjną.
Przez pojęcie zdarzenie w dalszym ciągu rozumiemy elementarne
jednoprzedmiotowe zjawisko, które może wystąpić z prawdopodobieństwem od p = 0 do p = 1 lub nie wystąpić z prawdopodobieństwem od
q = (1 − p) = 1 do q = (1 − p) = 0. W przypadku, gdy p = 0, 5 i q = 0, 5, występuje największa nieokreśloność opisywanej sytuacji (entropia).
W teorii łączności opracowanej przez Shanonna entropia przedstawiana jest ilościowo jako średnia funkcja zbioru prawdopodobieństw każdego z możliwych scenariuszy doświadczeń i można zapisać ją następującym wzorem:
H = Isr= −Σk(i=1)pilog2pi (3)
Gdzie pi jest prawdopodobieństwem wystąpienia zdarzenia.
Wielkość H jest największa gdy wszystkie stany są jednakowo prawdopodobne (osiąga miarę Hertley’a), w przypadku zaś gdy nie są jednakowo prawdopodobne, entropia będzie mniejsza.
W teorii łączności opracowanej przez Shanonna entropia przedstawiana jest ilościowo jako średnia funkcja zbioru prawdopodobieństw każdego z możliwych scenariuszy doświadczeń i można zapisać ją następującym wzorem:
H = Isr= −Σk(i=1)pilog2pi (3)
Gdzie pi jest prawdopodobieństwem wystąpienia zdarzenia.
Wielkość H jest największa gdy wszystkie stany są jednakowo prawdopodobne (osiąga miarę Hertley’a), w przypadku zaś gdy nie są jednakowo prawdopodobne, entropia będzie mniejsza.
W teorii łączności opracowanej przez Shanonna entropia przedstawiana jest ilościowo jako średnia funkcja zbioru prawdopodobieństw każdego z możliwych scenariuszy doświadczeń i można zapisać ją następującym wzorem:
H = Isr= −Σk(i=1)pilog2pi (3)
Gdzie pi jest prawdopodobieństwem wystąpienia zdarzenia.
Wielkość H jest największa gdy wszystkie stany są jednakowo prawdopodobne (osiąga miarę Hertley’a), w przypadku zaś gdy nie są jednakowo prawdopodobne, entropia będzie mniejsza.
Właściwości entropii
1.H(X)> 0 oznacza to że entropia (shanonnowska) zawsze ma dodatnią wartość
Przeanalizujmy zbiór zdarzeń X = x1, x2, ..xNNiech dla pewnego zdarzenia pi= 1. Wtedy z warunku normy prawdopodobieństwa wynika, że pj= 0 dla j=1,2. . . N oraz i , j. Entropia takiego zbioru będzie równa:
H(X) = −(pilog2pi+ pjlog2pj) = −(1log21 + Σ0log20) = 0
Na tej podstawie można stwierdzić, że jeżeli zbiór zawiera wiarygodne zdarzenie, to jego entropia będzie równa 0. Taki zbiór nie ma żadnej nieokreśloności. W pozostałych przypadkach, gdy zbiór X zawiera
zdarzenia, dla których H(X)> 0, oznacza to, że logarytmy takich liczb będą ujemne co po podstawieniu do równania (3) daje dodatnią wartość entropii.
Właściwości entropii
1.H(X)> 0 oznacza to że entropia (shanonnowska) zawsze ma dodatnią wartość
Przeanalizujmy zbiór zdarzeń X = x1, x2, ..xNNiech dla pewnego zdarzenia pi= 1. Wtedy z warunku normy prawdopodobieństwa wynika, że pj= 0 dla j=1,2. . . N oraz i , j. Entropia takiego zbioru będzie równa:
H(X) = −(pilog2pi+ pjlog2pj) = −(1log21 + Σ0log20) = 0
Na tej podstawie można stwierdzić, że jeżeli zbiór zawiera wiarygodne zdarzenie, to jego entropia będzie równa 0. Taki zbiór nie ma żadnej nieokreśloności. W pozostałych przypadkach, gdy zbiór X zawiera
zdarzenia, dla których H(X)> 0, oznacza to, że logarytmy takich liczb będą ujemne co po podstawieniu do równania (3) daje dodatnią wartość entropii.
Właściwości entropii
1.H(X)> 0 oznacza to że entropia (shanonnowska) zawsze ma dodatnią wartość
Przeanalizujmy zbiór zdarzeń X = x1, x2, ..xNNiech dla pewnego zdarzenia pi= 1. Wtedy z warunku normy prawdopodobieństwa wynika, że pj= 0 dla j=1,2. . . N oraz i , j. Entropia takiego zbioru będzie równa:
H(X) = −(pilog2pi+ pjlog2pj) = −(1log21 + Σ0log20) = 0
Na tej podstawie można stwierdzić, że jeżeli zbiór zawiera wiarygodne zdarzenie, to jego entropia będzie równa 0. Taki zbiór nie ma żadnej nieokreśloności. W pozostałych przypadkach, gdy zbiór X zawiera
zdarzenia, dla których H(X)> 0, oznacza to, że logarytmy takich liczb będą ujemne co po podstawieniu do równania (3) daje dodatnią wartość entropii.
Właściwości entropii
1.H(X)> 0 oznacza to że entropia (shanonnowska) zawsze ma dodatnią wartość
Przeanalizujmy zbiór zdarzeń X = x1, x2, ..xNNiech dla pewnego zdarzenia pi= 1. Wtedy z warunku normy prawdopodobieństwa wynika, że pj= 0 dla j=1,2. . . N oraz i , j. Entropia takiego zbioru będzie równa:
H(X) = −(pilog2pi+ pjlog2pj) = −(1log21 + Σ0log20) = 0
Na tej podstawie można stwierdzić, że jeżeli zbiór zawiera wiarygodne zdarzenie, to jego entropia będzie równa 0. Taki zbiór nie ma żadnej nieokreśloności. W pozostałych przypadkach, gdy zbiór X zawiera
zdarzenia, dla których H(X)> 0, oznacza to, że logarytmy takich liczb będą ujemne co po podstawieniu do równania (3) daje dodatnią wartość entropii.
Przykład
X = {x1, x2}
p - prawdopodobieństwo wystąpienia x1
(1 − p) - prawdopodobieństwo wystąpienia x2
H(X) = −[plog2p + (1 − p)log2(1 − p)]
Właściwości entropii
Przy zadanej mocy N zbioru X entropia będzie maksymalna i będzie równać się log2N, jeżeli prawdopodobieństwa wszystkich zdarzeń należących do X będą jednakowe i równe 1/N. (Dowód opiera się na rachunku
wariacyjnym z wykorzystaniem mnożników Lagrange’a)
Właściwości entropii
Niech będą dane dwa zbiory X = x1, x2, . . . , xnoraz Y = y1, y2, . . . , ym. Jeżeli zdarzenia wchodzące w skład zbiorów X i Y są niezależne to entropia prostego iloczynu tych zbiorów będzie równa sumie entropii tych zbiorów.
H(XY) = H(X) + H(Y) (4)
Elementami zbioru (XY) są wszystkie pary, w których pierwszy element pochodzi ze zbioru X natomiast drugi pochodzi ze zbioru Y. Moc takiego zbioru (prostego iloczynu) będzie równa NM.
Właściwości entropii
Niech będą dane dwa zbiory X = x1, x2, . . . , xnoraz Y = y1, y2, . . . , ym. Jeżeli zdarzenia wchodzące w skład zbiorów X i Y są niezależne to entropia prostego iloczynu tych zbiorów będzie równa sumie entropii tych zbiorów.
H(XY) = H(X) + H(Y) (4)
Elementami zbioru (XY) są wszystkie pary, w których pierwszy element pochodzi ze zbioru X natomiast drugi pochodzi ze zbioru Y. Moc takiego zbioru (prostego iloczynu) będzie równa NM.
Właściwości entropii
Niech będą dane dwa zbiory X = x1, x2, . . . , xnoraz Y = y1, y2, . . . , ym. Jeżeli zdarzenia wchodzące w skład zbiorów X i Y są niezależne to entropia prostego iloczynu tych zbiorów będzie równa sumie entropii tych zbiorów.
H(XY) = H(X) + H(Y) (4)
Elementami zbioru (XY) są wszystkie pary, w których pierwszy element pochodzi ze zbioru X natomiast drugi pochodzi ze zbioru Y. Moc takiego zbioru (prostego iloczynu) będzie równa NM.
Właściwości entropii
Uogólniając to równanie można napisać podobne:
H(X1, H2, . . . , Hq) = Σq
(i=1)H(Hi) (5)
Powyższe równania są często zwane twierdzeniem o sumie entropii. Trzeba pamiętać, że w przypadku miary Shanonna, jeżeli łączą się zależne systemy to równania (4) i (5) nie sprawdzają się.
Właściwości entropii
Uogólniając to równanie można napisać podobne:
H(X1, H2, . . . , Hq) = Σq
(i=1)H(Hi) (5)
Powyższe równania są często zwane twierdzeniem o sumie entropii. Trzeba pamiętać, że w przypadku miary Shanonna, jeżeli łączą się zależne systemy to równania (4) i (5) nie sprawdzają się.
Właściwości entropii
Uogólniając to równanie można napisać podobne:
H(X1, H2, . . . , Hq) = Σq
(i=1)H(Hi) (5)
Powyższe równania są często zwane twierdzeniem o sumie entropii. Trzeba pamiętać, że w przypadku miary Shanonna, jeżeli łączą się zależne systemy to równania (4) i (5) nie sprawdzają się.
Entropia warunkowa
Gdy odrzucimy warunek o niezależności zdarzeń zbiorów X oraz Y entropia prostego ilorazu będzie określana za pomocą zależności (4) lecz
prawdopodobieństwo jednoczesnego zaistnienia zależnych zdarzeń X oraz Y będzie iloczynem bezwzględnych prawdopodobieństw p(x) lub p(y) z warunkowymi prawdopodobieństwami p(y|x) lub p(x|y). Zatem prawdopodobieństwo wystąpienia zdarzenia (xi, yi) będzie określane za pomocą:
pij= pip(yj|xi) (6)
w którym p(yj|xi) jest prawdopodobieństwem wystąpienia zdarzenia yj należącego do Y pod warunkiem realizacji zdarzenia xi należącego do X
Entropia warunkowa
Gdy odrzucimy warunek o niezależności zdarzeń zbiorów X oraz Y entropia prostego ilorazu będzie określana za pomocą zależności (4) lecz
prawdopodobieństwo jednoczesnego zaistnienia zależnych zdarzeń X oraz Y będzie iloczynem bezwzględnych prawdopodobieństw p(x) lub p(y) z warunkowymi prawdopodobieństwami p(y|x) lub p(x|y). Zatem prawdopodobieństwo wystąpienia zdarzenia (xi, yi) będzie określane za pomocą:
pij= pip(yj|xi) (6)
w którym p(yj|xi) jest prawdopodobieństwem wystąpienia zdarzenia yj należącego do Y pod warunkiem realizacji zdarzenia xi należącego do X
Entropia warunkowa
Po podstawieniu do wzory (4) i przekształceniu otrzymujemy następującą zależność :
H(X|Y) = ΣN(i=1)ΣM(j=1)pijlog2p(pi/pij) (7)
Za pomocą entropii warunkowej H(X|Y) określa się poziom nieokreśloności zbioru Y, która pozostaje w wyniku zlikwidowania nieokreśloności w zbiorze X.
Równanie:
H(XY) = H(X) − H(X|Y) (8)
można traktować jako uogólnienie twierdzenia o sumie entropii gdy systemy są wzajemnie zależne.
Entropia warunkowa
Po podstawieniu do wzory (4) i przekształceniu otrzymujemy następującą zależność :
H(X|Y) = ΣN(i=1)ΣM(j=1)pijlog2p(pi/pij) (7)
Za pomocą entropii warunkowej H(X|Y) określa się poziom nieokreśloności zbioru Y, która pozostaje w wyniku zlikwidowania nieokreśloności w zbiorze X.
Równanie:
H(XY) = H(X) − H(X|Y) (8)
można traktować jako uogólnienie twierdzenia o sumie entropii gdy systemy są wzajemnie zależne.
Entropia warunkowa
Po podstawieniu do wzory (4) i przekształceniu otrzymujemy następującą zależność :
H(X|Y) = ΣN(i=1)ΣM(j=1)pijlog2p(pi/pij) (7)
Za pomocą entropii warunkowej H(X|Y) określa się poziom nieokreśloności zbioru Y, która pozostaje w wyniku zlikwidowania nieokreśloności w zbiorze X.
Równanie:
H(XY) = H(X) − H(X|Y) (8)
można traktować jako uogólnienie twierdzenia o sumie entropii gdy systemy są wzajemnie zależne.
Entropia warunkowa
Po podstawieniu do wzory (4) i przekształceniu otrzymujemy następującą zależność :
H(X|Y) = ΣN(i=1)ΣM(j=1)pijlog2p(pi/pij) (7)
Za pomocą entropii warunkowej H(X|Y) określa się poziom nieokreśloności zbioru Y, która pozostaje w wyniku zlikwidowania nieokreśloności w zbiorze X.
Równanie:
H(XY) = H(X) − H(X|Y) (8)
można traktować jako uogólnienie twierdzenia o sumie entropii gdy systemy są wzajemnie zależne.
Właściwości entropii warunkowej
1. Entropia warunkowa zbioru nie może być większa od entropii bezwarunkowej. (intuicyjnie można wyczuć, że realizacja określonego zdarzenia ze zbioru X może spowodować zmniejszenie nieokreśloności zbioru Y lub, co najwyżej, nie wpłynąć na tę nieokreśloność)
H(X|Y)<= H(Y) (9)
2. Z równań (8) i (9) wynika H(XY)<= H(X) + H(Y) (10) Jeżeli zbiory X i Y są niezależne to:
H(X|Y) = H(X) oraz H(Y|X) = H(Y)
i w takim przypadku w wyrażeniu (10) będzie występował znak równości.
3. H(X) + H(Y|X) = H(Y) + H(X|Y) (11)
bierze się to z faktu, że prawdopodobieństwa (xi|yj) oraz (yj|xi) są jednakowe.
Właściwości entropii warunkowej
1. Entropia warunkowa zbioru nie może być większa od entropii bezwarunkowej. (intuicyjnie można wyczuć, że realizacja określonego zdarzenia ze zbioru X może spowodować zmniejszenie nieokreśloności zbioru Y lub, co najwyżej, nie wpłynąć na tę nieokreśloność)
H(X|Y)<= H(Y) (9)
2. Z równań (8) i (9) wynika H(XY)<= H(X) + H(Y) (10) Jeżeli zbiory X i Y są niezależne to:
H(X|Y) = H(X) oraz H(Y|X) = H(Y)
i w takim przypadku w wyrażeniu (10) będzie występował znak równości.
3. H(X) + H(Y|X) = H(Y) + H(X|Y) (11)
bierze się to z faktu, że prawdopodobieństwa (xi|yj) oraz (yj|xi) są jednakowe.
Właściwości entropii warunkowej
1. Entropia warunkowa zbioru nie może być większa od entropii bezwarunkowej. (intuicyjnie można wyczuć, że realizacja określonego zdarzenia ze zbioru X może spowodować zmniejszenie nieokreśloności zbioru Y lub, co najwyżej, nie wpłynąć na tę nieokreśloność)
H(X|Y)<= H(Y) (9)
2. Z równań (8) i (9) wynika H(XY)<= H(X) + H(Y) (10) Jeżeli zbiory X i Y są niezależne to:
H(X|Y) = H(X) oraz H(Y|X) = H(Y)
i w takim przypadku w wyrażeniu (10) będzie występował znak równości.
3. H(X) + H(Y|X) = H(Y) + H(X|Y) (11)
bierze się to z faktu, że prawdopodobieństwa (xi|yj) oraz (yj|xi) są jednakowe.
Właściwości entropii warunkowej
1. Entropia warunkowa zbioru nie może być większa od entropii bezwarunkowej. (intuicyjnie można wyczuć, że realizacja określonego zdarzenia ze zbioru X może spowodować zmniejszenie nieokreśloności zbioru Y lub, co najwyżej, nie wpłynąć na tę nieokreśloność)
H(X|Y)<= H(Y) (9)
2. Z równań (8) i (9) wynika H(XY)<= H(X) + H(Y) (10) Jeżeli zbiory X i Y są niezależne to:
H(X|Y) = H(X) oraz H(Y|X) = H(Y)
i w takim przypadku w wyrażeniu (10) będzie występował znak równości.
3. H(X) + H(Y|X) = H(Y) + H(X|Y) (11)
bierze się to z faktu, że prawdopodobieństwa (xi|yj) oraz (yj|xi) są jednakowe.
Równanie:
H(XY) = H(X) + H(Y) − I(Y, X) (12)
można odczytać w następujący sposób: entropia dwóch połączonych systemów jest mniejsza od sumy indywidualnych entropii, a różnica tych wielkości nazywana jest informacją (entropią) wzajemną. Wielkość, o którą nastąpiło zmniejszenia entropii, jest sumą informacji, jaka zawarta jest w dowolnym podsystemie o innym podsystemie.
Równanie:
H(XY) = H(X) + H(Y) − I(Y, X) (12)
można odczytać w następujący sposób: entropia dwóch połączonych systemów jest mniejsza od sumy indywidualnych entropii, a różnica tych wielkości nazywana jest informacją (entropią) wzajemną. Wielkość, o którą nastąpiło zmniejszenia entropii, jest sumą informacji, jaka zawarta jest w dowolnym podsystemie o innym podsystemie.
Entropia dla zbiorów ciągłych
Przedstawione analizy dotyczą przypadku dyskretnych zbiorów. Dla zbiorów ciągłych postępuje się w następujący sposób:
Na początkowym etapie zbiór bazowy (ciągły), zamienia się na zbiór dyskretny dzieląc go na skończoną liczbę małych podzbiorów. Dla uzyskanego zbioru o skończonej mocy entropia oraz ilość informacji mogą być określane za pomocą przedstawionych metod. Następnie zmniejsza się przedział dyskretyzacji i w przypadku, gdy otrzymane wielkości zdążają do górnej granicy, to wartość tego przedziału jest równa entropii oraz ilości informacji ciągłych zbiorów.
Entropia dla zbiorów ciągłych
Przedstawione analizy dotyczą przypadku dyskretnych zbiorów. Dla zbiorów ciągłych postępuje się w następujący sposób:
Na początkowym etapie zbiór bazowy (ciągły), zamienia się na zbiór dyskretny dzieląc go na skończoną liczbę małych podzbiorów. Dla uzyskanego zbioru o skończonej mocy entropia oraz ilość informacji mogą być określane za pomocą przedstawionych metod. Następnie zmniejsza się przedział dyskretyzacji i w przypadku, gdy otrzymane wielkości zdążają do górnej granicy, to wartość tego przedziału jest równa entropii oraz ilości informacji ciągłych zbiorów.
Dziękuję za uwagę.
