Informatietheorie

f I

l

~

)

7

0

(1

~~ç,Q

'2..f,.T

I I

Informatietheorie

0184

339

4

\

samengeperst

onherkenbaar gemaakt en dan ook nog ongewild (?) gestoord

geen wonder dat informatie wel eens langer uit wil blijven dan ons lief is

Prof.dr.ir. D.E. Boekee

Dr.ir. J.e.A. van der Lubbe

Faculteit Elektrotechniek TU Delft

Boekee, D.E.

Informatietheorie / D.E. Boekee, J.c.A. van der Lubbe-Delft : Lubbe-Delftsche Uitgevers Mij. - IlI.

Met reg. ISBN 90-6562-082-6 SISO 520.9 UDC 681.3.01 Trefw.: informatietheorie. ©VSSD Tweede druk 1991 Eerste druk 1988

Delftse Uitgevers Maatschappij b.v.

P.O. Box 2851, 2601 CW Delft, The Netherlands Tel. 015-123725

Alle rechten voorbehouden. Niets uit deze uitgave mag worden verveelvoudigd, opgeslagen in een geautomatiseerd gegevensbestand, of openbaar gemaakt, in enige vorm of op enige wijze, hetzij elektronisch, mechanisch, door fotokopieën, opnamen, of op enige andere manier, zonder voorafgaande schriftelijke toestemming van de uitgever.

All rights reserved. No part of th is publicalion may be reproduced, stored in a retrieval system, or transmilled, in any form or by any means, electronic, mechanical, photocopying, recording, or otherwise, without the prior wrillen permission of the publisher.

5

Voorwoord

Bij de moderne ontwikkelingen op het gebied van de informatietechniek en de telecommunicatie speelt het begrip informatie een belangrijke rol. Men kan dan ook met recht spreken van een informatiemaatschappij. Op alle niveaus van de maat-schappij hebben systemen hun intrede gedaan die zorg dragen voor de compressie, het transport, de opslag en de beveiliging van informatie. Het betreft hierbij zowel digitale als analoge informatie die via symbolen dan wel signalen wordt vastgelegd. De grondslagen voor al deze ontwikkelingen zijn mede gelegd door de informatietheorie. Informatietheorie is de wetenschap bij uitstek die zich bezig houdt met het concept informatie, het meten ervan en het bestuderen van haar toepassingen.

In dit boek zullen de theoretische grondslagen uitvoerig aan de orde komen en zal aandacht worden besteed aan een aantal actuele toepassingen.

Ofschoon de nadruk zal liggen op hedendaagse technische inzichten past het in deze inleiding enige aandacht te besteden aan de oorsprong van de informatietheorie. Het boek is ontstaan uit colleges die de schrijvers geven aan studenten van de Faculteiten Elektrotechniek, Wiskunde en Informatica, Technische Natuurkunde en Werktuigbouwkunde aan de Technische Universiteit Delft. Met uitzondering van de laatste drie hoofdstukken, die meer gericht zijn op toepassingen van informatietheorie, worden alle hoofdstukken afgesloten met oefenopgaven en uitwerkingen. Hierdoor is het boek mede geschikt voor zelfstudie.

Daar de informatietheorie veelvuldig gebruik maakt van de waarschijnlijkheids-rekening is enige kennis van deze discipline gewenst. Om dit boek echter een zelfstandig karakter te geven is een beknopte inleiding in de relevante delen van de waarschijnlijkheidsrekening toegevoegd, waarmee het mogelijk is de in het boek behandelde stof te bestuderen.

De schrijvers danken iedereen die aan de totstandkoming van dit boek hebben bijgedragen.

D.E. Boekee, J.C.A. van der Lubbe juli 1988

Inhoud

1. DISCRETE INFORMA TIE 9

l.I. Voorgeschiedenis van de informatietheorie 9

V

1.2. Het kansbegrip 10

1.3. De informatiemaat van Shannon 14

1.4. Conditionele, gezamenlijke en wederzijdse informatie 22

1.5. Axiomatische grondslagen 27

1.6. Het communicatiemodel 28

1.7. Opgaven 31

1.8. Uitwerkingen 33

2. DE DISCRETE INFORMA TIEBRON ZONDER GEHEUGEN 43

: _{2.1. De discrete informatiebron 43}

'Ij

2.2. Broncodering 47

2.3. Coderingsrecepten 53

2.4. Aantal waarschijnlijke boodschappen 58

2.5. Opgaven 62

2.6. Uitwerkingen 64

3. DE DISCRETE INFORMATIEBRON MET GEHEUGEN 79

3.1. Markov-processen 79

\ ,: 3.2. De informatie van een discrete bron met geheugen 84

) I 3.3. Coderingsaspecten 89

3.4. Opgaven 93

3.5. Uitwerkingen 95

4. HET DISCRETE COMMUNICATIEKANAAL 105

4.1. Beschrijving van het discrete communicatiekanaal 105 I

4.2. De capaciteit 109

v'

4.3. Foutkans en equivocatie 114

4.4. Kanaalcoderingstheorema 118

4.5. Cascadering van kanalen 121

4.6. Kanalen met geheugen 123

4.7. Opgaven 125

4.8. Uitwerkingen 129

5,. CONTINUE INFORMATIE 141

5.1. Kansdichtheden 141

5.2. Stochastische signalen 149

8 Informatietheorie

SA. Opgaven 159

5.5. Uitwerkingen 162

6. DE CONTINUE INFORMATIEBRON 171

6.1. De continue infonnatiebron zonder geheugen 171

' " i 6.2. De continue infonnatiebron met geheugen 173

6.3. Opgaven 175

604. Uitwerkingen 176

7. HET CONTINUE COMMUNICATIEKANAAL 181

7.1. De capaciteit 181

7.2. De capaciteit bij additieve witte gaussische ruis 183

7.3. Capaciteitsgrenzen bij niet-gaussische witte ruis 185

7 A. Kanaalcoderingstheorema 186

7.5. De capaciteit van een gaussisch kanaal met geheugen 190

7.6. Opgaven 193

7.7. Uitwerkingen 195

8. PRODUKTIEVERVORMINGSTHEORIE 203

8.1. De discrete produktievervonningsfunctie 203

\

/

:i:

' .. 8.2. Eigenschappen van de R(D)-functie 207

. -( /

;' I~ '-- 8.3. Het binaire geval 211

'v --\

.

_{\ 8.4. Broncöderingstheorema 214} -==-~.5. De continue produktievervormingsfunctie 217 8.6. De produktievervormingsgrens 220

~

.

FOUTENVERBETERENDECODES 223 9.1. Inleiding 223 9.2. Lineaire blokcodes 225 9.3. Syndroomcodering 229 9.4. Hammingcodes 232 10. CRYPTOLOOIE 235 10.1. Cryptografie en cryptanalyse 235

10.2. Het algemeen schema voor vercijfersystemen 236

10.3. Cijfersystemen 239

10.4. Hoeveelheid infonnatie en absolute veiligheid 246

10.5. De unicity distance 249

TREFWOORDENLUST 253

9

1

Discrete informatie

1.1. Voorgeschiedenis van de informatietheorie

Algemeen wordt Claude E. Shannon, die in 1948 zijn artikel HA mathematical theory of communication" publiceerde, beschouwd als de grondlegger van de informatie- en communicatietheorie. Er zijn echter een aantal voorlopers van hem aan te wijzen die het efficiënt gebruik van communicatiesystemen trachtten te formaliseren.

In 1924 publiceerde H. Nyquist een artikel waarin hij aan de orde stelde hoe bood-schappen (of karakters, om zijn eigen woorden te gebruiken) over een telegraafkanaaI verzonden konden worden met een zo hoog mogelijke snelheid en wel zonder vervorming. De term informatie als zodanig werd door hem echter nog niet gebezigd. Het is R.V.L. Hartley (I928) die als eerste probeerde een maat voor informatie te definiëren. Daarbij ging hij als volgt te werk.

Neem aan dat men voor elk symbool van een boodschap de keuze heeft uit s

mogelijkheden. Door nu boodschappen ter lengte van I symbolen te beschouwen, kan men

si

boodschappen onderscheiden. Hardey definieerde nu de hoeveelheid informatie als de logaritme van het aantal te onderscheiden boodschappen. In het geval van boodschappen ter lengte I vindt men derhalve:

HH(SI)

=

log{sl}

=

llog{s}. (I.l)

Voor boodschappen ter lengte 1 zou men vinden:

en dus:

Dit correspondeert met het intuïtieve idee dat een boodschap die I symbolen bevat daardoor I maal zoveel informatie bevat als een boodschap bestaande uit slechts één symbool. Dit is ook de verklaring voor het optreden van de logaritme in Hartley's definitie.

Er kan eenvoudig aangetoond worden dat de enige functie die voldoet aan de verge-lijking

f(SI} = I f(s}

wordt gegeven door

f(s)

=

log(s), (1.2) hetgeen juist Hartley' s maat voor de hoeveelheid informatie oplevert. Merk op dat de logaritme ook garandeert dat de hoeveelheid informatie toeneemt naarmate het aantal symbolen s toeneemt, overeenkomstig ons intuïtieve gevoel.

De keuze van het grondtal van de logaritme doet in feite niet ter zake en is meer een kwestie van normering. Wordt de natuurlijke logaritme gebruikt dan wordt de eenheid van hoeveelheid informatie de naJ (natural unit) genoemd. Meestal wordt gekozen voor het grondtal 2. De hoeveelheid informatie wordt dan uitgedrukt in bit (afkomstig van binary unit, d.w.z. binaire of tweewaardige eenheid). Bij de keuze uit twee mogelijkheden is de verkregen hoeveelheid informatie wanneer een van de twee mogelijkheden optreedt dan gelijk aan 1 bit. Door omrekening is eenvoudig in te zien dat de relatie tussen bit en nat gegeven wordt door

1 nat = 1,44 bit.

In Hartley's benadering zoals boven gegeven wordt geen rekening gehouden met het feit dat de s symbolen niet per se dezelfde kans van optreden hebben en dat er een eventuele afhankelijkheid tussen de I opeenvolgende symbolen kan zijn.

Het is Shannon's verdienste dat hij de theorieën van Nyquist en Hartley uitbreidde en de basis voor de huidige informatietheorie legde door informatie in verband te brengen met onzekerheid via het kansbegrip. Shannon stelde met betrekking tot Hartley's maat dat deze inderdaad als een maat voor de hoeveelheid informatie kan worden opgevat, zij het onder de aanname dat alle symbolen gelijke kans van optreden hebben. Voor het algemene geval introduceerde Shannon een informatiemaat gebaseerd op het kansbegrip, die de maat van Hartley omvat als een bijzonder geval. Alvorens Shannon's definitie van informatie te introduceren wordt volledigheidshalve eerst enige aandacht besteed aan het kansbegrip. Bovendien kunnen de daar geïntroduceerde notaties ons verder van nut zijn.

1.2. Het kansbegrip

De waarschijnlijkheidsrekening is het eigenlijke domein dat zich met het kansbegrip bezighoudt. In de waarschijnlijkheidsrekening wordt verondersteld dat er sprake is van experimenten die bij het uitvoeren ervan bepaalde uitkomsten opleveren. Te den-ken valt ook aan een informatiebron die symbolen genereert. Elk optreden van een symbool kan dan beschouwd worden als een gebeurtenis. Verder gaat men er vanuit dat men in staat is aan te geven welke mogelijke uitkomsten of gebeurtenissen kunnen optreden. Het stelsel van alle mogelijke uitkomsten of gebeurtenissen wordt de

uitkomstenruimte genoemd. Daarmee is het mogelijk te spreken over de kans dat een experiment een bepaalde uitkomst heeft of over de kans dat een informatiebron een bepaald symbool of een bepaalde boodschap zal genereren. Aan elke gebeurtenis of

Discrete informatie 11

uitkomst wordt een getal tussen 0 en 1 verbonden, dat aangeeft hoe groot de kans is dat deze uitkomst cq. gebeurtenis zich voordoet. Hier wordt eenvoudigheidshalve aangenomen dat de uitkomstenruimte een eindig aantal uitkomsten heeft

Beschouw nu een zogeheten probabilistisch experiment X met mogelijke uitkomsten! gebeurtenissen xi. waarbij Xi E X en X de uitkomstenruimte is gedefinieerd door:

(1.3)

Denken we aan het werpen met een dobbelsteen, dan zou Xl geïnterpreteerd kunnen worden als de gebeurtenis dat" 1" geworpen wordt, X2 de gebeurtenis dat "2" geworpen wordt, etc .. In het geval van de dobbelsteen geldt natuurlijk dat n

=

6.

Elke gebeurtenis zal een bepaalde kans van optreden hebben. De kans met betrekking tot Xi noteren we als P(Xi) of kortweg Pi. De verzameling van kansen met betrekking tot X wordt genoteerd als

(1.4) en wordt doorgaans de kansverdeling genoemd. De kansverdeling voldoet aan een tweetal fundamentele eisen:

(i) Voor alle i geldt: Pi ~ 0,

n

(ii) LPi = l.

i=l

Dit wil zeggen dat kansen geen negatieve waarden kunnen aannemen en dat de som van alle kansen gelijk aan 1 zal zijn.

Soms kan men bij een experiment twee soorten uitkomsten onderscheiden, zodat dan

in feite sprake is van een combinatie van twee deelexperimenten of deelgebeurtenissen.

Zo kan men bij het testen van IC's letten op de mate waarin deze aan bepaalde eisen voldoen (bijvoorbeeld goed, matig en slecht), maar ook op het typenummer van het IC. Feitelijk is er dan sprake van twee uitkomstenruimten, stel X en Y, waarbij de uitkomstenruimte Y met betrekking tot experiment Y, in zijn algemeenheid gedefinieerd wordt door

(1.5) en waarbij de bijbehorende kansverdeling gegeven wordt door

(1.6) Hierin is q(Yj) = <ij de kans op gebeurtenis Yj- We kunnen nu (X,Y) opvatten als een probabilistisch experiment met paren van uitkomsten (Xi,Yj), waarbij Xi E X en Yj E

Y. De kans r(xi,Yj), ook genoteerd als rij of p(xj,Yj), is de kans dat experiment (X,Y)

12 Informatietheorie

gezamenlijke kans bekend is, kan men hieruit de kansen Pi en qj afleiden, waarbij men de laatste dan marginale kansen noemt. Nagegaan kan worden dat voor alle i geldt:

m Pi

=

Lrij' j=l en voor alle j: n qj = Lrij. i=l (1.7) (l.8)

Gezien het feit dat de som van de kansen Pi gelijk aan 1 is (en evenzo de som van de kansen

<li),

volgt dat ook de som van de gezamenlijke kansen gelijk aan 1 zal dienen te zijn:

n m

I, I,

rij = 1. i=l j=l

Naast de gezamenlijke kans en de hieruit te bepalen marginale kans is er een derde type, nl. de conditionele kans. Deze doet zich voor indien een probabilistisch experiment

Y

conditioneel is voor experiment

X,

dat wil zeggen als de kansen van de uitkomsten van X beïnvloed worden door de uitkomsten van Y. We zijn dan geïnte-resseerd in de kans op een gebeurtenis, bijvoorbeeld Xi, indien een andere gebeurtenis, bijvoorbeeld Yj' reeds opgetreden is.

De woorden van een stuk Nederlandse tekst beschouwend, kan men zich bijvoorbeeld afvragen wat de kans is op de letter "e" als men reeds de sequentie "informati" ontvangen heeft. Het optreden van letters in woorden wordt veelal bepaald door de eerder opgetreden letters. Zo moet nadat een q opgetreden is, de kans op het optreden van de letter t als volgende letter onwaarschijnlijk geacht worden, maar de kans op de letter u als de volgende letter des te groter.

De conditionele kans van Xi onder voorwaarde Yj wordt gedefinieerd als r(xj,Yj)

p(xJYj) = q(Yj) , mits q(Yj) > 0, of in verkorte notatie

r··

Pij

=~,

mits qj > O. (1.9)

Op analoge wijze kan de conditionele kans van Yj onder voorwaarde Xi gedefinieerd worden als

r(xi.Yj)

ofwel

mits Pi> O. (1.10)

Uit de gegeven definities volgt dat de gezamenlijke kans geschreven kan worden als het produkt van de conditionele en marginale kansen:

(1.11) De definitie van conditionele kans kan eenvoudig uitgebreid worden tot meer dan twee gebeurtenissen. Beschouw bijvoorbeeld Xi. Yj en Zk. dan geldt:

p(Xi.ypk)

=

r(ypk)·p(xi!Yj.Zk)

= p(Zk),p(Yj/Zk)·P(xi!yj.Zk). en dus volgt:

Terugkerend naar de conditionele kans levert sommatie over de index i bij gegeven conditie Yj op:

n

L

p(xJYj) = I.

i=l

Immer als er een gebeurtenis Yj opgetreden is moet altijd één van de gebeurtenissen uit

X optreden. Dus zal de sommatie I leveren.'"

Een handig hulpmiddel uit de waarschijnlijkheidsrekening dat ons in het navolgende van nut zal zijn is het theorema van Bayes. Het komt veelvuldig voor dat de condi-tionele kans q(yjlxü gegeven is. maar dat we de condicondi-tionele kans p(xi!yj) willen bepalen. Men kan dit doen door gebruik te maken van de volgende relaties:

r(xi.Yj)

=

P(Xi)·q(yjlxü

=

q(Yj)·p(xi!Yj). Hieruit volgt als q(Yj) > 0:

p(Xi)'q(yjxi) p(xï!yj)

=

q(Yj) • of ook:

*) Merk op dat het omgekeerde niet waar is. In het algemeen zal gelden

D

LP(X;/Y)

*

1 pi

p(XJq(yyXj) p(XJyj) =

-n=----'---'~--'--L

p(Xj)-q(YyXj) j=1

Met behulp van q(yj/Xj) zijn we dus in staat p(xi!Yj) uit te rekenen.

(1.12)

Tenslotte nog een opmerking over het afhankelijkheidsbegrip. Het geval kan zich voordoen dat

dat wil zeggen het optreden van Yj heeft geen invloed op de kans op Xj. Maar dan geldt blijkbaar ook

en

In dit geval zegt men dat de gebeurtenissen onafhankelijk van elkaar zijn. Het omgekeerde geldt eveneens, uit r(xj,Yj)

=

p(Xj)·q(Yj) volgt q(yj/xï)

=

q(Yj) en p(xi!Yj)

=

p(xj). Twee experimenten X en Y worden nu stochastisch onafhankelijk genoemd als voor alle i en j geldt

(1.13) Twee experimenten X en Y worden volledig afhankelijk genoemd als voor alle j geldt dat er een unieke i is, zeg k, zodanig dat

(1.14) oftewel

(1.15)

1.3. De informatiemaat van Shannon

Zoals we zagen in paragraaf 1.1 werd in Hartley's benadering van informatie geen rekening gehouden met de diverse kansen van optreden van de symbolen of gebeurtenissen. Het was Shannon's verdienste dat hij informatie met het kansbegrip in

verband bracht.

Dit verband is in feite niet onlogisch. Immers als we te maken hebben met een uit-kornstenruimte waarvan alle gebeurtenissen een even grote kans van optreden hebben, verkeert men in grote onzekerheid over welke van de gebeurtenissen zal optreden. Dat wil zeggen als een van deze gebeurtenissen optreedt zal dit veel meer informatie verschaffen dan in die gevallen waarbij de uitkomstenruimte zodanig gestructureerd is dat één gebeurtenis een grote kans van optreden heeft. Informatie is via het concept onzekerheid aan het kansbegrip gekoppeld.

I

_I'

I i

1

,

I

Alvorens na te gaan in hoeverre Shannon' sinformatiemaat voldoet aan de eigen-schappen die men in het algemeen van informatiematen mag verwachten, geven we eerst zijn defmitie.

Definitie 1. 1

Laat X een probabilistisch experiment zijn met uitkomstenruirnte X en kansverdeling P, waarbij geldt dat Pi de kans op uitkomst Xi E X is. Dan is de gemiddelde hoeveelheid informatie gegeven door

n

H(X) = -

L

Pi log Pi

i=l

(1.16)

o

Andere notaties voor de informatiemaat van Shannon zijn H(P) en H(PI. ... Pn). Deze notaties zullen in de tekst door elkaar gebruikt worden. Omdat deze maat voor de hoeveelheid informatie gepaard gaat met de keuze (selectie) uit n mogelijkheden, spreekt men ook wel van de maat voor de hoeveelheid selectieve informatie.

Omdat als grondtal doorgaans 2 gekozen wordt, waardoor de eenheid van informatie de bit wordt, zal in het vervolg die niet apart vermeld worden, maar worden weg-gelaten.

Bij twee mogelijkheden met kansen PI = P en P2 = 1 - P vinden we:

H(P) = -p log P - (1 - p) log (1 - p). (l.17)

H(P)

t

- p

Figuur 1.1. H(P) = H(p, 1-p) als functie van p.

In figuur 1.1 is weergegeven hoe H(P) zich gedraagt als functie van p. Er kan geconcludeerd worden dat als een uitkomst zeker is, dat wil zeggen met kans 1 optreedt, de informatiemaat de waarde 0 aanneemt. Dit sluit aan bij het intuïtieve idee dat zekere gebeurtenissen geen informatie opleveren. Hetzelfde geldt voor p = 0; in dat

16 Informatietheorie

geval treedt immers de andere uitkomst met kans 1 op.

In het geval dat p = 0,5 bereikt H(P) zijn maximale waarde, welke gelijk is aan 1 bit. Voor p = 0,5 geldt dat beide uitkomsten even waarschijnlijk zijn, waardoor men in volledige onzekerheid verkeert over de uitkomst. Het optreden van één van de gebeurtenissen verschaft in dat geval dan ook de maximale hoeveelheid infonnatie. Terzijde zij hier opgemerkt dat bij definitie gesteld wordt dat O·log(O) = 0.

Terugkerend naar het algemene geval kunnen we stellen dat de informatiemaat voldoet aan vier intuïtieve eisen:

I H(P) is continu in p;

TI H(P) is symmetrisch, dat wil zeggen dat de rangschikking van de kansen Pl. ... 'Pn geen invloed uitoefent op de waarde van H(P);

III H(P) is additief Als X en Y twee uitkomstenruimten zijn, waarbij uitkomsten uit X onafhankelijk zijn van die in Y, dan geldt voor de informatie met betrekking tot gezamenlijke gebeurtenissen (Xi,Yj):

H(Plql,···,Plqm, .. ·,PnqJ,···,Pnqm)

=

(1.18) N H(P) is maximaal als alle kansen gelijk zijn. Dit komt overeen met een situatie waarbij maximale onzekerheid bestaat. En H(P) is minimaal als één uitkomst met kans 1 optreedt.

Een korte toelichting bij een aantal van bovenstaande eisen.

Ad 11. Het symmetrisch zijn van de informatiemaat van Shannon betekent dat wijzi-ging in de volgorde waarin men de kansen invult de hoeveelheid informatie niet verandert. Een consequentie hiervan is dat verschillende uitkomstenruimten met kansverdelingen die uit elkaar verkregen worden door permutaties dezelfde hoeveelheid informatie zullen opleveren.

Voorbeeld 1.1 _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _

Beschouw de experimenten X en Y met de volgende uitkomstenruimten: X

=

{morgen regent het, morgen is het droog} waarbij P

=

{0,8; 0,2} en

Y

= (

Jan is jonger dan 30, Jan is minimaal 30) waarbij Q

=

(0,2; 0,8).

De hoeveelheid informatie met betrekking tot X is H(X)

=

-0,8 log(0,8) - 0,2 log(0,2)

=

0,72

Discrete informatie 17

en met betrekking tot Y

H(Y)

=

-0,2 log(0,2) - 0,8 log(0,8)

=

0,72

en dus volgt:

H(X)

=

H(Y).

Uit dit voorbeeld valt verder te concluderen dat Shannon's informatiemaat niet betrokken is op de inhoudelijke aspecten van informatie. Het gaat alleen om de kansen van optreden van gebeurtenissen, niet om de gebeurtenissen zelf.

Ad 111. Dat de informatiemaat van Shannon aan de in formule (U8) geformuleerde eigenschap voldoet, volgt direct door uitschrijven in termen van de kansen. De eigenschap van additiviteit laat zich illustreren aan de hand van het volgende voorbeeld. Beschouw het werpen met 2 dobbelstenen. Omdat de uitkomsten van de 2 dobbelstenen onafbankelijk van elkaar zijn, zal het geen verschil maken of men beide dobbelstenen tegelijk dan wel na elkaar werpt. De informatie gerelateerd aan de tegelijk geworpen dobbelstenen zal hetzelfde zijn als de informatie die men achtereenvolgens krijgt door het werpen van de ene en de andere dobbelsteen.

Is H(X) de hoeveelheid informatie met betrekking tot het werpen van de ene dobbel-steen en H(Y) de hoeveelheid met betrekking tot het werpen van de andere dobbeldobbel-steen (merk op dat in dit geval geldt H(X) = H(Y» terwijl H(X,Y) de informatie is met betrekking tot twee gelijktijdig geworpen dobbelstenen, dan zal moeten gelden dat

H(X,Y)

=

H(X) + H(Y). (1.19)

Dit is precies wat de additiviteitseigenschap stelt.

Ad IV. Dat de hoeveelheid informatie maximaal zal zijn in geval van gelijke kansen is duidelijk, gezien het feit dat de onzekerheid dan het grootst is en het optreden van een van de gebeurtenissen derhalve een maximum aan informatie zal opleveren.

In de volgende stelling wordt niet alleen de maximale hoeveelheid informatie bepaald maar ook de minimale hoeveelheid informatie.

Stelling 1.1

Laat X

=

(XI, ... ,Xn) de uitkomstenruimte zijn van experiment X, terwijl P

=

(PI, ... ,Pn)

de bijbehorende kansverdeling is. Er geldt dan

(i) H(P) $ log n, (1.20)

waarin gelijkheid optreedt dan en slechts dan als Pi

=

l/n voor alle i

=

1, ... ,n.

(ii) H(P) ~ 0, (1.21)

waarin gelijkheid optreedt dan en slechts dan als er een k is zodanig dat Pk = 1 terwijl voor alle andere i :t k geldt: Pi = 0.

-18 Informatietheorie

Bewijs

(i) Bij het bewijs wordt gebruik gemaakt van het rechterdeel van de volgende onge-lijkheid

Ina~a-1.

In a

Or---~---1

Figuur 1.2. Grafische illustratie van In a ~ a-1. Beschouw nu H(P) - log(n):

n n

H(P)-logn =-L.Pilogpi-logn = -L.Pi{logpi+logn} =

i=l i=l

n 1 = ~p·log{-}. _{L. 1 p·.n}

i=l 1

Uit de ongelijkheid In a ~ a-I volgt nu:

H(P)-logn

~~Pi{ p~.n

- 1}IOge =

{~~

-

~/i}IOge

Er is dus bewezen dat H(P) ~ log n.

Het gelijkteken geldt indien l/(Pi·n) = 1, hetgeen overeenkomt met a = 1 in figuur 1.2.

Dit betekent dat dan moet gelden dat Pi = l/n voor alle i = 1, ... ,no

(ii) Omdat zowel Pi als -log Pi nimmer negatief zijn, is de hoeveelheid informatie altijd positief of nul. Dus:

Discrete informatie 19

H(P) ~

o.

Eenvoudig kan ingezien worden dat H(P) gelijk kan worden aan 0 dan en slechts dan als er één kans uit P de waarde 1 heeft, terwijl de overige de waarde nul aannemen. 0 De maximale hoeveelheid informatie is dus gelijk aan log n. Om een indruk te krijgen van de hoeveelheid informatie die een informatiesysteem overbrengt beschouwen we het volgende voorbeeld.

Voorbeeld 1.2 _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _

Een televisiebeeld bestaat uit 576 lijnen, ieder opgebouwd uit 720 beeldele-menten. Totaal bestaat een enkel televisiebeeld dus uit 414.720 beeldelementen. Onder de aanname dat men te maken heeft met een grijstint beeld, waarbij elk beeldelement één van 10 helderheidsniveaus kan aannemen, zijn er 1()414.720

verschillende TV -beelden mogelijk. Als elk van deze beelden een even grote waarschijnlijkheid van voorkomen heeft zou de hoeveelheid informatie vervat in

het beeld gelijk zijn aan

H(P)

=

210g n

=

2Iog(l04l4.720)::: l,4·l()6 bit

In het bovenstaande beschouwden we enkele eigenschappen van Shannon's infor-matiemaat. Er zijn met betrekking tot deze informatiemaat uiteraard nog andere eigen-schappen af te leiden. Deze komen nog aan de orde in de volgende hoofdstukken . • In het voorgaande hebben we reeds gezien dat de hoeveelheid informatie niet ver-andert als de kansen in een andere volgorde gesubstitueerd worden. Beschouw nu eens de twee volgende kansverdelingen

P = {O,25, 0,25, 0,25,1, O,25} en

Q

=

{0,48, 0,32, O,20}.

Berekenen we de corresponderende hoeveelheid informatie voor beide gevallen, dan vinden we

H(P)

=

H(Q)

=

l,S bit.

Het blijkt dus dat verschillende kansverdelingen tot dezelfde hoeveelheid informatie kunnen leiden: sommige experimenten kunnen verschillende kansverdelingen hebben, maar een gelijke hoeveelheid informatie. In figuur 1.3 is voor het geval van 3 kansen (n = 3) geometrisch aangegeven welke kansverdelingen tot dezelfde hoeveelheid informatie leiden.

De gesloten curven geven de kansverdelingen aan die tot dezelfde hoeveelheid informatie leiden. Voor elk willekeurig punt op een curve kunnen door projectie op de lijnen PI, P2 en P3 de corresponderende waarden van de kansen gevonden worden.

Figuur 7.3. Curven met een gelijke hoeveelheid informatie in het geval van uitkomsten-ruimte ter grootte 3.

Eenvoudig is na te gaan dat de maximale hoeveelheid infonnatie voor n = 3 gelijk is

aan

H(P) = log 3 = 1,58 bit.

Omdat er maar één kansverdeling is die tot die maximale hoeveelheid infonnatie kan leiden, namelijk P =

{tt t. tl.

treffen we in dit geval in figuur 1.3 in plaats van een gesloten curve precies één punt aan.

• Om verder inzicht te verkrijgen in hetgeen de infonnatiemaat van Shannon voorstelt beschouwen we de volgende twee voorbeelden.

Voorbeeld 1.3 _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _

Stel we hebben een veld bestaande uit 16 vlakken, waarvan er één gearceerd is.

1 2 3 4 --5

~

7 8 9 10 11 12 r--- · 0 13 14 15 16

Figuur 1.4. Veld met vlakken, waarvan het

gearceerde door middel van selectieve vraagstelling gevonden moet worden.

/~

1 t/m 8? 9 t/m 16? ja nee

/~

1, 2, 5, 6? 3, 4, 7, 87 ja nee

/~

1, 2? 5, 6? nee ja

/ \

57 6 nee ja

Figuur 1.5. Voorbeeld van een

Discrete informatie 21

Door vragen te stellen die alleen met ja of nee beantwoord mogen worden, moeten we erachter zien te komen waar het gearceerde vlak zich bevindt. Wat is nu de beste strategie? Men kan raden, maar dan loopt men het risico 16 vragen te moeten stellen alvorens het gearceerde vlak eindelijk gevonden te hebben. Beter is het om selectief te werk te gaan. Het vraag en antwoord spel zou er dan bijvoorbeeld als volgt uit kunnen zien. (vergelijk ook figuur 1.5):

1. Behoort het gearceerde vlak tot de onderste acht? Antwoord: "nee", dus vlak 9

tlm

vlak 16 vallen al af.

2. Behoort het gearceerde vlak tot de vier links gelegen overgebleven vlakken? Antwoord: "ja", dus het gearceerde vlak is 1,2,5 of 6.

3. Behoort het gearceerde vlak dan tot de onderste twee van de vier overgebleven vlakken? Antwoord: "ja", dus het gearceerde vlak is 5 of 6.

4. Is het het linker vlak?

Antwoord: "nee", dus is het het gearceerde vlak 6.

Totaal zijn er dus vier vragen nodig om er achter te komen, welke van de 16 vlakken gearceerd is.

Beschouwen we nu de hoeveelheid informatie ten aanzien van dit probleem dan vinden we, aangezien alle 16 vlakken even waarschijnlijk zijn, dat

16

H(P) = -

L

116 log 116 = log(l6) = 4 bits.

i=l

Blijkbaar komt de hoeveelheid informatie overeen met het minimale aantal vragen dat men moet stellen om er achter te komen welke uitkomst (in dit geval het

gearceerde vlak) opgetreden is. 6.

In het volgende voorbeeld wordt bekeken of de interpretatie van voorbeeld 1.3 ook opgaat als men te maken heeft met kansverdelingen waarbij niet alle kansen gelijk zijn.

Voorbeeld 1.4 - - - -_ _ _ _ _ _ _ _ _ _ _

Een uitkomstenruimte X is gegeven door X = {Xl, x2, X3}, terwijl de bijbehorende kansverdeling gegeven is door P

=

{1/2, 1/4, 1/4}. Het "ja" en "nee" spelletje weer spelend ligt het voor de hand eerst te vragen naar Xl. omdat deze uitkomst de grootste waarschijnlijkheid heeft.

Is het antwoord "ja", dan is men er in één vraag achter. Is het antwoord "nee", dan is de uitkomst blijkbaar X2 of X3. Of het X2 of X3 is kost weer één vraag, zodat men nu totaal 2 vragen nodig heeft om de uitkomsten te weten.

Men moet dus óf één vraag stellen óf twee vragen en het gemiddelde is dus 1,5 vraag.

Berekenen we weer de hoeveelheid informatie volgens Shannon, dan vinden we nu:

H(P) = _I log.!.. - .!..log.!.. - .!..log.!.. = 1.5 bit. 2 2 4 4 4 4

De eerder gegeven interpretatie geldt dus ook in het geval van ongelijke kansen.6

1.4. Conditionele, gezamenlijke en wederzijdse informatie

In paragraaf 1.2 werd gesproken over een probabilistisch experiment (X.Y) met mogelijke uitkomsten (Xi. Yj). waarbij (Xi.Yj) E (X.Y).

Op basis van de omvang van de uitkomstenruimten (X.Y) valt te concluderen dat experiment (X.Y) in totaal om mogelijke gezamenlijke uitkomsten heeft. Als we nu de hoeveelheid informatie met betrekking tot (X.Y) zouden willen definiëren. dan kan de volgende weg gevolgd worden.

Er zijn nm gezamenlijke gebeurtenissen (Xi,Yj), met kansen van optreden r(xj,Yj) of rij (zie paragraaf 1.2 voor notatie). Stel nu dat we de nm gezamenlijke gebeurtenissen zouden noteren als gebeurtenissen ZI.Z2 •...• Znm en de bijbehorende kansen als P(ZI).p(Z2) •...• P(znm). Dan hebben we in feite weer met een één-dimensionale uit-komstenruimte te maken en kunnen we met de definitie van de marginale informatie-maat vinden:

nm

H(Z) = -

L

P(Zk) log P(Zk).

k=1

Maar omdat elke p(Zk) gelijk zal zijn aan één van de kansen r(xi.Yj) zal sommatie over k hetzelfde leveren als sommatie over i enj. M.a.w.:

n m

H(Z) = -

L L

r(xj,Yj) log [r(xj,Yj)].

i=1 j=1

Dit leidt tot de volgende definitie van de gezamenlijke informatiemaat. Definitie 1.2

Beschouw een probabilistisch experiment (X.Y) met twee-dimensionale uitkomsten-ruimte (X.Y) en R de corresponderende kansverdeling. waarbij rij of r(xi.Yj) de kans is op het gezamenlijk optreden van Xi en Yj. dan wordt de gezamenlijke inforrnaJiemaat gedefinieerd als

n m

H(X.Y) = -

L L

r(xi.Yj) log [r(xj,Yj)].

i= 1 j= 1

(1.22)

o

Ook nu weer zullen we de alternatieve notaties H(R) of H(rll •...• rnm). naast H(X.Y). door elkaar gebruiken.

Tot dusver hebben we gezien dat op basis van marginale kansen de marginale informatiemaat gedefinieerd kan worden en dat gezamenlijke kansen aanleiding gaven

tot de introductie van de gezamenlijke infonnatiemaat Nu zal beschouwd worden of er in relatie tot conditionele kansen een conditionele infonnatiemaat gedefinieerd kan worden.

Beschouwd worden weer probabilistische experimenten X en Y. Stel nu dat we ge-interesseerd zijn in de hoeveelheid informatie met betrekking tot Y onder de conditie dat uitkomst Xi reeds is opgetreden. In plaats van met kansen q(Yj), j

=

1, ... ,m hebben we dan te maken met kansen q(Y/Xi), j = 1, ... m, waarvan de som nog steeds gelijk is aan 1.

De hoeveelheid informatie met betrekking tot Y gegeven uitkomst Xi kan dan, in

analogie met de marginale informatiemaat, gedefinieerd worden als

m

H(Y/Xi) = -

L

q(Y/Xi) log [q(Y/Xi)]. j=l

(l.23)

Door nu te middelen over alle waarden Xi wordt de gemiddelde hoeveelheid informatie van Y gevonden onder voorkennis van X.

n m

= -

L L

P(Xi) q(yjxi) 10g[q(Yjxi)] i=l j=l

n m

=

-L L

r(xi'Yj) log[q(yjxi)]. i= 1 j= 1

Deze grootheid wordt aangeduid als de conditionele hoeveelheid informatie H(Y!X). Dit leidt tot de volgende definitie.

Definitie 7.3

De conditionele informatiemaat met betrekking tot experiment Y gegeven X is gelijk aan:

n m

H(Y!X) = -

L L

r(xi'Yj) 10g[q(Y/Xi)]. (l.24)

i=lj=l

Op analoge wijze kan men de hoeveelheid informatie die gemiddeld verkregen wordt met betrekking tot X indien Y bekend is definiëren als

n m

H(X/y) = -

L L

r(xi'Yj) log[p(xi/yj)]. i=l j=l

De volgende stelling geeft de minimale en maximale waarden voor H(Y!X).

(l.25)

24 Informatietheorie

Stelling 1.2

Laat H(YIX) de conditionele informatiemaat voor Y gegeven X zijn, dan geldt: (i)

(ii)

H(YIX) ~ 0 H(Y IX) :$; H(Y),

(1.26) (1.27) waarbij het gelijkteken optreedt als X en Y stochastisch onafhankelijk zijn.

Bewijs

(i) Omdat voor alle i en j geldt dat q(yjlXi) :$; 1, zal altijd gelden (-log P(yjlXi)} ~ 0, zodat direct uit de defInitie volgt dat

H(YIX) ~ O.

n m m

(ii) H(Y IX) - H(Y) = -

L, L,

r(xj,Yj) 10g[q(yJXi)] +

L,

q(Yj) 10g[q(Yj)] =

i=lj=1 j=1

n m { ( - ) ]

=

L L

r(xj,yj) 10 -...9lY.iL( -/x-) .

i=lj=l q Yy 1

Met de reeds eerder genoemde ongelijkheid In(a) $; a-I (zie fIguur 1.2) volgt nu

~ ~ [ g(Yj) ]

H(Y/X) - H(Y) :$; /-. /-. r(xi'Yj) ( -/x-) -1 log e. i=lj=1 qYyl

De rechterzijde van deze ongelijkheid kan geschreven worden als

n m q(y) n m

t'1

~

p(x) q(y

Ix)"

q(y

I~)

log e -

t'1

~

_{r(xi 'Yj) log e} = log e -log e = O.

Dus volgt

H(Y/X) :$; H(Y).

De beide hoeveelheden informatie zijn gelijk indien voor alle i en voor alle j geldt: q(Yj) = q(yjlxü, dus in het geval van stochastische onafbankelijkheid. 0 De conclusie die aan deze stelling verbonden kan worden is dat (gemiddeld) de condi-tionele hoeveelheid informatie altijd kleiner of gelijk is aan de marginale hoeveelheid informatie. Ofwel kennis over X zal in het algemeen leiden tot een afname van de hoeveelheid informatie. Dit stemt overeen met onze intuïtieve ideeën over voorkennis. Er bestaat tussen de marginale, conditionele en gezamenlijke informatiematen een rechtstreeks verband, zoals de volgende stelling laat zien.

Stelling 1.3

Voor alle experimenten X en Y geldt:

~l

Bewijs

Er geldt:

H(X,Y) :: H(X) + H(Y/X) :: H(Y) + H(XjY).

n m

H(X,Y) ::

-I I

r(Xi'Yj) log[p(Xi)·q(Yy'Xi)]

i=1 j=1

n m n m

:: -I I

r(Xi,Yj) log[P(Xi)]

-I I

r(xj,Yj) log[q(yy'Xi)] i= 1 j= 1 i= 1 j= 1

:: H(X) + H(Y IX).

Het bewijs van H(X,Y):: H(Y) + H(XjY) gaat op analoge wijze.

(1.28)

o

Wat de stelling feitelijk zegt is dat de gezamenlijke hoeveelheid informatie de som is van de hoeveelheid informatie met betrekking tot X en de conditionele hoeveelheid informatie van Y gegeven X.

Op basis van stelling 1.2 en stelling 1.3 valt verder nog af te leiden dat

H(X,Y) :: H(X) + H(Y/X) :::; H(X) + H(Y), (1.29)

waarbij gelijkheid geldt als X en Y onafhankelijk zijn.

Men kan dus stellen dat de gezamenlijke hoeveelheid informatie maximaal is als de beide probabilistische experimenten onafhankelijk zijn en afneemt naarmate de afhankelijkheid toeneemt. Bij volkomen afhankelijkheid is de uitkomst van Y bekend als die van X bekend is, zodat dan H(YIX):: O. Er geldt dan dus H(X,Y):: H(X). Thans rest in deze paragraaf nog één definitie, en wel die van de wederzijdse infor-matiemaat, die een belangrijke rol speelt op het moment dat het begrip capaciteit van een communicatiekanaal aan de orde komt.

Definitie 1.4

De wederzijdse informaJiemaat met betrekking tot X en Y wordt gedefmieerd door I(X; Y) :: H(Y) - H(Y IX)

n m [ r(xj,Yj) ]

:: L. L.

r(xi'Yj) log (x-) ( -) .

i=lj=1 P I q YJ

(1.30)

o

In feite is I(X;Y) op te vatten als een maat voor de afhankelijkheid tussen Y en X. Immers als X en Y onafuankelijk zijn zal I(X;Y) de minimum waarde aannemen, namelijk

I(X;Y) = O.

Als Y en X volledig afhankelijk zijn, zal H(Y IX)

=

0 worden en I(X; Y) neemt dan de maximale waarde aan die gelijk is aan

I(X;Y)

=

H(X).

Het wordt aan de lezer overgelaten aan te tonen dat voor alle X en Y geldt I(X; Y)

=

H(X) - H(XjY) =

=

H(X) + H(Y) - H(X,Y), (1.31)

en dat I(X; Y) symmetrisch is, dat wil zeggen voor alle X en Y geldt:

I(X;Y) = I(Y;X). (l.32)

Aan het einde van deze paragraaf nog een korte toelichting. In deze paragraaf hebben we een drietal informatiematen geïntroduceerd, te weten de conditionele, de gezamen-lijke en de wederzijdse informatiematen. Verder werd aandacht besteed aan de ver-schillende relaties tussen de maten onderling. Een en ander laat zich eenvoudig illustreren en samenvatten aan de hand van Venn-diagrarnmen, zie figuur 1.6.

a) b)

8

H(Y) Er geldt steeds I(X;Y) : H(X) n H(Y) H(X, Y) '= H(X) u H(Y)

Figuur 1.6. Relaties tussen informatiematen; (a) het algemene geval; (b) het geval van onafhankelijkheid.

Er geldt steeds:

I(X;Y) = H(X) n H(Y)

H(X,Y) = H(X) u H(Y)

• H(Xty) ~ H(X) en H(Y IX) ~ H(Y);

• I(X;Y) ~ H(Y) en I(X;Y) ~ H(X);

• I(X; Y)

=

H(X) - H(Xty) = H(Y) - H(Y IX);

• H(X,Y) = H(Xty) + I(X;Y) + H(YIX) = H(Y) + H(X/Y) = H(X) + H(Y IX);

• H(X,Y) ~ H(X) + H(Y).

In figuur 6b zijn X en Y onafhankelijk. Merk op dat nu: • I(X;Y) = 0;

• H(X,Y)

=

H(X) + H(Y);

• H(X) = H(X/Y) en H(Y) = H(Y/X).

Op eenvoudige wijze kunnen dus de in deze en vorige paragrafen afgeleide relaties tussen de diverse informatiematen m.b.v. Venn-cliagrarnmen gedemonstreerd worden.

1.5. Axiomatische grondslagen

In paragraaf 1.3 werd de informatiemaat van Shannon geihtroduceerd en enkele eigen-schappen van de informatiemaat afgeleid. Deze eigeneigen-schappen bleken overeen te komen met de eigenschapen die men intuïtief aan een informatiemaat zou stellen. Het is mogelijk een axiomatische karakterisering voor de informatiemaat van Shannon te geven; dat wil zeggen een lijst van eigenschappen op te stellen die de informatiemaat van Shannon uniek bepalen. Het volgende karakteriseringstheorema is gegeven door Chaundy en McLeod (1960).

Stelling 1.4

Ga uil van een functie f(X) = f(P) = f(PI, ... ,Pn) en een functie g(.), welke aan de volgende eigenschappen voldoen:

n (i) fep) =

L

g(Pi),

i=l

(ii) f(.) is continu op het interval [0,1], (iii) fep) is additief:

28 Informatietheorie (iv) dan geldt n f(p) = H(P) = -

L

Pi logpj" i=l

o

Uit de stelling valt af te leiden dat in feite de additiviteitseigenschap de infonnatiemaat van Shannon uniek bepaalt.

Terzijde zij hier opgemerkt, dat er sinds Shannon in 1948 zijn infonnatiemaat introduceerde diverse onderzoeken verricht zijn naar alternatieven voor de Shannon infonnatiemaat. Met name zij hier venneld het werk van Renyi (1960), Daroczy (1970) en Arimoto (1971). Met betrekking tot de laatste twee is de zware eis van additiviteit vervangen door een zwakkere vonn van additiviteit. Meer recentelijk (zie Van der Lubbe, 1981) zijn al deze maten samengebracht binnen één unificerend kader.

1.6. Het communicatiemodel

De infonnatie die als gevolg van een verricht experiment wordt verkregen zal in het algemeen verder worden gebruikt in een systeem. Het is om historische redenen de gewoonte om de wijze waarop infonnatie gebruikt wordt te bespreken in tennen van een communicatiemodel. Bij het communicatiemodelligt de nadruk op het transport van infonnatie, zoals gegenereerd door een bron, naar een bestemming. Tegenwoor-dig is echter het opslaan van infonnatie in een geheugen eveneneens van groot belang en hoewel dit niet zozeer een transmissieprobleem is, wordt het wel in die tennen omschreven. In de komende paragrafen komen we hierop nog nader terug.

Bij het transport van infonnatie is sprake van communicatie tussen enerzijds de bron die informatie genereert, vaak de zender genoemd, en anderzijds de bestemming of ontvanger. In figuur 1.7 is het basismodel weergegeven. Essentieel voor de commu-nicatie tussen zender en ontvanger is dat bij het transport door het commucommu-nicatiekanaal fouten of afwijkingen kunnen ontstaan als gevolg van storingen en ruis die op dit kanaal inwerken. Afhankelijk van de eisen die de ontvanger oplegt moet het transport foutloos zijn, waaruit de noodzaak volgt om opgetreden fouten te kunnen verbeteren, of moet het transport voldoende goed zijn, waarbij bepaalde fouten getolereerd kunnen worden omdat zij minder ernstig geacht worden.

zender

H

kanaal

t---

ontvanger

I

storingsbron

Discrete informatie 29

Bij het transporteren van signalen zoals spraak, muziek of video is een perfecte over-dracht niet goed mogelijk en zal men slechts eisen kunnen stellen aan de mate waarin het ontvangen signaal lijkt op het verzonden signaal. Het is duidelijk dat de ontvanger, en niet de zender, bepaalt welke kwaliteit wordt geëist. Dit leidt dan tot de keuze van een geschikt transmissiemedium, maar legt vooral randvoorwaarden op aan de aanpas-sing van dit kanaal aan de zender en de ontvanger.

Een meer gedetailleerde beschrijving van het communicatiemodel wordt in figuur 1.8 gegeven. Het communicatiesysteem dient de informatie die door de bron wordt gege-nereerd

w

goed mogelijk over te dragen naar de bestemming. Er wordt aangenomen dat de informatiebron en de bestemming evenals het kanaal gegeven delen van het systeem zijn. Ook de op het kanaal werkende ruisbron wordt als gegeven beschouwd.

ZENDER

.... - -- ~. _- - -

-I ~ (_+-/1 (<J!1'V'(,SII)

Figuur 1.8. Gedetailleerd communicatiemodel.

DISCREET KANAAL 1-- - ---- --t I

~

~}

b~;bro

;;-

-

l

i a L_~UlS) ~ na 1-- - -u I I r--*---': ' - - - I '

We nemen aan dat het continue kanaal signalen transporteert waarvan de aard samenhangt met het beschikbare fysische transmissie- of opslagmedium (elektrisch, magnetisch, optisch) en met de gekozen modulatiemethode. Ook de fy6sche kenmerken van het continue kanaal wals bandbreedte en signaal-ruisverhuuding worden als gegeven beschouwd. De zender heeft tot doel om de informatie uit de informatiebron geschikt te maken voor transport door het communicatiekanaal, terwijl de ontvanger de in het kanaal opgetreden storing tracht te herstellen en vervolgens de informatie in een voor de bestemming geschikte vorm omzet.

Een onderverdeling van de functies van de zender leidt tot een viertal deelaspecten. Allereerst zal blijken dat niet alle door de informatiebron gegenereerde informatie relevant is voor de bestemming. Uit efficiëntie-overwegingen kan men deze beter direct verwijderen. Men spreekt hierbij van datareductie. De resterende informatie

wordt de effectieve informatie genoemd.

Deze effectieve informatie zal vaak op een andere (numerieke) wijze moeten worden verwerkt, bijvoorbeeld in binaire vorm, en zal nog veel interne structuur bezitten. Door het toepassen van broncodering , ook wel datacompressie genoemd, wordt de

Meer en meer blijkt het gewenst om de resulterende informatie vertrouwelijk te behan-delen om mogelijk oneigenlijk gebruik zoals vervalsen, kopiëren en gratis van diensten gebruik maken, te kunnen voorkomen. Een oplossing hiervoor is om met behulp van geheimcodes de informatie te vercijferen.

Als vierde element van de zender komt naar voren het beschermen van de informatie tegen mogelijke fouten die in het kanaal kunnen optreden. Hierbij voegt men extra informatie toe, waarmee na afloop de oorspronkelijke informatie gereconstrueerd kan worden als er fouten zijn ontstaan. Men spreekt van kanaalcodering wanneer men

codes gebruikt die fouten detecteren en/of corrigeren.

De aldus door de zender geleverde informatie wordt vervolgens aan het kanaal aange-boden. We spreken van een discreet kanaal als we het kanaal abstraheren tot een

niveau waarbij het symbolen krijgt aangeboden en na overdracht ook weer symbolen produceert. Intern zal deze overdracht plaats dienen te vinden via signalen die door een fysisch medium (het continue kanaal) moeten worden overgedragen. De conversie van de aangeboden symbolen in geschikte signalen geschiedt via modulatie. Deze signalen

worden in het onderhavige communicatiemodel verontreinigd met ruis. Het aldus

ontstane mengsel van signaal en ruis wordt vervolgens weer omgezet in symbolen door demodulatie. De toevallig aanwezige ruis kan echter tot gevolg hebben dat een

aangeboden symbool na overdracht resulteert in een ander, onjuist symbool. Een discreet signaal wordt dus in feite gezien als een symbooloverdracht waarbij fouten kunnen worden gemaakt en waarbij de signaalverwerking als zodanig niet wordt beschouwd.

De uit het discrete kanaal afkomstige informatie wordt nu op fouten gecontroleerd en eventueel gecorrigeerd door middel van kanaaldecodering.

Achtereenvolgens wordt het resultaat hiervan ontcijferd in de ontcijfering en wordt in

de brondecodering de (numerieke) representatie weer hersteld zoals deze was aan de

ingang van de broncodering.

Door de datareconstructie wordt tenslotte de informatie gebracht in de door de

bestemming gewenste vorm.

De genoemde bewerkingen zijn grotendeels op te vatten als één-éénduidige determi-nistische transformaties in die zin dat de heen- en terugtransformatie weer exact het oorspronkelijke resultaat opleveren. De uitzonderingen hierop zijn datareductie en datareconstructie en het discrete kanaal waarin de stochastisch veronderstelde ruis optreedt.

In de volgende hoofdstukken zullen deze aspecten van het communicatiekanaal verder worden uitgewerkt en zal worden aangegeven wat de grenzen zijn waarbinnen men zich dient te bewegen om efficiënte en foutvrije overdracht of opslag van informatie te

1.7.

Opgaven

1.1. Bij een worp met twee goede dobbelstenen is de som van het aantal ogen 7. Hoeveel informatie verschaft ons dit gegeven? Licht uw antwoord toe.

Opmerking: Uitkomsten als (6,1) en (1,6) dienen als verschillend te worden beschouwd.

1.2. Een vaas bevat m zwarte ballen en n - m witte ballen. Experiment X omvat het aselect trekken van een bal, zonder deze terug te leggen. Experiment Y omvat het aselect trekken van een tweede bal.

a. Bepaal de hoeveelheid informatie, die kan worden toegekend aan experiment X. b. Indien de kleur van de bij experiment X getrokken bal niet bekend is, bepaal dan de

hoeveelheid informatie die kan worden toegekend aan experiment Y.

c. Als vraag b, echter met de aanname dat de kleur van de bij experiment X getrokken bal wel bekend is.

1.3. De schijf van een roulettespel is onderverdeeld in 38 genummerde vakjes van verschillende kleur. De verdeling van de vakjes op kleur is:

2 groene 18 rode

18 zwarte vakjes.

Het experiment bestaat uit het werpen van een balletje op het draaiende roulettewiel. De gebeurtenis, dat heL balletje op één van de 38 vakjes tot rust komt, is voor ieder vakje gelijk waarschijnlijk.

a. Hoeveel informatie ontvangt men indien men slechts in de kleur geÜlteresseerd is? b. Hoeveel informatie ontvangt men als men in kleur en getal geÜlteresseerd is? c. Wat volgt hieruit voor de hoeveelheid conditionele informatie indien de kleur

bekend is?

1.4. Een urn bevat 5 zwarte en 10 wiLte ballen. Experiment X omvat een aselecte trekking van een bal. Experiment Y omvat een aselecte trekking van een bal indien de getrokken bal uit experiment X niet in de urn teruggelegd wordt. Men is geïnteresseerd in de kleur van de getrokken bal.

a. Hoeveel onzekerheid bevat het experiment X?

b. Hoe groot is de onzekerheid in experiment Y indien de eerste bal zwart is? c. Hoe groot is de onzekerheid in experiment Y indien de eerste bal wit is? d. Hoeveel onzekerheid bevat het experiment Y?

1.5. Voor een bepaald Lentamen slaagt 75 % van de deelnemende studenten, 25 % slaagt niet. Van de studenLen die geslaagd zijn, bezit 10 % een auto, van degenen die gezakt zijn, bezÎl 50 % een auto.

a. Hoeveel informatie ontvangt men indien men van een student de uitslag van zijn tentamen verneemt?

b. Hoeveel informatie bevat de mededeling van een geslaagde student dat hij al of niet een auto heeft?

c. Hoeveel onzekerheid blijft er over omtrent het autobezit van een student indien hij de uitslag van zijn tentamen meedeelt?

1.6. In een bepaalde streek is 25 % van de meisjes blond en 75 % van alle blonde meisjes heeft blauwe ogen. Ook heeft 50 % van alle meisjes blauwe ogen. Hoeveel informatie ontvangt men in elk der volgende gevallen:

a. als men weet dat ze blond is en de kleur van haar ogen wordt verteld;

b. als men weet dat ze blauwe ogen heeft en de kleur van haar haar wordt verteld; c. als zowel de kleur van haar haar als van haar ogen wordt verteld.

1.7. Men wil uit een aantal van 9 munten de hierin aanwezige valse munt detecteren. De valse munt kan lichter of zwaarder zijn. Toon met behulp van de informatietheorie aan dat het mogelijk is de valse munt met drie wegingen te detecteren.

1.8. Van een groep studenten is 25 % niet geschikt voor de studie. Als resultaat van een selectie wordt echter slechts 75 % van deze niet voor de studie geschikte studenten afgewezen. 50 % van alle studenten wordt afgewezen.

a. Hoeveel informatie ontvangt men als een student, die weet dat hij niet geschikt is voor de studie, het resultaat van de selectie verneemt

b. Beantwoord dezelfde vraag wanneer bij de selectie de keus zou zijn bepaald door het werpen van een zuivere munt.

c. Vergelijk de resultaten van b met a en licht de verschillen toe.

1.9. Gegeven zijn twee experimenten X en Y. De uitkomstenruimte met betrekking tot X bestaat uit XI, X2 en X3, die van Y uit Y1, Y2 en Y3. De gezamenlijke kansen r(Xj'Yj) = rij zijn gegeven in de volgende matrix R:

7 1 24 24 0 [ r11rI2rI3] R = r21 r22 r23 = r31 r32 r33 1 1 1 24 4 24 7

o

24 24

a. Hoeveel informatie ontvangt u als men u de door X en Y opgetreden uitkomst meedeelt?

b. Hoeveel informatie ontvangt u als men u vertelt welke uitkomst

Y

heeft opge-leverd?

c. Hoeveel informatie ontvangt u als men u de door X gegeven uitkomst meedeelt, terwijl u de uitkomst van Y reeds kende?

1.10. Een binair communicatiesysteem maakt gebruik van symbolen "nul" en "een". Ten gevolge van storingen worden bij de transmissie soms fouten gemaakt. Beschouw de volgende gebeurtenissen:

uo: er wordt een "nul" verzonden;

UI: er wordt een "een" verzonden;

vo: er wordt een "nul" ontvangen; vI: er wordt een "een" ontvangen.

De volgende kansen zijn gegeven:

1 3 1

p(uo) = 2' p(vo/uo) = 4' P(VO/Ul) = 2'

Discrete informatie 33

a. Hoeveel informatie ontvangt u wanneer u verneemt welk symbool ontvangen is, terwijl u weet dat er een "nul" is verzonden?

b. Hoeveel informatie ontvangt u wanneer u verneemt welk symbool ontvangen is, terwijl u weet welk symbool is verzonden?

c. Bepaal de hoeveelheid informatie die u ontvangt wanneer men u mededeelt welk symbool is verzonden en welk symbool is ontvangen.

d. Bepaal de hoeveelheid informatie die u ontvangt wanneer men u mededeelt welk symbool is verzonden, terwijl u weet welk symbool is ontvangen.

1.8. Uitwerkingen

1.1. Als men een worp doet met twee dobbelstenen zijn er 62

=

_{36 mogelijke}

uitkomsten, elk met dezelfde kans van optreden, dus 1/36. Elke worp kan dan een hoeveelheid informatie verschaffen ter grootte:

H(X) = log 36 bil/worp.

Door het gegeven dat de som van het aanlal ogen 7 bedraagt, blijven er van deze 36

mogelijkheden nog 6 over die kunnen voorkomen, namelijk 1-6,6-1,2-5,5-2,3-4,

4-3. Er bestaat dus nog een restonzekerheid die een hoeveelheid informatie ter grootte: Hr(X) = log 6 bil/worp

kan opleveren. Door het gegeven dat de som van het aantal ogen 7 is, is dan blijkbaar een hoeveelheid selectieve informatie verschaft van:

H(X) - Hr(X) = log 36 - log 6 = log 6 bil/worp.

1.2. a. Voor de kansen op het trekken van een wille of een zwarte bal geldt:

n-m

p(w) = -n-' p(zw)=-m .

n

De hoeveelheid informatie die ontvangen wordt bij experiment X is dus: H(X) = -p(wx) log p(wx) - p(zwx) log p(zwx)

n-m [n-m] m [m] = - - I o g - log

-n n n n '

"

waarbij p(wx) en p(zwx) de kansen zijn dat bij experiment X een witte respectievelijk zwarte bal wordt getrokken.

b. Er is sprake van het aselect trekken van een bal zonder teruglegging, dus bij experiment Y zijn er nog n - 1 ballen in de vaas over. Nu moet onderscheid worden gemaakt tussen de mogelijkheden dat bij experiment X een witte dan wel zwarte bal is getrokken, hetgeen wil zeggen dat de conditionele kansen moeten worden bepaald. Deze zijn:

n-m-l p( Wy/wx) =

n=I

'

n-m p(Wy/zwx)

=

- I

_n-

' m p(ZWy/zwx) = -1 ' n-m-I p(ZWy/wx)

=

- I .

n-Vergelijk de volgende figuur.

experiment X n - m-1 n-1 experiment Y Wx ~---?J Wy ZWx _{m -1} n - 1 ZWy

De kleur van de bij experiment X betrokken bal is niet bekend, zodat er rekening gehouden moet worden met twee mogelijkheden voor de uitkomst van experiment X in plaats van één zoals bij de conditionele kansen voor Y. Dit leidt tot:

n-m n-m-l m n-m n-m

= -.- - + - . - = - =p(wx).

n n-I n n-l n

Een conditionele kans gesommeerd over alle condities levert de kans zelf op Evenzo volgt: p(ZWy) = p(zwx). Voor de hoeveelheid selectieve informatie die volgt uit dit experiment geldt dus: H(Y) = H(X). Dit is ook te zien door te bedenken dat er bij experiment X geen gegevens zijn verschaft die de onzekerheid over de toekomst van experiment Y doen afnemen.

c. Men kan nu onderscheid maken in twee gevallen. Is een witte bal getrokken bij experiment X dan is de hoeveelheid informatie in experiment Y:

H(Y/wx) = -p(Wy/wx) log p(Wy/wx) - p(ZWy/wx) log p(ZWy/wx) =

Discrete informatie 35

n-m-l [n-m-l] m [ m ] - - - l o g - - I o g

-- n-l n-l - n-l n-l' Is een zwarte bal getrokken dan is:

_ n-m [n-m] m-l [m-l] - n-l log n-l - n-l log n-l .

1.3. a. Indien men let op de kleur van het vakje waarop het balletje terecht komt heeft men te maken met een experiment met drie uitkomsten, namelijk groen, rood en zwart, met kansen van optreden: p(groen) = 2/38

=

1/19, p(rood)

=

18/38

=

9/19, p(zwart)

=

18/38 = 9/19.

Als men slechts in de kleur geïnteresseerd is komt men tot een hoeveelheid informatie:

H(kleur)

= -

L

Pi log Pi

i

1 1 9 9 36 .

= -

19 log

ï9

-

2·

ï9

log 19

= -

ï9

log 3 + log 19

=

1,24 bIt. b. Men kan de hoeveelheid informatie bepalen door te bedenken dat het vakje volko

-men is vastgelegd door het getal te geven. Er zijn 38 vakjes, elk met gelijke kans van optreden, dus:

H(kleur, getal)

=

H(getal)

=

log 38 = 5,25 bit.

De conditionele hoeveelheid selectieve informatie H(kleur/getal) is blijkbaar nul, hetgeen duidelijk is omdat bij gegeven getal de kleur vastligt.

c. De conditionele informatie, indien de kleur bekend is, is:

H(getal/kleur)

=

H(kleur,getal) - H(kleur)

=

5,25 - 1,24

=

4,01 bit.

1.4. a. De kansen op het trekken van een zwarte of een witte bal zijn: p(zw)

=

1/3, p(w)

=

2/3.

Bij het aselect trekken van een bal ontvangt men een hoeveelheid informatie:

H(X) = -

t

log

t

-

~ log ~ = 0,92 bit.

b. De kansen van optreden bij een experiment Y, als de uitkomst van X zwart is, zijn respectievelijk: p(ZWy/zwx) = 4/14

=

2n

en p(Wy/zwx)

=

10/14

=

5n,

zodat:

2 2 5 5 .

H(Y/zwx) = -"7 log "7 -"7 log"7 = 0,86 bit.

9 9 5 5 .

H(Y/wx) = - 14 log 14 - 14 log 14 = 0,94 ba.

d. De onzekerheid in experiment Y is nu de gewogen som van de uitkomsten d. en e., namelijk:

H(Y) = p(zwx)·H(Y/zwx) + p(wx)·H(Y/wx) = =

t .

0,86 + ~ . 0,94 = 0,91 bit.

1.5. a. De vier mogelijke situaties slagen, niet-slagen, het bezitten van een auto, het bezitten van geen auto, kunnen aangeduid worden met respectievelijk s, s, a en

a.

Indien de uitslag van een lentamen wordt meegedeeld, verschaft dit nu een hoeveelheid informatie:

H(uitslag) = -p(s) log[p(s)] - p(S) log[p(s)] =

3 3 1 1 .

= -

4

log

4 - 4

log

4

=

0,81 bIt.

b. Deelt een geslaagde student mee dat hij al dan niet een auto bezit dan zijn er twee mogelijkheden a en

a

met gegeven kansen van optreden. Dus:

H(aulobezitlgeslaagd) = -p(a) log p(a) - p(ä) log p(ä) =

1 1 9 9 .

= -

10 log 10 - 10 log 10

=

0,47 ba. c. Er zijn in totaal vier mogelijkheden. De kansen hierop zijn:

3 1 3 p(s,a) =

4 .

10 = 40 _ 3 9 27 p(s,a)

=4·

10

=

40 p(s,a) = ~ . ~ =

l

p(s,a)

=

~. ~

=

l.

De hoeveelheid informatie die hel meedelen van zowel de uitslag als het autobezit oplevert is dan:

H(autobezit, uilSlag) =

-;0

log

;0 -

~~

log

;~

- 2.!log! = 1,41 bit. De restonzekerheid over het autobezit als de uilSlag van het tentamen wordt gegeven is dan:

Discrete informatie 37

=

1,41 - 0,81

=

0,60 bit.

Men kan dit resultaat ook bereiken door de conditionele hoeveelheid informatie direct te berekenen volgens de definitie voor de conditionele hoeveelheid informatie.

3( 1 1 9 9)

H(autobezit/uitslag) =

4"

-10 log 10 -10 log 10 +

1( 1 1 1 1) .

+4"

-Z-logZ- -Z-logZ- = 0,60 bit.

1.6. a. Als ze blond is zijn er twee mogelijke tinten, namelijk blauwen niet blauw met kansen van~, respectievelijk

f.

Men ontvangt dus een conditionele hoeveelheid infonnatie, namelijk onder de conditie dat ze blond is:

3 3 1 1 .

H(kleur ogen/blond) = -

4"

log

4" - 4"

log

4"

= 0,81 bu.

b. Om deze vraag te kunen beantwoorden moeten de kansen p(blond/blauw) en p(niet blond/blauw) worden bepaald. Dit kan met behulp van de fonnule van Bayes. die in

dit geval levert:

l.l

(bI dlbl ) - p(blond)'p(blauw/blond) 4 4 3 P on auw - p(blauw)

=

-1-

=

8'

Omdat een meisje hetzij blond. hetzij niet blond is, geldt: p(blondlblauw) + p(niet blondlblauw) = 1

waannee: p(niet blond/blauw) =~.

2

De conditionele hoeveelheid infonnatie die men ontvangt is dan: H(kleur haar/blauw)

= -

i

log~

-

~ log~

=

0,95 bit.

c. Als zowel de kleur van haar haar als die van haar ogen wordt verteld, kan men spreken van een samengestelde gebeurtenis met vier mogelijke uitkomsten. Met hetgeen in de vorige subvragen is berekend is voor de kansen op deze uitkomsten te vinden: p(blond,blauw)

=

3/16, p(blond,niet blauw) = 1/16. p(niet blond,blauw)

=

5/16, p(niet blond,niet blauw) == 7/16.

Men ontvangt een hoeveelheid informatie ter grootte

3 3 1 1 5 5 7 7

H(kleur ogen, kleur haar)

= -

16 log 16 - 16 log16 - 16 log16 - 16 log 16

=

= 1,75 bit.

1.7. Er moet een keus worden gemaakt uit 9 munten; bovendien kan de valse munt lichter dan wel zwaarder zijn dan de overige munten. Dit houdt in dat men 18

mogelijkheden heeft voor de uitkomst van de meting. Omdat men geen voorkennis heeft zal elke uitkomst even waarschijnlijk zijn. De hoeveelheid informatie die het experiment verschaft is dan:

H(X)

=

log n

=

log 18

=

4,12 bit.

Men moet blijkens de opgave in staat zijn om in drie wegingen deze hoeveelheid informatie te verkrijgen. Weegt men met een balans dan zijn er drie mogelijke resultaten van een weging: de balans slaat uit naar rechts of naar links of hij blijft in

evenwicht. Ook hier is elk van deze uitkomsten bij gebrek aan voorkennis even waar-schijnlijk. Elke meting met de balans kan dus een hoeveelheid informatie verschaffen ter grootte:

H(meting) = Jog 3 = 1,58 bit. Bij drie wegingen wordt totaal verkregen:

HlOl = 3 H(meting) = 4,74 bit

waarmee volgt dat:

HlOl > H(X),

zodat drie metingen voldoende zijn om de valse munt te detecteren. Hierbij valt op te merken dat slechts wordt aangetoond dat het mogelijk is met drie metingen. Hoe dit dan zou moeten wordt hiermee niet aangegeven.

1.8.

a. De vier mogelijke situaties, namelijk de combinaties van het al dan niet geschikt zijn en het al dan niet worden afgewezen kunnen als uitgangspunt worden genomen. Duiden we deze situaties aan met g, g, a, "li dan is gegeven:

p(a/g) =

~,

Hieruit volgt direct:

p(g) = 1 - p(g) =

~

p(atg)

=

1-~

=i

p(ä) = 1 - p(a) =

~

.

Verder geldt volgens Bayes:

3 1 p(g/a)

=

P(a/gtf

GD

=

4 14

=

-8 3 . pa 2

Omdat p(g/a) + peg/a) = 1 is dan eveneens: peg/a)

=

1 -

~

=

i

.

Tevens is te berekenen: 1 1 p(g/ä) = p(ätg)·p(g) =

4

·

4

=

1.

p(a)

1.

8 2 peg/a) = 1 - peg/a) =

~

.

Tenslotte zijn de samengestelde kansen op elk van de vier combinaties nog te bepalen uit de algemene relatie:

waarmee we vinden:

1 5 5

Peg a) , = p(a)·p(g/a) = -.- = -2 8 16

p(g,a) = p(a)·p(g/a) =

~

.

~

=

{6

p(g,a) = p(g).p(ä/g) =

~

.

i2

=

i6

p(g,a) = p(g).p(ä/g) =

*

.~

= 116 .

De resultaten zijn in een diagram te geven, waarbij de getallen met 16 zijn vennenig-vuldigd. Vergelijk de figuur.

a ä 9 5 7 12 4

-9 3 8 8

Omdat zonder nadere aanduiding slechts over het resultaat van de selectie wordt gesproken is er sprake van twee mogelijke resultaten van de selectie. De hoeveelheid informatie is:

H(selectie/niet geschikt)

=

-p(a/g) 10g[P(a/g)] - p(a/g) log[p(ä/g)]

=

b. Als de selectie wordt gemaakt met behulp van een munt, zal elke student 50% kans hebben te worden afgewezen. Het gevolg is dat de kansen p(a/g), p(a/g), p(ä/g) en p(ä/g) alle

t

worden, onafhankelijk van de conditie g ofg.

De hoeveelheid informatie wordt:

H(selectie/niet geschikt) = H(selectie) = -

&

log

& - &

log

&

= 1 bit. c. Omdat het al dan niet geschikt zijn geen rol speelt in b. kan de student in dat geval geen gebruik maken van zijn voorkennis, namelijk dat hij niet geschikt is. De hoeveelheid informatie die hij in b. ontvangt is identiek aan de informatie die wordt verkregen na het werpen van een munt, dus 1 bit. De onzekerheid is in geval a. kleiner, zodat hij ook minder informatie ontvangt.

1.9. a. Met behulp van matrix R volgt direct:

3 3

H(X,Y)

= -

L

Lrij log rij

=

i=I j=I

b. Aangezien voor alle j geldt:

3

'li

= Lrij

i=I

volgt: q(yd = q(Y2) = q(Y3) = }. De hoeveelheid informatie wordt daarmee H(Y)

=

log 3

=

1,58 bit.

c. Gevraagd wordt te berekenen H(X!y). Dit is het eenvoudigst te berekenen uit H(X,Y) = H(Y) + H(X!y). Hieruit volgt H(X!y) = 0,72 bit. Ook kan men uit rij en

'li

de conditionele kansen Pij bepalen en deze substitueren in:

3 3

H(X!y) = -

L L

rij 10g(Pij). i=I j=I

1.10. a. Er geldt P(VI/UO)

=

1 - p(vo/uo)

=

1/4.

Dus er geldt voor de onzekerheid met betrekking tot het ontvangen symbool, gegeven dat er een 'nul' verzonden is:

H(V/uo) = -p(vo/uo) log[p(voluo)] - P(VI/UO) 10g[P(VI/UO)]

3 3 1 1 .

b. Bereken eerst de gezamenlijke kansen.

Er geldt p(uo,vo) = p(voluo)p(uo) = 3/8. Evenzo kan gevonden worden:

Voor de hoeveelheid informatie met betrekking tot het ontvangen symbool, gegeven het verzonden symbool volgt nu:

1 1

H(VIU) = -

L

LP(Ui,Vj) log[p(vjui)] =

i=O j=O

3 3 1 1 1 1 1 1 .

= - -

log - - - log - - - log - - - log -

=

0 91 bit

8 4 8 4 4 2 4 2 ' .

c. Methode I: Gezamenlijke kansen invullen in de formule voor de gezamenlijke informatie levert:

1 1

H(U,V)

=

-

L L

p(uj,Vj) 10g[p(Ui,Vj)]

=

1.91 bit. i=O j=O

Methode TI: Omdat p(uo) = peUl) =

t

is de hoeveelheid informatie H(U) met betrek-king tot het verzonden symbool gelijk aan H(U) = I bit. Er volgt nu:

H(U,V)

=

H(U) + H(VIU)

=

1 + 0,91

=

1,91 bit. Deze methode is in dit geval sneller dan methode I.

d. Aangezien afgeleid kan worden dat p(vo)

=

5/8 en P(VI)

=

3/8 volgt voor de informatie H(V) met betrekking tot het ontvangen symbool:

5 5 3 3 .

H(V) = -

8

10g

_{8 - 8}

log

8

=

0,96 bit. En dus volgt direct: