Multikriteria-methoden voor ruimtelijk evaluatieonderzoek

Multikriteria-methoden voor ruimtelijk

evaluatieonderzoek

o

planologisch

li!C

studiecentrum tno

j.HYoogd

C.Middendorp

B.Udink

A.van Setten

Delft

1980

research centrefor

physical planning tno

Verslag van een onderzoek uitgevoerd in opdracht

van de Rijksplanologische Dienst

MULTIKRITERIA-METHODEN VOOR RUIMTELIJK EVALUATIEONDERZOEK BIBLIOTHEEK TU Delft P 1669 3024

" " " /lil

111

C 493840

a.' .

MULTIKRITERIA-METHODE~ VOOR RUIMTELIJK EVALUATIEONDERZOEK

Verslag van het onderzoek EVAPLAN uitgevoerd in op-dracht van de Rijksplanolo-gische Dienst. J.H. Voogd C. Middendorp B, Udink A. van Setten Delft, 1980 80/ PS/399

Planologisch Studiecentrum TNO Postbus 45

2600 AA DELFT

2e herziene druk

Het verslag van het onderzoek EVAPLAN omvat twee publikaties:

- Het gebruik van multikriteria-evaluatie in de ruimtelijke planning

- Multikriteria-methoden voor ruimtelijk evaluatieonderzoek.

TEN GELEIDE

Het projekt EVAPLAN heeft tot doel het ontwikkelen van een instrumenta-rium ten behoeve van het beoordelen van ruimtelijke keuzemogelijkheden in een ruimtelijk planningsproces. Na een grondige analyse van het ge-bruik van doelstellingen en van methoden voor het meten van preferenties, is de nadruk gelegd op de ontwikkeling cq. het gebruik van multikriteria-evaluatiemethoden waarbij zowel organisatorische aspekten (toepasbaar-heid) als inhoudelijke aspekten (doelstellingen, schalingsmethoden) aan de orde komen.

Het projekt Evaplan wordt door het Planologisch Studiecentrum TNO uitge-voerd in opdracht van de Rijksplanologische Dienst. Het onderzoek wordt begeleid door een kommissie, waarin de volgende personen zitting hebben: Dr. J. Blokland (voorzitter)

Drs. J. Ch. Coolsma (sekretaris)

Prof. Ir. H.M. Goudappel

Drs. P. Mastenbroek

Prof. Dr. P. Nijkamp

Drs. J.P.J.M. van Est Ir. A. van Setten lid en projektleider vanaf 01.12.78) Drs. J .H. Voogd (projektleider)

- Rijksplanologische Dienst, af-deling Planningstechniek@n - Rijksplanologische Dienst,

af-deling Sociaal-Wetenschappelijk Onderzoek

- TH Eindhoven, Vakgroep Urbanis-tiek en Ruimtelijke Organisatie - Hoger Ekonomisch en

Administra-tief Onderwijs, Den Haag

- Vrije Universiteit, Ekonomische Faculteit

- Planologisch Studiecentrum TNO - Planologisch Studiecentrum TNO

- Planologische Studiecentrum TNO; vanaf 01.12.78 verbonden aan vakgroep Civiele Planologie, TH Delft.

DA heren B. Udink (R.P.D.) en C. Middendorp hebben een belangrijk deel van de komputer-programmeeraktiviteiten voor hun rekening genomen.

Ten aanzien van tussenrapport 4 is eveneens dankbaar gebruik gemaakt van de opmerkingen en suggesties van Mevr. E.F. Bijlsma-Franke en Drs. E.R. Zondag.

Typewerk, lay-out, kaarten, etc. zijn verzorgd door Mej. C.H.A. van Geest en de Heer R. Klees.

GLOBALE INHOUDSOPGAVE TEN GELEIDE SAHENVATTING LEESWIJZER DEEL I DEEL 11 DEEL III DEEL IV BIJLAGEN INTRODUKTIE TECHNISCHE UITWERKING PRAKTISCHE TOEPASSING SLOTKONKLUSIES (hoofdstukken 1 - 3 4 - 8 9 - 11 12 - 13

Gedetailleerde inhoudsopgaves 3ijn opgenonen aan het begin van de desbetreffende delen.

De pagina 1 s zijn genummerd per deel .. Tevens zijn de l i teratuurreferen-ties per deel uitgesplitst. Die betreffende de bijlaf,en zijn direkt achter de betrokken bijlage opgenomen.

i

SAMENVATTING

In dit rapport wordt nader ineef,aan op de technisch-methodische aspekten van een evaluatie van planologische keuzemo~elijkheden. Door middel van evaluatiemethoden kunnen geobjektiveerde keuzesituaties aan verschillende normatieve waarderinp,en worden onderworpen. Deze verschillende waarderin~ gen dienen zoveel mogelijk representatief te zijn voor het brede spektru.m

van meningen dat ten aanzien van een planologisch keuzenrobleem kan be-staan. De resultaten van dergelijke methoden kunnen dan beschouwd worden als een wetenschappelijk-rationele inbrenr, in het politieke onderhandelin~s­ proces van de ruimtelijke planning.

In deze studie is de aandacht gekoncentreerd op de zr,n.

multikriteria-evaluatiemethoden

.

Het voordeel van deze aanpak is r,eleGen in de mogelijk-heid om de meerdimensionale beoordelingsproblematiek, waar men in de ruim-telijke planning voortdurend mee ~ekonfronteerd wordt, op een systemati-sche, omvattende ('comprehensive') wijze te benaderen; iets wat bijvoor-beeld door strikt monetaire methoden slechts ten dele gerealiseerd l.an worden. Multikriteria-evaluatiemethoden komen in zeer veel verschillende hoedanigheden voor. In dit rapport wordt hierop nader inger,aan.

Het

doel

van de in dit rapport gepresenteerde studie is vierledif,. a) het verschaffen van inzicht in en richtlijnen voor het gebruik van

multikriteria-evaluatiemethoden;

b) het bestuderen van evaluatiemethoden voor het verwerken van kwalita-tieve datasets;

c) het operationaliseren van het principe van 'zonale evaluatie' ten behoeve van het wfwegen van alternatieve ruimtelijke koncepties op regionaal of landsdeel-nivo;

d) het testen en evalueren van meet- en schalingsmethoden ten behoeve van de prioriteitenbepaling.

Gekozen is voor een afzonderlijke rapportage van de materie in vier af-zonderlijke delen.

In

deel

I wordt een kader geschetst, waarbinnen de inhoud van dit rapport geïnterpreteerd moet worden. In hoofdstuk 1 wordt de problematiek van het onderzoek Evaplan geïntroduceerd. Vervolgens wordt in hoofdstuk 2 een overzicht gegeven van de huidige stand van zaken op het gebied van ruimtelijke multikriteria-evaluatiemethoden. Hoofdstuk 3 besluit deel I,

i i

waarin een overzicht wordt Ge~even van meet- en schalinRsmethoden welke in het planologisch onderzoek tot op heden ten behoeve van de gewichten-bepaling gebruikt zijn.

In

deel

I I wordt een nadere uiteenzettine gegeven van een groot aantal methodieken, die ten behoeve van een multikriteria-evaluatie eebruikt kunnen worden. In hoofdstuk 4 worden de belangrijkste multikriteria-methoden behandeld die met name geschikt zijn om kardinale (metrische) informatie te verwerken. Hoofdstuk 5 geeft een uitvoerig overzicht van de belangrijkste kwalitatieve (ordinale) evaluatiemethoden. Hierin wordt onder meer aandacht geschonken aan schalingsmodellen, die uitstekende mogelijkheden bieden om kwalitatieve informatie te komprimeren én te in-terpreteren. Hoofdstuk 6 behandelt een aantal meet- en schalingsmethoden, die in een eerdere deelstudie van het onderzoek Evaplan als potentieel bruikbaar naar voren zijn Gekomen. Het principe van zonale evaluatie wordt in hoofdstuk 7 uitvoeri~ uitGewerkt, terwijl hoofdstuk 8 inRaat op één van de belangrijkste problemen van de ruimtelijke planning: het ver-schijnsel "onzekerheid". In dit hoofdstuk wordt uitvoeriG ingegaan op de mogelijkheden om onzekerheden expliciet in een multikriteria-evaluatie tot uiting te laten komen. Daartoe zijn de volgende onzekerheden onder-scheiden:

a)

de beoordelinJs-

onzekerheid

Dit betreft de onzekerheid die verbonden is aan de keuze van de eva-luatiekriteria.

b)

De preferentie-

onzekerheid

Niet ieder beoordelingskriterium wordt even belangrijk Geacht door iedereen. De hiermee gepaard gaande onzekerheid wordt aangeduid met preferentie-onzekerheid.

c)

Dt; inhoudeli"

ke; on:::.ehI'he·'1

Dit is de onzekerheid met betrekking tot de kenmerken van de keuze-mogelijkheden.

d)

De

methodp-onzekeY'he'id

Iedere methodiek is gebaseerd op, al dan niet theoretisch onderbouwde, veronderstellingen. De onzekerheid, die het gebruik van dergelijke veronderstellingen met zich mee brengt, wordt methode-onzekerheid genoemd.

i i i

kader van een multikriteria-evaluatie te expliciteren. In hoofdstuk 8 wordt op een aantal van deze mogelijkheden (stochastische aanpak, ge-voeligheidsanalyse) uitvoerir, ingegaan.

In

de

Z

lIJ

staat· de praktische toepassine van de diverse methoden cen-traal. Om van de diverse evaluatiemethoden het feitelijke ~edrae op een numeriek voorbeeld te analyseren, is een Uonte-Carlo-Analyse uitgevoerd. Hierbij zijn de verschillende methoden op een groot aantal (random ee-kozen) datasets toegepast en onderling vergeleken, waardoor inzicht is verkregen in de kans dat de uitkomst van een bepaalde methode kan ver-schillen van een andere methode. De resultaten van deze exercities wor-den in hoofdstuk 9 beschreven. Met name blijkt hieruit dat de r.lethode-onzekerheid van uitkomsten van multikriteria-evaluatier.lethoden in bijna alle gevallen hoger is dan 40%. Met andere woorden: er is mini~aal 40% kans dat de uitkomsten van een methode niet overeenster.lmen r.let de uit-komsten van soortgelijke methoden. Een bijzonder hoog percentage, waar-van met name bij de toepassing waar-van één enkele methode in ernstige mate rekenschap moet worden gehouden. Wel moet hierbij opgeMerkt worden dat deze kwantificering van de methodische onzekerheid geldt voor de

meest

(;ilJ~iiC'f ')( <,'tuat'i:-, namelijk voor die evaluatievraagstukken waarin de kriteria niet in sterke mate onderling gekorreleerd zijn. Is dit wel het geval, dan mag verwacht worden dat de methode-onzekerheid aanzienlijk geringer zal zijn.

Als een omvangrijk keuzeprobleem met vele facetten geëvalueerd moet wor-den, verdient het aanbeveling om een stapsgewijze procedure te hanteren, d.w.z. dat eerst getracht wordt om door middel van één of meerdere elimi-natieprocedures het keuzeprobleem te beperken tot hoofdzaken. In de prak-tijk betekent dit bijvoorbeeld dat bij een groot aantal keuzemor,elijk-heden dit aantal eerst via eliminatieprocedures teruggebracht moet worden tot aanvaardbare proporties, waarna eventueel op dit F,ereduceerde aantal keuzer.logelijkheden een aantal ranr,schikkingsprocedures kunnen worden toe-gepast.

Hoofdstuk 10 is in zijn geheel gewijd aan een praktische vergelijking van een aantal preferentiemeetmethoden. Daartoe is een enquête uitgevoerd, waarbij een vijftal methoden op meerdere aspekt en nader is onderzocht. Hieruit blijkt dat de uitkomsten per methode aanzienlijk leunnen verschil-len. Tevens blijkt de abstraktheid (cq. 'aanspreekbaarheid') van de te

iv

beoordelen problematiek van grote invloed te zijn op het al dan niet kon-sekwent zijn van een respondent (beoordelaar) ten aanzien van de priori-teitstellingen. Gekonkludeerd wordt dat een toepassing van preferentie-meetmethoden op een nationaal planningsnivo - d.w.z. daar waar abstrak-te afwegingsvraagstukken aan de orde komen - als weinie zinvol te beschou-wen is.

Deel 111 wordt besloten met een hoofdstuk (11), waarin de diverse methoden worden geïllustreerd door middel van een evaluatie van de zgn. ~~idden Randstad alternatieven.

Dit rapport wordt ~esloten door

deel IV

,

waarin de slotkonklusies met be-trekking tot dit onderdeel van het onderzoek Evaplan staan vermeld. Daar-bij is onderscheid gemaakt tussen de konklusies ten aanzien van de tech-nische aspekt en (hoofdstuk 12) en de konklusies ten aanzien van de prak-tische aspekten van multikriteria-evaluatiemethoden (hoofdstuk 13). Ge-konkludeerd wordt dat het zinvol lijkt om in de toekomst de aandacht te richten op een gerichte uitbouw van het kwalitatieve evaluatiemethoden-bestand, waarmee in deze studie door de introduktie van de ordinaal eeo-metrische evaluatiemethoden reeds een aanvang is gemaakt. Hetzelfde eeldt voor methoden, die uitgaan van een "gemengde" samenstelling van de te gebruiken data: d.w.z. dat een deel van de kriteria ordinaal wordt geme-ten en een ander deel kardinaal (metrisch).

Uit de in dit rapport verwoordde studie is een aantal duidelijke richt-lijnen naar voren gekomen ten aanzien van het toepassen van TIultikriteria-evaluatiemethoden. In hoofdlijnen kunnen deze richtlijnen als volgt worden samengevat:

- gebruik per toepassing slechts een

bepepkt aantal kritepia

;

indien een eroot aantal kriteria beschikbaar is, moet via een sekwen-tiële procedure het aantal kriteria gereduceerd worden (zie hoofdstuk 9).

- pas om redenen van methodische onzekerheid zoveel moeelijk

meepdepe

multikritepiamethoden

toe op eenzelfde evaluatieprobleem (zie

hoofd-stuk 9).

bepepk het aantal keuzemogelijkheden

;

indien hieraan niet a priori

voldaan kan worden, moet via een sekwentiële procedure het aantal keuzemogelijkheden gereduceerd worden (zie hoofdstuk 9); indien dit gegeven het probleem (bijvoorbeeld bij vaststelling regionale

onee-v

lijkheden) niet mogelijk is, dan moeten de keuzemogelijkheden, die qua eindrangschikkin~ bij de diverse methoden niet overeenkomen, als gelijkwaardig worden beschouwd.

- definieer

alternatieve gewichtensets

vanuit mo~elijke alternatieve be-leidsrichtingen (zie hoofdstukken 3,8, en 10).

pas, in geval van

onzekerheid

ten aanzien van de ~etrische data, kwa-litatieve evaluatiemethoden toe; fundamentele onzekerheden kunnen het beste geexpliciteerd worden door middel van de specifikatie van alter-natieve datasets (zie hoofdstuk 8).

- pas, in geval van re~ionale of bovenregionale keuzemogelijkheden, te-vens een aantal

zonale evaluatieprocedures

toe ten einde inzicht te krijgen in de ruimtelijke pluriformiteit met betrekking tot de evalu-atieproblematiek (zie hoofdstuk 7 en 11).

Voor een meer gedetailleerde beschouwing inzake voornoemde richtlijnen wordt verwezen naar de desbetreffende hoofdstukken.

LEESWIJZER

De lezer die op een snelle wijze een globale indruk wil krijgen van de inhoud van dit rapport wordt aaneeraden om de voleende onderdelen te raadpleeen: - 1.1, 1. 2, 1.3

-

2.1, 2.2 - 3.1, 3.2

-

4.1, 4.9 - 5.1, 5.6 - 6.1, 6.7 - 7.1, 7.4 - 8.1 tlm 8.7 - 9.4 - 10.5 - 12.5

-

13.4, 13.5

-

- - -

- - - - -- - -

-DEEL I

INT R 0 D U K TIE

In dit deel wordt een kader geschetst, waarbinnen de inhoud van dit rapport geinterpreteerd moet worden. In hoofdstuk 1 wordt de problematiek van het onderzoek nader geïntroduceerd. Daarna wordt in hoofdstuk 2 een overzicht gegeven van de huidige stand van zaken op het gebied van ruimtelijke multikriteria-evaluatieme-thoden. Deel I wordt besloten door hoofdstuk 3, waarin een over-zicht wordt gegeven van meet- en schalingsmethoden welke tot op heden in het planologisch onderzoek ten behoeve van de gewichten-bepaling gebruikt zijn.

-- -- -- -- -- -- -- - - -I-i INHOUDSOPGAVE D E E L I INT R 0 D U K T I E 1. INLEIDING

1.1. Doel van het onderzoek

1.2. Doel van tussenrapport 4

1.3. Opzet tussenrapport 4

2. HULTIKRITERIA EVALUATIEUETHODEN: EEN OVERZICHT

2.1. Inleiding

2.2. Definitie van het probleem 2.3. Literatuuroverzicht

2.4. Voorlopige konklusies

3. PREFERENTIE ~.mET- EN SCHALINGSHETHODEN: EEN OVERZICHT

3.1. Inleiding

3.2. Definitie van het probleem

3.3. Literatuuroverzicht 3.4. Voorlopige konklusies LITERATUUR Blz. 1- I 1- I 1- 2 1- 4 1- 6 I- 6 1- 7 I- g 1-14 1-15 1-15 1-15 1-17 1-20 1-:1

- - -

-}-l

1. INLEIDING

l.I. Doel van het onderzoek

Het onderzoek Evaplan is gebaseerd op het uitgangspunt dat "evalu-atie" een proces is, dat slechts in samenwerking tussen deskundigen en betrokkenen tot goede resultaten kan leiden als de taak van de deskundigen beperkt blijft tot een adviserende funktie. Deze taak impliceert dat de, ten aanzien van de keuzemogelijkheden beschik-bare, informatie zo goed mogelijk geïnventariseerd, geklassificeerd, geanalyseerd en overzichtelijk gepresenteerd moet worden, opdat de betrokkenen (politici, beleidsambtenaren en derden) hierdoor een zo rationeel mogelijk toetsingskader krijgen aangeboden waaraan zij hun eigen opvattingen kunnen relateren. Een dergelijke konfrontatie kan dan ofwel leiden tot een heroriëntatie betreffende de keuzemo-gelijkheden (terugkoppelingen) of tot een uiteindelijke keuze.

Er zijn momenteel vrij veel verschillende evaluatiemethoden be-schikbaar. Een groot aantal van deze methoden is afkomstig uit niet specifiek op de ruimtelijke planning georiënteerde disciplines, waardoor een aantal essentiële kenmerken van ruimtelijke plannings-processen soms onvoldoende in deze methoden tot hun recht komt (bijv. de ruimtelijke dimensie, de politieke betrokkenheid, de gebrekkige en/of kwalitatieve

data)~).

Mede in het licht van deze situatie is medio 1976 het onderzoek Evaplan van start gegaan, met als doelstel-ling: het ontwikkelen van een instrumentarium waarmee alternatieve ruimtelijke keuzemogelijkheden geëvalueerd kunnen worden, opdat informatie wordt verstrekt ten behoeve van een zo verantwoord mo-gelijke beleidsbeslissing.

De bevindingen van het onderzoek zijn in een aantal tussenrapporten vastgelegd. In tussenrapport 1 (februari 1977) is het meten van

voor-~~)

keuren aan de orde gesteld Vervolgens is in tussenrapport 2

~) Zie bijv. Voogd (1976-a), Voogd (1977-b)

1-2

(juni 1977) het gebruik van doelstellingen, waaraan veelal evaluatiekri-~)

teria worden ontleend, behandeld . In tussenrapport 3 (november 1977) is nader ingegaan op het gebruik en de gebruiksmogelijkheden van syste-matische evaluatiemethoden binnen een in de praktijk voltrokken

planvor-mingsproces~~). Het onderzoek wordt afgerond met het onderhavige

tussen-rapport 4 en een eindtussen-rapportage, waarin de praktische bevindingen van de vier tussenrapporten op een breed publiek van ruimtelijke ordeningsdes-kundigen gerichte wijze worden samengevat.

1.2. Doel van tussenrapport 4

Met tussenrapport 4 wordt beoogd nader in te gaan op de technische-me-thodische aspekten van de evaluatie van ruimtelijke keuzemogelijkheden. Door middel van evaluatiemethoden kunnen geobjektiveerde keuzesituaties aan verschillende normatieve waarderingen worden onderworpen. Deze ver-schillende waarderingen dienen zoveel mogelijk representatief te zijn voor het brede spektrum van meningen dat ten aanzien van een planolo-gische keuzeprobleem kan bestaan.

De resultaten van dergelijke methoden kunnen dan beschouwd worden als de wetenschappelijk rationele inbreng in het politiek rationele onderhande-lingenproces van de ruimtelijke planning.

Evaluatie kan op formele wijze plaatsvinden (bijv. met behulp van kosten-baten-analyse), maar ook op informele wijze (bijv. via het kreëren van overlegsituaties tussen alle betrokken groeperingen en instanties). In tussenrapport 2 is beargumenteerd dat evaluatieproblemen op het regio-nale en natioregio-nale planningsniveau het zinvolst aangepakt kunnen worden door middel van multikriteria

analyses~~)

.

Het voordeel van deze aanpak is gelegen in de mogelijkheid om de meer-dimensionale beoordelingsproblematiek, waar men in de ruimtelijke plan-ning voortdurend mee gekonfronteerd wordt, op een systematische omvat-tende (comprehensive) wijze te benaderen; iets wat bijvoorbeeld door strikt monetaire methoden slechts ten dele gerealiseerd kan worden.

~) Voogd

&

Boonstra (1977-a) ~~) Voogd

&

Boonstra (1977-b)

Î~~) Zie Voogd

&

Boonstra (1977-b), par. 5.2. blz. 66 e.v. Voor de goede orde zij hier opgemerkt dat dit niet impliceert dat de informele be -nadering dus verworpen wordt. Integendeel, een goede procedurele aan-pak van de vele overlegsituaties is ook op regionaal en nationaal ni-veau onontbeerlijk.

1-3

Multikriteria-evaluatiemethoden komen in zeer veel verschillende

hoedanigheden voor. In het volgende hoofdstuk wordt hier nader op

in-gegaan. Hieruit blijkt dat er in wezen een groot aantal, soms slechts

in details afwijkende, benaderingen mogelijk zijn. Omdat iedere

bena-dering in principe tot een andere uitkomst van het evaluatievraagstuk

kan leiden, is een nadere analyse van de diverse methoden wel op zijn

plaats. In dit tussenrapport zal getracht worden tot richtlijnen te komen om deze "methode-onzekerheid" het hoofd te bieden.

Uit de analyse van tussenrapport 3 is ondermeer naar voren gekomen

dat het merendeel van de evaluatieproblemen in een planningsproces

kwalitatief van aard is. In de meeste gevallen kan de waardering van

een keuzemogelijkheid ten aanzien van een bepaald kriterium slechts op

een ordinale meetschaal worden aangegeven*). Dit impliceert dat hier-door een specifieke mogelijkheid wordt geïntroduceerd, omdat ordinale getallen uit theoretische overwegingen minder rekenkundige

manipula-tiemogelijkheden toelaten dan kardinale getallen (d.w.z. waarderingen

die op een ratiö-of interval-schaal zijn gemeten). In dit tussenrapport wordt een nieuwe benadering van dit evaluatieprobleem gefntroduceerd,

gebaseerd op de, in de psychologie door Coombs (1964) ontwikkelde,

ideaalpunttheorie. Deze theorie en de praktische uitwerking hiervan

op het gebied van de ruimtelijke evaluatie worden in dit tussenrapport

uitvoerig aan de orde gesteld.

In tussenrapport 2 is nader ingegaan op de verschillende disaggregatie-mogelijkheden bij een mu1tikriteria-evaluatie**). Bij de bespreking van

de werkwijze van de zgn. "Integratiegroep ten behoeve van de

Verstede-lijkingsnota" is eveneens gewezen op de wenselijkheid om met name een ruimtelijke dis aggregatie door te voeren voor grootschalige

evaluatie-.

***)

vraagstukken op regionaal of landsdeeln1veau . Het is derhalve

nood-zakelijk dat in het onderhavige rapport nader wordt ingegaan op de

technisch-methodische konsekwenties van deze handelwijze.

*) De verschillende meetschalen (ratio-, interval-, ordinale- en

nominale schaal) worden ui tvoerig behandeld door o.m. Torgerson (1958).

_*)

Zie Voogd

&

Boonstra (1977-a), par. 5.3, blz. 72 e.v.

1-4

Bij een multikriteria-evaluatieprocedure uit het normatieve aspekt zich ondermeer in het vaststellen van prioriteiten die meestal in de

vorm van gewichten moeten worden geëxpliciteerd. Onder een gewicht

wordt hier een maat verstaan voor de relatieve waarde van een kriterium ten opzichte van de andere te gebruiken kriteria. Het vaststellen van

dergelijke gewichten is tot dusverre altijd een belangrijk diskussiepunt geweest. In tussenrapport 1 is daarom een verkenning uitgevoerd van een aantal meet- en schalingsmethodendie eventueel voor de prioriteiten-bepaling gebruikt zouden kunnen worden. In dit rapport wordt de draad

van tussenrapport 1 weer opgevat en wordt wat nadrukkelijker ingegaan

op de feitelijke gebruikswaarde van meet- en schalingsmethoden voor

evaluatieprocedures.

Resumerend kan gesteld worden dat het doel van tussenrapport 4

vier-delig is:

a) het verschaffen van inzicht in en richtlijnen voor het gebruik van de multikriteria-evaluatiemethoden die in principe mogelijk zijn;

b) het bestuderen van evaluatiemethoden voor het verwerken van kwali-tatieve datasets;

c) het operationaliseren van het principe van zonale evaluatie;

d) het testen en evalueren van meet- en schalingsmethoden ten behoeve

van de prioriteitenbepaling.

1.3. Opzet tussenrapport 4

Gekozen is voor een afzonderlijke behandeling van de materie in

vier afzonderlijke delen. In deel I wordt de problematiek van tussen-rapport 4 nader ge!ntroduceerd. In hoofdstuk 2 wordt een typering van het evaluatievraagstuk gegeven, dat ten grondslag ligt aan de methoden die in dit rapport worden besproken. Vervolgens wordt aan de hand van de literatuur een overzicht gegeven van de verschillende multikriteria-evaluatiemethoden. De struktuur van hoofdstuk 3 is nagenoeg identiek

aan het daaraan voorafgaande hoofdstuk, maar in dit geval wordt een overzicht gegeven van de belangrijkste meet- en schalingsmethoden.

1-5

In deel 11 komt de technische uitwerking van de diverse methoden aan de orde. Allereerst wordt in hoofdstuk 4 een nadere toelichting gegeven op de bestudeerde kardinale evaluatiemethoden, waarna in hoofdstuk 5 de or-dinale methoden worden behandeld. In hoofdstuk 6 vindt een bespreking plaats van de bestudeerde meet- en schalingsmethoden. Hoofdstuk 7 is daarna in zijn geheel gereserveerd voor een uitwerking van het principe van zonale evaluatie. Tenslotte wordt deel 11 besloten met een beschou-wing over de onzekerheden die gepaard gaan met een toepassing van mul-tikriteria-evaluatiemethoden (hoofdstuk 8).

In deel 111 staat de praktische toepassing van de diverse methoden cen-traal. Om van de methoden het feitelijke eedrag op een numeriek voor-beeld te analyseren, is een Monte-Carlo-analyse uitgevoerd.

Hierbij worden de verschillende methoden op een groot aantal (random ge-kozen) datasets toegepast en onderling vergeleken, waardoor inzicht wordt verkregen in de kans dat de uitkomst van een bepaalde methode verschilt van een andere methode. De resultaten van deze exercities worden in hoofdstuk 9 beschreven. Hoofdstuk 10 is in zijn geheel ge-wijd aan een praktische vergelijking van een aantal preferentiemeet-methoden. Daartoe is een enquête uitgevoerd, waarbij een vijftal metho-den op meerdere aspekt en nader is onderzocht. Deel 111 wordt besloten met hoofdstuk 11, waarin de diverse methoden worden geïllustreerd door middel van een evaluatie van de zgn. Midden Randstad alternatieven. De-ze case-study is uitgekoDe-zen vanwege de beschikbaarheid van een kardi-nale dataset op zonaal niveau, hetgeen het probleem geschikt maakte VOor een toepassing van het totale skala van evaluatiemethodieken.

Dit tussenrapport wordt afgesloten door deel IV, waarin de slotkonklu-~ met betrekking tot dit onderdeel van het onderzoek staan vermeld. Daarbij is een onderscheid aangebracht tussen de konklusies ten aanzien van de technische aspekten (hoofdstuk 12) en de konklusies met betrek-king tot de praktische aspekten van multikriteria-evaluatiemethoden

1-6

2. MULTIKRITERIA EVALUATIEMETHODEN: EEN OVERZICHT

2.1. Inleiding

Er kan globaal een viertal kategorieën evaluatiemethoden worden onderscheiden (zie o.m. Voogd 1977-b): a) de monetaire beoordelings-methoden, waarbij getracht wordt om de konsequenties van de diverse keuzemogelijkheden in geldswaarde uit te drukken; b) de participatie-methoden, waarbij het accent wordt gelegd op de deelname van zoveel mogelijk betrokkenen bij een planningsproces; c) de overzichtstabel-methoden, die richtlijnen bevatten voor het tabelleren van alle moge-lijke gevolgen van een keuzemogelijkheid, en, tenslotte, d) de

multikriteria-methoden, waarbij de nadruk ligt op het gebruik van meerdere, veelsoortige, kriteria als maatstaf om tot een beoordeling van keuzemogelijkheden te

komen~),

De volgorde, waarin deze kategorieën hier zijn geplaatst, is op zich tevens een indikatie van de volgorde waarin deze methoden in het planologisch onderzoek zijn gelntroduceerd. Door de onvrede met de beperkte mogelijkheden van monetaire evaluatie-methoden (bijv. de kosten-baten analyses) werd op lokaal planningsniveau steeds meer aandacht geschonken aan de participatiemethoden. Men hoopte dat hierdoor de verschillende waardeoordelen beter bij de beoordeling van keuzeproblemen tot hun recht zouden komen. Op regionale schaal werd de aandacht, met name in Groot-Britannië, al spoedig verlegd naar de overzichtstabel-methoden. Een van de bekendste voorbeelden is ongetwijfeld de planning balance sheet van Lichfield (zie o.a. 1966, 1968, 1975) en de goals-achievement account van HilI (1967, 1968, 1973). Beide benaderingen gaan van de gedachte uit dat de verant-woordelijke beleidsvoerders zelf maar de in tabelvorm vervatte informa-tie moeten kornprimeren tot een oordeel (c.q. keuze). Dat beleidsvoerders deze taak niet onder alle omstandigheden willen of kunnen vervullen, blijkt uit de aggregatie-aktiviteiten, die zowel HilI als Lichfield op hun tabellen

uitvoeren~~)

.

~) Om misverstanden te voorkomen dient opgemerkt te worden dat deze klassifikatie niet disjunkt is; er zijn methoden die de kenmerken van meerdere kategorieën bezitten(zie o.a. Voogd 1976-a).

~~) Dat dit soms tot diskutabele handelingen leidt, wordt geïllustreerd door Voogd (1976-a), blz. 50 e.v.

1-7

Gegeven de hiermee gepaard gaande problemen, is de toenemende aandacht voor multikriteria-evaluatiemethoden begrijpelijk. In het laatste decen-nium zijn dan ook talrijke varianten van deze benadering ontwikkeld. In paragraaf 2.3 wordt hiervan een overzicht gegeven. Alvorens hiertoe

wordt overgegaan zal eerst een nadere definitie van de problematiek wor-den gegeven. Een paragraaf met voorlopige konklusies besluit dit hoofdstuk.

2.2. Definitie van het probleem

De kern van vrijwel iedere multikriteria-evaluatiemethode wordt gevormd door een zgn. effektiviteitenmatrix, waarvan de kolommen de keuzemoge-lijkheden (bijv. planalternatieven) en de rijen de verschillende as pek-ten (kriteria) betreffen op grond waarvan een beoordeling plaatsvindt. Per aspekt wordt dus een waardering toegekend aan de diverse keuzemoge-lijkheden. In figuur 2-1 wordt een schematisch voorbeeld gegeven van een effektiviteitenmatrix.

~

KEUZEMOGE-LIJKHEDEN A B C D E ASPEKTEN

~

kriterium 1 kriterium 2 kriterium 3 kriterium 4 ---- waarderingen

-kriterium 5 kriterium 6

- figuur 2-1 Voorbeeld van een effektiviteitenmatrix

-Tesamen geven deze waarderingen van de effektiviteitenmatrix een indruk van de "kwaliteiten" van deze diverse keuzemogelijkheden. Deze indruk kan echter verschillen per beoordelaar, omdat de im-portantie van de diverse kriteria per individu kan verschillen. Op basis van de informatie uit figuur 2-1 kunnen derhalve niruner al-gemene konklusies over het al dan niet superieur zijn van bepaalde keuzemogelijkheden worden getrokken zonder dat een dergelijke konklu-sie in relatie wordt gebracht met de mate van belangrijkheid van de onderkende kriteria~).

~) Een uitzondering wordt gevormd door die gevallen, waarbij een keuzemogelijkheid voor alle kriteria een betere waardering krijgt dan een andere keuzemogelijkheid. In dat geval is de eerstgenoemde keuzemogelijkheid - ongeacht de prioriteiten van de kriteria- volledig dominant. Een dergelijke analyse staat bekend onder de naam

1-8

Om tot één maatstaf voor de keuzemogelijkheden te kunnen komen moeten aan de beoordelingskriteria gewichten of prioriteiten worden toegekend. Eerst nadat deze waardeoordelen geëxpliciteerd zijn, kunnen de waarde-ringen uit de effektiviteitenmatrix via een aantal "rekenregels" worden gekomprimeerd tot een eindoordeel over de keuzemogelijkheden. Afhanke-lijk van het type multikriteria-methode, moeten de prioriteiten van de kriteria op een ordinale dan wel kardinale schaal worden gemeten. Ze kunnen tevens per keuzemogelijkheid verschillen (zgn. niet-lineair verband tussen prioriteit en kriteriumwaardering), doch dit is meestal niet zo gebruikelijk. Dikwijls wordt verondersteld dat de importantie van een bepaald kriterium niet verschilt per keuzemogelijkheid (d.w.z.

er wordt een lineair verband verondersteld).

In een ruimtelijk planningsproces kan een dergelijke verzameling pri-oriteiten van een bepaald aantal kriteria opgevat worden als een expli-citering van een bepaald type "beleid"s;). Omdat ten aanzien van een ruimtelijk probleem vaak een breed spektrum van verschillende -soms

diametraal tegenover elkaar staande - meningen kan bestaan, is een

komprimering van de informatie uit de effektiviteitenmatrix eerst dan

zinvol als deze is "ingebed" in soortgelijke exercities, waarbij

ook andere "beleidsrichtingen" (prioriteitensets) zijn gebruikt. In hoofdstuk 3 en deel IV wordt hier nog nader op teruggekomen. Op deze plaats zij alleen vermeld dat het wenselijk is om een evaluatie van keuzemogelijkheden te baseren op meerdere, verschillende prioriteiten-of gewichtensets, zoals in figuur 2-11 wordt geïllustreerd.

~ASPEKTEN

BELEIDSRICHTINGEN~ krit. 1 krit. 2 kri t. 3 krit. 4 krit. 5 krit.

prioriteitenset I prioriteitenset II prioriteitenset III kriteriumgewichten prioriteitenset IV prioriteitenset V

- figuur ?'-II Voorbeeld van de voor een multikriteria-evaluatie

benodigde normatieve input

-s;) Zie over de moeilijkheden en mogelijkheden van een dergelijke

ex-plicitering in de praktijk: Voogd

&

Boonstra 1977-b, hfd. 5.

6

1-D

Figuren 2-1 en 2-11 geven de basisbestanddelen van een multikriteria-evaluatie weer. Er zijn echter een groot aantal varianten mogelijk. Te denken valt in dit verband aan de verschillende disaggregatiemoge-lijkheden van de effektiviteitenmatrix (zie Voogd

&

Boonstra 1977-a, blz. 73 e.v.). Er is reeds gewezen op de verschillende meetschalen, waarin de waarderingen gemeten kunnen worden, terwijl daarnaast deze waarderingen - i.p.v. deterministisch- ook stochastisch geïnterpre-teerd kunnen worden. Kortom, een komprimering van kriteriumwaarderingen kan op een groot aantal verschillende manieren plaatsvinden. Met andere woorden: er zijn in principe een groot aantal multikriteria evaluatie-methoden beschikbaar om meerdimensionale keuzemogelijkheden te beoor-delen. Het onderzoek Evaplan heeft als doelstelling om tot een (aantal) evaluatieprocedure(s) te komen die zinvol op regionaal- en landsdeel-niveau kunnen worden toegepast. Het onderzoekprobleem kan derhalve als volgt worden geformuleerd:

Welke multikriteria evaluatiemethode(n) is (zijn) het meest geschikt om ruimtelijke keuzemogelijkheden te evalueren, rekening houdende met de praktische omstandigheden waarin dergelijke methoden toegepast moeten worden?

In tussenrapport 3 is uitvoerig op deze praktische omstandigheden ingegaan. Daaruit bleek onder meer dat de tijdsdruk en de kwalitatieve c.q. onvolledige datasituatie belangrijke beperkingen oplegt aan het gebruik van veel multikriteria-methoden. Daarnaast werd gekonstateerd, dat het belangrijk is er zorg voor te dragen dat de principes van de methoden duidelijk kunnen worden gemaakt aan

niet-deskundigen~).

In dit rapport zal getracht worden om - op basis van de huidige inzich-ten een antwoord op bovengenoemde vraagstelling te geven. Daartoe zal in de volgende paragraaf allereerst een overzicht worden gegeven van de inzichten, die in de planologische (en aanverwante) literatuur ten aanzien van deze problematiek worden geëxposeerd.

2.3. Literatuuroverzicht

Multikriteria-evaluatiemethoden kunnen in verschillende hoedanigheden

~) In deel IV van dit rapport en in de eindrapportage zal op deze beoor-delingskriteria worden teruggekomen.

1-10

voorkomen. Om dit overzicht te struktureren, zal allereerst een poging worden ondernomen om deze verschillende hoedanigheden nader te typeren.

De in figuur 2-111 weergegeven typologie is gebaseerd op de kenmerken

van de in- en de uitvoer van de methode. Het moge duidelijk zijn dat daar-naast ook nog een klassifikatie naar "rekenregels" mogelijk is (bijv. gewogen sommeren, permutatie-methoden e.d.). Omdat een dergelijke klas-sifikatie in theorie tot zeer veel klassen kan uitgroeien, zal hier

. 'IE) in deze paragraaf verder nog slechts zijdelings op worden lngegaan .

zonaal

integraal

stochastisch deterministisch

- fif,uur 2-111 Globale typologie van multikriteria-evaluatie-methoden

-Voor de overzichtelijkheid is de typologie van figuur 3 beperkt ge-houden tot een drietal "dimensies,,'lElIf). Deze drie dimensies kunnen als volgt gekarakteriseerd worden: de begrippen "zonaal" en "integraal"

slaan op de ruimtelijke dimensie, namelijk of al dan niet een ruimte-lijke dis aggregatie wordt uitgevoerd; de begrippen "deterministisch" en "stochastisch" hebben betrekking op de aard van de ingevoerde data, bijvoorbeeld of een gewicht wordt voorgesteld door een getal of- in het stochastische geval - door een kansverdeling; de begrippen

"metrisch", "semi-metrisch" en "ordinaal" vertegenwoordigen de dimensie,

die de meetschaal weer geeft van de benodigde informatie. Het begrip "semi-metrisch" heeft betrekking op een drietal mogelijke situaties: lIf) In theorie kunnen zeer veel verschillende funktievormen worden

gespecificeerd, die ieder op zich tot een andere "methode" leiden. Zie deel 11 van dit rapport.

'IE'IE)Geen rekening is bijv. gehouden met de tijdsdimensie (zeer moeilijk specificeerbaar vanwege onzekerheden).

1-11

ofwel de gewichten zijn op een ratio-of interval schaal bepaald en de effektiviteitenmatrix op een ordinale schaal, ofwel omgekeerd

(n.l. effektiviteitenmatrix metrisch en gewichten ordinaal), ofwel een gemengde samenstelling van de effektiviteitenmatrix; voor sommige kriteria zijn de keuzemogelijkheden metrisch gewaardeerd, terwijl voor andere kriteria een ordinale waardering is gegeven.

Van de twaalf verschillende mogelijkheden, die in fieuur 2-111 staan aan-gegeven kan in de planningsliteratuur slechts een enkele worden terug-gevonden. De meeste aandacht is in het verleden ongetwijfeld uitgegaan naar de integrale,metrische,deterministische multikriteriamethoden. Deze zijn blijkens een publikatie van Boyce e.a. (1970), in de jaren zestig in het planologisch onderzoek geintroduceerd. Uit de door voor-noemde auteurs verrichte case-studies blijkt dat in de Verenigde

Staten reeds rond 1965 in een aantal toonaangevende planstudies gebruik werd gemaakt van evaluatiemethoden, die echter eerst enkele jaren later officieel zijn gepubliceerd (zie o.m. HilI 1966, Jessiman e.a. 1967, Schimpeler

&

Grecco 1967, Schlager 1968). Kenmerkend voor de methoden is, dat ze alle gebaseerd zijn op het principe van de gewogen sommatie van kriteriumwaarderingen. Het is daarnaast opvallend dat de meeste van deze methoden geïntroduceerd zijn als instrumenten voor verkeers- en vervoersonderzoek. Het principe van "gewogen sommeren" is ook buiten de Verenigde Staten veelvuldig toegepast; zie bijvoorbeeld Stanley

(1974), Strassert (1973) Mackie

&

King (1974), De Goede (1974). Hier-aan kleeft een belangrijk nadeel. Door deze vorm van aggregatie komt de informatie uit de effektiviteitenmatrix onvoldoende tot haar recht

(zie Voogd 1976-a, blz. 78). Er is derhalve in de literatuur vrij veel aandacht voor methoden die di t probleem beter ondervangen. In navolging van in Frankrijk verricht onderzoek op dit gebied (zie Buffet e.a. 1967, Benayoun e.a. 1966, Guigou 1971) is met name in Nederland veel aandacht geschonken aan de verbeteringen van metrische, deterministische multikriteria-methoden. In eerste instantie gold de aandacht vooral voor de zgn. Electra-methode, die voor het eerst uitvoerig in Nederland werd geïntroduceerd door Van der Meer

&

Opschoor (1973) met een lokatie-analyse van de derde Nationale Luchthaven. Nadien volgen de verschillende pu-blikaties over soortgelijke methodieken elkaar in snel tempo op: Nijkamp

(1974), Damen (1974), Van Doorne (1974), Voogd (1975), Nijkamp & Vos (1975), Hordijk e.a. (1976~ Voogd (1976-a, b, c), Van Delft

&

Nijkamp (1976, 1977). Het is overigens opvallend dat in de buitenlandse planningsliteratuur in de jaren zeventig verder weinig aandacht is besteed aan de technische

1-12

verbeteringen van mu1tiktiteria-eva1uatiemethoden (een uitzondering hierop vormt bijvoorbeeld HilI & Tzamir 1972).

Daarnaast moet opgemerkt worden dat door geen van de hiervoor genoemde auteurs expliciet aandacht is besteed aan de konsekwenties van de vele funktiespecifikaties, die binnen een bepaald type methode nog mogelijk zijn (bijv. de definities van de "indices" bij een konkordantie analyse).

Het tweede "hokje" van figuur 2-111, waar in de planningsliteratuur nog wat over teruggevonden kan worden, betreft de integrale, ordinale deterministische multikriteria methoden. In de meeste gevallen ver-onderstelt men dat de ordinale gegevens (= rangnummers) beschouwd kunnen worden als kardinale grootheden, waarna de gebruikelijk reken-kundige bewerkingen kunnen worden uitgevoerd die ook bij reetrische methoden gehanteerd worden; zie ondermeer Schlager (1968), HilI (1968), Bernard

&

Besson (1971), Nijkamp (1976-a,-b), Kutsch Lojenga

&

Nijkamp

(1977). Een theoretisch konsistentere behandeling van ordinale gegevens treffen we aan bij Holrnes (1972), die een lexikografische benadering voor-stelde: het "beste" alternatief is dat alternatief welke de beste

waardering heeft op het belangrijkste kriterium, ongeacht de waarderingen op de overige kriteria. De reakties, die deze methode opriep, maken duidelijk dat een dergelijke simpele gedachtegang geen genade heeft ge-vonden in de vakwereld: zie ondermeer KettIe

& Whitbread

(1973) en Nowlan (1975). Een ingenieuze aanpak van ordinale evaluatievraagstukken kan worden aangetroffen bij Paelinck (1975, 1976) en Mastenbroek

&

Paelinck (1976), die gebruik maken van een permutatiemethode. Een bezwaar, welke men aan deze benadering zou kunnen toekennen, is dat er impliciet toch met ordinale informatie wordt gerekend. Er vindt een binaire interpretatie van de rangordes plaats, waarmee vervolgens op-telhandelingen worden verricht.

Van de integrale, semi-metrisch deterministische methoden komen in de literatuur slechts twee van de drie varianten voor. Van Doorne (1974) en Jacquet- Lagreze (1969) beschrijven een methode om keuzemogelijk-heden te evalueren aan de hand van metrische en ordinale effektivi-teitenskores, terwijl Kolfoort

& Nijkamp (1977) enkele procedures

heb-ben ontwikkeld voor een evaluatie met behulp van ordinale gewichten en metrische effektiviteitenskores. Uit de literatuur zijn geen voor-beelden bekend van methoden, die specifiek zijn toegesneden op het verwerken van een effektiviteitenmatrix waarvan een deel van de

elemen-1-)3

ten uit ordinale grootheden en een ander deel uit metrische (kardinale) grootheden bestaat.

Van de drie hiervoor genoemde kategoriën kunnen ook "zonale" versies (i.p.v. "integrale" versies) worden onderscheiden. Dit impliceert dat een zonale disaggregatie van de effektiviteitenmatrix en kriterium-gewichten is doorgevoerd, hetgeen met name relevant is voor de evaluatie van plannen e.d. op regionaal of landsdeelniveau. Tot op heden is als een "voorstudie" van het onderhavige onderzoek alleen een zonale, metrisch deterministische versie van een konkordantie analyse gepu-bliceerd (Voogd 1976-d). Andere zonale multikriteria-evaluatiemethbden

zijn niet in de literatuur gesignaleerd, hetgeen impliceert dat

zonale ordinale en semi-metrische versies momenteel nog niet ontwikkeld zijn. Een soortgelijke konklusie kan ook getrokken worden voor de

stochastische multikriteria evaluatiemethoden, waaraan in de kontekst van de ruimtelijke planning tot op heden alleen door Nijkamp (1976-c) praktische aandacht is besteed. Volgens de typologie van figuur 2-111 gaat het hierbij om een integrale, metrisch stochastische methode.

Tenslotte moet nog gewezen worden op een aantal interessante artikelen, waarin nader wordt ingegaan op de mogelijkheden die

gevoeligheidsana-lyses kunnen bieden: zie o.a. Mackie

&

King (1974), Van Delft

&

Nijka~p

(1976), Van Staalduine (1977). Het betreft hier allemaal exercities op integrale, metrische methoden.

In het bovenstaande overzicht is aandacht geschonken aan literatuur

op het gebied van evaluatie in de ruimtelijke planning. Veel van deze

literatuur is direkt of indirekt be1nvloed door soortgelijke ontwik-kelingen in andere wetenschapsvelden; bijvoorbeeld in de mathematische psychologie, de operations research, de politieke wetenschappen en de onderwijskunde. Relevante overzichtsliteratuur in dit verband is onder-meer Keeney& Raiffa (1976), Fishburn (1964, 1970) en Quade (1976).

1-14

2.4. Voorlopige konklusies

Tot op heden is in de literatuur op het gebied van de ruimtelijke eva-luatie vrij sterk de nadruk gelegd op het ontwikkelen van zgn. metri-sche multikriteria-methoden; relatief weinig aandacht is besteed aan methoden die van zgn. kwalitatieve (d.w.z. ordinale of semi-metrisch~l data gebruik kunnen maken. Opvallend is verder dat nagenoeg alle lite-ratuur handelt over deterministische methoden. Dit kan tenminste een tweetal oorzaken hebben: ofwel stochastische methoden zijn nog "onvol-doende ontdekt" door de onderzoekers die zich met evaluatie bezig hou-den, ofwel stochastische methoden zijn te "komplex" en vereisen teveel "invoer". We komen op deze problematiek terug in hoofdstuk 8.

Daarnaast valt op dat de ruimtelijke dimensie nog nergens expliciet in multikriteria-methoden is verwerkt, terwijl een zonale dis aggregatie van de datamatrices juist voor regionale evaluatieproblemen die nuan-cering kan aanbrengen welke juist op dit planningnivo zo essentieel is. In tussenrapport 3 van het onderhavige projekt is in dit verband bijvoorbeeld gewezen op de noodzaak om de stedelijke problematiek in het Westen des Lands per gemeente afzonderlijk te bekijken, omdat iede-re plaats zijn "eigen" ruimtelijk-funktionele struktuur heeft.

In dit hoofdstuk is een klassifikatie van multikriteria methoden gege-ven, die gebaseerd is op de karakteristieken van de in- en uitvoer van de methoden. Dit is ondermeer voortgevloeid uit een konstatering tij-dens ons onderzoek dat de "traditionele" indeling in gewogen sommeren, konkordantie-analyses, permutatie-methoden e.d. een minder duidelijk en essentieel onderscheid tussen de verschillende mogelijkheden aan-bracht dan de typologie van figuur 2-111. Dit neemt echter niet weg dat de gebruikelijke indeling wel een goed aanknopingspunt vormt om de verdere analyses in dit rapport op te baseren, mede omdat dit de voor-naamste wapenfeiten bevat van het ruimtelijk evaluatieonderzoek tot op heden.

1-15

3. PREFERENTIE MEET- EN SCHALINGSMETHODEN: EEN OVERZICHT

3.1. Inleiding

In dit hoofdstuk wordt een globaal overzicht gegeven van meet- en scha-lingsmethoden, die ten behoeve van de gewichtenbepaling voor multikri-teria-evaluatiemethoden tot op heden gebruikt zijn.

Daartoe zal allereerst een nadere definitie van het probleem worden gegeven, waarna aan de hand van een literatuuroverzicht een indruk wordt gegeven van de mogelijkheden om prioriteiten op numerieke wijze te expliciteren. Een paragraaf met voorlopige konklusies besluit dit hoofdstuk.

3.2. Definitie van het probleem

In het vorige hoofdstuk is reeds gewezen op de noodzaak om voor het toepassen van een multikriteria-evaluatiemethode een gewichtenset vast te stellen, waarmee de relatieve importantie van kriteria ten opzichte van elkaar tot uiting wordt gebracht. Uit toepassingen van evaluatiemethoden is gebleken dat de gewichten van doorslaggevende betekenis zijn voor de einduitkomsten.In sommige gevallen levert reeds een geringe variatie van afzonderlijke gewichten een ander eindresul-taat op. De totstandkoming VRn een d~rgelijke gewichten is dus erg belangrijk.

Er zijn globaal een drietal mogelijke ingangen om tot een gewichtenset te komen:

a. Op grond van waargenomen gedrag;

I

Hierbij wordt door middel van een analyse van het feitelijke "ge-drag" van personen, groepen of instanties een schatting gemaakt van

de invloed die bepaalde faktoren op dit gedrag hebben gehad. Deze aanpak, die vooral in bepaalde sektoren van de economische wetenschap tot goede resultaten heeft geleid (bijv. in konsumenten-onderzoek), kent veel varianten (zie bijv. Frisch (1974) en Nijkamp

&

Somermeyer (1971). Desondanks is deze benadering binnen een

ruim-telijke evaluatiekontekst minder zinvol, omdat de op een dergelijke wijze vastgestelde gewichten duidelijk een status-quo-impressie

zul-len geven, hetgeen in de meeste gevalzul-len niet bij een evaluatie I)

verlangd wordt.

1-16

b. door het poneren van alternatieve beleidsrichtingen;

In dit geval wordt door de onderzoeker een aantal alternatieven ge-wichtensets gespecificeerd, die ieder voor zich een bepaald "type" beleid representeren. Zo kan men in iedere gewichtenset een bepaalde beleids "topic" weergeven, bijvoorbeeld door een accentuering van de milieu-kriteria of de ekonomische kriteria. Een toepassing van deze

benadering treft men onder meer aan bij Nijkamp (1975) en Paelinck (1976). Het moge duidelijk zijn dat deze aanpak zich beter leent voor ordina-Ie evaluatiemethoden dan voor kardinale evaluatiemethoden. Immers, in het laatste geval moeten de gewichten op een interval- of ratioschaal worden weergegeven, hetgeen een te grote "nauwkeurigheid" is voor de "globale" beleidsrichtingen die over het algemeen onderkend kunnen

~)

worden . Bij ordinale gewichtensets speelt dit probleem vanzelfspre-kend minder mee, omdat de ordinale schaal meer in overeenstemming is met het kwalitatieve karakter van de beleidstyperingen.

c. op grond van preferentie-analyses;

Hierbij wordt door middel van een enkète onderzocht welke mate van belangrijkheid de respondenten toekennen aan de voor de evaluatie te gebruiken kriteria. Een toepassing van deze aanpak treft men onder meer aan bij Hordijk et.al. (1975, 1976).

Alhoewel deze benadering duidelijk tijdrovender is dan de aanpak die onder b. is vermeld, heeft zij het voordeel dat een beter inzicht kan worden verkregen in de meningsverschillen die er ten aanzien van een bepaalde problematiek bestaan.

Resumerend kunnen we dus stellen dat van de drie mogelijke ingangen in feite alleen de benaderingen b. en c. op zinvolle wijze binnen een ruimtelijke evaluatiekontekst geoperationaliseerd kunnen worden. Omdat de onder b. genoemde aanpak vanwege haar eenvoud nauwelijks verder geanalyseerd be-hoefd te worden, is in het onderzoek Evaplan hoofdzakelijk aandacht geschonken aan de preferentie-analyses als mogelijkheid om tot gewichten voor multikriteria-evaluatiemethoden te komen. Het onderzoekprobleem luidt derhalve als volgt:

::IE) Het is gemakkelijker om te stellen dat kri terium A belangrijker is dan kriterium B, dan dat het gewicht van A en B gelijk is aan .85 resp . . 65. Het moge duidelijk zijn dat in het laatste geval evengoed bijv • • 87 en .64 gekozen hadden kunnen worden, hetgeen evenwel tot andere uitkomsten kan leiden" Een gevoeligheidsanalyse (zie hfdst. 8 ) is in dit geval dus zonder meer noodzakelijk"

- - - = = = = - - -

-1-17

"welke preferentiemeetmethoden zijn het meest geschikt om ten behoeve van de eewichtenbepaling voor multikriteria-evaluatiemethoden gebruikt te worden?"

In de volgende paragraaf zal getracht worden om aan de hand van de li-teratuur een overzicht te geven van de huidige inzichten met betrekking tot bovenvermeld probleem.

3.3. Literatuuroverzicht

Tot voor kort is in de planologische literatuur erg weinig aandacht ge-schonken aan het meten van prioriteiten. Voor een deel kan dit terug-gevoerd worden op het feit dat systematische planningsmethoden tot voor enkele jaren van planologische zijde nauwelijks enige aandacht kregen. Daar waar dit wel gebeurde, werd over het onderhavige probleem slechts in zeer globale termen gesproken. In veel gevallen werd volstaan met een konstatering: "The goals a, b, etc. have relative weights of 2, 3, etc., which have been determined by study of the community's aspirations and problems~. (McLoughlin 1969, pp. 276).

Ook Chadwick (1971) komt in zijn handboek - na een uitvoerige uiteen-zetting van de problemen rond een zgn. "social welfare function" - niet veel verder dan de konklusie dat "A measure of the relative importance of objectives is difficult to arrive at, as we have seen, but is important to evaluate proposed actions against.all the objectives for the payoff 'mix', ••..•• " (pp. 136). De bijzin "as we have seen" slaat

hierbij op het probleem om langs "technische" weg individuele voorkeu-ren te aggregevoorkeu-ren tot maatschappelijke voorkeuvoorkeu-ren.

Zelfs in de specifiek over ruimtelijke evaluatie handelende literatuur wordt het meten van prioriteiten nauwelijks behandeld. HilI (1973) maakt zich wel heel gemakkelijk van het probleem af, door te stellen dat: "For each objective and for each alternative course of action, costs and benefits are compared, aggregated where possible, and

reported separately. The decision-maker is then in a position to weight alternative courses of action against each other". (pp.

271~

Een posi-tieve uitzondering wordt gevormd door Friend

&

Jessop (1969) en

Lichfield e.a. (1975). De eerstgenoemde auteurs suggereren het

wegings-*

Het dualisme in zijn betoog wordt nog op dezelfde bladzijde duide-lijk gemaakt als hij "the decision-maker" inwisselt voor "the community": "The weighting that is introduced into the analysis is that which reflects the community's valuation of each of the various objectives, and its valuation of appropriate incidence of benefits and costs".

1-18

probleem op te lossen door verschillende zgn. "trade-off rates", in-klusief de hieruit resulterende evaluatieuitkomsten, aan de beslissers te overleggen, waarna de meest wenselijk geachte prioriteitenset ge-kozen kan worden. Globaal korrespondeert deze benadering met de in de vorige paragraaf onder b} genoemde aanpak. De gewichtenbepaling wordt door Lichfield e.a. met name bij de bespreking van de Coventry-Solihul1-Warwickshire study aan de orde gesteld. Hierbij worden de volgende meetmethoden besproken: puntentoekenning; rangschikking van de vijf belangrijkste kriteria, gekombineerd met een beoordeling van alle kri-teria op een driepuntsschaal; en de "willingness to pay" benadering. De eerste methode wordt door Lichfield e.a. ongeschikt geacht, omdat deze aanpak uitgaat van een gefixeerd aantal punten, dat over de kri-teria verdeeld moet worden. Dit impliceert, volgens de auteurs, dat deze benadering "dictates th at the individual must exhaust his entire budget of points among that set of items (or objectives) under con-sideration." (PP. 218). Zij betogen derhalve dat deze aanpak om deze reden ongeschikt is, omdat bij het toekennen van gewichten ook de in-vloed van andere, niet bij de evaluatie betrokken, aspekten moet door-werken. "His choice cannot be restricted to those items relevant to the comparison of the proposals, since he does not receive income specifically for making relative valuations of certain items. ( •••• ) The values he places on items included in the evaluation will reflect the amounts of satisfaction he obtains from them in relation to the satisfactions to be obtained from all other items which he may consume". (pp. 219). De auteurs geven daarom de voorkeur aan een "money-weighting" systeem: "We suggest th at the willingness to pay criterion is most useful when the greatest possible number of items of value are used to establish the values of those items associated with the planning proposals." (pp. 218). Deze konklusie wordt echter in het begin van het boek tegengesproken - hetgeen wel vaker gebeurt als meerdere ko-auteurs optreden - doordat gewezen wordt op het feit dat de "willingness to pay" in sterke mate afhangt van het inkomensnivo. "However, whilst in principle i t may be possible to make comparisons of utility changes as between different individuals, no one has yet put forward an

ac-ceptabl~ method for doing so. The best we can do at present is to guess at people's marginal utilities, which is not very helpful. Since we have not yet solved this measurement problem we use the willingness to pay (or be compensated) criterion as a second-best approach in

deter-- - -

-1-19

mining relative values". (pp. 71) . Over de rangschikking zijn Lichfield 3E) e.a. vrij kort: "Ranking objectives is obviously a far cruder and less

reliable method of determining the relative values placed on their

achievements than that of assigning cardinal numbers". (pp. 2~21. Een

kardinale meetmethode verdient om deze reden, volgens de auteurs, de voorkeur. Van Delft en Nijkamp (1977) behandelen, naast de revealed preference benadering, een aantal varianten van de puntentoekenning methode. Deze varianten hebben allen betrekking op situaties, waarbij

een groot aantal kriteria onderling moeten worden afgewogen. De auteurs

suggereren in dit geval ondermeer een onderverdeling van de kriteria

in een aantal kategorieën, waarna per kategorie een puntentoekenning

kan plaatsvinden. Daarnaast wordt de mogelijkheid geopperd om via

mul-tivariatie technieken (faktor-analyse e.d.) tot een reduktie van het

aantal kriteria over te gaan.

Een interessante methode, waarvan de praktische toepasbaarheid echter momenteel nog vrij onduidelijk is, wordt door Hoinville (1971)

beschre-ven. Bij deze methode werd rekening gehouden met respektievelijk de

"huidige situatie" van de respondent, de situatie waar de preferenties op moesten slaan en de intensiteit van de variabelen die hierbij te

onderkennen waren. Hoinville's onderzoek was gebaseerd op interviews

met groepen mensen die verschillende ervaringen hadden met de

variabe-len die bestudeerd werden. De respondenten werden ondermeer met behulp van tekeningen gekonfronteerd met de verschillende intensiteiten per variabele (bijvoorbeeld veel versus weinig geluidshinder), waarna hun verzocht werd hun huidige situatie hieruit te selekteren. Vervolgens moesten zij met behulp van een speciaal voor dit doel ontworpen

elek-tronisch apparaat ("The priority evaluator") hun wensen over de be-treffende variabelen kenbaar maken: "the mechanism we used for the research took the form of an electrified questionnaire which could be used almost as a game. 1t had many attractive features: husband and

wife could deliberate together and indicate their combined preferenceSj

i t was fairly easy for people to usej it avoided a lot of ment al arithmetic;it provided flexibilityj and it presented respondents with quite a wide range of combinations from which they could choose. "

(pp.42).

Overigens ademt ook het werk van Lichfield e.a. nog duidelijk de sfeer van een "social welfare" benaderingj het streven naar een maatschappelijk aanvaardbare oplossing, waarbij de politieke kontekst van de planning nauwelijks in de beschouwingen wordt betrokken.

1-20

De puntentoekenning komt ook bij Voorhees (1965) als belangrijkste methode naar voren, evenals bij Eekhoff

&

Zahl (1974). Laatstgenoemde auteurs suggereren echter om deze punten toe te kennen aan "paren" kriteria, d.w.z. alle kriteria worden "verbonden" met één "richt"kri~

terium, waarna de beoordelaars de "afstand" moeten aangeven tussen ieder kriterium en dit "richtkriterium". Overigens vinden Eekhoff

&

Zahl dat de politici zelf deze gewichten moeten toekennen.

De meeste literatuur over preferentiemeetmethoden kan - zoals ook al in tussenrapport 1 uiteen is gezet - worden aangetroffen bij niet-ruim-telijk geörienteerde disciplines zoals de psychologie en een aantal ekonomische specialisaties (bijv. konsumenten research, marketing e.d.).

In deel 11 zal hier nader op worden teruggekomen.

3.4. Voorlopige konklusies

Er is in de planologische literatuur tot op heden nog vrij weinig aan-dacht geschonken aan methoden voor de bepaling van gewichten (prioriteiten, preferenties e.d.). Wellicht moet de belangrijkste oorzaak van dit

verschijnsel gezocht worden in het feit dat de in het verleden gebruik-te planningskoncepties, -methoden e.d. nauwelijks de behoefte aan~

kweekten om tot een expliciete, numerieke prioriteitenbepaling over te gaan. Naarmate de systematiseringsgedachte aan het einde van de jaren zestig de planningmethodologie sterker begint te beïnvloeden, ontstaat echter een steeds grotere aandacht voor het onderhavige probleem. Hier-bij springen een tweetal aspekt en in het oog: de (al dan niet implicie-te) belangstelling die veel auteurs toch nog koesteren voor een "maat-schappelijke" gewichtenset (dit in navolging van de in de economie be-kend staande "social welfare function"} en de ietwat eenzijdige belang-stelling voor de puntentoekenning.

In deel IV van dit rapport zal nader worden teruggekomen op boven-staande aspekten. Daarin zal, mede op grond van de inzichten uit een empirische analyse van een aantal meetmethoden (zie hoofdstuk 7 en 11) , een oordeel worden geveld over a) de gebruikswaarde van de bestudeerde meetmethoden en b) de gebruikswaarde van preferentie-meetmethoden voor multikriteria-evaluatie ten opzichte van andere (in 3.2 genoemdet be-naderingen.

LITERATUUR

Benayoun, R., B. Roy

&

N. Sussman

Bernard, G.

&

M.L. Besson

Boyce, D.E., M.D. Day

&

C. McDonald.

Buffet, P., J.P. Greeny,

M. Marc & B. Sussman

Chadwick, G.

Coombs, C.H. Damen, J.e.G.

Delft, A. van

&

P. Nijkamp

Delft, A. van

&

P. Nijkamp

Doorne, W. van

Eekhoff, J.

&

J. Zahl

Goede, C.G. de

1-21

Manuel de rêference du programme Electra.

Note de Synthèse et Formation

,

no

.

25

,

Direction Scientifique SEMA (1966). Douze mêthodes d'analyse multi-critère.

Revue Française d

'

informatique et de

Recherche opérationelle

.

Vol. 5 (1971) no. 3, pp. 19-66. Metropolitan Plan Making; an analysis of experience with the preparation and evaluation of alternative land use and transportation plans.

Monograph Series

,

Regional Science. Research Institute, Philadelphia (1970). Peut-on Choisir en Tenant Compte de Critères MultipIes?, Metra, vol. 6, no. 2, pp. 283-316 (1967).

A

systems

view of planning

;towards

a

theory of the urban and regional planning process. pergamon Press, Oxford (1971).

A theory of data

,

New Vork, Wiley (1964) .

Enkele multicriteria methoden voor plaats-keuze problemen met een toepassing voor

een bos in de Lopikerwaard.

Nota ICW

803 (1974).

A Multi-Objective Decision Model for

Regional Development, Environmental Quality Control and Industrial Land use,

Papers of the Regional S ience AS8ocia

-tion

,

vol. 36, pp. 15-37 (1976).

Multi

-

Critena Analysis and Regional Deci

-sion

-

Making

,

Hartinus Nijhoff, Den Haag,

(1977).

r.~ulticriteria analyse,

Nota ICW

805

(1974)

.

.

Zielfindung und Zielgewichtung in der

Stadtentwicklungsplanung bei unvolkom

-mener Information,

Raumforschung und

Raumordnung

,

32 Jahrg. (1974), 26-48. Alternatieven voor een spoorlijntracê

door Lelystad.

Flevobencht nr

.

94

.

Rijksdienst IJsselmeerpolders, Lelystad (1974).