Twee Decision Support Systemen op Waarde Geschat

Twee Decision Support Systemen op Waarde Geschat

Bibliotheek TU Delft

1111111111111

Twee Decision Support Systemen

op Waarde Geschat

P.A. H. M. Mantelaers

A.J. Koeleman

P.C. Molengraaf

Uitgegeven en gedistribueerd door: Delftse Universitaire Pers

Stevinweg 1 2628 CN Delft Tel. (015) 783254

CIP-GEGEVENS KONINKLIJKE BIBLIOTHEEK, DEN HAAG ISBN 90-6275-531-3

Copyright © by authors

No part of th is baak may be reproduced in any farm by print, photoprint, microfilm or any other means, without written permission from Delft University Press.

INHOUDSOPGAVE VOORWOORD . . . . . . . . . . . . . . . . . . . . . . . . . . .. ix 1. INLEIDING . . . . . . 1 1.1. Vooraf . . . . . . 1 1.2. Probleemstelling 1 1.3. Doelstellingen 3 1.4. Doelgroep . . . . 4 1.5. Randvoorwaarden/uitgangspunten 4

2. EVALUATIE VAN INFORMATIEVOORZIENINGSMIDDELEN 7

2.1. Inleiding . . . . . . . . . . . . . . . . . . . . . . 7 2.2. Wat is (het doel van) evaluatie-onderzoek? 7

2.2.1. Inleiding . . . . . . . . . . 7

2.2.2. Informatiesystemen . . . 9

2.2.3. Automatiseringsmiddelen . . . 13

2.3. Evaluatiemethodes uit de literatuur 13

2.3.1. Ex-ante en ex-post evaluaties 14

2.3.2. Summatieve en formatieve evaluaties 18

2.3.3. Procesevaluaties . 19

2.3.4. Produktevaluaties . . . 20

2.3.5. Effectenevaluaties . . . 22

2.3.6. Indeling naar waarnemingswijze 26

2.4. Problemen bij het uitvoeren van evaluatie-onderzoek. 27 2.4.1. Samenvatting van de belangrijkste problemen 27 2.4.2. Een aantal problemen nader beschouwd . 29

2.5. Karakteristieken van evaluatie-onderzoek 33

2.5.1. Het object van evaluatie . . . 33 2.5.2. De te bepalen eigenschappen . . . 34 2.5.3. Wanneer wordt het onderzoek uitgevoerd? 36 2.5.4. Door wie wordt het onderzoek uitgevoerd? 36 2.5.5. De wijze van waarneming . . . 37 2.6. Naar een raamwerk voor evaluatie-onderzoek 38 2.6.1. Inleiding . . . . . . . . . . . . 38

2.6.2. Te confronteren toestanden 38

2.6.3. Toestandscomponenten 42

3. (ONDERZOEK NAAR) DECISION SUPPORT SYSTEMEN 3.1. Decision Support Systemen . . . .

3.2. DSS-toepassingen . . . . 3.3. Door anderen uitgevoerd onderzoek naar DSS'en

3.3.1. Aanschaf van een DSS (doel 1) . . . . 3.3.2. Gebruik van een DSS (doel 2) . . . .

3.3.3. Ex-ante en ex-post vergelijking (doel 3) . 3.3.4. Aanschaf en evaluatie van financiële DSS'en

4. OPZET PRAKTIJKONDERZOEK

4.1. Keuze en verantwoording onderzoeksopzet 4.2. Hypotheses . . . .

4.3. Vragenlijst . . . .. . . . 4.3.1. Hantering vragenlijst FCS . . . .

4.3.2. Hantering vragenlijst System W

4.4. Onderzochte organisaties . . . . 4.4.1. Selectie van organisaties Fes .

4.4.2. Selectie van organisaties System

W

4.4.3. Indeling in bedrijfstakken . . . . 5. RESULTATEN Fes .. 5.1. Aanschaf FCS . . 5.1.1. Aanleiding 5.1.2. Aanschafproces 5.1.3. Doelstellingen en verwachtingen 5.1.4. Lasten en baten bij aanschaf 5.2. Gebruik Fes . . ... .

5.2.1. Toepassingen . . . . 5.2.2. Lasten en baten .. .. . 5.2.3. Sterke en zwakke punten 5.2.4. Organisatie rond Fes ..

5.2.5. Decision support systeem? 5.3. Verschillenanalyse . . . . 6. RESULTATEN SYSTEM W . vi 6.1. Aanschaf System W .. 6.1.1. Aanleiding . . . . 6.1.2. Aanschafproces . 6.1.3. Doelstellingen en verwachtingen 6.1.4. Lasten en baten bij aanschaf ..

45 45 46 52 52 57 62 64 67 67 73 75 77 78 80 80 80 81 83 83 83 84 86 87 89 89 90 93 95 97 98 101 101 101 103 106 109

6.2. Gebruik System W . . . . . . . . . . . 111

6.2.1. Toepassingen . . . 111

6.2.2. Lasten en baten . . . 113

6.2.3. Sterke en zwakke punten . . . . . . . . . . . . . . . . . .. 115

6.2.4. Organisatie rond System W . . . 116

6.2.5. Decision support systeem? . . . 118

6.3. Verschillenanalyse . . . . . . . . . . . .. 120

7. CONCLUSIES FCS EN SYSTEM W . . . . . . . . . .. 123

7.1. Aanschaf . . . 124

7.2. Gebruik . . . 127

7.3. Verschillenanalyse . . . . . . . . . . . . . . . . . . .. 132

7.4. Terugkoppeling naar hypotheses . . . . . . . . . . . . . . .. 133

LITERATUURLIJST . . . . . . . . . . . . . . . .. 139

BIJLAGE I: VRAGENLIJST... 143

BIJLAGE II: BESCHRIJVING FCS . . . 155

BIJLAGE lIl: BESCHRIJVING SYSTEM W . . . . . . . . . . . . . . .. 161

VOORWOORD

In het kader van hun afstuderen als informatica-ingenieur aan de TU-Delft, vakgroep Informatiesystemen, is door Ir. A.J. Koeleman en Ir. P.C. Molengraaf onder begeleiding van Drs. P.A.H.M. Mantelaers onderzoek gedaan naar de effec-tiviteit van decision support systemen.

Ingenieurs worden opgeleid om dingen te ontwerpen en te bouwen. Om dit goed te doen moet je van tevoren weten wat je wilt bereiken en achteraf kunnen vaststellen, in welke mate de doelstellingen zijn bereikt. Op dit voortraject en op dit natraject is dit onderzoek gericht geweest. Daarbij is - opnieuw - gebleken, dat aan de theoretische onderbouwing en aan de praktische uitwerking van die "projectfasen" nog veel valt te verbeteren.

Zowel de aanpak als de resultaten van het onderzoek zijn van dien aard dat ik hoop dat velen er kennis van zullen nemen.

Zonder de welwillende medewerking van de diverse organisaties was dit onder-zoek niet mogelijk geweest. Hier wil ik met name noemen:

- dhr. P.A. Hermsen van THORN-EMI Computer Software B.V. te Leiderdorp (leverancier van FCS) en dhr. H.A. Jaspers van COMSHARE te Delft (leveran-cier van System W).

- de stageverlenende bedrijven en de begeleiders aldaar, Ir. R. Tweehuysen van Océ Nederland B.V. en Drs. S. Berger van AHOLD N.V ..

- de 17 organisaties die de onderzoekers van informatie hebben voorzien.

1. INLEIDING

1.1. Vooraf

In het kader van de opdracht 'het evalueren van de effecten van twee Decision Support Systemen' is eind 1987 - begin 1988 een onderzoek uitgevoerd naar (het besluitvormingsproces rondom) de aanschaf en naar het werkelijk gebruik van FCS en System W, twee Decision Support Systemen in eenzelfde marktsegment. FCS wordt in Nederland op de markt gebracht door THORN-EMI Computer Software B.V. te Leiderdorp en System W door COMSHARE te Delft.

In dit hoofdstuk zullen de probleemstelling, de doelstellingen, de doelgroep en de randvoorwaarden met betrekking tot het praktijkonderzoek worden uitgewerkt. Hoofdstuk 2. is gewijd aan de evaluatie van informatievoorzieningsmiddelen (doel, methodes en problemen). Aangezien het praktijkonderzoek de evaluatie van 2 DSS'en betreft zal in hoofdstuk 3. worden beschreven wat onder een DSS (-applicatie en -generator) wordt verstaan; ook bevat dat hoofdstuk een samenvatting van door anderen uitgevoerd onderzoek naar de effectiviteit van DSS'en. De mede op basis van de hoofdstukken 2. en 3. gekozen aanpak van het praktijkonderzoek komt in hoofdstuk 4. aan de orde, terwijl de resultaten ervan in de hoofdstukken 5. en 6. worden beschreven. Hoofdstuk 7. bevat een aantal conclusies.

1.2. Probleemstelling

In de omschrijving van de opdracht komen drie begrippen voor die een nadere toelichting 'behoeven, namelijk evalueren, effecten en DSS. Alvorens op de probleemstelling in te gaan zullen deze drie begrippen kort worden toegelicht. Dit zal uitgebreider gebeuren in hoofdstuk 2. (evalueren en effecten) en in hoofdstuk 3. (DSS).

Het woord evaluatie is afgeleid van het Engelse woord 'evaluation' en heeft de betekenis van 'assessment' of 'judgement'. In het Nederlands kan dit vertaald worden met beoordelen enjof waarderen. Aangezien waarderen ook de betekenis van op prijs stellen kan hebben, is beoordelen een beter equivalent van evalueren. Een evaluatie is dus een beoordeling (zie ook [Kru69]). Met het woord effecten worden veranderingen bedoeld. Het gaat hier om veranderingen, die door de invoering van een DSS zijn of nog zullen worden

INLEIDING Hoofdstuk 1.

het DSS tot op het moment van evaluatie worden bestudeerd. De tweede stap in het beoordelingsproces is het meenemen van nog niet gerealiseerde maar te verwachten effecten. Deze worden onderzocht om een juiste beoordeling van het totale effect van het DSS op een bepaald moment te geven. Doordat zowel voor- als achteruit wordt gekeken, wordt zoveel mogelijk geabstraheerd van het moment waarop de evaluatie plaatsvindt. De veranderingen kunnen zowel betere en snellere sturingsinformatie als vormen van organisatorische veranderingen betreffen.

Een Decision Support Systeem (DSS) is een interactief geautomatiseerd informatiesysteem dat beslissers ondersteunt met data en modellen bij het oplossen van matig of slecht gestructureerde problemen [Spr82].

Op basis van deze toelichting kan de onderzoeksopdracht als volgt geherfor-muleerd worden:

'Het beoordelen van de veranderingen in een organisatie die zijn of zullen worden teweeggebracht door het invoeren van een DSS'

Beoordeeld moet worden of het DSS voldoet aan de verwachtingen die daarover voor de ingebruikname bestonden. In principe zou een beleidsvoerder op grond van dit ex-post (achteraf) evaluatieonderzoek moeten kunnen beslissen, of het gebruik van het DSS in ongewijzigde vorm moet worden voortgezet dan wel moet worden veranderd of stopgezet. Aanknopingspunten voor een dergelijke beslissing kunnen onder andere zijn [MvF84]:

- veranderingen in de organisatie ten gevolge van het DSS; - kosten verbonden aan het DSS;

- knelpunten bij de toepassing van het DSS.

Andere baten van ex-post evaluatieonderzoek in het algemeen liggen in het profijt dat men van de resultaten heeft in de toekomst, hetzij op korte hetzij op lange termijn. Dit profijt kan betrekking hebben op:

- de waarde van en aandachtspunten voor ex-ante (van tevoren) evaluatie-onderzoek;

- de benodigde wijzigingen in de organisatie en randvoorwaarden voor het invoeren van een DSS.

Paragraaf 1.3. Doelstellingen

1.3. Doelstellingen

De in paragraaf 1.2. geformuleerde probleemstelling kan worden vertaald in een aantal onderzoeksdoelstellingen. Deze doelstellingen zijn hier deels geformuleerd in de vorm van vragen waarop door middel van het onderzoek een antwoord verkregen moet worden.

1. Waarom is een DSS aangeschaft? Dit komt neer op het achterhalen van:

a. de weg waarlangs men tot de aanschaf van een DSS gekomen is;

b. de doelstellingen/verwachtingen met betrekking tot het functioneren van een DSS binnen de organisatie (ex-ante situatie).

2. Waar wordt het aangeschafte DSS nu voor gebruikt? Met andere woorden: a. wat is het huidige gebruik van het DSS? (ex-post situatie):

welke bedrijf sf uncties worden door het DSS ondersteund?

wat zijn sterke/zwakke punten in het gebruik van het DSS door de organisatie?

hoe is de organisatie rond het DSS?

b. wat zijn de lasten en baten van het DSS in het gebruik?

3. Ex-post evaluatie; het vergelijken van de ex-ante situatie met de ex-post situatie:

a. wat is er van de doelstellingen/verwachtingen terecht gekomen?

b. waar is dat aan te wijten? (verklaren van verschillen tussen ex-ante en ex-post situatie).

Om de waarde en relevantie van de resultaten te vergroten is het onderzoek parallel voor de twee verschillende DSS'en in twee verschillende groepen van organisaties uitgevoerd. De laatste doelstelling houdt hiermee verband:

4. Vergelijking van de resultaten voor organisaties die System W gebruiken, met de resultaten voor organisaties die FCS gebruiken.

INLEIDING Hoofdstuk 1.

1.4. Doelgroep

De doelgroep die belang heeft bij het onderzoek is meervoudig: a. de opdrachtgever: de Technische Universiteit Delft;

b. de organisaties waarin het DSS is ingevoerd;

c. de organisaties die overwegen een DSS aan te schaffen; d. de leveranciers van de DSS'en: THORN-EMI en COMSHAREj e. de uitvoerders.

De belangen van deze "partijen" in het onderzoek zijn:

ad a.) De opdrachtgever krijgt inzicht in de argumenten op basis waarvan beslissingen over invoering van DSS'en worden genomen en in de effec-tiviteit ervan. Daarnaast wordt geprobeerd de verschillen in het DSS-gebruik bij de deelnemende organisaties te verklaren.

ad b.) De organisatie waarin een DSS is ingevoerd krijgt informatie over de manier waarop het DSS in haar eigen organisatie functioneert. Bovendien kan het gebruik van het DSS worden vergeleken met dat in andere organisaties.

ad c.) Organisaties die overwegen een DSS aan te schaffen kunnen aan dit onderzoek informatie ontlenen met betrekking tot de wijze waarop de evaluatie uitgevoerd zou kunnen worden of omtrent toepassingsmogelijk-heden.

ad d.) De leveranciers van de DSS'en krijgen inzicht in het gebruik van hun producten in verschillende organisaties. Tevens worden de sterke en zwakke punten van de DSS'en in het gebruik bepaald.

ad e.) De uitvoerders doen ervaring op in een groot aantal organisaties.

1.5. Randvoorwaarden/uitgangspunten

Bij de opzet en uitvoering van het onderzoek moest rekening gehouden worden met een aantal randvoorwaarden en uitgangspunten:

- Opdrachtgever

De opdrachtgever tot het onderzoek is de Technische Universiteit Delft, vakgroep Informatiesystemen.

- DSS'en

De te beoordelen DSS'en zijn FCS van THORN-EMI en System W van COMSHARE (zie Bijlagen Il en III voor een beschrijving van FCS resp. System W)j

Paragraaf 1.5. Randvoorwaarden/uitgangspunten

- Selectie deelnemende organisaties

De organisaties waarin het onderzoek uitgevoerd zal worden zijn klanten van THORN-EMI en COMSHARE die het DSS reeds enkele jaren in bezit hebben. De selectie van potentieel deelnemende organisaties m.b.t. Fes is gebeurd d.m.v. een schrijven aan alle Fes-gebruikers in Nederland. De selectie m.b.t. System W-gebruikende organisaties is door COMSHARE verzorgd;

- Capaciteit

Het praktijkonderzoek wordt uitgevoerd door twee personen gedurende ongeveer 7 maanden. De budgetten voor de onderzoeken naar Fes en System W worden beschikbaar gesteld door resp. AHOLD N.V. en Océ Nederland B.V ..

2. EVALUATIE VAN INFORMATIEVOORZIENINGSMIDDELEN

2.1. Inleiding

Ten behoeve van het uit te voeren praktijkonderzoek dient een evaluatiemethode gekozen te wordenj de basis voor die keuze zal in dit hoofdstuk worden gelegd. Allereerst zal (in paragraaf 2.2.) worden aangegeven wat in het algemeen onder evaluatie wordt verstaanj vervolgens zal het doel van het evalueren van infor

-matievoorzieningsmiddelen nader worden uitgewerkt. In paragraaf 2.3. zullen een aantal veel voorkomende evaluatiemethodes worden beschreven, terwijl in paragraaf 2.4. aandacht besteed wordt aan problemen op het gebied van het evalueren van informatievoorzieningsmiddelenj beide paragrafen zijn hoofdzake-lijk gebaseerd op literatuuronderzoek. Na een aantal definities en afbakeningen m.b.t. evaluatie-onderzoek in paragraaf 2.5. zal tenslotte in paragraaf 2.6. een raamwerk van karakteristieken worden opgezet met behulp waarvan verschillende soorten van evaluatie-onderzoek c.q. evaluatiemethodes van elkaar kunnen worden onderscheiden. In hoofdstuk 4. zal aangegeven worden welke karakteris-tieken voor het uitgevoerde onderzoek van belang zijn en welke gevolgen dit gehad heeft voor de opzet van het onderzoek en de daarbij gehanteerde methode.

2.2. Wat is (het doel van) evaluatie-onderzoek?

2.2.1. Inleiding

In deze paragraaf staat het begrip evaluatie centraal. Met name zal aandacht besteed worden aan het doel van het uitvoeren van een evaluatie van informa-tievoorzieningsmiddelen. Onder informatievoorzieningsmiddelen verstaan wij alle middelen die een rol (kunnen) spelen bij de informatievoorziening (en dus ook bij het tot stand komen en in stand houden daarvan) in een organisatie. Naast de middelen die door Looijen [Loo88] aangeduid worden met de term auto ma-tiseringsmiddelen behoren daar ook toe informatiesystemen, taakverdelingen, organisatiestructuren, (tijdelijke) samenwerkingsverbanden etc.. Slechts enkele onderwerpen zullen echter in het bestek van deze studie aan de orde komen. In 2.2.2. zal nader ingegaan worden op informatiesystemen. Aangezien het prak-tijkonderzoek zich richt op het evalueren van een DSS-generator zal in 2.2.3. aandacht besteed worden aan de evaluatie van automatiseringsmiddelen.

Zeer veel zaken kunnen object zijn van een evaluatie (onderwijs, consumptie-goederen, werkwijzen, beleid etc.). Vandaar dat er nogal wat literatuur

beschik-EV ALUATIE VAN INFORMATIbeschik-EVOORZIENINGSMIDDELEN Hoofdstuk 2.

baar is waaraan (algemene) omschrijvingen van evaluatie-onderzoek ontleend kunnen worden. Een probleem met de Engelstalige literatuur is het bestaan van verschillende termen waarvan niet steeds duidelijk is of het synoniemen betreft (appraise, evaluate, estimate, assess). Alvorens in te gaan op het evalueren van informatiesystemen volgt eerst een aantal meer algemene omschrijvingen van evaluatie-onderzoek.

Kruijer [Kru69] geeft de volgende algemene definitie van evaluatieonderzoek: "Evaluatie-onderzoek is die vorm van wetenschappelijk onderzoek welke tot doel heeft de werking van een systeem te beoordelen".

De afdeling Beleidsanalyse van het Ministerie van Financiën geeft in haar rapport [MvF84) een andere definitie: "Het structureren van informatie met het oog op de beoordeling van beleid".

Beide definities bevatten een belangrijk aspect van uit te voeren evaluatie-onderzoek: het gaat om een beoordeling. Men spreekt zich echter niet uit over het doel van een dergelijke beoordeling. In de eerste definitie gaat het om het beoordelen van een systeem. Daarin kunnen vele factoren, mensen, middelen en belangen een rol spelen, die tezamen een zeer complex geheel vormen. De tweede definitie geeft aan dat evaluatie-onderzoek te maken heeft met beleidsuitvoering waarvan een momentopname gemaakt wordt.

Beoordeling betreft het waarderen van de confrontatie van twee toestanden. Daarbij kan gedacht worden aan confrontaties als:

- huidige situatie versus geplande situatie; - gerealiseerde situatie versus geplande situatie; - gerealiseerde situatie versus oorspronkelijke situatie.

Welke toestandsconfrontatie uitgevoerd moet worden hangt af van het doel van de beoordeling. De twee in het voorafgaande geciteerde definities van evaluatie laten ruimte voor meerdere confrontaties (en meerdere objecten van evaluatie). Een aspect dat met name in de tweede definitie expliciet genoemd wordt is het verzamelen van informatie. Alvorens twee toestanden met elkaar geconfronteerd kunnen worden dienen ze namelijk te worden beschreven in termen van hun relevante eigenschappen. De beoordeling heeft vervolgens betrekking op (even-tueie) verschillen in waarde behorende bij overeenkomstige kenmerken. Evaluatie van een object is een gegevensverwerkend proces voorafgaand aan en gericht op het nemen van beslissingen over dat object.

Paragraaf 2.2. Evaluatie-onderzoek

2.2.2. Informatiesystemen

We zullen ons nu beperken tot het (geformaliseerde deel (dat deel van het informatiesysteem dat formeel is vastgelegd in programma's en procedures) van het) informatiesysteem als object van evaluatie en een poging doen het begrip evaluatie hierop toe te spitsen. Dit betekent zoals gezegd een inperking t.o. v. het gebied dat aangeduid wordt met de term informatievoorzieningsmiddelen. Dat toch voor deze ruimere titel gekozen is heeft te maken met het feit dat alle informatievoorzieningsmiddelen direct dan wel indirect raken aan de kwaliteit van de informatievoorziening. Uiteindelijk gaat het om de effectiviteit van de organisatie en de rol van de informatievoorziening daarbij. Alle informatievoor-zieningsmiddelen kunnen daaraan direct of indirect bijdragen en daarom willen we de evaluatie van al die middelen (w.o. informatiesystemen) in ieder geval vanuit een visie op hun onderlinge samenhang benaderen. D.m.v. verder onder-zoek zal die visie nader moeten worden uitgewerkt en geconcretiseerd.

Als uitgangspunt voor het bepalen van het doel van de evaluatie van een informatiesysteem nemen we een combinatie van de twee zojuist geciteerde algemene beschrijvingen:

"Evaluatie van een informatiesysteem is het verzamelen van informatie gericht op het beoordelen van de werking van dat systeem".

Een verdere toespitsing kan bereikt worden door het evalueren van informatie-systemen op te vatten als een besturingsprobleem. Analyseren we deze situatie met behulp van het informatisch besturingsparadigma dan ontstaat het volgende beeld (zie figuur 2.1.).

Tot het informatiesysteem (IS) behoren alle gegevens over het reële systeem (RS) en handelingen met die gegevens beginnend met waarnemingen aan het RS en eindigend met beslissingen over het RS. In het onderhavige geval betekent dit, dat tot het IS worden gerekend: de evaluator (kunnen ook meerdere mensen zijn), de gegevens, het evaluatieproces, en degenen die op basis van de evaluatie beslissingen nemen (evenals dat besluitvormingsproces zelf). Wat tot het RS wordt gerekend hangt af van de probleemstelling. Er zijn -de levenscyclus van een informatiesysteem in ogenschouw nemend- twee toestanden voorstelbaar waarin een te evalueren systeem zich kan bevinden:

1. systeembeheer: de zorg voor het beschikbaar stellen en houden van systeemcomponenten vanaf de bepaling van de informatiebehoeften tot en met het ontwerpen, bouwen, onderho1.den en ondersteunen van informatie-systemen;

EVALUATIE VANINFORMATIEVOORZIENINGSMIDDELEN Hoofdstuk 2. Evaluator A~

"

2. informatiebeheer: het exploiteren en gebruiken van informatiesystemen inclusief het leiding geven daaraan en het houden van toezicht erop.

Het doel van de evaluatie van een informatiesysteem formuleren wij derhalve als volgt:

het vaststellen van de wijze waarop het informatiebeheer of het systeembeheer m. b. t. een bepaald informatiesysteem dient te worden voortgezet.

Om tot deze vaststelling te komen is zowel het verzamelen van gegevens als een beoordeling van de verzamelde gegevens noodzakelijk. De beoordeling heeft zoals reeds in 2.2.1. is opgemerkt betrekking op de confrontatie van twee situaties. Beide situaties stellen wij ons voor als bestaande uit een RS en een daarop van invloed zijnd IS. (In paragraaf 2.6. zal dit verder uitgewerkt worden.) Die toestanden zijn te typeren d.m.v. eigenschappen die door een verandering in de informatievoorziening te beïnvloeden zijn. Het voor de evaluatie noodzakelijke verzamelen van gegevens zal dan ook daarop gericht zijn. Evaluatie van een operationeel of in ontwikkeling zijnd (nieuw of vernieuwd) informatiesysteem betekent in feite het bepalen van de gerealiseerde (of te realiseren) effectiviteit (= resultaatverhouding) van een verandering in de informatievoorziening, gericht op het vaststellen van de wijze waarop het informatiebeheer of het systeem-beheer met betrekking tot een bepaald systeem dient te worden voortgezet.

Paragraaf 2.2.

I

1

Onder effectiviteit wordt de verhouding tussen werkelijk resultaat en beoogd resultaat verstaan (Rwerkelijk/Rbeoos..d) [VeI83]. Deze effectiviteit kan op verschil-lende niveaus worden beschouwd. Oe effectiviteit van een informatiesysteem is de mate waarin aan de aanvankelijk geformuleerde verwachtingen wordt voldaan, de mate van doelbereiking.

EVALUATIE VAN INFORMATIEVOORZIENINGSMIDDELEN Hoofdstuk 2.

In formulevorm geeft dit:

(ex-post 1-situatie) - (ex-post O-situatie) effectiviteit

-(ex-ante 1-situatie) - -(ex-ante O-situatie) feitelijk effect

beoogd effect

Voor een uitvoerige bespreking van wat anderen onder effectiviteit verstaan en voor een opsomming van het onderzoek dat naar effectiviteit gedaan is wordt verwezen naar [Lew86].

Bij het opstarten van een nieuwbouw- of onderhoudstrajekt wordt gekozen voor het veranderingsalternatief met het hoogste verwachte effect. De verdere uitwerking van een gekozen veranderingsalternatief zal op basis van een tussen-tijdse evaluatie gecontinueerd worden indien er geen alternatief is (waaronder "stoppen") waarvan een hoger effect verwacht wordt. Een "eind"oordeel over een verandering in de informatievoorziening zal positief zijn indien het gerealiseerde effect voldoet aan de verwachting; daarbij moet rekening gehouden worden met de verwachting m.b.t. nog te realiseren effecten!

Brussaard [Bru84] maakt onderscheid in systeemevaluatie en systeemselectie. Onder systeemevaluatie verstaat hij het beoordelen van baten en lasten van afzonderlijke informatiesystemen en het tegen elkaar afwegen van verschillende alternatieven voor een bepaald informatiesysteem. Systeemselectie wordt door hem omschreven als het beoordelen en tegen elkaar afwegen van verschillende combinaties van plannen voor verschillende informatiesystemen. Wij zullen ons beperken tot systeemevaluatie aangezien wij de beoordeling van een informa-tiesysteem centraal stellen in deze studie; de methodes die bij een systeem-evaluatie gehanteerd worden en de problemen die daarbij optreden dienen bekend te zijn alvorens over te stappen naar het ( complexere) vraagstuk van de beoordeling van combinaties van systemen. Brussaard spreekt zich overigens niet expliciet uit over het doel van de systeemevaluatie (b.v. in termen van soorten beslissingen die op basis van een dergelijke evaluatie genomen kunnen worden). In 2.3.2. zullen op basis van verschil in doelstelling twee vormen van evaluatie-onderzoek onderscheiden worden: summatief en formatief.

Paragraaf 2.2. Evaluatie-onderzoek

2.2.3. Automatiseringsmiddelen

In het onderhavige onderzoek gaat het om het evalueren van een DSS-generator. Het aanschaffen van een dergelijke generator betekent niet automatisch ook een verandering van de informatievoorziening! Dit geldt ook voor de andere automa-tiseringsmiddelen: computers, operating systems, randapparatuur, compilers etc .. Ze kunnen in principe voor meerdere informatiesystemen worden ingezet:

Infonnatiesystemen IS ... IS 1 n

x

x

x

x

x

Bij het evalueren van informatiesystemen is er onzekerheid over het feitelijk toekomstig gebruik; bij automatiseringsmiddelen komt daar nog eens de onzeker-heid bij m.b.t. het gebruik van het middel voor het realiseren van applicaties. Een automatiseringsmiddel evalueren betekent zowel kijken naar directe eigen-schappen van het middel zelf als naar effecten voortvloeiend uit het gebruik van het middel.

2.3. Evaluatiemethodes uit de literatuur

Het doel van deze paragraaf is tweeledig. Ten eerste dient mede op basis van deze inventarisatie en beschrijving van bekende evaluatiemethodes in hoofdstuk 4. bepaald te worden wat de voor het uit te voeren praktijkonderzoek meest

EVALUATIE VAN INFORMATIEVOORZIENINGSMIDDELEN Hoofdstuk 2.

om de in de praktijk gevonden methoden die gebruikt zijn in verband met de ex-ante evaluatie van DSS-generatoren te vergelijken met de ex-ante evaluatie-methoden die in de literatuur beschreven worden.

De in de literatuur aangetroffen evaluatiemethoden hebben een uiteenlopende scope van toepassingsgebieden. Sommige methoden hebben een algemeen karakter en zijn opgesteld ter evaluatie van beleidsmaatregelen. Andere evaluatiemethoden hebben als toepassingsgebied informatiesystemen, of richten zich met name op een type informatiesystemen b.v. decision support systemen. Ook worden in de literatuur methodes beschreven ter evaluatie van automatiseringsprojecten, terwijl weer andere evaluatiemethoden speciaal gericht zijn op de evaluatie van automatiseringsmiddelen.

Vooraf nog twee opmerkingen: de diverse (klassen van) methodes zijn niet disjunct (op enkele plaatsen in de tekst zal dit worden toegelicht) en er is geen sprake van een uitputtende opsomming.

Achtereenvolgens zullen aan bod komen: - ex-ante en ex-post evaluaties (2.3.1.)j - summatieve en formatieve evaluaties (2.3.2.)j - procesevaluaties (2.3.3.)j

- produktevaluaties (2.3.4.)j - effectenevaluaties (2.3.5.);

- indeling naar waarnemingswijze (2.3.6.).

2.3.1. Ex-ante en ex-post evaluaties

Op basis van het moment in de levenscyclus van een informatiesysteem (of automatiseringsmiddel) waarop de evaluatie uitgevoerd wordt kan onderscheid worden gemaakt in:

1. ex - ante evaluatie: daarbij gaat het om het vormen van een oordeel over verschillende alternatieven die tot de oplossing van een probleem kunnen leidenj

2. ex - post evaluatie: hierbij gaat het om het achteraf vormen van een oordeel over het gekozen alternatief. Beoordeeld kan bijvoorbeeld worden of een informatiesysteem voldoet aan de verwachtingen die daarover voor de ingebruikname bestonden. In principe zou een beleidsvoerder op grond van een ex-post evaluatie-onderzoek moeten kunnen beslissen of het gebruik van het inf ormatiesysteem in ongewijzigde vorm moet worden voortgezet dan wel

Paragraaf 2.3. Evaluatiemethodes uit de literatuur

moet worden veranderd of stopgezet. Aanknopingspunten voor een dergelijke beslissing kunnen onder andere zijn:

veranderingen in de organisatie ten gevolge van het informatiesysteem; kosten verbonden aan het informatiesysteem;

knelpunten bij de toepassing van het informatiesysteem.

Bijkomende baten van ex-post evaluatieonderzoek zijn gelegen in het profijt dat men van de resultaten heeft in de toekomst, hetzij op korte, hetzij op lange termijn. Dit profijt kan betrekking hebben op de waarde van en aandachtspunten voor ex-ante evaluatieonderzoek, noodzakelijke wijzigingen in de organisatie en randvoorwaarden voor het invoeren van een informatiesysteem.

We zullen thans verder ingaan op vormen van ex-post evaluatie-onderzoek; de ex-ante methoden komen in andere sub-paragrafen aan bod.

In de literatuur zijn verschillende methoden beschreven waarmee door middel van een ex-post evaluatie de veranderingen ten gevolge van de invoering van een informatiesysteem kunnen worden bepaald. In [MvF84] worden deze methodes ingedeeld in een aantal categorieën.

Als het accent ligt op het vergelijken van de situaties in de organisatie voor en na de inzet van het informatiesysteem wordt gesproken van een voor - na

benadering. De eventueel geconstateerde verschillen worden daarbij geheel

toegeschreven aan de inzet van het informatiesysteem, hoewel ook andere factoren voor het verschil verantwoordelijk kunnen zijn. Een met - zonder

benadering vergelijkt daarentegen de situatie in de organisatie die zich in

werkelijkheid heeft ontwikkeld, met de situatie die zou zijn ontstaan als het informatiesysteem niet ingevoerd zou zijn. Het geconstateerde verschil wordt daarbij geheel toegeschreven aan het gebruik van het informatiesysteem, want door deze wijze van vergelijken wordt de mogelijke invloed van andere factoren buitengesloten. Deze laatste benadering verdient in het algemeen, vanwege de grotere relevantie van de resultaten, de voorkeur en geeft een beter inzicht in de veranderingen in de organisatie. Opgemerkt moet worden dat het uitvoeren van een evaluatie-onderzoek met behulp van een met-zonder benadering veel meer werk met zich brengt dan een onderzoek met behulp van een voor-na benadering.

Een tweede onderscheid kan gemaakt worden door te onderzoeken in hoeverre, ten behoeve van de waardering van het informatiesysteem, een confrontatie plaatsvindt tussen huidige situatie en de specifieke doelstellingen. In de orga-nisatie bestonden bij de invoering van het informatiesysteem verwachtingen c.q. doelstellingen met betrekking tot dat informatiesysteem. Door het expliciet maken van die verwachtingen, zowel kwalitatief als kwantitatief, kunnen deze worden

EVALUATIE VAN INFORMATIEVOORZIENINGSMIDDELEN Hoofdstuk 2.

geconfronteerd met de huidige situatie. Deze doelstellingen of verwachtingen kunnen dienen als referentiepunt bij de beoordeling van het informatiesysteem. Met behulp van de twee in het voorafgaande gechetste indelingen kan een inde-ling gemaakt worden in vier basisvarianten voor de aanpak van ex-post evaluatieonderzoek. Het gaat hierbij steeds om het beoordelen van de inzet van een informatiesysteem ter oplossing van een probleem. Deze vier varianten zijn: 1. Situatie-onderzoek (voor-na, geen specifieke doelstelling);

2. Doelbereikingsonderzoek (voor-na, wel specifieke doelstelling); 3. Effectenonderzoek (met-zonder, geen specifieke doelstelling); 4. Effectiviteitsonderzoek (met-zonder, wel specifieke doelstelling). ad.I Situatie-onderzoek

De invloed van het informatiesysteem wordt bepaald door de situatie van voor de inzet van het informatiesysteem te vergelijken met die van daarna. Geconsta-teerd wordt de feitelijke verandering. Deze wordt geheel toegeschreven aan de werking van het informatiesysteem. Alleen de kosten die direct samenhangen met de aanschaf, ontwikkeling en onderhoud van het informatiesysteem, worden in beschouwing genomen.

ad.2 Doelbereikingsonderzoek

De kern van het doelbereikingsonderzoek is het leggen van een relatie tussen hetgeen met betrekking tot de inzet van het informatiesysteem wordt nagestreefd en wat daarmee bereikt is tot op het moment van evaluatie. Alleen die resul-taten, waarvoor destijds doelstellingen zijn geformuleerd, worden in beschouwing genomen. De gewenste verandering in de organisatie wordt vergeleken met de feitelijke verandering. De veranderingen worden geheel aan het informatiesysteem toegeschreven. Een probleem ontstaat als de doelstellingen sinds de invoering van het informatiesysteem veranderingen hebben ondergaan of als de officiële doelstellingen afwijken van de werkelijke doelstellingen.

ad.3 Effectenonderzoek

Effectenonderzoek houdt in, dat de situatie die is ontstaan als gevolg van de inzet van het informatiesysteem (I-situatie), systematisch wordt vergeleken met de situatie die zonder de inzet van het informatiesysteem zou zijn ontstaan (O-situatie). Het verschil tussen de 0- en de I-situatie wordt aangeduid met de term feitelijk effect. (Varianten van effectenonderzoek zijn kosten-batenanalyse en kosten-effectiviteitsanalysej deze kunnen zowel ex-ante als ex-post gebruikt worden). Ter bepaling van de O-situatie en daarmee het feitelijk effect kunnen technieken gebruikt worden als trendextrapolatie, experimenten met een expe-rimentele en een contrölegroep en modellen (zie verderop in deze paragraaf).

Paragraaf 2.3. Evaluatiemethodes uit de literatuur

ad.4 Effectiviteitsonderzoek

Bij deze variant wordt, evenals bij effectenonderzoek, getracht de invloed van het informatiesysteem te achterhalen via bijvoorbeeld experimenten of modellen. Daarnaast wordt expliciet een verband gelegd met ijkpunten (doelstellingen) van de beleidsvoerder, zoals ook bij doelbereikingsonderzoek het geval is. De nadruk valt op het vergelijken van de feitelijke effecten van het informatiesysteem met verwachtingen die de beleidsvoerder bij de introductie van het informatiesysteem had. Een dwingende eis hierbij is dat de inzet van het informatiesysteem destijds voorafgegaan is door een systematische ex-ante evaluatie. Bij een ex-post evaluatie kunnen deze als ijk- of referentiepunt fungeren.

Geen specifieke doelstellingen/ verwachtingen Wel specifieke doelstellingen/ verwachtingen Accent op "voor-na" Situatie-onderzoek Doelbereikings-onderzoek Figuur 2.4. Accent op "met-zonder" Effecten onderzoe k Effectivitei ts-onderzoe k

Samenvattend (zie fig.2.4.) kan men zeggen dat de basisvarianten situatie-onderzoek en doelbereikingssituatie-onderzoek een voor-na benadering volgen. Alle veranderingen tussen het moment van invoering en de huidige situatie worden toegeschreven aan de invoering van het informatiesysteem. Bij effectenonderzoek en effectiviteitsonderzoek wordt de huidige situatie vergeleken met een fictieve huidige situatie die zou zijn ontstaan zonder de invoering van het informatie-systeem (met-zonder benadering). Bij de uitvoering van een situatieonderzoek of een effectenonderzoek worden alle relevante ontwikkelingen binnen de

organisa-EVALUATIE VAN INFORMATIEVOORZIENINGSMIDDELEN Hoofdstuk 2.

tie bestudeerd. Bij doelbereikingsonderzoek en effectiviteitsonderzoek worden alleen die ontwikkelingen in beschouwing genomen waarvoor doelstellingen of verwachtingen zijn geformuleerd. Bovendien zijn bij situatie-onderzoek en effectenonderzoek alleen de werkelijke kosten interessant, terwijl doelbereikings-onderzoek en effectiviteitsdoelbereikings-onderzoek tevens gebruik maken van de begrote kosten als verwachting of doelstelling.

2.3.2. Summatieve en formatieve evaluaties

Hamilton e.a. [Ham81] onderscheiden een summatieve evaluatie en een formatieve evaluatie; deze kunnen qua opzet hetzelfde zijn, doch ze verschillen in het doel waarvoor ze gebruikt worden.

A. Summatieve evaluatie.

Deze evaluatie heeft tot doel, het geven van een opsomming, of beschrijving van

de aanschaf of het gebruik van een informatiesysteem. Deze methode kan zowel gebruikt worden voordat (ex-ante) tot de aanschaf of het ontwerp besloten wordt, als na (ex-post) de aanschaf of ontwikkeling. Een summatieve ex-ante

evaluatie heeft tot doel, het aangeven van een rangschikking van alternatieven.

Daartoe moet informatie met betrekking tot de alternatieve oplossingen voor een pro bleem (één van die oplossingen zou een informatiesysteem kunnen zijn) gestructureerd worden en moet het aantal alternatieven gereduceerd worden, teneinde tot een partiële of volledige rangschikking voor de alternatieven te kunnen komen [MvF82]. Een summatieve ex - post evaluatie heeft tot doel, het

geven van een opsomming, of beschrijving van de aanschaf of het gebruik van een informatiesysteem. Deze opsomming ;kan betrekking hebben op de wijze waarop de aanschaf tot stand gekomen is, op de kwaliteit van het informatie-systeem, op de effecten die het informatiesysteem veroorzaakt heeft, of op de acceptatie van het informatiesysteem.

B. Formatieve evaluatie.

Deze evaluatie heeft tot doel het formuleren van doelstellingen en het aangeven van de wenselijkheid van de aanschaf van een informatiesysteem, of om verklaringen te geven over de bij de summatieve evaluatie gevonden opsomming. Deze evaluatie is dus beleidsvormend, of' verklarend. Ook deze evaluatie kan

zowel ex-ante, als ex-post gebruikt worden. De formatieve ex - ante evaluatie

is beleidsvormend. Deze evaluatie vraagt zich, in tegenstelling tot de summatieve ex-ante evaluatie, niet af welke oplossing de beste is, maar buigt zich over de vraag waarom er een oplossing gezocht moet worden, welke doelstellingen daardoor nagestreefd moeten worden en of de bij de summatieve evaluatie

Paragraaf 2.3. Evaluatiemethodes uit de literatuur

aangegeven oplossingen wenselijk zijn. De formatieve ex - post evaluatie probeert verklaringen te zoeken met betrekking tot het aanschafproces van een infor-matiesysteem, de kwaliteit van het inforinfor-matiesysteem, de effecten voortvloeiend uit het gebruik van het informatiesysteem en de waardering van gebruikers voor het informatiesysteem.

Een voorbeeld met betrekking tot het verschil in de doelen, waarmee een summatieve en formatieve evaluatie uitgevoerd wordt, is te vinden bij het ex-post effectenonderzoek (zie 2.3.5). Een summatief effectenonderzoek geeft een opsomming van de effecten die na invoering van het informatiesysteem opgetreden zijn. Een formatief effectenonderzoek heeft tot doel het geven van een verklaring van de geconstateerde effecten. Deze verklaring zou kunnen worden gevonden in het informatiesysteem zelf, of in verstorende omgevings-factoren. In de praktijk kan ook een combinatie van een formatieve en sum-matieve evaluatie toegepast worden. De werkwijze zou bij het zojuist beschreven voorbeeld als volgt kunnen verlopen. Er is een vermoeden dat de effecten van een informatiesysteem beneden de verwachtingen blijven. Nu wordt eerst door middel van een summatieve evaluatie getracht om zekerheid te krijgen omtrent dit vermoeden, waarna door middel van een formatieve evaluatie getracht wordt om een verklaring voor het geconstateerde verschijnsel te vinden.

2.3.3. Procesevaluaties

Bij een procesevaluatie worden de volgende vragen gesteld: hoe is het besluit-vormingsproces om tot de aanschaf van een produkt te komen verlopen? Is dit bijvoorbeeld op rationele gronden gebeurd. Hoe is het ontwikkelingsproces verlopen? Wie waren erbij betrokken? Hoe was de organisatie? Een procesevaluatie geeft dus een opsomming (summatief), of verklaring (formatief) van het verloop van een ontwikkelings- of besluitvormingsproces. De meeste in de literatuur gevonden procesevaluaties worden pas toegepast als het proces al ten einde is (een ex -post evaluatie dus). Veel in de literatuur gevonden checklists voor procesevaluaties zijn opgesteld om achteraf grote automatiseringsprojecten te kunnen evalueren. Deze checklists gaan in op de vraag hoe en met behulp van welke hulpmiddelen en methodieken een informatiesysteem opgezet is [NGI84]. Deze aspekten zijn ook voor ons praktijkonderzoek relevant omdat ook inzicht gewenst is in de invloed van een DSS- generator op het applicatie-ontwikkelings-proces. Onderwerpen die aan bod komen hebben betrekking op:

EVALUATIE VANINFORMATIEVOORZIENINGSMIDDELEN

Uitvoering:

- de aanleiding; - doelgerichtheid;

- beschikbare hulpmiddelen (b.v. voor vastleggen resultaten); - besteding tijd/middelen voor uitvoering;

- door wie uitgevoerd;

- mate van participatie en door wie. Stuurbaarheid van werkzaamheden:

- planning;

- bewaakbaarheid van middelen en planning; - beheersbaarheid van kwaliteit.

Werkwijze: - hanteerbaarheid; - overdraagbaarheid; - flexibiliteit. Hulpmiddelen: - hanteerbaarheid; - overdraagbaarheid; - flexibiliteit. Hoofdstuk 2.

De enige manier waarop bovengenoemde criteria in de literatuur gemeten worden is door betrokkenen daar naar te vragen (subjectieve benadering). Eventueel kan gebruik gemaakt worden van rapporten en memo's met betrekking tot het te evalueren proces.

2.3.4. Produktevaluaties

Een produktevaluatie richt zich op de kwaliteit van (de componenten van) een produkt. In geval van een informatiesysteem gaat het om apparatuur, program-matuur, gegevens, procedures en mensen. Bij een DSS-generator zijn de compo-nenten: de apparatuur waar de generator en toepassingen gebruik van maken, de modules/functies van de generator en programmeerregels van de toepassingen, de personen die ermee werken, de procedures volgens welke deze personen werken, en de informatieverzamelingen behorende bij de DSS-toepassing [Bru85). Een produktevaluatie kan b.v. (ex-ante) gebruikt worden teneinde te komen tot een keuze uit verschillende produkten, of om (ex-post) een DSS-generator te evalueren die al enige tijd in gebruik is.

Paragraaf 2.3. Evaluatiemethodes uit de literatuur

Een ex-ante evaluatiemethode welke voornamelijk volgens een produktevaluatie werkt en speciaal toegespitst is op het kiezen van een aantal DSS-generatoren wordt gegeven door Meador en Mezger. Deze methode zal in paragraaf 3.3. in meer detail beschreven worden. Voor een produktevaluatie zijn vele criteria gevonden in de literatuur ([Spr82], [Bem84], [Her84], [Bro84], [Bai83], [Bem83], [Dik87], [Bro86], [Mea86]). Een aantal van deze criteria -geordend naar compo-nenten van een informatiesysteem- zijn:

de apparatuur: - ergonomische aspecten; doorbelastingssysteem; bezettingsgraad; response tijd; beveiliging; verantwoordelijkheid;

training/opleiding van de operators e.d .. de programmatuur: - integriteit; beveiliging; functionaliteit; flexibiliteit; onderhoudbaarheid; aanpasbaarheid; uitbreidbaarheid; gebruikersvriendelijkheid; integreerbaarheid; beschikbaarheid;

gemiddelde tijd tussen optreden fouten; gemiddelde tijd voor herstellen fouten; verantwoordelijkheid.

de mensen:

- arbeidsomstandigheden; wie gebruikt het produkt;

taak en functioneren van de gebruikers; het aantal gebruikers;

wie zijn de gebruikers (functie/opleiding);

EVALUATIE VAN INFORMATIEVOORZIENINGSMIDDELEN

de procedures:

- waarvoor wordt het produkt gebruiktj sinds wanneer wordt het produkt gebruikt; hoe vaak wordt het produkt gebruikt;

Hoofdstuk 2.

hoe wordt het gebruikt (on-line/batch, PC/mini/mainframe, in-house/time-sharing)j

frequentie van informatie verstrekken;

contact met automatiseringsafdeling/informatie centrum (IC)j positie en services van EDP-afdeling/ICj

service van de leveranciers (hardware/software)j handleidingen. de gegevens: - hoeveelheid gegevens; bewaartijd; integriteit; beveiliging; overdraagbaarheid; volledigheid; kwaliteit, precisie;

wijze van invoer, opslag, verwerking, uitvoer; afstemming met andere bestanden.

2.3.5. Effectenevaluaties

Bij een effectenevaluatie wordt gekeken naar de effecten voortvloeiend uit de ontwikkeling en/of het gebruik van een informatiesysteem. Een effectenevaluatie kijkt naar de functie die het informatiesysteem verricht en naar de effecten die daaruit voortkomen.

Doelen en effecten kunnen gedefiniëerd zijn in termen van [NEI86): - efficiency verbeteringen;

Efficiency is gedefiniëerd als de lasten volgens een bepaalde norm (meestal de situatie voordat het informatiesysteem aanwezig was) gedeeld door de lasten die het werken met het informatiesysteem met zich meebrengen [Ve183). - eff ectiviteitsverbeteringenj

Effectiviteit is gedefiniëerd als het feitelijk effect van het informatiesysteem gedeeld door het beoogde effect (de verwachtingen) [VeI83].

Paragraaf 2.3. Evaluatiemethodes uit de literatuur

Een aantal in de literatuur gevonden evaluatiecriteria voor een effectenevaluatie is [Spr82], [Her84], [Bai83], [Bem83], [Dik87], [Bro86]:

Geformaliseerd informatiesysteem:

efficiencyverbetering van het informatiesysteem: - kosten apparatuur;

- kosten aanschaf/ontwikkeling/gebruik; - opleidings-/personeelskosten;

- data opslag-/acquisitiekosten.

effectiviteitsverbetering van het informatiesysteem; - snelheid/gemak van rapport genereren;

- snelheid/gemak van model ontwerpen; - snelheid/gemak van model onderhouden; - snel doorrekenen van een model;

- analyse die handmatig niet mogelijk is.

politieke effecten:

- ontwerpen en onderhouden toepassing zonder EDP-afdeling;

- functiebeleving;

- communicatie/samenwerking; - formalisering van procedures;

- behoefte aan ander personeel/niet aan kunnen passen van personeel.

Het sneller beschikbaar hebben van rapporten en modellen is tevens een efficien-cyverbetering. Uit interviews in het kader van het praktijkonderzoek en de literatuur (zie paragraaf 3.3.) blijkt dat deze efficiencyverbeteringen welkom zijn, maar dat het effect van het eerder gereed zijn vooral een verbetering van de slagvaardigheid tot stand brengt. Vandaar dat deze criteria bij de effec-tiviteitsverbetering ondergebracht zijn.

Besluitvormings proces:

efficiency van het besluitvormingsproces: - kosten van het besluitvormingsproces.

effectiviteit van het besluitvormingsproces:

- tijd om tot een beslissing te komen ( totaal/per fase); - aantal geanalyseerde alternatieven;

EVALUATIE VANINFORMATIEVOORZIENINGSMIDDELEN

- het op tijd zijn van de beslissing; - betere besluitvorming;

- beheersbaarheid.

politieke effecten met betrekking tot het besluitvormingsproces: - aantal deelnemers in het besluitvormingsproces;

aantal instanties betrokken bij besluitvormingsproces; management denkt mee;

overtuigingskracht van het besluit;

overtuigingskracht van de juistheid van het besluit;

niveau in de organisatie waarop beslissing genomen wordt; inzicht en bespreekbaarheid van besluitvorming.

Reële systeem:

efficiencyverbeteringen in het te ondersteunen proces: - lasten voortvloeiend uit de beslissing.

effectiviteitsverbeteringen in het te ondersteunen proces: - baten voortvloeiend uit de beslissing.

Hoofdstuk 2.

Carlson [Spr82] geeft een overzicht van 6 methoden voor het evalueren van de effecten van een informatiesysteem. Volgens de auteur zijn deze methodes onafhankelijk van het type systeem en van het soort effect. Deze methoden zijn: 1. Event logging.

Vastleggen van gebeurtenissen die (mogelijk) verband houden met het infor-matiesysteem. Dit is een nogal ongestructureerde methode. Welke gebeurte-nissen hoe vastgelegd moeten worden wordt over gelaten aan degene die de evaluatie uitvoert. Hier is sprake van een methode die zowel vooraf als achteraf toegepast kan worden.

2. Attitude survey.

Vragen naar de mening van mensen over het informatiesysteem. 3. Rating and weighting.

4. System measurement. 5. System analysis.

6. Cost-benefit analysis.

In de literatuur worden zowel ex-ante als ex-post effectenevaluatiemethoden aangetroffen. Voorbeelden van ex-ante effectenevaluatie zijn:

Paragraaf 2.3. Evaluatiemethodes uit de literatuur

- Monetaire methoden zoals [MvF82], [NEI86], [Kee81], [Hog83]: · kosten-batenanalyse;

· kosten-effectiviteitsanalyse; · waarde analyse.

- Niet-monetaire methoden zoals [MvF82]: · overzichtstabel methoden;

· gewogen sommeringsmethoden; · paarsgewijze vergelijkingsmethoden;

· meer-dimensionale schalingsmethoden (-modelling).

Voor een bespreking van de niet-monetaire effectenevaluaties wordt verwezen naar [MvF82]. In de literatuur zijn namelijk geen voorbeelden gevonden waar één van deze niet-monetaire methoden toegepast werd voor de evaluatie van OSS. Deze niet-monetaire methoden hebben betrekking op de effecten die zullen voortvloeien uit een bepaalde oplossing. Deze methoden zijn echter ook bruikbaar bij een proces- of produktevaluatie, omdat ze een summatief karakter hebben en dus gericht zijn op het rangschikken van alternatieven door middel van het, op verschillende manieren, interpreteren van waarden van evaluatiecriteria. Deze evaluatiecriteria hoeven niet noodzakelijk betrekking te hebben op effecten van een alternatief. De monetaire evaluatiemethoden vragen speciale aandacht omdat uit publicaties van gelijksoortig onderzoek naar de aanschaf van OSS-generatoren en de ontwikkeling van DSS-toepassingen blijkt dat deze methoden in de praktijk gebruikt worden [Kee81], [Pie87], [Hog83].

Kosten - batenanalyse.

Bij een kosten-batenanalyse stelt men voor ieder alternatief een soort balans op waar aan de linker kant alle doelbewust gemaakte/te maken kosten komen en aan de rechter kant alle positieve en negatieve effecten die de oplossing met zich meebrengt. Deze effecten worden zoveel mogelijk in geld uitgedrukt, de impon-derabilia moeten echter ook op de balans verschijnen. Het Nederlands Economisch Instituut stelt in [NEI86] echter dat kosten-batenanalyses vaak niet bruikbaar zijn voor de evaluatie van automatiseringsprojecten omdat software-kosten en de kosten van de bijdragen van gebruikers moeilijk te bepalen zijn, een risico analyse moeilijk nauwkeurig is uit te voeren, imponderabilia niet in geldtermen kunnen worden uitgedrukt, de kosten en baten niet alleen moeilijk te bepalen zijn, maar vaak ook slecht gedefinieerd worden, en omdat niet-economische elementen niet in de analyse betrokken kunnen worden.

Kosten - e f f ectiviteitsanalyse.

EVALUATIE VAN INFORMATIEVOORZIENINGSMIDDELEN Hoofdstuk 2.

- bij welk alternatief Zijn, bij gegeven te behalen effect, de kosten minimaal (kostenminimalisatie );

- bij welk alternatief is, bij gegeven te maken kosten, het te behalen effect maximaal ( effectmaximalisatie).

De antwoorden op deze vragen kunnen twee rangschikkingen opleveren die niet noodzakelijk identiek hoeven te zijn. Het is aan de beslisser om (eventueel gesteund door andere evaluatiemethoden) de juiste rangschikking te kiezen.

Waarde analyse.

Keen stelt in [Kee81] dat de traditionele kosten-batenanalyse niet goed geschikt is voor OSS-toepassingen. Ook uit een onderzoek gedaan door Hogue en Watson blijkt dat men zelden aan een kosten-batenanalyse toe komt [Hog83]. De baten zijn vaak kwalitatief van aard en er is geen 'final' systeem zodat ook de kosten niet goed te schatten zijn. Het besluit om een OSS-toepassing te maken is meer gebaseerd op waarde dan op kosten. Er wordt niet gekeken naar directe opbreng-sten of de Return On Investment. Waarde analyse is een manier om een OSS-toepassing bij de ontwikkeling te evalueren en vereist een aanpak bestaande uit twee processen:

1. Versie 0: Een eerste, klein maar compleet systeem met beperkte functionali-teit. Het besluit om versie 0 te bouwen is gebaseerd op:

a. een bepaling van de baten, niet noodzakelijkerwijs gekwantificeerd; b. een kosten bepaling. Is het het waard om dit bedrag te spenderen om

deze baten te krijgen? Deze kosten moeten laag blijven.

2. Basis systeem: Het gehele systeem (versie 1 tlm versie n), dat ontwikkeld zal worden als versie 0 succesvol is gebleken. Het besluit om het te ontwikkelen is gebaseerd op:

a. kosten analyse: wat zijn de kosten om dit grotere systeem te bouwen? b. waarde bepaling: wat voor niveau van baten is er nodig om tegen de

kosten op te wegen? Wat is de kans dat dit niveau bereikt wordt?

2.3.6. Indeling naar waarnemingswijze

Er zijn verschillende mogelijkheden om effecten te meten. In [NEI86] worden drie (klassen van) methoden gegeven:

- de "realistische" waarde benadering: meting van de prestatieverandering t.g. v. de introductie van het informatiesysteem;

- de normatieve benadering: bepalen van de effecten via bijvoorbeeld sim ula-tiemodellen, prototypes, demonstraties of benchmarksj

Paragraaf 2.3. Evaluatiemethodes uit de literatuur

- de subjectieve benadering: vragen aan de gebruikers of andere betrokkenen wat de waarde van de effecten is. Er is echter een gebrek aan een directe relatie tussen de "reële" waarde van effecten en subjectieve evaluatie. De mening van betrokkenen kan verkregen worden door middel van het opsturen van een vragenlijst, of door middel van het houden van interviews.

De in 2.3.5. genoemde zes methoden om effecten te meten en te evalueren gaan uit van uiteenlopende waarnemingswijzen. Bij een "realistische" waarde benade-ring maken zij onderscheid tussen kwalitatieve en kwantitatieve prestatieverande-ringen. Zij geven een voorbeeld van een normatieve benadering, genaamd 'cogni-tive testing'. Verder worden drie varianten van de subjectieve benadering bespro-ken, te weten: het bijhouden van een klachtenregister, het vragen van meningen, en het indelen van meningen in schalen en gewichten. Een ander voorbeeld van een normatieve waarde bepaling wordt gevonden in [Cha78], waar een niet-li-neair model besproken wordt om de efficiency van beslissingseenheden te bepalen.

2.4. Problemen bij het uitvoeren van evaluatie-onderzoek

Bij het nadenken over welke effecten door wie op welke wijze gemeten zouden moeten worden in het kader van een evaluatie-onderzoek moet steeds in het achterhoofd gehouden worden, dat het uitvoeren van een dergelijk onderzoek onderhevig is aan diverse problemen. Verschillende auteurs besteden hier aan-dacht aan. De belangrijkste problemen zullen in het navolgende worden samenge-vat. Doordat de problemen per auteur worden weergegeven is er geen sprake van disjuncte opsommingen.

Allereerst zullen in 2.4.1. de belangrijkste problemen worden samengevat, waarna in 2.4.2. een aantal problemen nader zullen worden uitgewerkt.

2.4.1. Samenvatting van de belangrijkste problemen

De belangrijkste problemen die bij het uitvoeren van een evaluatie-onderzoek kunnen optreden zijn:

1. Vooraf is vaak onvoldoende adequaat afgesproken welk doel nagestreefd wordt en in welke termen het bereiken daarvan gemeten moet worden. 2. Vaak wordt gekozen voor gemakkelijk kwantificeerbare doelstellingen en

maatstaven die betrekking hebben op efficiency (meten wat makkelijk meetbaar is i.p.v. wat gemeten zou moeten worden). Kwalitatieve factoren

EVALUATIE VAN INFORMATIEVOORZIENINGSMIDDELEN Hoofdstuk 2.

blijven vaak buiten beschouwing, tenzij de kwantitatieve baten onvoldoende zijn om een beslissing te rechtvaardigen.

3. De doelstellingen en maatstaven die gebruikt worden om een systeem te evalueren zijn soms andere dan de aanvankelijk gedefinieerde, b.v. ten gevolge van veranderde gebruikerswensen.

4. Betrokkenen kunnen van mening verschillen m.b.t. doelen en maatstaven (conflicterende doelen).

5. De omstandigheden zijn niet constant. Vaak zijn er ook.andere gebeurtenissen die inwerken op de gekozen maatstaven zonder dat hun effect te isoleren is. 6. De verzamelde gegevens kunnen onvolledig en onbetrouwbaar zijn. Dit kan meerdere oorzaken hebben (b.v. het politieke karakter van een formele evaluatie). Belangrijke vragen daarbij zijn: door wie is het onderzoek uitge-voerd, hoe is de inbreng geweest van de diverse belangengroepen en hoe is daarmee in het eindresultaat rekening gehouden?

7. Het voorspellen van lasten en zeker ook van baten is niet eenvoudig.

8. Meting aan het reële systeem is vaak onmogelijk, waardoor een produkt moeilijk is te evalueren. De ontwikkeling en het gebruik van een geforma-liseerd informatiesysteem voor de besturing van een reëel systeem is geen doel op zichzelf. De informatie uit het geformaliseerde informatiesysteem dient de beslisser te ondersteunen bij het uitvoeren van zijn taak: het reële systeem besturen. Hierbij wordt overigens vaak uitgegaan van het standpunt, dat zowel meer als snellere informatie over het reële systeem tot betere besturing van het reële systeem leidt (zie Ackoff [Ack67]). De werkelijke effectiviteit van het informatie-systeem is slechts aan de werking van het reële systeem te meten. Dat dit in de praktijk vaak nauwelijks mogelijk is, wordt geïllustreerd door het volgende vereenvoudigde voorbeeld.

De produktiestatistiek van het CBS heeft onder andere tot doel de Minister van Economische Zaken van informatie te voorzien omtrent de gevolgen van het gevoerde subsidiebeleid. De Minister zal, mede op grond van deze informatie, een beslissing nemen over het veranderen van het gevoerde beleid. Voor het meten van zowel de invloed van de informatie van het CBS als de kwaliteit van de beslissing van de Minister, zullen de effecten in het reële systeem, bij de bedrijven die subsidie ontvangen en gebruiken, aldaar waargenomen moeten worden. Met de resultaten van deze evaluatie kan vervolgens iets gezegd worden over in eerste instantie de beslissing van de Minister en in tweede instantie, voor wat betreft het aandeel van de CBS-informatie in de besluitvorming van de Minister, de kwaliteit van de statistiek van het CBS. Het zal uit deze beschrijving duidelijk zijn dat het achterhalen van de invloed van de informatie van het CBS op de besluitvorming op grond van het praktisch evaluatie-onderzoek bij de subsidie ontvangende bedrijven en een analyse van het besluitvormingsproces van de Minister, nauwelijks haalbaar is.

Paragraaf 2.4. Problemen bij het uitvoeren van evaluatie-onderzoek

2.4.2. Een aantal problemen nader beschouwd

Factoren die het afwegen van effecten van informatie bemoeilijken zijn [NIB79], [NEI86], [Bem84]:

- de mate van zekerheid; de mate van meetbaarheid;

de mate van relevantie van de informatie voor een beslissing; de orde van grootte van de beslissing;

de onderlinge afhankelijkheid van het nut van verschillende soorten infor-matie;

het doorwerkeffect (meerdere opeenvolgende beslissingen); het breed te-effect (meerdere gelijktijdige beslissingen).

Herweyer stelt in [Her8!] dat de centrale vraag bij het uitvoeren van evaluatie-onderzoek is: in welke mate slaagt de organisatie er in haar doel( en) te berei-ken? Teneinde dat te beoordelen kan uitgegaan worden van officiële doelstel-lingen (als die er zijn).

Daar kleven echter nogal wat bezwaren aan. Zo zijn uitspraken over doelstellingen vaak gesteld in zeer algemene bewoordingen. Ook kan er een aanmerkelijke kloof bestaan tussen wat de organisatie officieel geacht wordt na te streven en hetgeen werkelijk wordt nagestreefd. Het is echter ook zeer goed mogelijk dat ten aanzien van de invoering van een informatiesysteem officiële (uitspraken ten aanzien van de) doelen geheel ontbreken. Dit stelt de evaluatie-onderzoeker voor problemen. Zeker indien men ziet wat voor verschillende vormen van doelen er zijn. Ambitieuze doelen.

Een reden voor het formuleren van (te) ambitieuze doelen kan zijn het mobili-seren van een traag en omvangrijk uitvoerend apparaat. De resultaten van het evaluatieonderzoek zullen bij het evalueren van te ambitieus gestelde doelen verontrustend zijn. Doelen worden met name te ambitieus gesteld om zich te hoeden voor het verschijnsel dat het oorspronkelijk gewekte enthousiasme aan slijtage onderhevig is, of om het fiat van het top-management te krijgen (b.v. voor het aanschaffen van een pakket).

Symbolische doelen.

Dit zijn vaak politieke doelen, als de produktie en verdeling van minder tastbare zaken, of een taakverrijking van de functionarissen t.g.v. een verandering in de informatievoorziening. Symbolische doelen zijn niet gericht op feitelijke verande-ringen in de te ondersteunen bedrijfsprocessen. Uitgaande van dergelijke doel

-einden, wordt nogal eens geconcludeerd dat het onderzochte beleid niet effectief was.

EVALUATIE VANINFORMATIEVOORZIENINGSMIDDELEN Hoofdstuk 2.

Vage doelen.

Doeleinden zijn (t.g.v. het gebruik van niet nader aangeduide voorwaarden, abstracte begrippen, onduidelijke formuleringen, gebrekkige toelichtingen etc.) vaak onbruikbaar als evaluatiecriterium. Veel doelen laten door hun algemeen-heid ruimte voor interpretatieverschillen, missen een prioriteitsstelling. Ook worden de waarden achter de doelen niet gemotiveerd of wordt er geen duide-lijke relatie gelegd tussen de doeleinden en de waargenomen problemen waarop de verandering in de informatievoorziening een antwoord moet zijn. Een verklaring hiervoor kan zijn dat door het opvoeren van de abstractiegraad van de doelstellingen de kring van potentiële discussianten aanzienlijk wordt geredu-ceerd.

Doelverlaging.

Dit is het geval indien de beslisser zijn doel lager stelt dan hij ten aanzien van het bedrijfsproces waarvoor hij verantwoordelijk is wenselijk en realistisch vindt. Ten aanzien van de aanschaf van de DSS-generator kan bijvoorbeeld gesteld worden dat deze aangeschaft wordt om er enkele kleine persoonlijke toepassingen mee te gaan maken; dit in de hoop dat later m.b.v. de generator werkzaamheden met veel minder menskracht verricht kunnen worden. Ex-post evaluatie van de generator zou dan wel eens tot zeer gunstige resultaten kunnen leiden.

Een van de grote problemen m.b.t. doelen is, dat ze in de loop van de tijd kunnen veranderen. Dit is zeker actueel indien men van de stelling uitgaat dat informatiesystemen (en DSS-toepassingen in het bijzonder) aan veranderingen onderhevig zijn en dat er geen 'final' systeem is. Ten aanzien van de actualiteit van in het verleden gestelde doelen kan het volgende onderscheiden worden [Her81]:

Rollende doelen (doel- middelen hiërarchie).

Een beleidstheorie kan men grafisch voorstellen in de vorm van een doeleinden-boom, waarin aan de voet de middelen worden aangegeven die door pijlen verbonden worden met tussendoelen, die op hun beurt door pijlen verbonden worden met de einddoelen in de top van de doeleindenboom. Hoe hoger men in de boom terecht komt, hoe groter de kans is dat de doelen door verstorende factoren beïnvloed worden. Indien het de beslisser na de invoering van het DSS meezit kan hij de einddoelen als officiële doelen hanteren. Zitten de verstorende factoren tegen dan kan de beslisser een lager gelegen doel kiezen of hij kan zich beroepen op de verstorende factoren. Deze doel-middel hiërarchie kan men zowel bij één functionaris als bij de organisatie in haar geheel tegenkomen. Het is een vrij arbitraire zaak wat nu als doel bij de evaluatie gehanteerd moet worden.