Effecten van studievaardigheden: Het retoucheermes in nederlands onderzoek

han israels

effecten

van

studievaardigheid

het retoucheermes

.

In

nederlands onderzoek

effecten

van

: 1111111111111 Ill1ltilll 11111111111 11111 !IIIIII /111111'11111

"11111 lilliiilili lIliiJlil1 li\11 ilIIIIIIIII 11\\\11111i'

!I

ill!:ilill

tlil HIIIHItII IIlIlilil 1111111111 1'/1 ,1111 11 illlli'lllI

stud ievaard ig heid

22568

BIBLIOTHEEK TU Delft

P 2115 4215

1111111111111

!MI l P 'PI'" _g 5, -7'1 cr 111. ,.

han israels

effecten

van

studievaardigheid

het retoucheermes

_.

In

nederlands onderzoek

Uitgegeven door:

Delftse Universitaire Pers

Mijnbouwplein 11

2628 RT DELFT

(015) 783254

Op verzoek van:

Onderwijskundige Dienst

Technische Hogeschool Delft

Postbus 5027

2600

GA DELFT

(015) 785557

Omslag:

Ontwerpstudio van de

Delftse Universitaire Pers

Copyright

@

1984 by Onderwijskundige Dienst, TH Delft

No part of this book may be reproduced or transmitted in any form or by any

means, electronic or mechanical, including photocopying and recording without

written permission from the publisher.

ISBN 90 6275161 X

Printed in The Netherlands

1. Inleiding .•.•••••••••••••••••••••••••••••••••••••••••••••••• 3 2. Overzicht van het veld der studievaardigheden ..••••••••••••• 6 2.1. Individuele adviezen en boekjes ..•••.••••.••••••••••• 8 2.2. Cursussen •.••••••••••••..•••••..•.•••••.••••••••••.•• 11 3. Overzichten van onderzoekingen naar de effecten

van cursussen studievaardigheid .•••.•••••••••••••••••••••••• 14 3.1. Het literatuuronderzoek van Van Bruggen •••••••••••••• 14

3.2. Meta-analyse door Kulik, Kulik

&

Shwalb .••••••••••.•• 18

4. Vertekeningen in Nederlands onderzoek

naar studievaardigheden ••••••••.•••••••••.•••••••••••••••••• 24 4.1. Onderzoek door Van Hout-Wolters in Twente •••••••••••• 24 4.2. Onderzoek door Van Oostendorp bij het Bureau

Studievaardigheden in Utrecht •••.••••••.••••••••••••• 26 4.3. Onderzoek naar de cursus 'Leren door Schematiseren' •• 29 5. Vertekeningen in de Nederlandse discussie over onderzoek

naar studievaardigheden .••...•..•...••••.•..•..•••.••.. 36 5.1. Van Bruggen over onderzoek •.••...••...••.•••••••• 36

5.2. Elshout-Mohr

&

Mirande over onderzoek •.••.••.••.••.•• 40

5.3. Studievaardigheden als doel op zichzelf •••••..••••.•• 43 5.4. Onderzoekers onder elkaar ..•...•.••...••••.•.• 46 6. Het geheel overziende: Balans van de mate van vertekening .•• 48 7. Een enkele beleidsconclusie •••••••••.•••.••••••••.•••••••••. 51 8. Post Scriptum: Hoe studenten in Twente onderwijs krijgen in

een systematische manier om vraagstukken aan te pakken •••••• 53

8.1. Het proefschrift van Mettes

&

Pilot .•.••..••.•••.••.. 54

8.2. Het onderzoek van Van Weeren e.a ••••••••..••••••••••. 56 8.3. Conclusie ..••••••.••.•.••••.•••..•.•••••.•••••••••..• 61 9. Bijlagen •••••••.••••••••••••.••••••.•••..••...•••••••••••••• 63 Literatuur •••••..•••••••••••••••••••••.••••••••••••.•••••••••.• 77 Personenregister ....•.•.••••••.•••..••...•.•....••.••...•. 83

1. INLEIDING

'Studievaardigheid' is in de mode. Op nagenoeg alle

univer-siteiten en hogescholen zijn mensen speciaal aangesteld om

'studievaardigheid' te bevorderen. Er bestaat een landelijke

vereniging van de mensen die op dit gebied werkzaam zijn. De

inventarisatie van Nederlandse literatuur op dit gebied beslaat

alleen al voor de laatste paar jaar vele honderden titels (Bax e.a. 1984).

'Studievaardigheden' - vertaling van de Engelse term 'study

skills' - behelst een breed spectrum van activiteiten.

Individuele adviezen aan studenten over hoe ze de studie beter kunnen aanpakken, boekjes waarin die adviezen in meer algemene

vorm staan opgeschreven, cursussen waarin groepjes studenten

daadwerkelijk oefenen in studietechnieken zoals het maken van

uittreksels of van een studieplanning, of . bemoeienis om docenten

zelf meer aandacht te laten besteden aan de manier waarop

studenten de studie dienen aan te pakken - het wordt allemaal tot

het veld der 'studievaardigheid' gerekend.

Ik zei dat aan nagenoeg alle instellingen voor hoger onderwijs in Nederland mensen speciaal voor studievaardigheden zijn aan-gesteld. Een van de weinige instellingen die ontbreekt in de omvangrijke inventarisaties van wat er zoal bestaat aan cursussen

en literatuur op het gebied van studievaardigheid (b.v. Bax e.a. 1983, Bax e.a. 1984) is de Technische Hogeschool Delft. Er is hiervoor wel eens iemand aangesteld; Anneke Hauber-Vellekoop

werkte daartoe vanaf 1975 bij de Onderwijskundige Dienst, maar

veel gevolgen heeft dat niet gehad; zo waren er in 1977 geen

afdelingen die daadwerkelijk wilden meewerken bij het opzetten

van activiteiten op dit gebied en daarom heeft ze toen een intern

rapport geschreven getiteld "Taak en plaats van medewerker(s)

projekt studievaardigheden". Ik citeer uit dat rapport:

"Nu er op dit moment geen trainingen lopen noch zullen lopen gedurende het kursusjaar 77/78, is er tijd voor bezinning. Zo rijzen de vragen of er nog wel behoefte bestaat aan training en begeleiding bij studeer vaardigheden binnen de TH Delft en zo ja, vanuit welke plaats men het beste met

studie-vaardigheden bezig kan zijn." (Hauber 1977 p.1) Hauber meent dat er wel degelijk behoefte bestaat aan

activiteiten op het gebied van studievaardigheid, en komt met

suggesties voor de toekomst; op lange termijn kiest ze zelfs voor

een speciaal Bureau Studievaardigheden in Delft, zoals dat in

Utrecht bestaat, want: "In Utrecht bleek deze keus effektvol."

(Hauber 1977 p.4) Hoe 'effektvol' zullen we zien in hoofdstuk 4.

De suggesties van Anneke Hauber zijn echter niet gevolgd; na haar

is er hiervoor in Delft niemand meer speciaal aangesteld; er zijn

alleen een paar studie-adviseurs die als onderdeel van hun werk

4

de landelijke ontwikkelingen op het gebied van studievaardigheid is dit een opvallende gang van zaken, en vrij onlangs heeft de Onderwijskundige Dienst er dan ook weer eens een intern rapport over gepubliceerd, getiteld "Studievaardigheid: Iets voor de THD?" (Van der Graaf e.a. 1983). Van der Graaf e.a. geven niet zozeer een antwoord op de vraag uit de titel van dit rapport; het rapport is vooral bedoeld als een zakelijke inventarisatie van hetgeen er op dit gebied gedaan wordt aan enkele universiteiten

en vooral enkele Technische Hogescholen in Nederland.

In 1984 heb ik in opdracht van de Onderwijskundige Dienst nog eens gekeken naar studievaardigheid. Daarmee heeft de Onderwijs-kundige Dienst nadrukkelijk niet vermeden iemand binnen te halen die een reputatie te verliezen heeft als querulant scepticus. In eerdere publicaties over studiebegeleiding heb ik mij weinig optimistisch uitgelaten over het nut van allerlei begeleidings-activiteiten, en heb ik vooral veel kritiek uitgeoefend op het Nederlandse onderzoek op dit terrein. In dat onderzoek valt een systematische vertekening te constateren ten gunste van studie-begeleiding. Ik vermeld hier uitdrukkelijk mijn excentrische positie in het veld van studiebegeleiding en onderwijsresearch opdat de lezer beseft dat alle nu volgende pagina's allerminst een soort grootste gemene deler bevatten van het denken onder deskundigen in Nederland over studievaardigheid. Integendeel, het

zullen juist de opinies van deze deskundigen zijn die in dit

rapport kritisch onderzocht zullen worden.

Wie zich alleen maar interesseert voor de vraag of ik vind dat de TH Delft meer of minder of iets anders op het gebied van studie-vaardigheden zou moeten doen, kan misschien het beste dadelijk doorbladeren naar de conclusie. Die conclusie is heel simpel: het nut van activiteiten op het terrein van studievaardigheid is allerminst bewezen.

Het leeuwendeel van deze tekst is dan ook eigenlijk alleen maar interessant voor mensen die zich interesseren voor de manier

waarop een professie - in dit geval: de groep mensen die zijn

brood verdient met studievaardigheden - de eigen activiteiten verdedigt: hoe de leden van deze professie 'bewijzen' dat hun werk nuttig is, hoe collega's soms de hand boven het hoofd gehouden wordt.

Ik heb in dit rapport als volgt geredeneerd - en daarmee is

tegelijkertijd de opbouw van deze tekst aangegeven:

*

Moet de TH Delft iets aan studievaardigheden gaan doen? Die

vraag kan beter anders geformuleerd worden: bestaan er

activiteiten op het gebied van studievaardigheid waarvan het nut

bewezen is? Ik zou natuurlijk zelf kunnen proberen om aan te

tonen dat bepaalde activiteiten op dit terrein nuttig zijn.

*

Voordat ik met zulk onderzoek begin, kan ik beter eerst eens

kijken of er niet al anderen geweest zijn die het nut van dit

*

Voordat ik zulk onderzoek van anderen bekijk, kan ik beter

eerst eens zien of er niet al anderen vóor mij geweest zijn die

het onderzoek op dit terrein op een rijtje hebben gezet en daaruit conclusies hebben getrokken.

*

Een dergelijk 'literatuuronderzoek' is onlangs in Nederland

verricht door Jan van Bruggen. Ik kijk daarom wat nader naar zijn

werk, en vervolgens naar een rivaliserende studie waarin op een

andere wijze een groot aantal studies is verwerkt: een zg.

'meta-analyse' door Kulik e.a. (hoofdstuk 3)

*

Vooral de meta-analyse berust op de vooronderstelling dat we

kunnen afgaan op gepubliceerde onderzoeksresultaten. Ik onderzoek

of deze vooronderstelling opgaat voor het Nederlandse onderzoek

op dit gebied:

*

Ik bekijk de wijze waarop over onderzoeksresultaten wordt

gerapporteerd (hoofdstuk 4), en

*

Ik bekijk de manier waarop er wordt geschreven over dit soort

onderzoek (hoofdstuk 5).

*

Mijn conclusie hieruit zal zijn dat er een vrij algemene

tendens valt waar te nemen om resultaten te gunstig te presen-teren, om kritisch onderzoek te weren, en om onvoldoende kritiek

uit te oefenen op het onderzoek van anderen. Niet dat het nu

allemaal zo vreselijk is; er zijn stellig professies waar de

mechanismen van zelfbescherming nog veel sterker zijn ontwikkeld

(hoofstuk 6).

*

Dan volgt een zeer korte algemene conclusie (hoofdstuk 7).

*

En tenslotte behandel ik in het Post Scripturn een aanpak die in

Nederland meestal tot de studievaardigheden wordt gerekend,

hoewel die dat volgens mij niet is; dat betreft een bepaalde

wijze om onderwijs systematisch te veranderen: een vooral in

Twente ontwikkelde aanpak waarbij studenten naast onderwijs in

een bepaald vak ook onderwijs krijgen in de algemene structuur

die ten grondslag ligt aan de manier waarop problemen in dat

vakgebied worden aangepakt.

Ik heb deze tekst kunnen schrijven dank zij de hulp van de

volgende mensen. Wil Knippenberg heeft dit werk min of meer voor

mij geschapen. Hij heeft zich later ontpopt tot een

voor-treffelijke begeleider en criticus. Ook het hoofd van de

Onderwijskundige Dienst, drs. F. Herbschleb dank ik voor

nauw-gezette kritiek op een eerdere versie van deze tekst. Prof. dr.

J.

Bastiaans voorzag mij van massa's schitterend materiaal toen

ik hem bezocht om opheldering te vragen over een zaak die in dit

rapport slechts heel kort aan de orde komt (zie p.49). Pieter

Jongepier voerde op mijn verzoek een aantal berekeningen uit met

data uit onderzoek van hem. Hansje Ver beek hielp met het

6

2. OVERZICHT VAN HET VELD DER STUDIEVAARDIGHEDEN

Dit hoofdstuk bevat een beknopt overzicht van de stand van zaken en de belangrijkste ontwikkelingen op het gebied dat wordt aan-geduid met het woord 'studievaardigheden'.

De term 'studievaardigheden' moge op zichzelf al rijkelijk veel lettergrepen tellen; meestal komt de term ook nog voor in samen-stellingen zoals studievaardigheidscursussen, studievaardigheids-ontwikkeling of studievaardigheidsbegeleiding. Deze verbale wan-gedrochten moeten verklaard worden uit het feit dat de termino-logie op dit gebied bestaat uit vertalingen van Engelse termen.

'Studievaardigheden' gaat terug op het aanzienlijk hanteerbaarder Engelse 'study skilIs'; een betere vertaling dan

'studie-vaardigheden' heb ik echter ook niet te bieden. Ook is het te begrijpen waarom er samenstellingen bestaan die beginnen met het woord 'studievaardigheden': studievaardigheden zijn nog alleen maar de eigenschappen die studenten zouden moeten hebben om goed

te kunnen studeren; het gaat in dit veld echter altijd om activiteiten die ondernomen worden om studenten beter te leren studeren: begeleiding om studenten beter te leren studeren wordt dus 'studievaardigheidsbegeleiding', cursussen om studenten beter te leren studeren worden 'studievaardigheidscursussen' • Ik heb dit soort aan-elkaar-brei-termen zoveel mogelijk vermeden, maar het gevolg daarvan is een minder juiste terminologie: ik praat meestal over 'activiteiten op het gebied van de

studie-vaardigheid' - en wat ik dan bedoel is niet een student die goed studeert, maar activiteiten die worden ondernomen door mensen die zijn aangesteld om studenten beter te leren studeren. Ik duid in het algemeen met 'studievaardigheden' dus niet de vaardigheden van studenten aan, maar hetgeen er wordt ondernomen om studenten vaardiger te leren studeren. Dit sluit aan bij veel gangbaar

taalgebruik in de wereld waar het hier over gaat en het zal bij lezing van mijn tekst ook geen interpretatieproblemen opleveren, maar strikt taalkundig is het uiteraard niet juist.

Wat versta ik zoal onder activiteiten op het gebied van de studievaardigheid? Ik baken mijn terrein tamelijk pragmatisch af: ik beperk mij tot de vrij hecht georganiseerde groep van pro-fessionals in het Nederlandse hoger onderwijs die zelf deze term in hun vaandel voeren. Dat betreft mensen die zijn aangesteld als medewerkers bij RWO-bureaus (bureaus voor Research van het Weten-schappelijk Onderwijs zoals elke universiteit en hogeschool die heeft), als studentenpsycholoog of als medewerker bij het Bureau Studievaardigheden in Utrecht of het Centrum voor Studietherapie

in Groningen. Deze mensen zijn georganiseerd in het LOS, het Landelijk Overleg Studievaardigheden, een vereniging met een eigen blaadje geheten LOS-Contact, een jaarlijkse studiedag waar

ruim honderd mensen komen en een jaarlijkse lijvige inventari-satie van cursussen en literatuur op dit gebied (de meest recente

is Bax e.a. 1984). Ik heb min of meer alles wat er in die inventarisaties staat, aangehouden als datgene wat hier onder studievaardigheden verstaan zal worden.

Deze afbakening impliceert een drastische beperking. Vaak

proberen ook gewoon docenten in het Hoger Onderwijs om studenten

te leren hoe ze beter kunnen studeren, zonder dat daar iemand aan

te pas komt uit de groep mensen die georganiseerd is in het LOS, het Landelijk Overleg Studievaardigheden. Wat die docenten doen is vaak inhoudelijk exact gelijk aan wat ik hier onder studie-vaardigheid zal verstaan; maar het wordt dan bijna nooit gedaan onder de expliciete vlag van 'studievaardigheid'. Een voorbeeld:

aan het Sociologisch Instituut van de Universiteit van Amsterdam

zijn de hoogleraren Goudsblom en De Swaan werkgroepen 'socio-logisch schrijven' gestart die nog steeds goed draaien, waarover

vrij veel gepubliceerd is, die ook vanuit de goede ervaringen

ermee in verschillende andere studierichtingen zijn overgenomen. Al die activiteiten en publicaties zoekt men echter tevergeefs in de zeer omvangrijke literatuurinventarisatie van het LOS. Het is in zoverre verantwoord om de activiteiten buiten het Landelijk Overleg Studievaardigheden niet in dit boekje te betrekken omdat

beslissingen over studievaardigheid op centraal niveau in het hoger onderwijs meestal betrekking hebben op formatieruimte voor

professionals op dit gebied, en daarmee zitten we op het terrein dat volledig gemonopoliseerd wordt door de groep waarover dit boekje gaat.

Ik laat niet alleen alles buiten beschouwing wat zichzelf geen 'studievaardigheden' noemt, maar ook een aanpak die met name aan de TH Twente is ontwikkeld en die wordt aangeduid met termen als

'leren probleemoplossen' of 'systematische probleemaanpak' • Om uit te leggen waarom ik deze aanpak in eerste instantie buiten beschouwing laat moet ik iets zeggen over enkele heel algemene

overwegingen achter studievaardigheid. Waar studenten het onder

-wijs niet goed aankunnen, kun je proberen om 1. de studenten

bekwamer te maken, of 2. het onderwijs te veranderen. Studenten doen soms de studie niet goed omdat ze onvoldoende beschikken

over bepaalde meer algemene vaardigheden die voor het studeren

vereist zijn. Ze weten b.v. niet goed hoe je een uittreksel moet maken, of hoe je je studietijd moet plannen. Dergelijke vaardig-heden horen niet bij het een of andere vak maar gelden voor alle vakken, het zijn algemene vaardigheden die voor het studeren nodig zijn, en die zouden aan studenten geleerd moeten worden. Het betekent dus dat je de zaken probeert te verbeteren door de studenten zo te veranderen dat ze beter kunnen studeren. De

andere kant van waaruit het hoger onderwijs verbeterd kan worden, is uiteraard het onderwijs: als studenten de studiestof niet goed aankunnen, dan is die stof misschien te moeilijk, of de stof wordt niet goed gepresenteerd, etc. Het eerste van deze twee aanpakken noemen we studievaardigheden. Het merkwaardige is nu dat het leren probleemoplossen zoals dat vooral aan de TH Twente is ontwikkeld, gepresenteerd wordt als behorend tot de grote

8

is dan een verandering in de manier waarop het onderwijs in een specifiek vak wordt gegeven. Deze 'systematische probleemaanpak' geniet in de wereld van de studievaardigheid terecht een hoog prestige en is ontwikkeld voor een aantal typische TH-vakken; daarom zou het jammer zijn om deze aanpak geheel buiten

beschouwing te laten. Deze aanpak wijkt echter sterk af van wat er verder onder de vlag der studievaardigheid wordt gepresen-teerd; daarom heb ik dit alles verplaatst naar een Post Scripturn (p.53 e.v.).

Ik wil nu een kort overzicht geven van het veld der studie-vaardigheid. Uitvoerig wordt dat overzicht niet: een inventari-satie is onlangs al eens aan de TH Delft gegeven door Van der Graaf e.a. Die publicatie bevat een momentopname van hetgeen er de laatste jaren zoal aan studievaardigheid gedaan wordt, vooral aan enkele Technische Hogescholen. Ik leg in het nu volgende overzicht de nadruk op twee aspecten die Van der Graaf e.a. niet behandelen, namelijk: hoe dit terrein zich heeft ontwikkeld, en hoe er in deze kringen zoal gedacht wordt over de effectiviteit

van de verschillende activiteiten op dit gebied.

2.1. Individuele adviezen en boekjes

Globaal is de ontwikkeling als volgt verlopen. De meest elementaire vorm van het bevorderen van studievaardigheid is ongetwijfeld: de leermeester die zijn studenten hierover adviezen geeft. Dit principe van individuele hulp op het gebied van

studievaardigheid bestaat nog steeds, bij voorbeeld op het Bureau Studievaardigheden in Utrecht of het Centrum voor Studietherapie in Groningen: een deel van het werk bestaat daar uit individuele gesprekken met studenten. In hoofdstuk 5 komt iemand ter sprake die op een dergelijke manier te werk gaat: dr. J. Wankowski. Na dergelijke individuele mondelinge adviezen is de volgende stap: die adviezen opschrijven. Dat leidt tot boekjes over studie-vaardigheid. Zulke boekjes bestaan al eeuwen. De toon van de boekjes verandert enigszins in de loop der tijd: aanvankelijk hebben de auteurs de neiging om adviezen te geven op alle mogelijke gebieden, zo keert steeds weer het advies terug om zorgvuldig om te gaan met geld. Geleidelijk aan beperken de auteurs van dit soort boekjes zich echter steeds meer tot gedrag dat direct met het studeren zelf te maken heeft.

Fraaie illustraties voor deze ontwikkeling zijn bij voorbeeld te vinden in een boekje getiteld Welmeenende raadgevingen aan studerende jongelingen bij den aanvang en gedurende hunne akademische loopbaan uit 1850:

"Het volgend ontzettend voorval zij niet te vergeefs hier door mij vermeld:

Een veel belovend jongeling bevond zich als student aan eene der Duitsche Akademiën. Na verloop van eenigen tijd

geraakte hij verslaafd aan het spel en gaf zich daarbij aan

verregaande losbandigheid over. Weldra geraakte hij in slecht

gezelschap en in hem knellende schulden; hij schreef een en

andermaal aan zijne ouders om geld, ontving het; maar het

was, helaas! om op denzelfden verderfelijken weg roekeloos

voort te gaan; hij schreef weder om onderstand naar het

ouderlijk huis - doch verkreeg nu niet zóo spoedig antwoord,

als hij het verwachtte. Zijne schuldeischers drongen, zijn

kloppend geweten folterde hem! de nood klom ten top en hij nam

het besluit naar zijnen vader en zijne moeder te snellen en

hen met schuldbelijdenis en berouw zijnen jammer vollen

toestand te openbaren. Vermoeid en afgemat naar ligchaam en

geest, komt hij, laat in den avond, aan eene herberg, om daar te overnachten. De inwendige onrust verwijdert van hem den ondersteunenden slaap; in den nacht komt er een vreemdeling

in de aan de zijne grenzende kamer - dezen hoort hij aldra

een zeer aanmerkelijke som geldt tellen, en daarna aan den

waard te kennen geven, dat hij nog dien nacht de haast

vorderende reis voort wilde zetten, om dat de maan vol was

en zoo uitnemend helder scheen; niet beter wetende dan dat

men in die streek, ook bij nacht eenzaam reizende, veilig

was. De jongeling, dit alles vernemende, siddert; de

tweestrijd is zwaar! de begeerte naar het geld krijgt de

overhand - hij laat den vreemdeling vertrekken, voorziet zich

van eene bijl, welke zich, schijnbaar toevallig, in zijn slaapvertrek bevond. Den weg slaat hij in, waarvan hij gekomen was, op welken hij wist, dat de vreemdeling hem vooruit was

gegaan. Al spoedig ontdekt hij hem in het verschiet; hij

verhaast zijne schreden en komt hem al nader en nader - het

bruist en woedt in zijn binnenste - het rampzalig besluit

wordt volvoerd, en de reiziger stort, door een slag met de

bijl op het hoofd, doodelijk gewond, op den grond neder! In de vreesselijkste verbijstering grijpt de jongeling naar het

valies, waarin het geld zich bevond, opent het in allerijl,

en vindt bij het geld eenen brief, wiens opschrift hij bij het

licht der maan, als door zijns vaders hand aan hem gerigt,

herkende." (Crommelin 1850 p.60)

Etcetera. Dit soort melodramatisch-moraliserende verhalen ontbreekt in boekjes over studievaardigheden van de laatste

decennia. Maar ook in een brochure uit 1961 voor studenten aan de

TH Delft getiteld Studeren: Methode en techniek bemoeit de auteur

zich nog met het studentenleven op een manier zoals dat

tegen-woordig ondenkbaar zou zijn. Bij voorbeeld een passage over een

student die zich voorneemt om op een avond drie uur te studeren,

maar die in die tijd meer dan een uur kwijt is aan thee drinken

en praten met zijn vriend Evert:

'~uim één uur van de drie, die waren uitgetrokken, ging

verloren. Een pauze van een kwartier was normaal geweest. Een

di

--

---

--

--

--

---

---

---

----

-,

10

niet eens zo'n heel slechte prestatie is. Maar het

merkwaardige is, dat deze of een andere klungelaar, straks,

bij een gesprek over de onderontwikkelde gebieden, luidkeels

durft verkondigen: 'Ja, wat wil je, hoe kun je die kerels

welvaart brengen als ze niet kunnen en willen werken?'" (Van Berckel 1961 p.13)

Of nog een fraaie passage:

"Een veel gehoord geluid onder studenten is, dat ze zich

alleen kunnen concentreren als de radio aanstaat. Ik heb

medelijden met ze en kan alleen maar adviseren de studie

onmiddellijk op te geven en een baan te zoeken als verkoper

in een radiobedrijf. Want de praktijk wijst uit dat ze

allemaal mislukken, zelfs de eindstreep niet halen. Ik ben althans in geen enkel bedrijf ooit een figuur tegengekomen die een radio op zl.Jn kamer had en die de hele dag liet blèren." (Van Berckel 1961 p.14)

De adviezen worden minder omvattend, waarschijnlijk vooral vanuit

toenemende twijfel of we wel zo precies weten welk gedrag nu wel

en welk gedrag niet aan te bevelen is voor een succesvol studie-verloop, en vooral vanuit toenemende twijfel of het wel zo veel zin heeft om verstrekkende adviezen te geven. Mensen veranderen hun gedrag in het algemeen niet zo snel louter en alleen omdat ergens geschreven staat dat ze dat zouden moeten doen. Het lijkt dus zinnig om adviezen zo strikt mogelijk te beperken tot het

studeergedrag zelf. Ook dan blijft het echter de vraag of

studenten door het lezen van een boekje hun gedrag zullen

veranderen. Vergelijk Pieter Jongepier, aangesteld als medewerker voor studievaardigheden aan de Katholieke Universiteit Nijmegen, in een recensie over een recent boek op dit gebied, Studeren kun

je leren: Een werkboek voor studerenden door Cees

Louwerse, hoofd van het Bureau Studievaardigheden in Utrecht: Cees Louwerse, aldus Jongepier (1981 p.187,188),

"weet immers - uit literatuur en uit eigen ervaring - dat het

louter kennis nemen van informatie over goede studie-strategieën en -technieken geen enkele invloed uitoefent op het studeergedrag van studenten. Waarom dan toch een boek?

Ik denk dat de schrijver zijn boek niet beschouwt als een zoveelste boek vol nuttige studietips. De ondertitel en de van de gangbare 'tipboeken' afwijkende opbouw doen dat vermoeden. ( .•• ) Ondanks het unieke van het boek, waardoor het meer wil zijn dan een 'tipboek' (zoals bijvoorbeeld de

bestseller Effectief studeren van Van Parreren, Peeck en

Velema), is het mijns inziens toch niet meer dan dat geworden. ( ..• ) Ik verwacht dat studenten met gebrekkige studievaardigheden het boek niet zullen lezen. Veel van deze

studenten schrikken van veel leeswerk en ze zouden het boek

waarschijnlijk zelfs niet lezen wanneer het gratis zou zijn.

Uit een onderzoekje in Nijmegen (Jongepier, 1980) bleek dat juist studenten met gebrekkige studievaardigheden - voor wie

dergelijke boeken vooral bedoeld zijn - zelfs een dunne

informatiebrochure niet lazen. Als dit (niet alleen dure maar

ook vrij dikke) boek al door studenten gelezen wordt, dan zal

dat ZlJn door studenten die reeds over goede

studie-vaardigheden beschikken. Hetgeen op zich niet dramatisch is: ook goede studenten zullen er veel nuttige zaken uit kunnen halen."

Men ziet: twijfel over het nut van boekjes op dit gebied bestaat

ook bij mensen die zelf op dit gebied werken. Dat heeft echter

niet tot een breuk in de ontwikkeling geleid: twee jaar na deze passage verscheen een boekje in het zelfde genre van nota bene deze zelfde Jongepier plus twee anderen (Van Hout-Wolters,

Jongepier

&

Pilot, Studiemethoden). Net als het boek van Louwerse

bevat ook dit boekje van Van Hout-Wolters, Jongepier

&

Pilot aan het slot een aantal oefeningen.

Achter die oefeningen schuilt vermoedelijk de gedachte dat mensen bijna nooit hun gedrag daadwerkelijk veranderen alleen maar als gevolg van lezen over hoe het anders moet; gedrag verandert alleen wanneer daadwerkelijk geoefend wordt met die gedrags-verandering. Of de lezers van zo'n boekje nu ook daadwerkelijk die oefeningen zullen maken, dat mag men betwijfelen, en dat wórdt ook heel algemeen betwijfeld. Ik ben in de meer recente literatuur niemand tegengekomen die echt gelooft in het nut van dit soort boekjes met nuttige studieaanwijzingen; de houding is meer zoiets van: het kost weinig geld en baat het niet, het

schaadt ook niet.

Juist omdat goede adviezen voor beter studeren niet zonder meer leiden tot beter studiegedrag, spelen die boekjes zeker in de discussies nauwelijks nog rol en is alle nadruk verschoven naar het daadwerkelijk oefenen met studenten in betere manieren van studeren. Dat heeft geleid tot de tweede algemene vorm van

activiteiten op het gebied van studievaardigheid, namelijk

cursussen.

2.2. Cursussen

Cursussen studievaardigheid bestaan in Nederland sinds twee à drie decennia; in de Verenigde Staten bestaan ze al enkele decennia langer. Die cursussen vertonen een ontwikkeling die

enigszins lijkt op hetgeen ik zojuist over die boekjes schreef. De oudste cursussen zijn meestal meer algemene cursussen, waarbij

geoefend wordt op allerlei aspecten van studeergedrag: hoe plan ik mijn studie? hoe krijg ik een globaal overzicht over een

studieboek? hoe voorkom ik dat ik al te zenuwachtig ben bij een tentamen? etc. Geleidelijk aan verschuift de nadruk naar meer

gespecialiseerde cursussen, waarbij de nadruk ligt op slechts een enkel aspect van effectief studeren. Een goed voorbeeld daarvan is de cursus 'Leren door schematiseren' (Mirande 1981). In deze

cursus leren studenten alleen hoe ze de betoogstructuur van een tekst in kaart kunnen brengen. De studenten zetten hierbij de redenering in een tekst volgens een bepaald systeem om in een

12

grafisch patroon. Hierdoor worden ze gedwongen om de lijn uit een

betoog te destilleren, en zo zouden ze meer greep krijgen op de

aldus bestudeerde teksten.

Zo zien we dus hoe ook bij de cursussen de pretenties afnemen, hoe de aandacht zich richt op heel specifieke aspecten. Net als

bij de boekjes hangt ook deze ontwikkeling ongetwijfeld samen met

een groeiende scepsis over het nut van dit soort activiteiten op

het gebied van studievaardigheid. Wanneer men zich nu zou richten op één specifieke activiteit, en wanneer men de cursus bovendien

zou combineren met onderzoek niet alleen naar de effecten van die

cursussen maar ook zo veel mogelijk naar de effecten van de

verschillende componenten van die cursussen, dan zou het mogelijk

moeten zijn om effectieve cursussen studievaardigheid te

ontwikkelen. Ook voor deze ontwikkeling is de cursus 'Leren door

schematiseren' een goed voorbeeld: er is rond die cursus een

grote hoeveelheid onderzoek verricht (zie hoofdstuk 4). De cursus

is bovendien ontwikkeld aan het COWO, het Centrum voor Onderzoek

van het Wetenschappelijk Onderwijs aan de Universiteit van

Amsterdam waar ook het onderzoek is verricht dat toonaangevend is

geweest voor de vrij algemene scepsis rond het nut van cursussen studievaardigheid, namelijk het literatuuronderzoek van Jan van

Bruggen - een onderzoek waar ik het in het volgende hoofdstuk

vrij uitvoerig over zal hebben.

Deze scepsis moge ook blijken uit een recent artikel van Cees Louwerse en Winnifred Meyboom, hoofd respectievelijk medewerkster

van het Bureau Studievaardigheden in Utrecht - een artikel dat ik

in de bijlagen gereproduceerd heb (p.64-66).

Onverbloemde uitingen van twijfel over cursussen

studie-vaardigheid ken ik echter weinig uit deze wereld zelf. Het meest

expliciet is nog de volgende passage van Albert Pilot (1981

p.83):

"Mijn indruk is dat de meeste docenten en onderwijskundigen vinden dat leren studeren (zeker in hoofdzaak) moet

plaats-vinden in het reguliere onderwijs en niet in aparte

kursussen. Vaak worden deze aparte kursussen ook

uit-drukkelijk als overgangstoestand gezien. Maar kursussen goed

opzetten en geven kost erg veel tijd en energie. Als ze goed

zijn kom je er niet meer af ('het gebeurt toch al in die

kursus en dat gaat toch goed'), als ze niet goed zijn is het

een slecht uitgangspunt voor de integratie. Kursussen

Studie-vaardigheid zijn daarom mijns inziens hoogstens geschikt voor

uitzonderlijke groepen en situaties."

Deze passage verwijst ook al naar een ontwikkeling die hier

uitdrukkelijk ook genoemd moet worden, namelijk het 'integreren' van studievaardigheden in het gewone onderwijs. Daar ga ik nu

niet nader op in; 'integratie' van studievaardigheden in het

onderwijs komt ter sprake in hoofdstuk 5.

--=_.-Toch ZlJn er duidelijk grenzen gesteld aan de twijfel die in deze wereld wordt getolereerd. Zie bij voorbeeld de volgende passage uit een artikel in het Leidse universiteitsblad Mare:

"( ••• ) niet iedereen is positief over de studievaardigheids-cursussen. Dr. H.F.M. Crombag, hoofd van het bureau onderzoek van onderwijs van de Leidse Universiteit, heeft er zo zijn eigen ideeën over. 'Het aantoonbaar effect van die cursussen is allerminst spectaculair te noemen. Je kan het ook moeilijk meten, want studievaardigheidsproblemen hangen vaak samen met persoonlijke r.roblemen, en als je die persoonlijke problemen oplost dan beinvloedt dat de studievaardigheid ook positief. Het is dus erg moeilijk om zuivere cijfers te krijgen en daarom vind ik dat je je centen beter aan iets kan besteden waar het wel wat oplevert. Voor die boekjes geldt eigenlijk hetzelfde. Ze pretenderen de student te helpen, maar de enige die ze helpen is de uitgever, want het is een goede handel. Maar ze voegen niets toe aan de studievaardigheid van de student. "' (Klumper 1982 p. 5)

Dat leidde tot de volgende reactie van Marcel Mirande

(LOS-Contact nr.5, april 1983 p.2), toenmalig voorzitter van het Landelijk Overleg Studievaardigheden:

"In tijden van bezuiniging is kritiek op SV-dienstverlening [SV

=

studievaardigheid; Hl] niet vrijblijvend. Daarom dient dergelijke kritiek, bv. het in twijfel trekken van de

effecten van SV-cursussen, doordacht en steekhoudend te zijn. Crombag's uitlatingen in het Leidse universiteitsblad Mare

(dec. '82) behoren niet tot deze categorie; zijn conclusies dienen door hen die het aangaat te worden weerlegd en verhelderd."

Ik ken geen pogingen om conclusies als die van Crombag te weerleggen; ik vermoed dan ook dat die conclusies eigenlijk wel gedeeld worden door de meeste professionals op het gebied der studievaardigheid; de bezwaren richten zich waarschijnlijk meer tegen de toon van Crombag.

Tot zover de ontwikkelingen op het gebied van studievaardigheid en de scepsis over het nut van dit soort activiteiten die ook in de wereld van de betrokkenen zelf speelt. In de nu volgende hoofdstukken ga ik nader in op dat nut.

14

3. OVERZICHTEN VAN ONDERZOEKINGEN NAAR DE EFFECTEN VAN CURSUSSEN STUDIEVAARDIGHEID

Als we willen weten welke activiteiten om studenten beter te leren studeren zinvol zijn, dan kunnen we uiteraard onderzoek doen naar die verschillende activiteiten. Dergelijk onderzoek is niet eenvoudig. Daarom is het beter om eerst te kijken wat er al aan soortgelijk onderzoek door anderen is gedaan. Ook een goed overzicht en een degelijke evaluatie van bestaand onderzoek is niet eenvoudig, en ook daar geldt daarom het devies: laten we eerst eens kijken of ook dat niet al door anderen is gedaan. Welnu, het is al meerdere keren door anderen gedaan; er bestaan verschillende publicaties waarin een overzicht gegeven wordt van vooral het Engelstalige onderzoek op dit terrein. Er bestaat zelfs een omvaugrijke en recente Nederlandse studie over de effecten van cursussen studievaardigheid, waarin een overzicht wordt gegeven van Angelsaksisch onderzoek sinds het eind van de jaren zestig, namelijk Van Bruggen 1980. (Voor een samenvatting daarvan zie Van Bruggen 1982.) Het ligt daarom voor de hand om allereerst te bekijken wat we van Van Bruggen kunnen leren.

3.1. Het literatuuronderzoek van Van Bruggen

De studie van Van Bruggen is in de Nederlandse literatuur betrekkelijk veel gebruikt. Meestal zonder meer instemmend (b.v.

Van der Klauw

&

Rasenberg 1981 p.9; Mirande 1981 p.207;

Elshout-Mohr

&

Mirande 1981 p.18), soms kritisch (Louwerse

&

Meijboom

1984; Smit 1984 p.7,8); de critici menen vooral dat Van Bruggen zich te zeer zou hebben gericht op studieresultaten als criterium voor succes. Er is echter nooit kritiek geleverd op de zorg-vuldigheid en betrouwbaarheid van de studie van Van Bruggen; daarover gaan de nu volgende pagina's.

Het is merkwaardig dat nooit eerder de slordigheid van dit literatuuroverzicht is vermeld, terwijl die toch dadelijk in het oog springt: massale hoeveelheden tikfouten, twee pagina's die verkeerd om zitten (p.l01,l02). Op zichzelf zijn dergelijke fouten niet erg; de vraag is alleen of dit gebrek aan precisie zich ook uitstrekt tot de inhoud van de studie zelf. Ik heb een aantal titels in de literatuurlijst gecontroleerd; meer dan de helft bevat slordigheden zoals een woord vergeten, een pagina of jaartal fout, naam van een co-auteur weggelaten. Belangrijker echter is de vraag of Van Bruggen ook onzorgvuldig is in zijn

15

slechts in enkele gevallen gecontroleerd, ik heb in verschillende daarvan fouten gevonden. Ik beperk me hier tot één voorbeeld, namelijk de wijze waarop Van Bruggen rapporteert over de studie van Richards e.a. 1976. Van Bruggen (1980 p.93,94) vat dit artikel als volgt kritisch samen:

"Richards e.a. (1976) trachtte niet alleen aan te tonen dat 2 een studievaardigheidskursus met een selfmonitoringtraining

tot betere resultaten leidde dan een kursus zonder een 4 dergelijke training, maar wilde tevens het effekt van de aard

van de feedback op het selfmonitoring onderzoeken. Deze 6 vermenging van vragen leidde tot een weinig elegant design,

waarbij 87 vrijwilligers random werden verdeeld over twee 8 kontrolegroepen (één zonder kontakt) van resp, 9 en 12

deelnemers; een studievaardigheidsgroep zonder selfmonitoring 10 van 12 deelnemers en 6 groepen van 11 deelnmers met

selfmonitoring in de kursus. Binnen het 2x3 selfmonitoring-12 design werd geen effekt gevonden, deze 6 groepen worden in de

volgende analyse als een groep gekontrasteerd met de

14 studievaardigheidsgroep en de kontrolegroepen, die ook samen worden genomen. Beter was echter een gewone variantie-analyse 16 over de groepen geweest, met eventueel toetsing van geplande

vergelijkingen; nu wordt een oneigenlijke winst in vrijheids-18 graden geboekt. Dat de selfmonitoringgroepen hogere GPA's

behaalden dan de studievaardigheidsgroepen en deze weer 20 signifikant hoger scoorden dan de de kontrole groepen , moet

dus niet zonder voorbehoud worden aanvaard."

De typefouten zijn niet van mij (r.8: komma achter "resp"; r.10 "deelnmers"; r. 20 twee keer "de"). In regel 12,13 springt de tekst onverwacht van verleden tijd naar tegenwoordige tijd. Van Bruggen is niet alleen slordig met woorden maar ook met cijfers. De 87 vrijwilligers zijn volgens deze samenvatting onderverdeeld

in groepjes van 9, 12, 12 en 6x11 deelnemers. Welnu: 9 plus 12 plus 12 plus 6x11 is gelijk aan 99 en niet 87. De groepen waren dan ook anders samengesteld. De 'controlegroep zonder contact' van 9 deelnemers behoorde niet tot de 87 vrijwilligers, en de andere controlegroep telde niet 12 maar 9 deelnemers. In r.19-20 schrijft Van Bruggen dat "de studievaardigheidsgroepen ( ••• ) signifikant hoger scoorden dan de ( ••• ) kontrolegroepen". Het meervoud "studievaardigheidsgroepen" klopt hier natuurlijk niet. Bovendien schrijven Richards e.a. 1976 p.318: "The differences bet ween the study skills advice group and the two con trol groups

C

... )

were not statistically significant".

Er zit echter nog een belangrijker manco aan de manier waarop Van Bruggen deze studie van Richards e.a. 1976 bespreekt. Van Bruggen maakt een tweedeling in betere en minder goede onderzoekingen, en het is juist deze tweedeling die hem tot belangwekkende con-clusies brengt. Hij hanteert voor die tweedeling simpele en adequate criteria zoals: geen fouten in de analyse en een goede

indeling in experimentele groep en controlegroep. Deze tweedeling leidt onder andere tot de conclusie dat in de beter opgezette

--."-

'1" •• ,_'_~'_WJ'

,

...

".,\ '

___

nl_,.r._w" M I '

16

studies minder vaak gunstige effecten werden gevonden. Een van die weinige beter opgezette studies waarin gunstige effecten werden gevonden, is volgens Van Bruggen dit onderzoek van Richards e.a. uit 1976. Men kan zich afvragen of Van Bruggen

gelijk heeft als hi Richards e.a. bij het betere onderzoek indeelt, niet alleen omdat hij immers zelf de wijze van analyse in dat onderzoek bekritseert, maar vooral omdat dat onderzoek om

een heel simpele reden niet voldoet aan de (terecht) hoge eisen

die Van Bruggen stelt aan beter onderzoek. Want wat is het geval?

De 87 vrijwilligers waren de studenten die de betreffende cursus

studievaardigheden ook daadwerkelijk hadden afgemaakt; niet

mee-geteld waren 19 studenten die voortijdig waren afgevallen. Deze uitval kon uiteraard per definitie niet optreden bij de

'controlegroep zonder contact', en eigenlijk alleen in theorie bij de wel benaderde controlegroep. Kortom, er is hier tussen enerzijds controlegroepen en anderzijds experimentele groepen een

systematische vertekening opgetreden: bij de experimentele

groepen is een bepaald type studenten geelimineerd, namelijk zij die de cursus niet afmaakten. Het is niet onwaarschijnlijk dat

studenten die zo'n cursus niet afmaken, wellicht ook andere

studieonderdelen niet zo nauwgezet volgen. Dus als men die

studenten systematisch niet meerekent, dan ontstaat in de

experimentele groepen een vertekening ten gunste van de studenten die braaf hun studieonderdelen afmaken. Als dan de experimentele

groepen gunstig afsteken tegen de controlegroepen, is dus niet te

zeggen waarvan dat het gevolg is: van de cursussen studie-vaardigheid, of van het feit dat er in de experimentele groepen alleen maar van die brave studenten zaten. Dit zijn geen

hersen-spinsels. Zie de volgende passage uit een brief die Richards zelf mij hierover schreef:

"The no-contact control group had non-volunteers and

therefore they never had the opportunity to drop out. The no-tr. control had volunteers, but they were only required to

come to the first treatment session and therefore had little

realistic opportunity to drop out. ( ... ) you are correct in

noting that the 0 dropout for control groups might bias their results downward (poorer) vis-a-vis all treatment groups." Welnu, deze zeer voor de hand liggende gedachtengang ontbreekt

bij Van Bruggen.

Tot zover over de zorgvuldigheid van Van Bruggen. Welke consequenties heeft dit voor de conclusies van Van Bruggen? Welnu, ik heb niet een bepaalde tendens kunnen vinden in al deze slordigheden, en dus ook geen duidelijke vertekening in de

uit-komsten. Het betekent dus alleen dat een ieder die zich in deze materie verdiept, er goed aan doet om het materiaal van Van

Bruggen te controleren. De slordigheid van Van Bruggen onder

-streept verder een vroeger pleidooi van mij voor een volwassen

publicatie traditie in de wereld waarom het hier gaat, namelijk die van RWO-Centra (Centra voor Research van het Wetenschappelijk

Onderwijs). Wanneer een medewerker van zo'n RWO-centrum een studie schrijft, dan wordt die studie bijna altijd gepubliceerd

door het RWO-Centrum waar die medewerker is aangesteld. Ook bij

het literatuuronderzoek van Van Bruggen is het zo gelopen. Er bestaat dan een zeer hechte belangenverstrengeling tussen auteur en publicerende instantie. Een volwassen publicatiewijze betekent echter dat de publicerende instantie een grote mate van vrijheid heeft bij de beslissing om een tekst al dan niet te accepteren. Bij Van Bruggen zal de beslissing om te publiceren stellig gestimuleerd zijn door de omstandigheid dat Van Bruggen veel langer dan gepland aan die tekst heeft gewerkt; Van Bruggen heeft het in zijn voorwoord over "een ware olifantsdracht". Een meer onafhankelijke publicerende instantie zou echter stellig hebben beslist dat de tekst weliswaar belangwekkend is, maar dat pas tot publicatie kan worden overgegaan wanneer de tekst aanzienlijk zorgvuldiger is afgewerkt.

Maar nogmaals, voor zover ik kan nagaan, blijven de voornaamste conclusies van Van Bruggen wel overeind staan.

Zijn belangrijkste conclusies luiden:

1. Positief effect van de verschillende soorten cursussen studie-vaardigheid is niet erg duidelijk: sommige studies melden

positieve uitkomsten, andere melden geen significante effecten. Van Bruggen (1980 p.7S) formuleert deze stand van zaken aldus:

"Het is ( •.. ) niet mogelijk op grond van deze analyse te konkluderen dat de kursussen, of een bepaald soort kursussen, effekt sorteren op één of meerdere van de effektiviteits-criteria."

2. Er bestaat een verband tussen enerzijds de kwaliteit van de onderzoeksopzet en anderzijds de uitkomst: naar mate de opzet van het onderzoek beter is, worden er minder vaak significante positieve effecten gevonden.

Ook deze laatste uitkomst is interessant. Indien Van Bruggen op dit punt gelijk heeft, dan pleit dat sterk tegen het nut van cursussen studievaardigheid; bovendien betekent het dat we niet moeten afgaan op de uitkomsten van studies die niet voldoen aan strikte methodologisch criteria. Deze uitkomst van Van Bruggen past in een meer algemeen patroon. Er is vaker gesignaleerd dat nauwkeuriger studie leidt tot minder optimistische uitkomsten:

-"Among the major reviews of the academie competence literature, the quoted percentage of studies reporting improvements in grades decreases with time: Entwisle (1960), 100%; Bednar and Weinberg (1970), 57%; and Mitchell and Piatkowska (1974), 26% (r=-.99). Conversely, the specificity or detail of the reviews increases with time: For example, Entwisle did not c1arify what she meant by successful studies, whereas the later authors did so. Also, neither Entwisle nor Bednar and Weinberg differentiated between group and individual programs, whereas the later Mitchell and Piatkowska did so. Simplyon the basis of the trends described above, it is tempting to conclude that the more closely one scrutinizes the literature on improving adult academie competence, the less favorable the results appear." (Kirschenbaum

&

Perri 1982 p.77)

18

Onomstreden is dit algemene patroon echter niet: Kirschenbaum

&

Perri vonden een ander patroon toen ze onderzoek na 1974 analyseerden.

3.2. Meta-analyse door Kulik, Kulik

&

Shwalb

We kunnen niet volstaan met de studie van Van Bruggen. Onlangs is in de Nederlandse discussie een latere studie naar voren gehaald die beter zou zijn en ook veel positievere uitkomsten zou bieden. Deze studie is een zg. meta-analyse, een type studie dat tegen-woordig snel terrein wint en alleen al daarom nadere beschouwing verdient. Het gaat hier om een studie die geintroduceerd is door Willem Smit, die verantwoordelijk is voor studievaardigheden aan de Vrije Universiteit. Hij schrijft

"dat in het merendeel van het onderzoek waarover Van Bruggen rapporteert de keuze en instrumentatie van de variabelen niet geschikt is om 'kleine' effecten zichtbaar te maken. Na de publicatie van Van Bruggen verscheen in het Review of Educational Research het overzichtsartikel van Kulik, Kulik en Shwalb naar de effecten van verschillende categorieën voorzieningen voor (amerikaanse) risicostudenten. Hun conclusie luidt dat deze voorzieningen statistisch betrouwbare positieve effecten hebben; dat deze effecten gemiddeld klein zijn, maar dat dit gemiddelde effect vanuit economisch oogpunt groot genoeg is om interessant te zijn voor beleidsbepalers." (Smit 1984 p.B)

Wat hier staat, klopt in die zin dat Kulik e.a. inderdaad tot een positieve conclusie komen. De studies die Van Bruggen respec-tievelijk Kulik e.a. bekijken verschillen echter niet syste-matisch qua 'keuze en instrumentatie van variabelen', zoals de passage van Smit suggereert. Zowel Van Bruggen als Kulik e.a. concentreren zich overwegend op studies die rapporteren over veranderingen in gemiddeld tentamencijfer. Het is ook niet zo dat Kulik e.a. tot andere conclusies komen omdat ze onderzoek met gunstiger uitslagen hebben bekeken. Integendeel: de onder-zoekingen bij Kulik e.a. zien er nog triester uit dan de studies bij Van Bruggen. Bij Van Bruggen levert ongeveer de helft van het onderzoek significante (positieve) resultaten op; bij Kulik e.a. is het aantal onderzoekingen met significante uitkomsten nog geen dertig procent, namelijk 17 van de 57. Bovendien is een van die zeventien significante uitkomsten ook nog negatief. Hoe komen Kulik e.a. desondanks tot positieve resultaten?

Een voorbeeld. Van Bruggen constateert dat sommige studies statistisch significante effecten opleveren en andere niet, zonder dat daarin een duidelijk patroon valt aan te wijzen. Van Bruggen concludeert hieruit dat we dus eigenlijk nog niets kunnen

zeggen over de vraag welke cursussen onder welke condities gunstige effecten hebben. Kulik e.a. (1983 p.40l) schrijven echter:

"A total of 57 of the 60 studies contained GPA [Grade Point

Average

=

gemiddeld tentamencijfer;

HIl

results. The effects

reported in these studies were basically positive ( ••• ) In 44

of the 57 studies, GPA were higher for student from the special programs; 13 studies reported higher GPAs for con trol students. Seventeen of the 57 studies reported statistically significant differences in GPA for groups in special and control programs. Results from 16 of these 17 studies favored the special programs; results of 1 study favored the control treatment. If special programs for high-risk students had no systematic effect on student GPA, about half the results would have favored the special programs and about half would have favored the control programs. Instead, a clear majority of studies favored the special programs. We can therefore conclude with some confidence that the special programs had a positive effect."

Vergeleken met de benadering van Van Bruggen is dit een aan-merkelijk minder voorzichtige wijze om tot conclusies te komen. Kulik e.a. komen echter vooral tot positievere resultaten doordat zij op een totaal andere manier omgaan met de uitkomsten van de betreffende onderzoekingen; zij voeren een zg. 'meta-analyse' uit.

We zullen dus eerst moeten bekijken wat meta-analyse precies is. Wie wil weten wat de effecten van bepaalde activiteiten zijn, zal meestal beginnen met te kijken of er over die vraag al onderzoek gedaan is. Als dat het geval is, dan laten de verschillende onderzoekingen soms uiteenlopende antwoorden zien. Hoe destil-leert men nu een algemeen antwoord uit deze uiteenlopende antwoorden? Men kan de uiteenlopende antwoorden achter elkaar zetten, en dan zeggen dat de meeste antwoorden in deze of gene richting tenderen, zodat daar dus wel het algemene, 'juiste' antwoord zal liggen. Indien het echter gaat om veel onderzoek, waarbij bovendien niet steeds dezelfde effecten bij dezelfde variabelen zijn onderzocht, dan wordt het heel moeilijk om uit de massa informatie conclusies te trekken die niet beinvloed zijn door eigen verwachtingen. Het probleem is vergelijkbaar met het trekken van conclusies op basis van een groot aantal

waar-nemingen. Bij dit laatste hebben we als hulpmiddel de statistiek, d.w.z. een pakket van standaardprocedures om, gegeven bepaalde aannames, te bekijken hoe groot de kans is dat bepaalde cor-relaties op basis van toeval optreden. Omdat zich bij evaluatie van de uitkomsten van een groot aantal onderzoekingen in principe een soortgelijk probleem voordoet, is men ook statistische methoden gaan ontwikkelen die we kunnen gebruiken wanneer we proberen om algemene conclusies te trekken op basis van de uit-komsten van een groot aantal onderzoekingen. Dat noemt men nu meta-analyse - een term in 1976 gemunt door G.V. Glass.

20

Meta-analyse is dus een pakket van statistische technieken om conclusies te kunnen trekken uit verschillende eerdere

onder-zoekingen. Deze methode doet meer met de resultaten uit die onderzoekingen dan ze alleen maar in verhalende vorm na elkaar presenteren; meta-analyse behelst dat er gerekend gaat worden met de uitkomsten van die eerdere onderzoekingen. Alle uitkomsten

worden bij elkaar opgeteld; aldus wordt het aantal proefpersonen

drastisch vergroot, en kunnen kleine verschillen tussen experimentele groep en controlegroep statistisch significant

worden, ook indien deze verschillen bij elk afzonderlijk

onder-zoek wellicht niet significant waren vanwege een te gering aantal

proefpersonen. Bij een zeer groot aantal proefpersonen is het

geen kunst om significante uitkomsten te verkrijgen, en daarom

wordt bij dergelijke analyse statistische significantie van

secundair belang, en is de grootte van het gevonden effect veel belangrijker. Tot zover deze weergave van wat meta-analyse behelst.

Meta-analyse is inmiddels uitgegroeid tot een zeer populaire

methode in het evaluatie-onderzoek, op alle mogelijke gebieden,

vooral op het gebied van onderzoek naar de effecten van psycho

-therapie, maar ook bij allerlei aspecten van onderwijs. Bij

voorbeeld: in de Evaluation Studies: Review Annual uit 1983

(Light 1983) bevatten acht van de 23 empirische evaluatiestudies

alleen al in de titel het woord 'meta-analyse'. Een wat

uit-voeriger beschouwing hierover is dus op zijn plaats, omdat het

belang hiervan uitgaat boven de individuele meta-analyse van

Kulik e.a. over programma's om zwakke studenten bij te spijkeren;

waarschijnlijk zal binnenkort de roep om meta-analyse ook elders

in de onderwijsresearch weerklinken.

Eén duidelijk voordeel van meta-analyse zagen we al. Deze methode

biedt de oplossing voor een probleem bij het vinden van effecten:

wellicht heeft een bepaalde cursus wel degelijk gunstige

effecten, maar is het aantal proefpersonen te gering om de

verschillen tussen experimentele groep en controlegroep statistisch significant te maken. Door de onderzoeksuitkomsten

bij elkaar op te tellen stijgt het aantal proefpersonen.

Men kan zich echter afvragen of het verantwoord is om allerlei

onderzoekingen zonder meer bij elkaar op te tellen. Ik

con-centreer me hier op één mogelijk bezwaar daartegen, namelijk of

er op die manier niet wordt voorbijgegaan aan de vertekening in

allerlei onderzoek. Zou het niet beter zijn om uitsluitend

aandacht te besteden aan die onderzoekingen die zijn uitgevoerd

onder de meest rigoreuse experimentele condities, en al het

andere onderzoek buiten beschouwing te laten? Wanneer we immers

alle onderzoeksresultaten bij elkaar optellen, dan krijgen de resultaten van het beste onderzoek ten onrechte hetzelfde gewicht

als de resultaten van minder goed onderzoek. Deze vraag, die

vooraf lijkt te gaan aan de mogelijkheid van meta-analyse, is

echter ten dele een vraag die empirisch via die zelfde

meta-analyse beantwoord kan worden. Immers, als deze twijfel terecht

is in die zin dat een onderzoeker het voor zichzelf gemakkelijker maakt om significante effecten te vinden wanneer enigszins de

hand wordt gelicht met al te strikte methodologische vereisten,

dan moet een meta-analyse van het beter opgezette onderzoek leiden tot minder gunstige uitkomsten dan meta-analyse van het slechtere onderzoek. Dat lijkt sterk op hetgeen Van Bruggen deed toen hij keek naar de verhouding tussen wel en niet significante uitkomsten bij betere respectievelijk minder goed opgezette

studies. Meta-analyse is hierbij echter enigszins superieur. Neem b.v. het volgende probleem. Bijna altijd is indeling in

experimentele groep en controlegroep gemakkelijker wanneer

daartoe bestaande groepen genomen worden dan wanneer een

toevals-procedure gebruikt wordt. Wanneer het lukt om de indeling via

toeval te laten verlopen, dan zal men daarvoor in de meeste

gevallen minder gemakkelijk over een groot aantal proefpersonen kunnen beschikken. Het is dus aannemelijk dat beter opgezette

studies - d.w.z. studies met een volgens toeval ingedeelde

experimentele groep en controlegroep - in het algemeen een minder

groot aantal proefpersonen zullen tellen dan minder goede studies, waarbij de experimentele groep en de controlegroep op

een andere manier zijn samengesteld. In studies met minder proef

-personen is het moeilijker om significante verschillen te vinden.

Kortom: beter opgezette studies zouden wel eens minder snel

significante uitkomsten kunnen opleveren louter en alleen omdat

het aantal proefpersonen daar in doorsnee geringer is. Welnu,

deze vertekening door de aantallen proefpersonen verdwijnt

praktisch volledig bij meta-analyse, omdat het probleem van al

dan niet significante verschillen bijna helemaal verdwenen is

vanwege de grote aantallen proefpersonen die ontstaan door het

bij elkaar optellen van meerdere studies. Dit zijn geen hersen

-spinsels: bij Van Bruggen tellen de minder goede studies

gemiddeld ongeveer twee keer zoveel proefpersonen als de betere

studies.

Van Bruggen vond een negatieve relatie tussen enerzijds de

kwaliteit van de onderzoekingen en anderzijds de proportie

significante uitkomsten. Kulik e.a. daarentegen verdeelden hun

onderzoekingen in twee groepen afhankelijk van de vraag of er al dan niet een toevalsprocedure was gebruikt bij de indeling in experimentele groep en controlegroep, en vonden bij meta-analyse op deze twee groepen nauwelijks verschil (de beter opgezette studies leverden iets minder positieve resultaten op). Op een

ander interessant punt vonden ze echter wel een duidelijk

verschil: de gepubliceerde onderzoekingen lieten aanmerkelijk positievere uitkomsten zien dan de ongepubliceerde, d.w.z. dan

onderzoekingen uit het zg. ERIC-bestand - een grote databank met

overwegend 'grijze' onderwijskundige literatuur.

Dit laatste verschijnsel doet zich bij meta-analyse vaker voor.

Soms hebben voorstanders van meta-analyse de neiging om de

problemen daarvan al te gemakkelijk af te doen.

22

"lt has long been alleged that published studies have much stronger results than unpublished ones, partly because the puólished studies are bet ter designed, but partly because editorial reviewers have a substantial preference for studies

with statistically significant results." (Hunter, Schmidt

&

Jackson 1982 p.29)

Hunter e.a. bespreken vervolgens twee studies die inderdaad in

die richting wijzen, en schrijven daarna (p.30):

"lt seems likely that most of the llifference between the average effect si ze of the published and unpublished studies is due to dif ferences in the methodological quali ty."

Deze opmerking wordt niet gevolgd door enigerlei poging om aan-nemelijk te maken dat betere methodologie samenhangt met het vinden van grotere effecten. Niets wijst in die richting. Bij de onderzoekingen van Kulik e.a. vertoonden de methodologisch betere onderzoekingen - in de zin van: toevalsprocedure bij de toe-wijzing aan experimentele groep of controlegroep - een samenhang met juist iets geringere effecten. Van Bruggen meende nog stelliger dat de relatie op het terrein van cursussen studie-vaardigheid precies tegengesteld was aan de relatie die Hunter e.a. noemen.

Als we daarom willen verklaren waarom onderzoek met minder

gunstige uitkomsten minder vaak gepubliceerd wordt, dan is dat in ons geval dus waarschijnlijk niet te verklaren uit de omstandig-heid dat de studies met magerder uitkomsten meestal ook de studies zijn met een zwakkere methodologie - studies die juist

vanwege de zwakkere methodologie niet zo gemakkelijk geaccepteerd

worden voor-publicatie. En omdat we de verklaring niet hier kunnen vinden, mogen we ervan uitgaan dat het de teleurstellende

aard van de uitkomsten zelf is die er op allerlei manieren toe

leidt dat dergelijke onderzoekingen minder vaak de drukpers halen dan onderzoekingen met optimistischer uitkomsten. En nogmaals stel ik de vraag: levert dit geen systematische vertekening op

wanneer men dan via meta-analyse zo veel mogelijk studies bij

elkaar op gaat tellen? De meer toegankelijke studies, d.w.z. de meer officieel gepubliceerde studies, zullen daarbij immers ruimer vertegenwoordigd zijn dan de studies waarover niet of nauwelijks is gerapporteerd. We zagen al als antwoord dat juist meta-analyse kan helpen bij het opsporen van de vertekening die door zoiets wordt veroorzaakt.

Toch zijn de mogelijkheden van meta-analyse op dit terrein niet onbegrensd. Langs deze weg is na te gaan of de grootte van het

gevonden effect in verband staat met b.v. het al dan niet voldoen

aan bepaalde methodologische eisen, of met het al dan niet gepubliceerd zijn in b.v. een vaktijdschrift. Wat echter via meta-analyse niet valt op te sporen, is wanneer er vertekening optreedt in ongeveer alle studies. Het probleem wat men aanmoet

met dergelijke algemene vertekening in de uitkomsten van '

onder-zoek wordt in het geheel niet genoemd in het 'handboek' over

meta-ana1yse (Glass e.a. 1981, vooral p.217-231). Dat dit

behandelen namelijk bezwaren tegen meta-analyse die in een aantal met name genoemde beschouwingen vermeld worden, en dit probleem wordt wel degelijk genoemd in één van die beschouwingen, namelijk

in een artikel van Cook

&

Leviton uit 1980. (Ik verwijs in het nu

volgende bij de paginering naar de reprint van dit artikel uit

1983.) Cook

&

Leviton (1983 p.70) schrijven hierover:

"If we turn now to the limitations of meta-analysis, it is worth repeating that meta-analysis cannot in and of itself detect bias that is preponderantly in one direction. The number of studies is a conceptual irrelevancy when the studies share sources of bias that predominantly operate in one direction. Indeed, the number of studies may even

represent a psychological trap, for as the number of studies increases so too does the likelihood of invalid inductive leaps that create credible conclusions out of spurious findings."

Cook

&

Leviton geven dan vervolgens enkele voorbeelden van

dergelijke algemene vertekening. Al hun voorbeelden betreffen echter gevallen waarbij deze vertekening leidt tot een

systematische onderschatting van de effecten. Ook het omgekeerde is echter mogelijk, namelijk een vrij algemene overschatting van de effecten. De onderzoekers zijn-immers bijna altijd verbonden met en zijn soms zelfs identiek aan aan de groep van

professionals wier werk wordt onderzocht.

Kortom, dit betreft niet het probleem waar onderzoekingen terecht

komen: in een vaktijdschrift, in een proefschrift, in een boek, of in een databank van studies die niet op andere wijze

gepubliceerd zijn, maar het probleem of er wel behoorlijk

onderzoek gedaan wordt en of de resultaten van bepaalde onder-zoekingen wel toegankelijk worden, of er niet al vertekening optreedt bij de onderzoekers zelf en hun directe omgeving -vertekening die vooraf gaat aan elke openbaarmaking.

In theorie is ook dit algemene probleem niet compleet in strijd met de mogelijkheid van meta-analyse: men zou meta-analyse kunnen uitvoeren naar groepen onderzoekingen, ingedeeld naar de mate van belangenverstrengeling tussen onderzoekers en onderzochte

professionals. De mate van die verstrengeling kan echter

uiteraard niet vastgesteld worden via meta-analyse; dat vereist nauwgezette kwalitatieve analyse.

Of en in hoeverre dit soort vertekening speelt, is een empirische vraag. In de nu volgende hoofdstukken, waarin we onderzoek op het terrein van studievaardigheid gaan bekijken, zal de vraag naar dit soort vertekening centraal staan, en de uitkomsten daarvan zullen weer van belang zijn voor de wijze waarop we kunnen omgaan met onderzoeksuitkomsten. Men kan daarom dit boekje zien als een bijdrage aan de evaluatie rond meta-analyse: een case-study over een bepaald veld waarop meta-analyse toegepast zou kunnen worden. Tegelijkertijd draagt een dergelijke studie echter hopelijk ook iets bij aan onze kennis over het nut van studievaardigheid.