Waarom nakijken zo moeilijk is en open vragen niet altijd beter zijn

De algemene opinie is dat gesloten vragen slecht zijn, open vragen zijn beter.

Waarom?

Nou gewoon omdat je in een open vraag een stukje van jezelf kunt leggen en er wat meer om heen kunt vertellen. 

Ja maar, een beoordelaar ziet dat toch en die beoordeelt dan toch wat je antwoord is? En niet wat je er verder bij kletst?

Mmmm, zo zou het moeten zijn, maar wist je dat het regelmatig voorkomt dat beoordelaars helemaal geen beoordelingsmodel hebben? Ze beoordelen dan vanuit hun gevoel of kennis van de stof en de doelgroep.

Bijvoorbeeld: dat jongetje links vooraan heeft een zes. Ja echt, dat gebeurt, op die manier wordt soms de norm voor de klas bepaald. Dat jongetje wat altijd maar half  meedoet krijgt op deze manier dus altijd een zes. Natuurlijk wil je dit niet zo. Als beoordeelde wil je ook dat recht gedaan wordt aan jouw kwaliteiten.

Vergelijk het met een topsporter. Een topsporter gaat niet voor: nu heb je ongeveer wel goud gehaald.

 

Hij wil dat goud in zijn handen hebben, zijn tanden er op stuk bijten en het mee naar huis nemen.

Dat geldt ook voor een examenkandidaat. Natuurlijk is het prettig als je mazzel hebt. Je krijgt een vraag die je al eerder gezien hebt. Je hebt toevallig het gevraagde goed bestudeerd.

Maar je wilt dat het examen recht doet aan jouw kwaliteit. Vanuit deze gedachte lijkt de open vraag het meest geschikt.

Maar wist je dat:

  • de kandidaat de vraag moet begrijpen en niet gestraft mag worden voor het feit dat de vraag niet begrepen wordt, dus het maken van een goede open vraag kost veel tijd,
  • menselijke beoordelaars zelden betrouwbaar zijn,
  • de subjectieve beoordeling van beoordelaars tot veel extra werk leidt, bijvoorbeeld inzages,
  • open vragen nakijken een tijdrovende bezigheid is en dus erg kostbaar,
  • sommige leerdoelen alleen met open vragen getoetst kunnen worden: bijvoorbeeld vragen over creativiteit,

Deze week kwam ik een artikel tegen van het Algemeen Nijmeegs Studentenblad:

Uit ANS:

Tentamens kunnen beter, bijvoorbeeld door meer open vragen te stellen. Hiermee kan worden getoetst of studenten voldoende inzicht hebben in wetenschappelijke problemen en vraagstukken en ruimte moeten krijgen voor argumentatie.

Zo dat klinkt goed.

Maar is het waar?

Nee, als je geen zicht hebt op de kwaliteit van je beoordelaars, er geen beoordelingsmodel gemaakt is, geen afspraken over de beoordeling dan kan je als kandidaat tekort komen. Feitelijk ben je dan beter af met gesloten vragen die zonder de vooroordelen van een beoordelaar nagekeken worden.

Voorwaarde is ook hier dat de gesloten vragen van voldoende kwaliteit zijn. Maar dat geldt ook voor open vragen. Alleen bij open vragen zit er nog een extra onzekerheid in de beoordeling, in de vorm van de menselijke, subjectieve beoordelaar. Wil je dat als kandidaat?

Ben Wilbrink zegt over open vragen:

Open vragen zijn geschikt om (mede) te toetsen op helderheid van formuleren, compositie of structuur in de beantwoording, nauwkeurigheid, oorspronkelijkheid, diepgang van analyse, en dergelijke. Maar het is niet vanzelfsprekend dat antwoorden op de genoemde kenmerken worden beoordeeld: maak daarover tevoren afspraken met studenten, terwijl ook de beoordelaars enige instructie nodig hebben. Het blijkt telkens weer dat docenten van elkaar verschillen in de speciale punten die zij van belang vinden (Wilbrink, 2004), en dus in de zaken waarop zij bij het beoordelen vooral letten, daarom moet daar tevoren duidelijkheid over zijn.

 

Mijn hoogleraar Wim Hofstee (‘Principes van beoordeling’) liet zien dat beoordelaars het erg matig met elkaar eens zijn wanneer zij hetzelfde moeten beoordelen. (Misschien wel omdat de beoordelaars geen duidelijke afspraken maken zoals Wilbrink stelt.) Maar met name wanneer het over mensen gaat en hun gedrag zijn beoordelaars wisselend in hun oordeel. Met een gemiddelde interbeoordelaarsbetrouwbaarheid van 0.25 (correlatie) is de kans groot dat beoordelaars het niet erg eens zijn (zie ook W. Schoonman).

En dat is herkenbaar: de oordelen over studenten of werknemers kunnen erg uiteen lopen. 

Conclusie:

wanneer ik kandidaat ben voor een examen, heb ik liever een toets met gesloten vragen. Bij open vragen kijkt mijn docent  de vragen soms niet na, een onbekende ander doet de (her)correctie. In elk geval heb ik te maken met de subjectiviteit van de beoordelaar. Ik verkies de objectieve beoordeling van de gesloten vraag.

Geplaatst in kwaliteit, online toetsing, vraagsoorten
5 reacties op “Waarom nakijken zo moeilijk is en open vragen niet altijd beter zijn
  1. Ben Wilbrink zegt:

    Je schrijft tenslotte “Ik verkies de objectieve beoordeling van de gesloten vraag.”

    Daar is niets objectiefs aan, zoals ik in mijn eerste botsing met het Cito betoogde (met Wim Hofstee als voorzitter van de discussie) ORD 1977 http://www.benwilbrink.nl/publicaties/77KeuzevragenORD.htm Spannende presentatie: bijna de gehele staf van het Cito tegenover me, Solberg en Wesdorp gingen er fors tegenaan. Maar ja, wat wil je, mijn stelling was ijzersterk: de subjectiviteit van de ‘objectieve’ keuzevraag zit hem natuurlijk in de vraag zelf, en vooral in de keuzealternatieven en welke daarvan het ‘beste’ antwoord is.
    Voor het Cito bestond de meerwaarde van deze botsing eruit dat het de weg vrij maakte om met opgelucht gemoed te eindexamens vo te gaan verzorgen. Die eindexamens waren immers open vragen.

    • ManonBonefaas zegt:

      Dat ben ik helemaal met je eens. Feitelijk gaat het daarmee om het maken van een goede vraag. Maar de vraag moet zowel open als gesloten goed gemaakt worden. In een open vraag is ingebakken de subjectiviteit van de beoordelaar. Deze subjectiviteit wordt naar mijn mening sterk onderschat (lees ook de blog over HALO en HORN).

      Voorwaarde is natuurlijk wel dat de vragen goed zijn. We kennen allemaal voorbeelden van vragen die niet goed zijn. Natuurlijk wil je bij slechte vragen liever open vragen, het gevoel van invloed op het resultaat is dan groter en je kunt zelf uitleggen hoe je de ‘slechte’ open vraag begrepen hebt.

      Het goede vragen maken is echt moeilijk dat heeft Cito intussen ook ervaren zowel met open vragen als gestandaardiseerde tests. Het komt nog regelmatig voor dat ook de open vragen bij het centraal examen van scholen achteraf afgekeurd worden omdat ze niet goed genoeg zijn.

  2. Pascal Marcelis zegt:

    Goed toetsen is een complex proces. Manon en Ben, zijn er eigenlijk voorbeelden waar het wel goed gaat? Zowel op inhoud als op het proces van beoordelen?

  3. Jan moonen zegt:

    De menselijke factor zal altijd een rol blijven spelen. Dit geldt inderdaad voor zowel Open vragen en de beoordeling daarvan, als bij gesloten vragen.
    Bewustwording hiervan speelt een grote rol op die invloed van de menselijke factor. Wie zich dit realiseert, is op de goede weg.

  4. Ben Wilbrink zegt:

    Pascal,

    Goed toetsen is absoluut mogelijk. Beter nog: goed toetsen is niet altijd nodig. Waarom zouden we van de eindexamens in het VO geen ceremoniële examens maken? Er is heel veel dogmatiek en onbegrepen traditie als het op toetsen aankomt. En misbruik door, niet in de laatste plaats, de overheid.

    Van groter belang: behoorlijk opgeleide leraren, en didactische opvattingen die bijvoorbeeld niet uitgaan van Rousseau (zelfontdekkend leren) maar van wetenschappelijke inzichten (directe instructie). http://goo.gl/bS05Ol

Geef een reactie

Het e-mailadres wordt niet gepubliceerd. Verplichte velden zijn gemarkeerd met *

*

* Copy This Password *

* Type Or Paste Password Here *

De volgende HTML tags en attributen zijn toegestaan: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>