Fraudebestrijding vanuit de toets

Iedereen weet ervan, praat erover en heeft een mening over:


Fraude

 

De eerste gedachte bij fraude is:

hoe kunnen we de fraudeurs bestrijden en ze te slim af zijn.

Eerder schreef ik daar al een blog over Fraude en beveiliging: Draconische maatregelen.

Vorige week hebben we tijdens onze relatiedag ook uitgebreid aandacht besteed aan de draconische maatregelen en aan de eenvoudige dingen die toezichthouders kunnen doen. Scholing en bewustwording van toezichthouders rondom fraude en examinering helpt enorm. Naarmate de waarde van het behalen van het examen hoger is, is de kans op fraude groter. Als exameninstituut weet je dus of je meer moet doen aan het op het spoor komen van fraude.

Fraude blijkt eigenlijk altijd achteraf. De vraag is kun je ook preventief wat doen aan het voorkomen van fraude. Het doel is:

Fraude is zinloos.

Vanuit de toetstechniek kun je het nodige doen.

Denk daarbij aan:

  • random toetsen
  • zorg voor een grote itembank
  • veel examenversies (iedere herkansing: een zoveel mogelijk uniek examen)
  • geen papieren afname zodat vragen ‘op straat liggen’

Het weerwoord is eigenlijk altijd: Maar je kunt zo niet garanderen dat iedereen een gelijkwaardige toets heeft.

Dat klopt, wanneer je start met deze methodiek. Maar zodra je de eerste analyses gemaakt hebt kun je zorgen voor gelijkwaardige versies. Bij toetsen met een hoog belang is het dan ook wenselijk gebruik te maken van een pre-test. Door deze pre-test zie je of de verschillende vragen goed begrepen worden en hoe ze gemaakt worden door de doelgroep.

Soms kan dat niet, bijvoorbeeld bij de middelbare schoolexamens. Daar wordt achteraf de cesuur bepaald door het CvTE. De examens uit het eerste, tweede en derde tijdvak zijn verschillend, maar worden door de cesuur ‘gelijk getrokken’. Een examen dat moeilijker blijkt te zijn krijgt een lagere cesuur en een makkelijk examen krijgt een hogere cesuur.

Nu kun je zeggen: als Cito al achteraf zijn cesuur bepaalt en niet de moeite neemt om random te toetsen, waarom zou ik dan nog moeite doen. Er zijn veel redenen waarom de procedure rondom de schoolexamens van Cito is zoals die is: denk aan vastte tijdvakken veel leerlingen, lange voorbereidingstijd voor zowel toetsconstructeurs als leerlingen etc. Niet alle examens zijn zo groots. Niet alle examens zijn voor kandidaten even belangrijk.

De examens van het CBR zijn een goed voorbeeld van examens die door veel mensen afgelegd worden. De belangen zijn daar groot. Iedereen wil graag een rijbewijs. Het CBR doet het wel: random examens. Met ingang van deze week voor het eerst in Eindhoven, waarbij spieken onmogelijk gemaakt is.

Ik hoor je zeggen, ik wil het wel random toetsen, maar hoe dan?

Nou, met behulp van het stappenplan.

Stappenplan naar random toetsen:

  1. maak extra items over bestaande onderwerpen. Gewoon één of twee vragen over de onderwerpen waar je toch al vragen over stelt. Op deze manier groeit je itembank en kun je steeds meer unieke examens vaststellen.
  2. maak variaties op bestaande vragen. Zorg dat de verschijningsvorm van de vraag anders is. Dat kan door gebruik te maken van ‘kloon vragen’ met variabelen. Een voorbeeld van het gebruik van variabelen zie je in de voorbeeldtoets casus 8 en 9.
  3. maak gebruik van zaai-items. Zaai-items zijn items die niet meetellen in de score van de kandidaat maar wel statistische gegevens opleveren over het item zelf. Daarmee kan bijvoorbeeld vastgesteld worden of het een makkelijke of moeilijke vraag is.
  4. om te zorgen dat de examens even moeilijk zijn kunnen vragen met dezelfde moeilijkheidsgraad in één mapje gezet worden. Met behulp van de juiste instellingen in de toetsmatrijs krijgt iedereen dan een random examen met dezelfde moeilijkheidsgraad.

De stappen 3 en 4 leiden tot meer ‘goede’ items in de itembank waardoor het makkelijker wordt random toetsen samen te stellen. Deze maatregelen helpen met fraudebestrijding vanuit de toetstechniek. Voor onze relatiedag heb ik deze Prezi gemaakt. Geïnteresseerd?

Prezi: fraude en examineren

Geplaatst in formatieve toetsing, fraude, itembank, online examinering, online toetsing, toezichthouder

Geef een reactie

Het e-mailadres wordt niet gepubliceerd. Verplichte velden zijn gemarkeerd met *

*

* Copy This Password *

* Type Or Paste Password Here *

De volgende HTML tags en attributen zijn toegestaan: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>