Is een random toets eerlijk?

Dat ligt eraan.

Een random toets kan heel eerlijk zijn maar ook heel oneerlijk. Een oneerlijke random toets is een toets die voor jou veel makkelijker is dan voor mij.

Of andersom natuurlijk.

Kun je vaststellen of een random toets eerlijk is, even moeilijk is voor alle kandidaten?

Achteraf kun je dat zien, door te kijken naar de gemiddelde p-waarde van vragen in het examen. Wanneer de gemiddelde p-waarden erg veel spreiding hebben dan kan de toets een verschillende moeilijkheidsgraad hebben.

 

moeilijkheidsgraad

 

Maar eigenlijk is achteraf te laat!

Je wilt vooraf zeker weten dat je toetsen ongeveer gelijkwaardig, ongeveer even moeilijk zijn voor alle kandidaten.

Dat voorkomt ook een boel trammelant achteraf :)

 

Hoe doe je dat?

Hoe maak je een random toets zo, dat de toets gelijkwaardig is voor alle kandidaten?

 

Voorwaarde is dat je een duidelijk beeld hebt van datgene wat je kandidaat kan. In het HBO wordt daarvoor de term: beginnend beroepsbeoefenaar gebruikt.

Met andere woorden: je hoeft niet alles te weten en te kunnen, sommige zaken leer je door ervaring op te doen.

 

Wat heeft dit met een random toets te maken?

Alles!

Want: bij een random toets wil je vragen stellen die voor alle kandidaten, mits ze zich hebben voorbereid, goed te beantwoorden zijn.

Je wilt het onderscheid maken tussen de goede kandidaat (de beginnend beroepsbeoefenaar) en de student (degene die nog even door moet leren om beginnend beroepsbeoefenaar te worden).

Zoals je ziet begin je achteraan (bij de beginnend beroepsbeoefenaar).

Wat is het doel, wat wil je meten?

Je wilt kennis en inzicht meten van een bepaald niveau. Dat niveau ken je. Door vanuit dit niveau naar de vragen te kijken en deze te rubriceren naar gemakkelijk, normaal, moeilijk creëer je een basis voor een goede random toets. Dit is de methode van Angoff (voor meer informatie zie Wikipedia).

Afhankelijk van je toetsapplicatie laat je het aantal verschillende niveaus in je toetsmatrijs terugkomen. Op die manier bouw je een evenwichtig examen op. Voor QuestionmarkPerception staat hier een beschrijving.

TeleToets kent de mogelijkheid om pre-testvragen of zaai-items toe te voegen aan een toets. Deze vragen tellen niet mee in het examen maar je kunt wel naar de p- en rit-waarden kijken om zo te zien hoe de vraag gescoord wordt. Is het een moeilijke of een makkelijke vraag of juist er tussen in.

Wanneer je voldoende observaties op zo’n pretest item hebt bepaal je of het pretest item mee mag gaan tellen. Je stopt de goede vraag in de toets. Een minder goede vraag verwijder je of pas je aan en pretest je verder. De overblijvende vragen zijn allemaal van ongeveer hetzelfde niveau.

Wanneer je op deze manier werkt kun je een examen samenstellen uit vragen die allemaal ongeveer even moeilijk zijn. Wil je toch verschillende moeilijkheidsgraden hanteren bij een random toets dan ben je gedwongen gebruik te maken van een label structuur en/of toetsmatrijs die de juiste evenwichtige verdeling van makkelijke en moeilijke vragen regelt.

Voordelen van random toetsen:

  1. de inhoud van de toets ligt niet zo snel op straat
  2. je kunt eenvoudig pretestvragen toevoegen aan de toets
  3. je kunt je itembank langzaam vergroten waardoor je nog meer random toetsen kunt afnemen
  4. iedere kandidaat krijgt een unieke toets

Antwoord op de vraag: is een random toets eerlijk?

Ja.

Maar je moet er wel wat aan doen, vooral rekening houden met de moeilijkheidsgraad van de vragen.

 

Geplaatst in itembank, online toetsing, statistiek, TeleToets, toetsmatrijs
1 Reactie op “Is een random toets eerlijk?
  1. Ben Wilbrink zegt:

    Iedere (klassikale, landelijke) toets ziet er voor leelring Bonefaas uit alsof deze random is getrokken uit een enorm vestand van toepasselijke vragen.

    Enige theorie bij dit model:
    http://benwilbrink.nl/projecten/spa_project.htm

Geef een reactie

Het e-mailadres wordt niet gepubliceerd. Verplichte velden zijn gemarkeerd met *

*

* Copy This Password *

* Type Or Paste Password Here *

De volgende HTML tags en attributen zijn toegestaan: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>