Over p-, a- en Rit waarden

Wanneer je een toets gemaakt hebt ben je nog niet klaar! Een digitale toets met automatisch nagekeken antwoorden genereert in veel software automatisch managementinformatie over de toets en de items. Door naar de analyses van je toets te kijken kun je als docent zien of je toets verbeterd kan worden. Sander Schenk heeft het in dit verband over de inhoudelijke en de getalsmatige of psychometrische analyse. Over deze laatste analyse wil ik het hebben in deze blogpost.

Stel je hebt digitaal getoetst en daarmee snel de beschikking over de p-, a- en Rit waarden wat dan? Om te weten wat de analyse betekent is het belangrijk dat je weet wat de software aan gegevens oplevert. De p-waarde is het percentage van de kandidaten dat deze vraag goed beantwoord heeft. Dat wil zeggen dat een hoge p-waarde op een relatief eenvoudige vraag wijst voor deze groep kandidaten: ze hebben immers bijna allemaal de vraag goed. Te moeilijke en te makkelijke vragen zijn niet wenselijk in een toets. Te makkelijke vragen leveren geen bijdrage aan een toets en daarnaast leiden ze de goede leerling af. De leerling denkt dat het zo eenvoudig niet kan zijn. Voor een item is p-waarde tussen 0,3 en 0,8 optimaal.

De a-waarde verwijst naar de afleider en geeft het percentage van de kandidaten dat voor deze afleider gekozen heeft. Het doel van de afleiders is een plausibel antwoord te geven voor die kandidaten die de stof niet beheersen. Door een afleideranalyse te doen zie je meestal erg snel dat meerkeuze vragen slechts drie antwoordalternatieven hoeven te hebben. Bij meer dan twee afleiders (een afleider plus het goede antwoord zijn drie keuzealternatieven) zie je vaak dat enkele afleiders helemaal niet gekozen worden. De vraag is dan waarom je die (niet gekozen) alternatieven zal aanbieden.

De Rit-waarde is het moeilijkst. Deze laat zien hoe hoe het item verschil maakt tussen mensen met hoge scores op de toets en mensen met lage scores op de toets. De Rit waarde geeft het onderscheidend vermogen van het item aan. De Rit waarde geeft aan hoe goed het item afzonderlijk, hetzelfde meet als de toets in het geheel. Oftewel hoe goed het betreffende item in de toets past.

Wanneer de p-waarde en de Rit waarde tegen elkaar uitgezet worden in een grafiek is overzichtelijk te zien welke items kritisch beoordeeld moeten worden. De items in de rode vlakken moeten in ieder geval onder de loep genomen worden. Verder valt hier op dat er wel erg veel makkelijke items zijn (hoge p-waarden). De norm voor een acceptabele Rit waarde varieert. In de literatuur wordt over het algemeen de volgende normering aangehouden:

0.40 en hoger zeer goed
0.30 – 0.39 goed
0.20 – 0.29 twijfelachtig
0.19 en lager slecht

Kortom veel cijfermatig materiaal om je toetsvragen nog eens te bekijken. De toetsafname is geen eindpunt maar juist een startpunt om aan kwaliteitsverbetering te werken.

Geplaatst in moeilijkheidsgraad, online examinering, online toetsing
2 reacties op “Over p-, a- en Rit waarden
  1. ton zegt:

    Uit bovenstaande begrijp ik dat Rit waarde uitsluitend berekend kunnen worden voor multiplechoise vragen, op vragen waar uitsluitend goed of fout geantwoord kan worden.

    Of klopt dit niet en is het wel degelijk mogelijk de Rit waarde te bepalen voor open vragen waar een punt tussen de 0 en 10 voor gegeven kan worden.

    • ManonBonefaas zegt:

      Beste Ton,

      Dat klopt. Je kunt alleen Rit-waarden berekenen van vragen die goed of fout zijn (gesloten vragen). Bij open vragen die goed of fout beoordeeld worden zou je theoretisch gezien ook een rit-waarde kunnen berekenen. Je hebt hier echter altijd te maken met een beoordelaarsbias (HALO-effect ed). Daarnaast is de praktijk zo dat open vragen vaak ook gedeeltelijk goed of fout kunnen zijn. Dan is het niet mogelijk een Rit-waarde te berekenen. Ik hoop dat je hier wat aan hebt.

      Groet,

      Manon

3 Pings/Trackbacks op "Over p-, a- en Rit waarden"
  1. [...] Vervolgens bespraken de docenten in multidisciplinaire groepen een aantal van de meest extreem scorende vragen. Bijvoorbeeld vragen met een erg hoge of lage P-waarde of met een negatieve Rit-waarde. [...]

  2. [...] tot de afname zijn verschillende aspecten die verbeterd kunnen worden. Als docent kun je naar de kwaliteit van je vragen kijken: de gemaakte toets als startpunt van kwaliteitsverbetering! Aan leerlingen kan bijvoorbeeld [...]

  3. [...] manier bezig houden met het verbeteren van toetsvragen. eerder schreef ik al over het gebruik van p-,a- en Rit- waarden en over het gebruik van de PDCA cyclus rondom vraagconstructie. Op het moment dat je een nieuwe [...]

Geef een reactie

Het e-mailadres wordt niet gepubliceerd. Verplichte velden zijn gemarkeerd met *

*

* Copy This Password *

* Type Or Paste Password Here *

De volgende HTML tags en attributen zijn toegestaan: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>

Vul je emailadres in om in te schrijven op deze blog en emailmeldingen te ontvangen van nieuwe berichten.

Edublogger