P-waarde wat moet je ermee?

Veel van de zoektermen op mijn blog gaan over p-waarden.

Eén van de meest gelezen blogs is dan ook:

Over p-, a- en rit-waarden

Ondanks deze blog wordt daarnaast veel gezocht op p-waarden. Dus nog maar wat meer uitleg.

 

De P-waarde is het percentage van de kandidaten dat deze vraag goed beantwoord heeft. 

 

Ik laat je een voorbeeld zien:

AntwoordID Gesteld Weegfactor Gekozen Percentage
50264.2.A 205 1 1 0,49
50264.2.B 205 1 1 0,49
50264.2.C 205 1 25 12,2
50264.2.D (Goed) 205 1 178 86,63

 

Grafisch ziet dat er zo uit, het paarse vlak is de p-waarde (het percentage van de kandidaten met een correcte antwoord):

p-waarde

 

De p-waarde is hier 0,87. 87% van de kandidaten heeft deze vraag goed beantwoord.

Antwoord alternatief A en B zijn ieder één keer gekozen door de 205 kandidaten.

De vraag is nu is dit een slechte vraag? Of: zijn de antwoordalternatieven slecht?

We kunnen vaststellen dat twee van de vier alternatieven niet of nauwelijks zijn gekozen, het loont de moeite om nog eens kritisch naar de inhoud van deze vraag en antwoordalternatieven te kijken. Soms kan je beter dergelijke keuzes weglaten. In dit geval zou een twee keuze vraag over blijven. Maar:

Voldoet de vraag dan nog? Of is de vraag misschien te makkelijk?

 

In de volgende situatie is alles net even anders:

Antwoord ID Gesteld Weegfactor Gekozen Percentage
50206.2.A 198 1 2 0,01
50206.2.B (Goed) 198 1 196 0,99
50206.2.C 198 1 0 0,00
50206.2.D 198 1 0 0,00

Het goede alternatief is bijna door iedereen gekozen. Twee van de alternatieven zijn helemaal niet gekozen het derde alternatief is slechts door twee mensen gekozen.

Deze vraag is mogelijk te gemakkelijk. Of is zo geformuleerd dat het antwoord ‘weggegeven‘ wordt.

In de volgende situatie zie je dat een afleider bijna even vaak  gekozen wordt als het goede antwoord:

alternatief

 

 

Ook hier is een nadere analyse vereist.

Hoe komt het dat zoveel mensen voor het foute alternatief kiezen? Is de vraag te moeilijk? Of is het een ‘instinker’.

De data, de p-waarden en de a-waarden (afleiders)  helpen bij de analyse van de toets.

Sommige toetsprogramma’s laten per vraag de verschillende waarden prachtig zien, dit is een voorbeeld uit RemindoToets:

awaarde remindo

Je ziet hier bij 62 afnames de score op de verschillende alternatieven. De p-waarde is 0,61.

Wanneer je geen digitale toetssoftware gebruikt is p ook eenvoudig uit te rekenen. P is het percentage correcte antwoorden op een vraag.

Wat is nu een ideale p-waarde?

Volgens de literatuur moet de p-waarde tussen de 0,27 en 0,79 liggen. Ik ben van mening dat je nooit alleen naar de p-waarde mag kijken. Alleen p-waardes zeggen niets. De p-waarde moet altijd in relatie tot de afleiders bekeken worden en in relatie tot de gehele toets. Docenten of examencommissies bepalen achteraf of de vraag voldoende was. Daarbij heb je naast de p-waarde de percentages van de afleiders nodig om te zien hoe de antwoordalternatieven gebruikt zijn. Inhoudelijk kan scherp gekeken worden naar deze vragen met behulp van de data.

P-waardes kun je zowel voor open als gesloten vragen gebruiken.

Meer lezen:

Sander Schenk

Toetswijzer

 

 

Geplaatst in kwaliteit, online toetsing, RemindoToets, TeleToets

Geef een reactie

Het e-mailadres wordt niet gepubliceerd. Verplichte velden zijn gemarkeerd met *

*

* Copy This Password *

* Type Or Paste Password Here *

De volgende HTML tags en attributen zijn toegestaan: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>