Rit-waarde op de rit

Naast de p-waarde is de Rit-waarde van een item ook belangrijk.

Rit-waarde?

Rit- waarde is de item-totaalcorrelatie.

Juist. En wat is dat?

Deze correlatie geeft de mate weer waarin het losse item hetzelfde meet als de toets in zijn geheel.

De Rit-waarde laat zien hoe hoe het item verschil maakt tussen mensen met hoge scores op de toets en mensen met lage scores op de toets. De Rit waarde geeft het onderscheidend vermogen van het item aan. De Rit-waarde toont hoe goed het item afzonderlijk, hetzelfde meet als de toets in het geheel. Oftewel hoe goed het betreffende item in de toets past.

Oké. Dat klinkt ingewikkeld. Kan ik de Rit-waarde ook zelf uitrekenen?

Ja dat kan. Een rekenvoorbeeld vind je hier.

rit

Op deze manier kun je zelf de Rit-waarde berekenen (bron). De Rir-waarde is de correlatie tussen itemscore en de totaalscore-min-dat-item, over de studenten (item-rest correlatie). Bij het rekenvoorbeeld staan ook de normen voor de Rit-waarden. Wanneer je alleen naar deze normen kijkt doe je de toets tekort.

Belangrijk is dat je naar het geheel van de toets kijkt en naar de relatie met de p-waarde.

Bijna alle toetssoftware berekent automatisch de Rit-waarde (Rir-waarde), in Remindotoets wordt per vraag de statistische analyse weergegeven:

rit-waarde

In dit geval is de Rit waarde hoog. In combinatie met de hoge p-waarde (0,607) kun je vaststellen dat deze vraag zeer goed discrimineert tussen kandidaten met een hoge en een lage score.

 

p-waarde 

De Rit-waarde kan variëren tussen -1 en 1. Bij een negatieve Rit-waarde moeten eigenlijk de alarmbellen afgaan. Deze vraag levert geen goede bijdrage aan de toets.

Bij een negatieve Rit-waarde kan iets helemaal fout zijn met de vraag. Onderzoek naar de vraag en en antwoordalternatieven is nodig. Een negatieve Rit-waarde gekoppeld aan een lage p-waarde doet zich voor bij een moeilijke vraag waarbij geen discriminatie is tussen kandidaten die geslaagd of gezakt zijn. Het kan bijvoorbeeld zijn dat per ongeluk één van de afleiders als goed gerekend wordt terwijl het juiste antwoord fout gerekend wordt.

Bij een p-waarde van 1, heeft iedereen de vraag goed beantwoord. De Rit waarde kan dan rond de 0 liggen. Dit item maakt geen onderscheid tussen de hoge presteerders en de lage presteerders. Iedereen had de vraag goed.

Conclusie:

Bekijk de Rit-waarde nooit alleen, maar altijd in de context van de p-waarde.

Gezamenlijk geven ze een beeld van je toetsvragen.

Grafisch kun je dat zo weergeven:

gecombineerde varaganalyse

 

Met name de vragen in de rode gebieden hebben aandacht nodig.

Meer lezen?

Over p-, a- en Ritwaarden

Slideshare presentatie Michel Kao en Marcel Penners.

Itemgegevens en betrouwbaarheid.

Wintoets Rit-waarde

Statistiek en meten: wat moet je daarover weten?

 

Geplaatst in onderwijs, online examinering, online toetsing, statistiek
5 reacties op “Rit-waarde op de rit
  1. Marieke zegt:

    Dag Manon,

    Hebben we het hier over at-random gegenereerde digitale toetsen?
    Of, meer in het algemeen: is kijken naar de rit-waarde ook zinvol in de context van at-random gegenereerde toetsen?

    Met vriendelijke groet,
    Marieke

  2. ManonBonefaas zegt:

    Dag Marieke,

    Excuus voor de late reactie. Ja, de p- en de rit-waarde kun je zowel met vaste versie examens als random examens berekenen. Je berekent beide waarden immers per afzonderlijk item.

    Het is wel interessant om ook naar de moeilijkheidsgraad van een random examen te kijken. Binnenkort zal ik daar een blog post over schrijven.

    Hartelijke groet,
    Manon

  3. Ben Wilbrink zegt:

    Een toets in het onderwijs is geen psychologische test. Eigenlijk zou je dus vooral de rit-waarden boven, pak hem beet, 0,4 argwanend moeten bekijken: differentieert die vraag misschien niet meer op intelligentie dan op beheersing van de stof?

    Ik ben niet enthousiast over itemstatistieken. Bespreek de toets met de deelnemers, stel je kwetsbaar op (aan de meeste toetsvragen kleeft echt wel een foutje hier of daar).

  4. Judith zegt:

    Hallo Manon,

    Ik probeer de RIT waarden uit te rekenen in het kader van een analyse die ik doe voor een studie.
    Welke waarden kunnen de Yg en Yf aannemen? Is dit tussen de 1 en de 10? Of gebruik je daarvoor een andere schaal?

    • ManonBonefaas zegt:

      Dag Judith,

      Yg en Yf zijn d gemiddelde toetscores van de kandidaten die het item resp. goed of fout hadden. Deze gemiddelde waarde zal m.i. tussen de 1 en de 10 liggen.

Laat een reactie achter bij Marieke Reactie annuleren

Het e-mailadres wordt niet gepubliceerd. Verplichte velden zijn gemarkeerd met *

*

* Copy This Password *

* Type Or Paste Password Here *

De volgende HTML tags en attributen zijn toegestaan: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>