En de boer hij ploegde voort….

De eerste associatie die ik met zaaien heb is  deze:

en de boer hij ploegde voort.

Na het ploegen volgt immers het zaaien (of poten) van gewas.

Wist je dat in  de toetswereld ook gesproken wordt over het zaaien en oogsten van items?

Ook dan moet je zorgen voor een ondergrond.

Een geploegd land.

Een itembank op orde. 

Wanneer je goede examens kan samenstellen, kun je daar ook nieuwe items inbrengen. Nieuwe items die nog niet meetellen.

Items waarvan je als vragen ontwikkelaar eens kan kijken of ze doen wat je ervan verwacht.

Kortom zaai-items.

We onderscheiden twee manieren van items testen op de kwaliteit en moeilijkheidsgraad:

  1. pre-testen
  2. zaaien

Pre-test

Bij pre-testen maak je gebruik van een doelgroep die zoveel mogelijk lijkt op de doelgroep die het echte examen moet gaan maken. Wanneer je in staat bent zo’n testgroep alvast de nieuwe items te laten maken heb je snel inzicht in de kwaliteit en moeilijkheidsgraad van je toets. Je kunt daarna de toets samenstellen met vooraf geteste vragen.

Nadeel is dat het moeilijk is om een vergelijkbare groep een examen te laten maken. Meestal hangt er voor hen niet hetzelfde gewicht aan. Wanneer je normaal voor een examen slaagt, kan of mag je meestal iets. Dat is voor deze pre-testgroepen niet zo.

Zaaien

Zaaien van items betekent dat je vragen meegeeft aan een echt examen. De vragen zijn niet te onderscheiden van de echte vragen. De kandidaat weet dus niet of hij een zaai-item of een echte vraag beantwoordt. Zaaien doe je eigenlijk net als de boer, je zorgt ervoor dat de aarde helemaal klaar is om het zaaigoed te ontvangen.

In de toets: de zaai-items zijn onderdeel van de toets en vallen niet op voor kandidaten tussen de echte vragen.

Bij een papieren examen kun je je eenvoudig voorstellen hoe dat gaat. Je stelt het immers helemaal zelf samen.

Ook met toetssoftware is dat mogelijk.

TeleToets

In TeleToets kun je bij het samenstellen van een vaste versie de zaai-items tussen gewone items plaatsen.

vaste versie

 

Random examens met zaai-items:

Daarnaast heb je de mogelijkheid om bij random examens de zaai-items tussen de vragen te tonen.random pretest

In dit geval worden maximaal 26 vragen gesteld in de toets.

Daarvan worden afhankelijk van de random trekking maximaal 2 cases met in totaal 4 vragen als pretest getrokken.

Minimaal zijn er 22 echte toetsvragen.

Intermezzo

Let op in onze applicatie worden zaai-items en pre-testitems als hetzelfde gezien.

De technische afhandeling is immers hetzelfde: ze tellen niet mee in de uitslag.

Sommige toetsapplicaties geven de mogelijkheid om vragen nul punten mee te geven. Daarmee creëren ze de mogelijkheid tot zaai-items. Helaas zijn deze items meestal niet herkenbaar in de itembank.

In TeleToets zijn ze wel herkenbaar (aan de [P] voor het itemID):

pre test

 

 

 

 

Zaai-items onderaan de toets

Soms wil je liever dat de zaai-items als laatste gesteld worden bij een overigens random toets. 

pre-test onderaanDat kan ook.

In dit geval stel je in hoeveel toetsvragen minimaal en maximaal getrokken mogen worden.

Dan bepaal je de lengte van de toets (28).

Tenslotte stel je in hoeveel casussen gesteld mogen worden als pretestvraag.

In dit geval twee. Deze twee komen aan het eind van de toets.

Wanneer een kandidaat in tijdnood is maakt hij deze vragen niet. De echte toets hoeft er dan niet onder te leiden.

 

 

 

 

 

 

 

Overdenking

Veel examenbureaus aarzelen enorm bij de inzet van zaai-items.

Ze zijn bang dat kandidaten het niet eerlijk vinden.

Of dat deelnemers aan een examen in tijdnood komen door de extra vragen.

Dat laatste is eenvoudig op te lossen. Door de examentijd iets te verlengen ontstaat de mogelijkheid om te zaaien.

Persoonlijk denk ik dat het zaaien van items tot betere examens leidt. Betere examens zijn voor zowel examenbureau als kandidaat plezierig dus waarom niet?

Uiteindelijk is het met zaaien van items dus net als met die zaaiende boer:

wanneer je geduld hebt komen er mooie en goede vragen op.

Geplaatst in Andriessen, itembank, kwaliteit, moeilijkheidsgraad, pre-test, vraagsoorten, zaai-item

Online proctoring, goed idee?

Wat is dat?

Online proctoring?

Online proctoring is het online toezicht houden op bijvoorbeeld een examenkandidaat die een toets aan het maken is.

Dat klinkt interessant. En dat is het ook.

Wij hebben een test gedaan met ProctorExam.

Bij ProctorExam wordt volgens drie principes toezicht gehouden:

  1. Light
  2. Classic
  3. Pro

Je ziet hier overzichtelijk de verschillen:

proctor verschillen

 

ProctorExam kwam al in het Belgische nieuws:

 

Natuurlijk waren we geïnteresseerd.

Hoe werkt het nou en werkt het goed genoeg voor ons?

 

Pilot

We hebben een pilot gedaan en ProctorExam aan de allerzwaarste Andriessen eisen onderworpen.

Je moet weten dat we nu toetslocaties aanbieden door het hele land met getrainde toezichthouders.

We hechten enorm aan ongestoorde examenafnames en aan het voorkomen van fraude.

De concurrentie voor ProctorExam is zwaar.

 

Praktijk

Het geheel werkt fantastisch precies zoals in de demo video’s. Kijk maar even hier.

In praktijk blijkt het voor sommige deelnemers wel lastig te zijn om de juiste dingen te doen en het examen goed op te starten.

Wanneer je niet zo ICT vaardig bent is het opstarten van het examen voor sommige deelnemers een onoverkomelijke hobbel. Je moet namelijk een plug-in installeren in je browser. Deze plug-in zorgt ervoor dat je je beeldscherm deelt. Dat gaat makkelijk. plug-in

Daarnaast moet je een app op je telefoon installeren. In bedrijfssituaties of op scholen kan dit een nare vertraging geven wanneer je de rechten niet hebt om dit soort aanpassingen op je telefoon te doen. Verder hoef je gelukkig niets te installeren.

Ikzelf had de ervaring dat ik het examen niet mocht opstarten omdat er meerdere tabbladen geopend waren. Het bleek hier te gaan om de chatbox (helpfunctie) met ProctorExam. Het is vervelend dat je dan niet meteen in de gaten hebt wat er aan de hand is. Je wilt dat een kandidaat zijn examen zo ongestoord mogelijk maakt. Ik kan me voorstellen dat je hier zenuwachtig van wordt.

De meeste mensen die meededen aan de pilot kregen een melding dat de verbinding niet goed genoeg was. Desondanks konden ze het examen gewoon maken en bleek ook achteraf geen probleem in de proctoring. Deze melding is een advies en desgewenst geeft de live proctor nog advies om de verbinding te verbeteren.

Reactie op de lay-out van Proctorexam:

Was gewoon goed

En dat is ook zo.

Toch zou ik nu niet adviseren om ProctorExam gelijk te gebruiken voor high-stake examens.

Het lukte mij om ongemerkt een screencast van het examen te maken. Daarmee ligt de inhoud van een examen op straat.

Conclusie

ProctorExam is zeer geschikt om gelijktijdig een groter aantal examens af te nemen. Met name in een situatie waarbij de kandidaat zijn eigen laptop mee neemt (BYOD) en toezicht is geregeld kan de lightversie van proctorexam een waardevolle aanvulling zijn.

Examens in het buitenland zijn geschikt om met ProctorExam af te nemen (zie ook het voorbeeld in het VTM filmpje). Persoonlijk zou ik hierbij live proctoring adviseren (de PRO versie), dit garandeert het beste dat er geen fraude gepleegd kan worden.

Het is wel zo dat examens waar veel van afhangt nu nog niet geschikt zijn voor ProctorExam. Enerzijds omdat je voor de kandidaat zeker moet zijn van de techniek. Anderzijds omdat je wilt voorkomen dat je vragen bekend worden.

Natuurlijk wil je ook voorkomen dat de kandidaat fraude kan plegen, bijvoorbeeld door te spieken. Met name bij de Classic variant en de Light variant (zonder toezicht)  lijkt dit wel mogelijk.

 

Meer lezen? Digital exam on BYOD, with remote surveillance
.

 

 

Geplaatst in online examination, online examinering, proctoring

Over p-, a- en Ritwaarden revisited

De meest gelezen blog op onlineexamineren is de blog over p-, a- en Ritwaarden.

Het is ook de meest geciteerde blog :)

Ik begrijp dat wel.

Het blijft moeilijk om de p-, a- en Rit-waarde goed in de grip te hebben.

sleutel

 

Vandaar dat ik het nog een keertje overdoe.

Ik leg het nog eens uit maar dan anders.

Een item (vraag) is meestal opgebouwd uit:

  • De stam, de vraag zelf.
  • Het antwoord, de sleutel.
  • En de afleiders

Om te beginnen met de laatste, de makkelijkste, de afleiders.

 

Afleider

De a van a-waarde verwijst naar de afleider.

In toetssoftware wordt vaak de term afleideranalyse gebruikt. Ook als je geen gebruik maakt van toetssoftware kun je eenvoudig een afleideranalyse maken.

Je telt eenvoudig het aantal antwoorden per gekozen antwoord alternatief. Dan bereken je per antwoordalternatief het percentage kandidaten dat voor deze variant gekozen heeft.

Rekenvoorbeeld:

Antwoord Gesteld Weegfactor Gekozen Percentage
Afleider A 205 1 1 0,49
Afleider B 205 1 50 24,39
Afleider C 205 1 65 31,70
Sleutel D (Goed) 205 1 89 43,41

Oké, en nu?

Je ziet hier dat één afleider nauwelijks gekozen wordt.

Weglaten dus.

Wanneer je deze toetsvraag nogmaals gebruikt, laat je dit alternatief weg. Het heeft geen toegevoegde waarde.

Afleider B en C hebben dusdanig hoge waarden dat je je af kan vragen of je de kandidaat niet aan het misleiden bent. Het verschil met het juiste antwoord is klein. Je moet in ieder geval nog eens goed naar de inhoud van deze afleiders kijken.

Of:

Je stelt vast dat de kandidaten het niet begrepen hebben.

De sleutel

De sleutel is het goede antwoord. In bovenstaand voorbeeld is de sleutel antwoordalternatief D. De bijbehorende p-waarde is 0,43.

De p-waarde is de proportie goede antwoorden. De p-waarde geeft de moeilijkheidsgraad van een item weer. De Gruijter (2008) zegt daarover:

Eigenlijk is de p-waarde een gemakkelijkheidindex: de index is immers de proportie goede antwoorden.

Een lage p-waarde wijst erop dat maar weinig mensen de vraag goed beantwoord hebben. Mogelijk was de vraag moeilijk. Of is de vraag foutief gesteld, een constructiefout in de vraag bijvoorbeeld.

Een hele hoge p-waarde geeft aan dat bijna iedereen de vraag goed gemaakt heeft. Dat kan betekenen dat de vraag heel gemakkelijk was. Het kan ook betekenen dat iedereen alles heel goed heeft begrepen.

Tja en wat moet je er dan mee?

Eigenlijk wil je dan wel graag zien hoe de vraag het in de rest van de toets deed. Hebben de mensen die dit item goed gemaakt hebben de toets gehaald? En andersom zijn de mensen die deze vraag niet goed deden gezakt?

Dat kun je bekijken met de Rit-waarde.

Rit-waarde

De Rit-waarde is de items test correlatie of de item totaal correlatie.

Het uitgangspunt is dat we denken dat de goede kandidaat meer vragen goed zal beantwoorden dan de slechte kandidaat. We willen dus dat een vraag het onderscheid maakt tussen goede en slechte kandidaten. Daarom kijken we naar de totaalscore op de toets.

We verwachten dat de totaalscore van de toets en de score op het item een positief verband hebben, dus hoger dan 0,20 bijvoorbeeld.

Wanneer de Rit-waarde nul is draagt het item niet bij aan het onderscheid tussen de goede en slechte kandidaten. Dat doet zich bijvoorbeeld voor wanneer iedereen de vraag goed beantwoord heeft. De p-waarde is dan één. De Rit-waarde is nul. Ook wanneer niemand de vraag goed heeft is de Rit-waarde nul.

Maar wat nu wanneer je een p-waarde van 0,24 hebt en een Rit waarde van -0,068?

Je kan in ieder geval zeggen dat hier sprake is van een moeilijke vraag.

Deze vraag maakt geen onderscheid tussen de kandidaten met een hoge en een lage score. Dat willen we juist wel.

In dit geval moet je de vraag goed gaan bekijken, zitten er bijvoorbeeld constructiefouten in de vraag?

Bij nader inzien kan het zijn dat een vraag ervaren wordt als misleidend. De kandidaat wordt op het verkeerde been gezet. In dat geval zul je de vraag moeten herzien. Soms is ook het verkeerde alternatief als juist aangegeven. Ook dat kan leiden tot vreemde p- en Rit-waarden.

Je kunt de p- en de Rit-waarde in een grafiek uitzetten. In deze grafiek zie je dan de verschillende items:

vraaganalyse

De items in de rode vlakken moeten in ieder geval onder de loep genomen worden.

Verder valt hier op dat er wel erg veel makkelijke items zijn (hoge p-waarden). De norm voor een acceptabele Rit waarde varieert. In de literatuur wordt over het algemeen de volgende normering aangehouden:

 

0.40 en hoger zeer goed
0.30 – 0.39 goed
0.20 – 0.29 twijfelachtig
0.19 en lager slecht

 

Kortom:

Het is altijd zinvol om een analyse van p-,a- en Rit-waarden te doen. Hoe summier ook. 

Wanneer je vervolgens wat met deze analyse doet zal de kwaliteit van je toets omhoog gaan.

Geplaatst in itemanalyse, itembank, moeilijkheidsgraad, online examinering

Andriessen International blog

Meet our international blog: Sisto Andriessen International

So, is a randomised test fair?

It depends.

A randomised test can be totally fair but it can also be biased.

A test is biased when the results have consequences that unfairly advantage or disadvantage test takers.

Is it possible to determine whether a test is fair? Whether it is equally difficult for all candidates?

Yes it is. But only in hindsight.

An analysis of the average p-value of the test is of great help in establishing the fairness of the test. When the average p-values ​​are spread across a broad range then it is highly likely that several tests had varying levels of difficulty.

Read more.

Geplaatst in Sisto

Innovatieve vraagsoort: video hotspotvraag

Eerder zei ik het al:

Marketing is niet onze sterkste kant!

Sebastiaan de Klerk verzorgde een presentatie op de CAA conferentie.

Hij heeft een (PhD) onderzoek gedaan in samenwerking met Explain en het RCEC (promotores: Theo Eggen en Bernard Veldkamp).

 

Zijn onderzoek gaat over:

The psychometric evaluation of a multimedia-based performance assessment in vocational education.

In Examens van mei 2015 werd hierover al door Sebastiaan gepubliceerd: Voordelen en uitdagingen voor toetsing in computersimulaties.

Computersimulaties

Computersimulaties bieden de mogelijkheid om een kandidaat snel in een situatie te brengen waarbij hij zijn oordeel kan geven. Een computer heeft de mogelijkheid om video aan te bieden.

Hieronder een voorbeeld van Explain:

Explain 1

Met de film wordt een soort multiple selectvraag (meer uit meer vraag) gemaakt. De correctie vindt plaats op basis van het aanklikken van de knop in de juiste tijdsperiode.

Ik zei al: wij zijn niet goed in marketing.

Sinds eind 2013 hebben we in TeleToets de video hotspotvraag.

Met behulp van de video hotspotvraag kun je:

  • de kandidaat kritische incidenten laten aangeven in de tijd (net als de knop in het bovenstaande voorbeeld),
  • de kandidaat hotspot (gebeurtenis/actie/locatie) in de video laten aangeven,
  • de vraag automatisch laten corrigeren,
  • aanvullende open of gesloten vragen stellen aan de kandidaat.

Ik zal je in een screenshot een voorbeeld laten zien voor de kandidaat:

videohotspotvraag

 

De kandidaat moet op play klikken en de video gaat lopen.

Tijdens het afspelen van de video kan de kandidaat door een muisklik aangeven waar bijvoorbeeld Mount Fuji ligt.

Administratiezijde

Aan de administratiezijde ziet dat er zo uit:

videohotspotvraag

De rode hotspot is het juiste gebied om de rode marker te plaatsen.

De vraag wordt automatisch na gekeken. Daarbij wordt op de tijd gelet en op de locatie van de marker. Rechts kun je zien dat in de periode tussen 10 en 11.67 seconden Mount Fuji in beeld is.

Het is ook mogelijk een bewegende hotspot in te stellen. In dit voorbeeld vaart het bootje van links naar rechts. De hotspot volgt het bootje.

videohotspot_boot
Daarnaast kun je meerdere hotspots toevoegen aan een video. In dit geval zijn drie hotspots gedefinieerd.

Je kunt verschillende instellingen doen bij de video hotspotvraag:

videhotspotvraag_instellingen

 

 

 

 

 

 

Scoring

Scoring van de video hotspotvraag gaat als volgt (voor TeleToets gebruikers wel bekend):

 

videohotspot_scoring

Daarnaast kunnen natuurlijk aanvullende vragen gesteld worden zoals open vragen en/of gesloten vragen.

Deze nieuwe vraagsoort is bijvoorbeeld handig bij kritische incidenten.

Voor de technici onder ons: er wordt gebruik gemaakt van HTML5 in plaats van Flash. Daarmee is de vraag alleen in Chrome en Firefox af te nemen.

Wil je bovenstaande vraag ervaren als kandidaat?

Ons voorbeeldexamen met verschillende vraagsoorten laat als opgave 18 de videohotspotvraag zien.

 

Wil je meer informatie? Aarzel niet en neem contact met ons op: consultancy@andriessen.nl

Geplaatst in beoordelen, online examination, online examinering, video hotspotvraag

Programmeerfoutje PE-plus examen blijkt hulpmiddel

Onderstaande blog van Dik van Velzen is integraal overgenomen:

Een klein programmeerfoutje kan grote gevolgen hebben. Zo is een programmeerfoutje in de software van de PE-Plusexamens er de oorzaak van dat de goed-geïnformeerde kandidaat wel heel gemakkelijk het examen kan behalen. Je moet alleen de truc kennen.

Die truc is dat je alle antwoorden bij een examenvraag moet selecteren en vervolgens op de rechtermuisknop moet klikken. Het juiste antwoord of – als meer antwoorden juist zijn – de juiste antwoorden lichten dan op. Vervolgens moet je nog een keer klikken om de selectie ongedaan te maken en kun je de vraag beantwoorden op de gebruikelijke manier. Met dit verschil dat je inmiddels het juiste antwoord weet. Bij rekenvragen waar de kandidaat zelf een getal moet invullen, werkt de methode jammer genoeg niet. Daar moet je zelf op het juiste antwoord zien te komen. Een troostrijke gedachte is daarbij dat er in geen enkel PE-Plusexamen zoveel rekenvragen zitten, dat je op het fout beantwoorden van die vragen kunt zakken.

Hoe lang dit programmeerfoutje al in de PE-Plusexamens zit, is niet bekend. Mogelijk al vanaf de aanvang van deze examens begin 2014. Het foutje is pas onlangs bij toeval ontdekt. (Denk ik. Als het eerder is ontdekt, dan door iemand die daar zorgvuldig zijn mond over heeft gehouden.) DUO, verantwoordelijk voor de examensoftware, is inmiddels op de hoogte, maar wil geen enkel bericht hierover bevestigen of ontkennen. Ook niet hoe lang het duurt voor dit programmeerfoutje alsnog is hersteld. Dat begrijp ik dan ook wel weer. Gelet op de aflopende termijn van de PE-Plusexamens is het natuurlijk geen optie om het afleggen van PE-Plusexamens op te schorten tot het systeem op orde is. Maar reken maar dat er hard aan wordt gewerkt om deze bug er zo snel mogelijk uit te krijgen.

In elk geval kan het foutje geen nadelige gevolgen hebben voor degenen die inmiddels PE-Plusexamens hebben gedaan. Er gaan geen examens ongeldig worden verklaard, ook al omdat vermoedelijk maar enkele kandidaten van dit ‘hulpmiddel’ op de hoogte waren en hooguit nog een beperkte groep hiervan gebruik kan maken. Op termijn zijn er ook geen nadelige effecten, omdat voor alle behaalde diploma’s geldt dat tussen 1 april 2017 en 1 april 2019 opnieuw een PE-examen moet worden afgelegd. En tegen die tijd is het probleem al lang opgelost.

 

Ik schoot in de lach.1-april

Hahahaha

Wat een goeie grap.

Mijn fantasie sloeg ook op hol.

Als het nou eens waar was?

Als iedereen het nou geloofde?

Ik vrees dat de toezichthouders de komende tijd dan veel last hebben van mensen die met de rechtermuisknop eindeloos klikken.

Op zoek naar het juiste antwoord.

En dat juiste antwoord komt echt niet!

 

Neem van mij aan dat DUO geen software accepteert met een dergelijk programmeerfoutje.

 

 

Geplaatst in online examination, online examinering, online toetsing

Een T-Ford en adaptief toetsen?!

Eerder schreef ik een blog over adaptief toetsen. De essentie van adaptief toetsen is:

Bij adaptief toetsen  krijgt de kandidaat vragen aangeboden vanuit een bepaald (basis) niveau. Wanneer de kandidaat deze vragen goed maakt krijgt hij moeilijkere vragen aangeboden. Bij een goed resultaat kunnen nog moeilijkere vragen volgen. Bij een minder resultaat krijgt de kandidaat eenvoudigere vragen voorgelegd.

 

Het doel van adaptief toetsen is het niveau van de kandidaat vaststellen. Op grond daarvan wil je vragen stellen die de kandidaat prikkelen.

De vragen moeten moeilijk genoeg zijn.

Moeilijkheidsgraad

De beantwoorde vragen zeggen iets over het niveau van de kandidaat. Om dat goed te doen is het belangrijk dat de toets goed samengesteld is. De vragen moeten de juiste moeilijkheidsgraad hebben.

Het bepalen van de moeilijkheidsgraad van een vraag is daarbij het meest ingewikkeld voor een itemconstructeur. Achteraf is dat makkelijker dan kun je natuurlijk altijd de p-waarde berekenen.

Voorbeeld

De manier waarop adaptief op een prachtige en goede manier getoetst kan worden is bijvoorbeeld met ‘De Rekentuin‘.

Door de grote aantallen deelnemers waarvan bekend is in welke klas ze zitten en hoe oud ze zijn kan een goede voorspelling gedaan worden over het niveau waarop ze moeten starten.

Afhankelijk van het aantal goede of foute startantwoorden worden de deelnemers op de juiste plek in de Rekentuin gezet. Ze krijgen op die manier altijd vragen van het goede niveau. Niet te makkelijk en niet te moeilijk.

rekentuin adaptief

 

Het punt is dat deze manier van adaptief toetsen alleen werkt bij grote aantallen. In werkelijkheid hebben de meeste opleidingsinstituten niet zoveel deelnemers.  Deze aantallen zie je alleen in het onderwijs en bij bijvoorbeeld het CBR voor het behalen van een rijbewijs.

TeleToets

In TeleToets hebben we een zeer eenvoudige vorm van adaptief toetsen. De itemauteur of toetsconstructeur bepaalt de moeilijkheidsgraad van het item. Op grond daarvan wordt het item in een niveau geplaatst. Bij meer vragen goed ga je naar het volgende moeilijkere niveau. Bij fouten blijf je op hetzelfde niveau of val je een niveau terug. Het is een simpele maar werkbare vorm van adaptief toetsen. Die vooral heel geschikt is bij kleinere aantallen deelnemers.

adaptief toetsen TeleToets

De omschreven vorm van adaptief toetsen leidde tot een discussie met vakgenoten.

Een reactie:

Adaptief toetsen is een wetenschappelijk goed gefundeerde wijze van toetsen.Wat hier beschreven staat is wel zeer rudimentaire vorm van adaptief toetsen, waarmee bij toepassing behoorlijke risico’s kunnen worden gelopen. Het is een beetje als een oude T-Ford: ook een auto, maar je moet er niet mee op de huidige snelweg komen.

Een beetje googelen leverde deze videos (YouTube) op over die oude T-Ford. Waaruit maar blijkt dat de vergelijking in ieder geval soms mank gaat.smiley

 

 

De werkelijkheid is dat slechts enkele organisaties in staat zijn met grote groepen te testen, je ziet dat bijvoorbeeld met Cito in het onderwijs. De meeste exameninstellingen hebben echter te maken met minder kandidaten en kandidaten van verschillend niveau.

Hoe kun je dan toch adaptief toetsen?

Nou, bijvoorbeeld door gebruik te maken van de eenvoudige vorm van adaptief toetsen zoals in TeleToets beschikbaar. Voeg daarbij het feit dat adaptief toetsen meestal formatief gebruikt wordt. Dan is adaptief toetsen in TeleToets een eenvoudige maar werkbare vorm.

 

Meer lezen over adaptief toetsen? Adaptief toetsen genuanceerd

Geplaatst in adaptief toetsen, feedback, formatieve toetsing, online examination, online examinering

Anoniem je toets maken, dat is bijzonder?

Deze week verscheen in de Universiteits Krant van Groningen (UK) het volgende bericht:

Laat studenten anoniem examens afleggen

Ik was meteen geïnteresseerd.

Enerzijds omdat de UK natuurlijk als oud Groningen student nog altijd een beetje mijn UK is en anderzijds omdat het gegeven anoniem examens afleggen digitaal prachtig kan.

Even verder lezend begrijp ik dat ze dat in Groningen iets anders willen doen:

In plaats van je naam op het tentamenformulier zou een studentennummer voldoende moeten zijn.

Tjonge, en dan later de naam er weer bij zoeken om het cijfer in het juiste systeem te krijgen.

Ze zijn toch niet van de werkverschaffing?

Dat kan anders. Bij veel digitale toetssystemen kun je anoniem open vragen corrigeren. Natuurlijk kun je ook de naam zien als je dat wenst, dat ziet er als volgt uit:

corrigeren open vragen

Wanneer je op het plusje klikt bij de  rode pijl links bovenin, krijg je meer informatie over de kandidaat.

Dit hoeft niet.

Het is een keuze van de examencommissie of deze informatie gedeeld wordt met de correctoren. Met name bij correctoren die ook docent zijn wordt deze mogelijkheid nogal eens uit gezet. Correctoren zien dan niet wie ze beoordelen.

Groot voordeel: beoordelaarsfouten  zoals het HALO- en HORN effect worden kleiner gemaakt

In TeleToets wordt dan alleen het examennummer bekend gemaakt. Dat ziet er zo uit voor een corrector.

anoniem open vragen

De corrector heeft geen mogelijkheid om te zien wie achter het examennummer schuil gaat. Hiermee is anoniem corrigeren een feit. De uitslag wordt automatisch weggeschreven bij de juiste kandidaat. De kans op fouten bij het overtypen van de resultaten op studentennummer is hiermee gereduceerd tot nul.

Dit lijkt me een goede oplossing voor de RUG. Nu maar hopen dat ze dit ook kunnen in de door hen gekozen digitale toetssoftware.

Meer lezen over beter beoordelen?

HALO en HORN knock out

5 tips voor het maken en nakijken van open vragen

Pas op open vragen

Geplaatst in online examinering, online toetsing, TeleToets, vraagsoorten

Imagine: fraude

Stel je voor je wilt fraude bestrijden bij examens.

Je wilt voorkomen dat kandidaten (studenten) fraude plegen, vals spelen.

Wat is dat ook al weer fraude?

De definitie van de NVEnou ja, eigenlijk is dit mijn definitie (geef mezelf een schouderklopje):

Examenfraude is het opzettelijk beïnvloeden van (onderdelen van) het gehele examenproces met als doel een ander resultaat uit het examen te verkrijgen.

Dat wil je dus voorkomen.

Als examenbureau wil je dat kandidaten met de toegestane hulpmiddelen een examen zelfstandig maken. Daar is je hele meting (examen) op gericht.

Nu is er één probleem.

Examenbureau’s moeten met een heleboel kandidaten rekening houden, die ieder voor zich gewoon hun eigen (fraude)plan kunnen trekken.

Let op: ik zeg niet dat alle kandidaten fraudeurs zijn!

Wel moet een examenbureau rekening houden met het feit dat alle kandidaten een fraudeur kunnen zijn.

Het gevolg daarvan is dat examenbureau’s bijna altijd achter de feiten aanhollen. Een valsspelende kandidaat heeft iets nieuws bedacht. Bijvoorbeeld gebruik maken van een souffleur voor de toets mbv een ‘oortje’ . Het ‘oortje’ wordt ontdekt. Hup daar gaan de examenbureau’s voortaan moeten de surveillanten de oren van de kandidaten inspecteren.

Maatregelen komen dus achteraf.

Nadat het kalf verdronken is dempt men de put, is de oude volkswijzheid.

Bij examenfraude is het niet anders.

Vaak zijn  maatregelen gericht op het voorkomen van examenfraude.

Deze is erg mooi:

drone surveillance

Bij de staatsexamens van de universiteit in China werd de drone ingezet.

Stel je voor een drone vliegend boven je hoofd terwijl je een zeer belangrijke toets maakt.

Ik ben benieuwd of er menselijk toezicht was via de camera in de drone? Mogelijk is ook een algoritme los gelaten op de videobeelden om onregelmatigheden op te sporen.

Is dit het eind van de menselijke toezichthouder?

Nee, ik denk het niet.

Voorlopig zullen veel belangrijke (high stake) examens afgenomen worden onder menselijk toezicht. Wel zullen ze zich steeds vaker laten ondersteunen door cameratoezicht.

Meer lezen over fraude en fraude preventie:

 

Geplaatst in fraude, toezichthouder

Multiple choice vraag is favoriet

Toetssoftware kent natuurlijk de welbekende en zeer verguisde multiple choice vraag.

Maar wist je dat er nog veel meer gesloten vragen zijn in toetssoftware?

Gesloten vragen zijn automatisch na te kijken. Dan komt toetssoftware echt tot zijn recht.

Bij de afhandeling van de toets zijn geen mensen nodig. De uitslag kan zo naar de kandidaat gestuurd worden.

Soorten gesloten vragen

Voorbeelden van gesloten vragen zijn:

  • multiple choice: één van de antwoordalternatieven is juist
  • multiple select of meer uit meer vraag: meerdere antwoorden zijn goed
  • sleepvraag: hierbij sleep je een object naar de juiste plaats in een plaatje of tekst
  • rangorde vraag: hierbij zet je voorwerpen of tekst in de juiste volgorde
  • invulvraag: hierbij vul je het juiste woord of omschrijving in
  • hotspotvraag: hierbij geef je een speciale plek (een hotspot) aan in een plaatje
  • numerieke vraag: hierbij geeft je de uitkomst van een som aan

Al deze vragen worden door de software nagekeken. Er komt geen menselijke beoordelaar aan te pas.

Maar worden die vraagsoorten ook gebruikt?

Nou nee, niet echt.

Kijk maar eens mee naar dit overzicht uit TeleToets:

Vraagtype Aantal maal in toets  Percentage
HotspotVraagEnkelvoudig

3988

0,0%

HotspotVraagMeervoudig

4248

0,0%

InvulVraag

37043

0,1%

InvulVraagMeervoudig

56546

0,1%

MCVraag

38692327

90,2%

Multiple selectvraag

1273913

3,0%

NumeriekeVraag

898283

2,1%

OpenVraag

1428539

3,3%

RangschikVraag

81307

0,2%

SchrijfVraag

185965

0,4%

Sleepvraag

10930

0,0%

SpreekVraag

231100

0,5%

UploadVraag

166

0,0%

Eindtotaal

42904355

100,0%

Zoals je ziet steekt de multiple choice vraag er met kop en schouders boven uit.

Bijzonder is wel dat in aanbestedingen en/of keuzes van toetssoftware altijd gekeken wordt naar de diversiteit van vraagtypen.

Dat is echt niet nodig.

Neem van mij aan: de multiple choice vraag is favoriet!

Geplaatst in TeleToets, vraagsoorten