Andriessen International blog

Meet our international blog: Sisto Andriessen International

So, is a randomised test fair?

It depends.

A randomised test can be totally fair but it can also be biased.

A test is biased when the results have consequences that unfairly advantage or disadvantage test takers.

Is it possible to determine whether a test is fair? Whether it is equally difficult for all candidates?

Yes it is. But only in hindsight.

An analysis of the average p-value of the test is of great help in establishing the fairness of the test. When the average p-values ​​are spread across a broad range then it is highly likely that several tests had varying levels of difficulty.

Read more.

Geplaatst in Sisto

Innovatieve vraagsoort: video hotspotvraag

Eerder zei ik het al:

Marketing is niet onze sterkste kant!

Sebastiaan de Klerk verzorgde een presentatie op de CAA conferentie.

Hij heeft een (PhD) onderzoek gedaan in samenwerking met Explain en het RCEC (promotores: Theo Eggen en Bernard Veldkamp).

 

Zijn onderzoek gaat over:

The psychometric evaluation of a multimedia-based performance assessment in vocational education.

In Examens van mei 2015 werd hierover al door Sebastiaan gepubliceerd: Voordelen en uitdagingen voor toetsing in computersimulaties.

Computersimulaties

Computersimulaties bieden de mogelijkheid om een kandidaat snel in een situatie te brengen waarbij hij zijn oordeel kan geven. Een computer heeft de mogelijkheid om video aan te bieden.

Hieronder een voorbeeld van Explain:

Explain 1

Met de film wordt een soort multiple selectvraag (meer uit meer vraag) gemaakt. De correctie vindt plaats op basis van het aanklikken van de knop in de juiste tijdsperiode.

Ik zei al: wij zijn niet goed in marketing.

Sinds eind 2013 hebben we in TeleToets de video hotspotvraag.

Met behulp van de video hotspotvraag kun je:

  • de kandidaat kritische incidenten laten aangeven in de tijd (net als de knop in het bovenstaande voorbeeld),
  • de kandidaat hotspot (gebeurtenis/actie/locatie) in de video laten aangeven,
  • de vraag automatisch laten corrigeren,
  • aanvullende open of gesloten vragen stellen aan de kandidaat.

Ik zal je in een screenshot een voorbeeld laten zien voor de kandidaat:

videohotspotvraag

 

De kandidaat moet op play klikken en de video gaat lopen.

Tijdens het afspelen van de video kan de kandidaat door een muisklik aangeven waar bijvoorbeeld Mount Fuji ligt.

Administratiezijde

Aan de administratiezijde ziet dat er zo uit:

videohotspotvraag

De rode hotspot is het juiste gebied om de rode marker te plaatsen.

De vraag wordt automatisch na gekeken. Daarbij wordt op de tijd gelet en op de locatie van de marker. Rechts kun je zien dat in de periode tussen 10 en 11.67 seconden Mount Fuji in beeld is.

Het is ook mogelijk een bewegende hotspot in te stellen. In dit voorbeeld vaart het bootje van links naar rechts. De hotspot volgt het bootje.

videohotspot_boot
Daarnaast kun je meerdere hotspots toevoegen aan een video. In dit geval zijn drie hotspots gedefinieerd.

Je kunt verschillende instellingen doen bij de video hotspotvraag:

videhotspotvraag_instellingen

 

 

 

 

 

 

Scoring

Scoring van de video hotspotvraag gaat als volgt (voor TeleToets gebruikers wel bekend):

 

videohotspot_scoring

Daarnaast kunnen natuurlijk aanvullende vragen gesteld worden zoals open vragen en/of gesloten vragen.

Deze nieuwe vraagsoort is bijvoorbeeld handig bij kritische incidenten.

Voor de technici onder ons: er wordt gebruik gemaakt van HTML5 in plaats van Flash. Daarmee is de vraag alleen in Chrome en Firefox af te nemen.

Wil je bovenstaande vraag ervaren als kandidaat?

Ons voorbeeldexamen met verschillende vraagsoorten laat als opgave 18 de videohotspotvraag zien.

 

Wil je meer informatie? Aarzel niet en neem contact met ons op: consultancy@andriessen.nl

Geplaatst in beoordelen, online examination, online examinering, video hotspotvraag

Programmeerfoutje PE-plus examen blijkt hulpmiddel

Onderstaande blog van Dik van Velzen is integraal overgenomen:

Een klein programmeerfoutje kan grote gevolgen hebben. Zo is een programmeerfoutje in de software van de PE-Plusexamens er de oorzaak van dat de goed-geïnformeerde kandidaat wel heel gemakkelijk het examen kan behalen. Je moet alleen de truc kennen.

Die truc is dat je alle antwoorden bij een examenvraag moet selecteren en vervolgens op de rechtermuisknop moet klikken. Het juiste antwoord of – als meer antwoorden juist zijn – de juiste antwoorden lichten dan op. Vervolgens moet je nog een keer klikken om de selectie ongedaan te maken en kun je de vraag beantwoorden op de gebruikelijke manier. Met dit verschil dat je inmiddels het juiste antwoord weet. Bij rekenvragen waar de kandidaat zelf een getal moet invullen, werkt de methode jammer genoeg niet. Daar moet je zelf op het juiste antwoord zien te komen. Een troostrijke gedachte is daarbij dat er in geen enkel PE-Plusexamen zoveel rekenvragen zitten, dat je op het fout beantwoorden van die vragen kunt zakken.

Hoe lang dit programmeerfoutje al in de PE-Plusexamens zit, is niet bekend. Mogelijk al vanaf de aanvang van deze examens begin 2014. Het foutje is pas onlangs bij toeval ontdekt. (Denk ik. Als het eerder is ontdekt, dan door iemand die daar zorgvuldig zijn mond over heeft gehouden.) DUO, verantwoordelijk voor de examensoftware, is inmiddels op de hoogte, maar wil geen enkel bericht hierover bevestigen of ontkennen. Ook niet hoe lang het duurt voor dit programmeerfoutje alsnog is hersteld. Dat begrijp ik dan ook wel weer. Gelet op de aflopende termijn van de PE-Plusexamens is het natuurlijk geen optie om het afleggen van PE-Plusexamens op te schorten tot het systeem op orde is. Maar reken maar dat er hard aan wordt gewerkt om deze bug er zo snel mogelijk uit te krijgen.

In elk geval kan het foutje geen nadelige gevolgen hebben voor degenen die inmiddels PE-Plusexamens hebben gedaan. Er gaan geen examens ongeldig worden verklaard, ook al omdat vermoedelijk maar enkele kandidaten van dit ‘hulpmiddel’ op de hoogte waren en hooguit nog een beperkte groep hiervan gebruik kan maken. Op termijn zijn er ook geen nadelige effecten, omdat voor alle behaalde diploma’s geldt dat tussen 1 april 2017 en 1 april 2019 opnieuw een PE-examen moet worden afgelegd. En tegen die tijd is het probleem al lang opgelost.

 

Ik schoot in de lach.1-april

Hahahaha

Wat een goeie grap.

Mijn fantasie sloeg ook op hol.

Als het nou eens waar was?

Als iedereen het nou geloofde?

Ik vrees dat de toezichthouders de komende tijd dan veel last hebben van mensen die met de rechtermuisknop eindeloos klikken.

Op zoek naar het juiste antwoord.

En dat juiste antwoord komt echt niet!

 

Neem van mij aan dat DUO geen software accepteert met een dergelijk programmeerfoutje.

 

 

Geplaatst in online examination, online examinering, online toetsing

Een T-Ford en adaptief toetsen?!

Eerder schreef ik een blog over adaptief toetsen. De essentie van adaptief toetsen is:

Bij adaptief toetsen  krijgt de kandidaat vragen aangeboden vanuit een bepaald (basis) niveau. Wanneer de kandidaat deze vragen goed maakt krijgt hij moeilijkere vragen aangeboden. Bij een goed resultaat kunnen nog moeilijkere vragen volgen. Bij een minder resultaat krijgt de kandidaat eenvoudigere vragen voorgelegd.

 

Het doel van adaptief toetsen is het niveau van de kandidaat vaststellen. Op grond daarvan wil je vragen stellen die de kandidaat prikkelen.

De vragen moeten moeilijk genoeg zijn.

Moeilijkheidsgraad

De beantwoorde vragen zeggen iets over het niveau van de kandidaat. Om dat goed te doen is het belangrijk dat de toets goed samengesteld is. De vragen moeten de juiste moeilijkheidsgraad hebben.

Het bepalen van de moeilijkheidsgraad van een vraag is daarbij het meest ingewikkeld voor een itemconstructeur. Achteraf is dat makkelijker dan kun je natuurlijk altijd de p-waarde berekenen.

Voorbeeld

De manier waarop adaptief op een prachtige en goede manier getoetst kan worden is bijvoorbeeld met ‘De Rekentuin‘.

Door de grote aantallen deelnemers waarvan bekend is in welke klas ze zitten en hoe oud ze zijn kan een goede voorspelling gedaan worden over het niveau waarop ze moeten starten.

Afhankelijk van het aantal goede of foute startantwoorden worden de deelnemers op de juiste plek in de Rekentuin gezet. Ze krijgen op die manier altijd vragen van het goede niveau. Niet te makkelijk en niet te moeilijk.

rekentuin adaptief

 

Het punt is dat deze manier van adaptief toetsen alleen werkt bij grote aantallen. In werkelijkheid hebben de meeste opleidingsinstituten niet zoveel deelnemers.  Deze aantallen zie je alleen in het onderwijs en bij bijvoorbeeld het CBR voor het behalen van een rijbewijs.

TeleToets

In TeleToets hebben we een zeer eenvoudige vorm van adaptief toetsen. De itemauteur of toetsconstructeur bepaalt de moeilijkheidsgraad van het item. Op grond daarvan wordt het item in een niveau geplaatst. Bij meer vragen goed ga je naar het volgende moeilijkere niveau. Bij fouten blijf je op hetzelfde niveau of val je een niveau terug. Het is een simpele maar werkbare vorm van adaptief toetsen. Die vooral heel geschikt is bij kleinere aantallen deelnemers.

adaptief toetsen TeleToets

De omschreven vorm van adaptief toetsen leidde tot een discussie met vakgenoten.

Een reactie:

Adaptief toetsen is een wetenschappelijk goed gefundeerde wijze van toetsen.Wat hier beschreven staat is wel zeer rudimentaire vorm van adaptief toetsen, waarmee bij toepassing behoorlijke risico’s kunnen worden gelopen. Het is een beetje als een oude T-Ford: ook een auto, maar je moet er niet mee op de huidige snelweg komen.

Een beetje googelen leverde deze videos (YouTube) op over die oude T-Ford. Waaruit maar blijkt dat de vergelijking in ieder geval soms mank gaat.smiley

 

 

De werkelijkheid is dat slechts enkele organisaties in staat zijn met grote groepen te testen, je ziet dat bijvoorbeeld met Cito in het onderwijs. De meeste exameninstellingen hebben echter te maken met minder kandidaten en kandidaten van verschillend niveau.

Hoe kun je dan toch adaptief toetsen?

Nou, bijvoorbeeld door gebruik te maken van de eenvoudige vorm van adaptief toetsen zoals in TeleToets beschikbaar. Voeg daarbij het feit dat adaptief toetsen meestal formatief gebruikt wordt. Dan is adaptief toetsen in TeleToets een eenvoudige maar werkbare vorm.

 

Meer lezen over adaptief toetsen? Adaptief toetsen genuanceerd

Geplaatst in adaptief toetsen, feedback, formatieve toetsing, online examination, online examinering

Anoniem je toets maken, dat is bijzonder?

Deze week verscheen in de Universiteits Krant van Groningen (UK) het volgende bericht:

Laat studenten anoniem examens afleggen

Ik was meteen geïnteresseerd.

Enerzijds omdat de UK natuurlijk als oud Groningen student nog altijd een beetje mijn UK is en anderzijds omdat het gegeven anoniem examens afleggen digitaal prachtig kan.

Even verder lezend begrijp ik dat ze dat in Groningen iets anders willen doen:

In plaats van je naam op het tentamenformulier zou een studentennummer voldoende moeten zijn.

Tjonge, en dan later de naam er weer bij zoeken om het cijfer in het juiste systeem te krijgen.

Ze zijn toch niet van de werkverschaffing?

Dat kan anders. Bij veel digitale toetssystemen kun je anoniem open vragen corrigeren. Natuurlijk kun je ook de naam zien als je dat wenst, dat ziet er als volgt uit:

corrigeren open vragen

Wanneer je op het plusje klikt bij de  rode pijl links bovenin, krijg je meer informatie over de kandidaat.

Dit hoeft niet.

Het is een keuze van de examencommissie of deze informatie gedeeld wordt met de correctoren. Met name bij correctoren die ook docent zijn wordt deze mogelijkheid nogal eens uit gezet. Correctoren zien dan niet wie ze beoordelen.

Groot voordeel: beoordelaarsfouten  zoals het HALO- en HORN effect worden kleiner gemaakt

In TeleToets wordt dan alleen het examennummer bekend gemaakt. Dat ziet er zo uit voor een corrector.

anoniem open vragen

De corrector heeft geen mogelijkheid om te zien wie achter het examennummer schuil gaat. Hiermee is anoniem corrigeren een feit. De uitslag wordt automatisch weggeschreven bij de juiste kandidaat. De kans op fouten bij het overtypen van de resultaten op studentennummer is hiermee gereduceerd tot nul.

Dit lijkt me een goede oplossing voor de RUG. Nu maar hopen dat ze dit ook kunnen in de door hen gekozen digitale toetssoftware.

Meer lezen over beter beoordelen?

HALO en HORN knock out

5 tips voor het maken en nakijken van open vragen

Pas op open vragen

Geplaatst in online examinering, online toetsing, TeleToets, vraagsoorten

Imagine: fraude

Stel je voor je wilt fraude bestrijden bij examens.

Je wilt voorkomen dat kandidaten (studenten) fraude plegen, vals spelen.

Wat is dat ook al weer fraude?

De definitie van de NVEnou ja, eigenlijk is dit mijn definitie (geef mezelf een schouderklopje):

Examenfraude is het opzettelijk beïnvloeden van (onderdelen van) het gehele examenproces met als doel een ander resultaat uit het examen te verkrijgen.

Dat wil je dus voorkomen.

Als examenbureau wil je dat kandidaten met de toegestane hulpmiddelen een examen zelfstandig maken. Daar is je hele meting (examen) op gericht.

Nu is er één probleem.

Examenbureau’s moeten met een heleboel kandidaten rekening houden, die ieder voor zich gewoon hun eigen (fraude)plan kunnen trekken.

Let op: ik zeg niet dat alle kandidaten fraudeurs zijn!

Wel moet een examenbureau rekening houden met het feit dat alle kandidaten een fraudeur kunnen zijn.

Het gevolg daarvan is dat examenbureau’s bijna altijd achter de feiten aanhollen. Een valsspelende kandidaat heeft iets nieuws bedacht. Bijvoorbeeld gebruik maken van een souffleur voor de toets mbv een ‘oortje’ . Het ‘oortje’ wordt ontdekt. Hup daar gaan de examenbureau’s voortaan moeten de surveillanten de oren van de kandidaten inspecteren.

Maatregelen komen dus achteraf.

Nadat het kalf verdronken is dempt men de put, is de oude volkswijzheid.

Bij examenfraude is het niet anders.

Vaak zijn  maatregelen gericht op het voorkomen van examenfraude.

Deze is erg mooi:

drone surveillance

Bij de staatsexamens van de universiteit in China werd de drone ingezet.

Stel je voor een drone vliegend boven je hoofd terwijl je een zeer belangrijke toets maakt.

Ik ben benieuwd of er menselijk toezicht was via de camera in de drone? Mogelijk is ook een algoritme los gelaten op de videobeelden om onregelmatigheden op te sporen.

Is dit het eind van de menselijke toezichthouder?

Nee, ik denk het niet.

Voorlopig zullen veel belangrijke (high stake) examens afgenomen worden onder menselijk toezicht. Wel zullen ze zich steeds vaker laten ondersteunen door cameratoezicht.

Meer lezen over fraude en fraude preventie:

 

Geplaatst in fraude, toezichthouder

Multiple choice vraag is favoriet

Toetssoftware kent natuurlijk de welbekende en zeer verguisde multiple choice vraag.

Maar wist je dat er nog veel meer gesloten vragen zijn in toetssoftware?

Gesloten vragen zijn automatisch na te kijken. Dan komt toetssoftware echt tot zijn recht.

Bij de afhandeling van de toets zijn geen mensen nodig. De uitslag kan zo naar de kandidaat gestuurd worden.

Soorten gesloten vragen

Voorbeelden van gesloten vragen zijn:

  • multiple choice: één van de antwoordalternatieven is juist
  • multiple select of meer uit meer vraag: meerdere antwoorden zijn goed
  • sleepvraag: hierbij sleep je een object naar de juiste plaats in een plaatje of tekst
  • rangorde vraag: hierbij zet je voorwerpen of tekst in de juiste volgorde
  • invulvraag: hierbij vul je het juiste woord of omschrijving in
  • hotspotvraag: hierbij geef je een speciale plek (een hotspot) aan in een plaatje
  • numerieke vraag: hierbij geeft je de uitkomst van een som aan

Al deze vragen worden door de software nagekeken. Er komt geen menselijke beoordelaar aan te pas.

Maar worden die vraagsoorten ook gebruikt?

Nou nee, niet echt.

Kijk maar eens mee naar dit overzicht uit TeleToets:

Vraagtype Aantal maal in toets  Percentage
HotspotVraagEnkelvoudig

3988

0,0%

HotspotVraagMeervoudig

4248

0,0%

InvulVraag

37043

0,1%

InvulVraagMeervoudig

56546

0,1%

MCVraag

38692327

90,2%

Multiple selectvraag

1273913

3,0%

NumeriekeVraag

898283

2,1%

OpenVraag

1428539

3,3%

RangschikVraag

81307

0,2%

SchrijfVraag

185965

0,4%

Sleepvraag

10930

0,0%

SpreekVraag

231100

0,5%

UploadVraag

166

0,0%

Eindtotaal

42904355

100,0%

Zoals je ziet steekt de multiple choice vraag er met kop en schouders boven uit.

Bijzonder is wel dat in aanbestedingen en/of keuzes van toetssoftware altijd gekeken wordt naar de diversiteit van vraagtypen.

Dat is echt niet nodig.

Neem van mij aan: de multiple choice vraag is favoriet!

Geplaatst in TeleToets, vraagsoorten

Schapen en de Toekomst van Toetsen

Afgelopen donderdag werd het 10e NVE (Nederlandse Vereniging voor Examens) congres gehouden.

Het 10e!

De opkomst was groot: 150 deelnemers aan het congres. En vergeleken met vorige jaren ook veel jonge(re) mensen, YES!

En niet zo maar deelnemers maar examenwerkers.

Allemaal mensen die betrokken zijn bij examens en examinering.

Mensen met een passie voor toetsing.

Dit was een stuk van het programma:

programma congres NVE

 

Jef Staes.

Dat was me wat.

Hij vertelde ons zo maar even dat examens en diploma’s de moordenaars van passie en talent waren.

En dat in het hol van de leeuw.

Bij de examenwerkers.

NVE congres

Oké. Punt gemaakt ook examenwerkers hebben een passie.

Waar Jef het over had was vooral het oude denken rondom onderwijs.

Onderwijs dat nog op dezelfde manier vorm gegeven wordt als 100 jaar geleden. Onderwijs dat gebaseerd is op een deskundige voor de klas en veel, heel veel boekenwijsheid.

Jef Staes noemt dat de 2D mens. De 2D mens is opgeleid tot schaap. Een kuddedier dat zich laat leiden door hekjes en andere mensen.

schapen

De vraag is of innovatie niet een ander soort mens dan de 2D mens nodig heeft.

Ja, zegt Jef Staes, we hebben een 3D mens nodig. iemand die zich laat leiden door passie en talent, die leert omdat hij het leuk vindt. Alleen die mensen bedenken nieuwe dingen en leren en groeien graag.

Ze zijn geen schaap.

En nee, we hebben geen examens nodig. De toekomst van examens is social validation. Dat is zeg maar het duimpje van Facebook en het hartje van Twitter. Maar ook de recommendations en endorsements van LinkedIn. Dit levert een competence playlist op die zicht geeft op datgene waar je goed in bent. Datgene waar je een passie voor hebt. Waarin je talent hebt.

Ik ben benieuwd of dit dan de toekomst van examens is?

Het is in ieder geval stof tot nadenken.

Iedereen kon drie workshops volgen. Van het inrichten van examenlocaties tot proctoring en van formatief toetsen tot praktijktoetsen. Kortom voor elk wat wils.

Persoonlijk vond ik de presentatie van Daniel Haven vooral erg leuk. Hier kun je een stuk van zijn presentatie zien:

Voor mij is dat de toekomst van toetsen. Het is de eerste keer dat ik een voorbeeld zie van goede proctoring. Ik herinner me een eerdere vorm van proctoring die wij zo gekraakt hadden :).

Jochen den Ouden vertelde nog wat over hacken en fraude in digitale toetsomgevingen. Ik hoop maar dat iedereen daar ook goed naar geluisterd heeft.

Tenslotte werd de Prijs voor Examens uitgereikt.

De genomineerden waren:

- Hanzehogeschool Groningen met de Werkgroep Kwaliteit van Toetsen en Beoordelen;
Hogeschool van Amsterdam met de Score website;
Hoffelijk Examens met De Examenbus.

De Hanzehogeschool won de Prijs voor Examens. Beide hogescholen verdienen een pluim voor de openheid en transparantie waarmee ze kennis en ervaring delen op het gebied van toetsen en beoordelen.

 

De publieksprijs voor Examens ging naar de examenbus van Hoffelijk. De bus stond buiten en is een mobiel toetslokaal, hartstikke handig het examenlokaal komt naar je toe.

Wij zijn er trots op daar een kleine bijdrage aan geleverd te hebben in de vorm van het opleiden van de toezichthouders.

De-Hoffelijk-Examenbus

 

 

Al met al was het een leuke dag. Ik voelde me zeker geen schaap :).

Jammer dat het thema de toekomst van toetsen een beetje onderbelicht bleef, ik denk echter niet dat dat voor de examenwerkers een probleem was. Het enthousiasme was groot.

Bestuursleden NVE gevraagd (geen schapen)

Ik hoop dat de oproep van Frank Huberts voor bestuursleden van de NVE onder de examenwerkers tot respons leidt. De NVE is immers de beroepsvereniging voor examenwerkers.

Geplaatst in Andriessen, fraude, NVE

Hamsterééééén!

Wie kent ze niet?

Die vrolijke hamstertjes van een grote kruidenier.

hamsters

Stel je nu eens voor dat je een examenbureau bent, of een school of CITO of het CvTE (College voor Toetsing en Examinering).

Je maakt met zorg examens.

Dat kost veel tijd en moeite.

En vervolgens komen de hamsters. De mensen die je vragen ‘stelen’.

Stelen, nou nou is dat niet een groot woord.

Ja, misschien wel maar het kost enorm veel om goede vragen te maken. Dus wanneer die op straat liggen is dat wel zonde want dan zijn ze niet meer geschikt voor examinering.

Mmm, dat begrijp ik. Maar zijn er dan echt mensen die vragen ‘stelen’?

Jazeker, die zijn er.

Sterker nog er zijn opleiders die betalen voor gestolen vragen:

hamsteren

Als eigenaar van een examen probeer je je vragen dus zo goed mogelijk te beschermen.

Dat kan door strenge regels en procedures af te spreken. Denk bijvoorbeeld aan de examens op de middelbare school. De affaire Ibn Ghaldoun staat ons nog vers in het geheugen.

Inzage

Sommige organisaties gaan heel ver in de bescherming van de examenvragen. Deze week ontstond een discussie op Twitter over de inzage bij de rekentoets.

Ik weet niet of je het weet maar dat is een dingetje.

Je mag namelijk alleen een inzage voor docenten regelen onder toezicht van het bevoegd gezag.

Dat is een hele organisatie en leidt tot veel vragen over die inzage voor docenten.

En reacties:

ongehoorzaamheid

Of:

jatten

Je zou zeggen veel moeite om je toets te beschermen.

Dat klopt.

Maar zolang je nog niet zoveel ‘goede’ vragen hebt moet je zeker zuinig zijn op wat je wel hebt. Dat kan leiden tot een overprotectie zoals bij de rekentoets.

Het verzamelen van vragen komt bij veel examens voor. Naarmate meer van het examen afhangt, neemt de kans op vragen hamsteren toe. De kandidaat denkt door de gehamsterde vragen te gebruiken dat de kans op het halen van het examen hoger wordt.

Tips

Bij digitaal toetsen zijn een aantal mogelijkheden om te voorkomen dat een kandidaat vragen kan hamsteren:

  1. Maak gebruik van een examenkandidaat image op je computer. Hiermee bepaal je wat de kandidaat allemaal kan en mag op de computer bijvoorbeeld niet zijn mail openen.
  2. Gebruik een speciale examenbrowser. In de browser kun je o.a. de toegang tot Internet afschermen. Voorbeelden zijn Kioware en de Safe Exam Browser.
  3. Maak gebruik van whitelisting of het omgekeerde blacklisting zodat je controle hebt op de toegang tot applicaties.
  4. Let op bij het beschikbaar maken van websites in je digitale toets. Wanneer de website naar andere sites linkt kun je ondanks bovenstaande maatregelen toch ongewild een deurtje open zetten. Bijvoorbeeld naar Dropbox van de kandidaat.
  5. Gebruik (NVE gecertificeerde) toezichthouders die verstand hebben van digitaal toetsen en toezicht houden.
  6. Zorg dat je itembank zo groot is dat je random toetsen aan kan bieden aan de kandidaten.

Kortom mogelijkheden genoeg om je examenvragen te beschermen.

Alleen de zesde tip: een grote itembank maakt het bijna nutteloos om vragen te hamsteren. 

 

Noot: Fahrenheit 451 is een science fiction boek uit 1953.

 

Geplaatst in NVE, onderwijs, online examination, online examinering, online toetsing, toezichthouder

Implementatie van toetssoftware: eitje?

Onlangs las ik deze blogpost van Wilfred Rubens over de implementatie van iPads op school.

Hij verwijst naar een model voor de implementatie van e-learning. Dat model staat in deze blogpost uitgelegd, inclusief een screencast (het geluid is niet denderend).

implementatie

Voor e-learning is het belangrijk dat met alle elementen rekening gehouden wordt.

Ook bij de implementatie van digitale toetsing zijn deze elementen van groot belang.

De benoemde elementen:

  • machtsverhoudingen en belangen
  • leiderschap en strategie
  • infrastructuur en systemen
  • curriculum
  • mensen en cultuur
  • processen en organisatie

Daarnaast is alles omvattend aanwezig: de context. Is het een  implementatie in een examenorganisatie of een onderwijs instelling bijvoorbeeld. En tenslotte, niet onbelangrijk voor degene die de implementatie doet:

Wat zijn de doelen? Wat is het resultaat?

Zelf werk ik niet met dit model.

In zijn algemeenheid probeer ik eerst de huidige situatie heel scherp in beeld te krijgen. Daarbij gebruik ik wel altijd als houvast dit model:

Het 7-S model van McKinsey.

7S model

Dit model heeft een grote gelijkenis met het model van Wilfred. Alle elementen hebben een grote samenhang, je kan het één niet zonder het ander zien.

Strategie is meestal richtinggevend voor de andere elementen. Een structuurverandering komt dan tot stand dankzij een strategieverandering:

 ”Structure follows strategy … as the left foot follows the right.” (H. Mintzberg)

De meeste organisaties hebben wel een idee hoe de toekomst eruit moet zien. Ze hebben minstens een gevoel over de strategie van de organisatie.

Voorbeeld

Een onderwijsinstelling die gedreven door de vergrijzing vaststelt dat het aantal leerlingen terugloopt en tegelijkertijd ziet dat het aantal dure (oude) docenten oploopt. Vanuit deze gegevens moet een strategie voor de toekomst gemaakt worden. Wanneer je als school niets doet weet je zeker dat je problemen krijgt. Je moet bijvoorbeeld docenten ontslaan omdat je niet voldoende leerlingen hebt. Dat wil je voorkomen dus je past je strategie aan.

Terug naar de implementatie

Een gewenste implementatie van toetssoftware is bijna altijd het gevolg van een strategie wijziging. Bijvoorbeeld: Mijn kandidaten zijn digitaal vaardig en vinden papier ouderwets, ik wil minder examens op papier afnemen.

Bij de implementatie ga ik nadat ik de huidige situatie beschreven heb naar de gewenste situatie kijken.

Ook daarvoor is het 7-S model handig. Het is een kapstokje om te checken of je alle elementen meeneemt.

Wanneer je de huidige situatie en de gewenste situatie beschrijft wordt vanzelf inzichtelijk waar het verschil zit. Meestal komt ook een duidelijke pilot naar voren. Om aan te tonen dat de gewenste situatie een haalbaar en reëel doel is is het verstandig eerst een pilot te doen.

Pilot

In de pilot ga je doen wat je voornemens bent in de hele organisatie te gaan doen. In een pilot rondom online examineren ga je bijvoorbeeld één examen omzetten van papier naar digitaal. Je doorloopt het hele proces, van inschrijving tot uitslagbepaling. Omdat je dit onder gecontroleerde condities doet met alle aandacht voor dit examen is de kans groot dat de pilot slaagt. Een geslaagde pilot heeft veel voordelen. Een pilot maakt zichtbaar wat wel en niet werkt.

Voordelen:

  1. Knelpunten worden zichtbaar tijdens de pilot. Daar kan je van leren tijdens de daadwerkelijke implementatie. Bovendien kun je bijsturen wanneer dat nodig is.
  2. Succeservaringen kun je delen. Door het klein en overzichtelijk te houden is de kans op succeservaringen groter. Daardoor worden collega’s in de organisatie mogelijk ook enthousiast over digitaal te toetsen. Ze willen het ook proberen. 

Voor een goede pilot is het noodzakelijk dat je samenwerkt. Zowel de organisatie als de implementatieadviseur (of projectleider) moeten de bereidheid hebben samen te willen werken aan het implementatietraject met de pilot.

Wanneer de organisatie niet bereid is in haar keuken te laten kijken is de kans op succes nihil. De implementatieadviseur kan immers niet anders dan op de signalen van de organisatie af gaan. Er is dan geen ruimte om te zien of te ervaren dat de signalen kloppen. Er is geen ruimte om alle elementen van het 7-Sen model te onderzoeken en mee te nemen in de implementatie en de pilot. Feitelijk wordt op deze manier de implementatie adviseur bij voorbaat lamgeslagen. Het resultaat is meestal een pilot die niet op alle punten even succesvol is. Bijvoorbeeld: de pilot loopt enorm uit in tijd en geld of de succeservaringen blijven uit.

Conclusie

Welk model je ook gebruikt bij een implementatie, realiseer je dat een implementatie meer omvat dan alleen de toetssoftware of de e-learning applicatie. Kijk altijd naar de bredere context van de organisatie om zicht te hebben op het geheel in plaats van genoegen te nemen met hetgeen je als waarheid voorgeschoteld krijgt.

 

 

Geplaatst in Andriessen, onderwijs, online examination, online examinering