Een T-Ford en adaptief toetsen?!

Eerder schreef ik een blog over adaptief toetsen. De essentie van adaptief toetsen is:

Bij adaptief toetsen  krijgt de kandidaat vragen aangeboden vanuit een bepaald (basis) niveau. Wanneer de kandidaat deze vragen goed maakt krijgt hij moeilijkere vragen aangeboden. Bij een goed resultaat kunnen nog moeilijkere vragen volgen. Bij een minder resultaat krijgt de kandidaat eenvoudigere vragen voorgelegd.

 

Het doel van adaptief toetsen is het niveau van de kandidaat vaststellen. Op grond daarvan wil je vragen stellen die de kandidaat prikkelen.

De vragen moeten moeilijk genoeg zijn.

Moeilijkheidsgraad

De beantwoorde vragen zeggen iets over het niveau van de kandidaat. Om dat goed te doen is het belangrijk dat de toets goed samengesteld is. De vragen moeten de juiste moeilijkheidsgraad hebben.

Het bepalen van de moeilijkheidsgraad van een vraag is daarbij het meest ingewikkeld voor een itemconstructeur. Achteraf is dat makkelijker dan kun je natuurlijk altijd de p-waarde berekenen.

Voorbeeld

De manier waarop adaptief op een prachtige en goede manier getoetst kan worden is bijvoorbeeld met ‘De Rekentuin‘.

Door de grote aantallen deelnemers waarvan bekend is in welke klas ze zitten en hoe oud ze zijn kan een goede voorspelling gedaan worden over het niveau waarop ze moeten starten.

Afhankelijk van het aantal goede of foute startantwoorden worden de deelnemers op de juiste plek in de Rekentuin gezet. Ze krijgen op die manier altijd vragen van het goede niveau. Niet te makkelijk en niet te moeilijk.

rekentuin adaptief

 

Het punt is dat deze manier van adaptief toetsen alleen werkt bij grote aantallen. In werkelijkheid hebben de meeste opleidingsinstituten niet zoveel deelnemers.  Deze aantallen zie je alleen in het onderwijs en bij bijvoorbeeld het CBR voor het behalen van een rijbewijs.

TeleToets

In TeleToets hebben we een zeer eenvoudige vorm van adaptief toetsen. De itemauteur of toetsconstructeur bepaalt de moeilijkheidsgraad van het item. Op grond daarvan wordt het item in een niveau geplaatst. Bij meer vragen goed ga je naar het volgende moeilijkere niveau. Bij fouten blijf je op hetzelfde niveau of val je een niveau terug. Het is een simpele maar werkbare vorm van adaptief toetsen. Die vooral heel geschikt is bij kleinere aantallen deelnemers.

adaptief toetsen TeleToets

De omschreven vorm van adaptief toetsen leidde tot een discussie met vakgenoten.

Een reactie:

Adaptief toetsen is een wetenschappelijk goed gefundeerde wijze van toetsen.Wat hier beschreven staat is wel zeer rudimentaire vorm van adaptief toetsen, waarmee bij toepassing behoorlijke risico’s kunnen worden gelopen. Het is een beetje als een oude T-Ford: ook een auto, maar je moet er niet mee op de huidige snelweg komen.

Een beetje googelen leverde deze videos (YouTube) op over die oude T-Ford. Waaruit maar blijkt dat de vergelijking in ieder geval soms mank gaat.smiley

 

 

De werkelijkheid is dat slechts enkele organisaties in staat zijn met grote groepen te testen, je ziet dat bijvoorbeeld met Cito in het onderwijs. De meeste exameninstellingen hebben echter te maken met minder kandidaten en kandidaten van verschillend niveau.

Hoe kun je dan toch adaptief toetsen?

Nou, bijvoorbeeld door gebruik te maken van de eenvoudige vorm van adaptief toetsen zoals in TeleToets beschikbaar. Voeg daarbij het feit dat adaptief toetsen meestal formatief gebruikt wordt. Dan is adaptief toetsen in TeleToets een eenvoudige maar werkbare vorm.

 

Meer lezen over adaptief toetsen? Adaptief toetsen genuanceerd

Geplaatst in adaptief toetsen, feedback, formatieve toetsing, online examination, online examinering

Anoniem je toets maken, dat is bijzonder?

Deze week verscheen in de Universiteits Krant van Groningen (UK) het volgende bericht:

Laat studenten anoniem examens afleggen

Ik was meteen geïnteresseerd.

Enerzijds omdat de UK natuurlijk als oud Groningen student nog altijd een beetje mijn UK is en anderzijds omdat het gegeven anoniem examens afleggen digitaal prachtig kan.

Even verder lezend begrijp ik dat ze dat in Groningen iets anders willen doen:

In plaats van je naam op het tentamenformulier zou een studentennummer voldoende moeten zijn.

Tjonge, en dan later de naam er weer bij zoeken om het cijfer in het juiste systeem te krijgen.

Ze zijn toch niet van de werkverschaffing?

Dat kan anders. Bij veel digitale toetssystemen kun je anoniem open vragen corrigeren. Natuurlijk kun je ook de naam zien als je dat wenst, dat ziet er als volgt uit:

corrigeren open vragen

Wanneer je op het plusje klikt bij de  rode pijl links bovenin, krijg je meer informatie over de kandidaat.

Dit hoeft niet.

Het is een keuze van de examencommissie of deze informatie gedeeld wordt met de correctoren. Met name bij correctoren die ook docent zijn wordt deze mogelijkheid nogal eens uit gezet. Correctoren zien dan niet wie ze beoordelen.

Groot voordeel: beoordelaarsfouten  zoals het HALO- en HORN effect worden kleiner gemaakt

In TeleToets wordt dan alleen het examennummer bekend gemaakt. Dat ziet er zo uit voor een corrector.

anoniem open vragen

De corrector heeft geen mogelijkheid om te zien wie achter het examennummer schuil gaat. Hiermee is anoniem corrigeren een feit. De uitslag wordt automatisch weggeschreven bij de juiste kandidaat. De kans op fouten bij het overtypen van de resultaten op studentennummer is hiermee gereduceerd tot nul.

Dit lijkt me een goede oplossing voor de RUG. Nu maar hopen dat ze dit ook kunnen in de door hen gekozen digitale toetssoftware.

Meer lezen over beter beoordelen?

HALO en HORN knock out

5 tips voor het maken en nakijken van open vragen

Pas op open vragen

Geplaatst in online examinering, online toetsing, TeleToets, vraagsoorten

Imagine: fraude

Stel je voor je wilt fraude bestrijden bij examens.

Je wilt voorkomen dat kandidaten (studenten) fraude plegen, vals spelen.

Wat is dat ook al weer fraude?

De definitie van de NVEnou ja, eigenlijk is dit mijn definitie (geef mezelf een schouderklopje):

Examenfraude is het opzettelijk beïnvloeden van (onderdelen van) het gehele examenproces met als doel een ander resultaat uit het examen te verkrijgen.

Dat wil je dus voorkomen.

Als examenbureau wil je dat kandidaten met de toegestane hulpmiddelen een examen zelfstandig maken. Daar is je hele meting (examen) op gericht.

Nu is er één probleem.

Examenbureau’s moeten met een heleboel kandidaten rekening houden, die ieder voor zich gewoon hun eigen (fraude)plan kunnen trekken.

Let op: ik zeg niet dat alle kandidaten fraudeurs zijn!

Wel moet een examenbureau rekening houden met het feit dat alle kandidaten een fraudeur kunnen zijn.

Het gevolg daarvan is dat examenbureau’s bijna altijd achter de feiten aanhollen. Een valsspelende kandidaat heeft iets nieuws bedacht. Bijvoorbeeld gebruik maken van een souffleur voor de toets mbv een ‘oortje’ . Het ‘oortje’ wordt ontdekt. Hup daar gaan de examenbureau’s voortaan moeten de surveillanten de oren van de kandidaten inspecteren.

Maatregelen komen dus achteraf.

Nadat het kalf verdronken is dempt men de put, is de oude volkswijzheid.

Bij examenfraude is het niet anders.

Vaak zijn  maatregelen gericht op het voorkomen van examenfraude.

Deze is erg mooi:

drone surveillance

Bij de staatsexamens van de universiteit in China werd de drone ingezet.

Stel je voor een drone vliegend boven je hoofd terwijl je een zeer belangrijke toets maakt.

Ik ben benieuwd of er menselijk toezicht was via de camera in de drone? Mogelijk is ook een algoritme los gelaten op de videobeelden om onregelmatigheden op te sporen.

Is dit het eind van de menselijke toezichthouder?

Nee, ik denk het niet.

Voorlopig zullen veel belangrijke (high stake) examens afgenomen worden onder menselijk toezicht. Wel zullen ze zich steeds vaker laten ondersteunen door cameratoezicht.

Meer lezen over fraude en fraude preventie:

 

Geplaatst in fraude, toezichthouder

Multiple choice vraag is favoriet

Toetssoftware kent natuurlijk de welbekende en zeer verguisde multiple choice vraag.

Maar wist je dat er nog veel meer gesloten vragen zijn in toetssoftware?

Gesloten vragen zijn automatisch na te kijken. Dan komt toetssoftware echt tot zijn recht.

Bij de afhandeling van de toets zijn geen mensen nodig. De uitslag kan zo naar de kandidaat gestuurd worden.

Soorten gesloten vragen

Voorbeelden van gesloten vragen zijn:

  • multiple choice: één van de antwoordalternatieven is juist
  • multiple select of meer uit meer vraag: meerdere antwoorden zijn goed
  • sleepvraag: hierbij sleep je een object naar de juiste plaats in een plaatje of tekst
  • rangorde vraag: hierbij zet je voorwerpen of tekst in de juiste volgorde
  • invulvraag: hierbij vul je het juiste woord of omschrijving in
  • hotspotvraag: hierbij geef je een speciale plek (een hotspot) aan in een plaatje
  • numerieke vraag: hierbij geeft je de uitkomst van een som aan

Al deze vragen worden door de software nagekeken. Er komt geen menselijke beoordelaar aan te pas.

Maar worden die vraagsoorten ook gebruikt?

Nou nee, niet echt.

Kijk maar eens mee naar dit overzicht uit TeleToets:

Vraagtype Aantal maal in toets  Percentage
HotspotVraagEnkelvoudig

3988

0,0%

HotspotVraagMeervoudig

4248

0,0%

InvulVraag

37043

0,1%

InvulVraagMeervoudig

56546

0,1%

MCVraag

38692327

90,2%

Multiple selectvraag

1273913

3,0%

NumeriekeVraag

898283

2,1%

OpenVraag

1428539

3,3%

RangschikVraag

81307

0,2%

SchrijfVraag

185965

0,4%

Sleepvraag

10930

0,0%

SpreekVraag

231100

0,5%

UploadVraag

166

0,0%

Eindtotaal

42904355

100,0%

Zoals je ziet steekt de multiple choice vraag er met kop en schouders boven uit.

Bijzonder is wel dat in aanbestedingen en/of keuzes van toetssoftware altijd gekeken wordt naar de diversiteit van vraagtypen.

Dat is echt niet nodig.

Neem van mij aan: de multiple choice vraag is favoriet!

Geplaatst in TeleToets, vraagsoorten

Schapen en de Toekomst van Toetsen

Afgelopen donderdag werd het 10e NVE (Nederlandse Vereniging voor Examens) congres gehouden.

Het 10e!

De opkomst was groot: 150 deelnemers aan het congres. En vergeleken met vorige jaren ook veel jonge(re) mensen, YES!

En niet zo maar deelnemers maar examenwerkers.

Allemaal mensen die betrokken zijn bij examens en examinering.

Mensen met een passie voor toetsing.

Dit was een stuk van het programma:

programma congres NVE

 

Jef Staes.

Dat was me wat.

Hij vertelde ons zo maar even dat examens en diploma’s de moordenaars van passie en talent waren.

En dat in het hol van de leeuw.

Bij de examenwerkers.

NVE congres

Oké. Punt gemaakt ook examenwerkers hebben een passie.

Waar Jef het over had was vooral het oude denken rondom onderwijs.

Onderwijs dat nog op dezelfde manier vorm gegeven wordt als 100 jaar geleden. Onderwijs dat gebaseerd is op een deskundige voor de klas en veel, heel veel boekenwijsheid.

Jef Staes noemt dat de 2D mens. De 2D mens is opgeleid tot schaap. Een kuddedier dat zich laat leiden door hekjes en andere mensen.

schapen

De vraag is of innovatie niet een ander soort mens dan de 2D mens nodig heeft.

Ja, zegt Jef Staes, we hebben een 3D mens nodig. iemand die zich laat leiden door passie en talent, die leert omdat hij het leuk vindt. Alleen die mensen bedenken nieuwe dingen en leren en groeien graag.

Ze zijn geen schaap.

En nee, we hebben geen examens nodig. De toekomst van examens is social validation. Dat is zeg maar het duimpje van Facebook en het hartje van Twitter. Maar ook de recommendations en endorsements van LinkedIn. Dit levert een competence playlist op die zicht geeft op datgene waar je goed in bent. Datgene waar je een passie voor hebt. Waarin je talent hebt.

Ik ben benieuwd of dit dan de toekomst van examens is?

Het is in ieder geval stof tot nadenken.

Iedereen kon drie workshops volgen. Van het inrichten van examenlocaties tot proctoring en van formatief toetsen tot praktijktoetsen. Kortom voor elk wat wils.

Persoonlijk vond ik de presentatie van Daniel Haven vooral erg leuk. Hier kun je een stuk van zijn presentatie zien:

Voor mij is dat de toekomst van toetsen. Het is de eerste keer dat ik een voorbeeld zie van goede proctoring. Ik herinner me een eerdere vorm van proctoring die wij zo gekraakt hadden :).

Jochen den Ouden vertelde nog wat over hacken en fraude in digitale toetsomgevingen. Ik hoop maar dat iedereen daar ook goed naar geluisterd heeft.

Tenslotte werd de Prijs voor Examens uitgereikt.

De genomineerden waren:

- Hanzehogeschool Groningen met de Werkgroep Kwaliteit van Toetsen en Beoordelen;
Hogeschool van Amsterdam met de Score website;
Hoffelijk Examens met De Examenbus.

De Hanzehogeschool won de Prijs voor Examens. Beide hogescholen verdienen een pluim voor de openheid en transparantie waarmee ze kennis en ervaring delen op het gebied van toetsen en beoordelen.

 

De publieksprijs voor Examens ging naar de examenbus van Hoffelijk. De bus stond buiten en is een mobiel toetslokaal, hartstikke handig het examenlokaal komt naar je toe.

Wij zijn er trots op daar een kleine bijdrage aan geleverd te hebben in de vorm van het opleiden van de toezichthouders.

De-Hoffelijk-Examenbus

 

 

Al met al was het een leuke dag. Ik voelde me zeker geen schaap :).

Jammer dat het thema de toekomst van toetsen een beetje onderbelicht bleef, ik denk echter niet dat dat voor de examenwerkers een probleem was. Het enthousiasme was groot.

Bestuursleden NVE gevraagd (geen schapen)

Ik hoop dat de oproep van Frank Huberts voor bestuursleden van de NVE onder de examenwerkers tot respons leidt. De NVE is immers de beroepsvereniging voor examenwerkers.

Geplaatst in Andriessen, fraude, NVE

Hamsterééééén!

Wie kent ze niet?

Die vrolijke hamstertjes van een grote kruidenier.

hamsters

Stel je nu eens voor dat je een examenbureau bent, of een school of CITO of het CvTE (College voor Toetsing en Examinering).

Je maakt met zorg examens.

Dat kost veel tijd en moeite.

En vervolgens komen de hamsters. De mensen die je vragen ‘stelen’.

Stelen, nou nou is dat niet een groot woord.

Ja, misschien wel maar het kost enorm veel om goede vragen te maken. Dus wanneer die op straat liggen is dat wel zonde want dan zijn ze niet meer geschikt voor examinering.

Mmm, dat begrijp ik. Maar zijn er dan echt mensen die vragen ‘stelen’?

Jazeker, die zijn er.

Sterker nog er zijn opleiders die betalen voor gestolen vragen:

hamsteren

Als eigenaar van een examen probeer je je vragen dus zo goed mogelijk te beschermen.

Dat kan door strenge regels en procedures af te spreken. Denk bijvoorbeeld aan de examens op de middelbare school. De affaire Ibn Ghaldoun staat ons nog vers in het geheugen.

Inzage

Sommige organisaties gaan heel ver in de bescherming van de examenvragen. Deze week ontstond een discussie op Twitter over de inzage bij de rekentoets.

Ik weet niet of je het weet maar dat is een dingetje.

Je mag namelijk alleen een inzage voor docenten regelen onder toezicht van het bevoegd gezag.

Dat is een hele organisatie en leidt tot veel vragen over die inzage voor docenten.

En reacties:

ongehoorzaamheid

Of:

jatten

Je zou zeggen veel moeite om je toets te beschermen.

Dat klopt.

Maar zolang je nog niet zoveel ‘goede’ vragen hebt moet je zeker zuinig zijn op wat je wel hebt. Dat kan leiden tot een overprotectie zoals bij de rekentoets.

Het verzamelen van vragen komt bij veel examens voor. Naarmate meer van het examen afhangt, neemt de kans op vragen hamsteren toe. De kandidaat denkt door de gehamsterde vragen te gebruiken dat de kans op het halen van het examen hoger wordt.

Tips

Bij digitaal toetsen zijn een aantal mogelijkheden om te voorkomen dat een kandidaat vragen kan hamsteren:

  1. Maak gebruik van een examenkandidaat image op je computer. Hiermee bepaal je wat de kandidaat allemaal kan en mag op de computer bijvoorbeeld niet zijn mail openen.
  2. Gebruik een speciale examenbrowser. In de browser kun je o.a. de toegang tot Internet afschermen. Voorbeelden zijn Kioware en de Safe Exam Browser.
  3. Maak gebruik van whitelisting of het omgekeerde blacklisting zodat je controle hebt op de toegang tot applicaties.
  4. Let op bij het beschikbaar maken van websites in je digitale toets. Wanneer de website naar andere sites linkt kun je ondanks bovenstaande maatregelen toch ongewild een deurtje open zetten. Bijvoorbeeld naar Dropbox van de kandidaat.
  5. Gebruik (NVE gecertificeerde) toezichthouders die verstand hebben van digitaal toetsen en toezicht houden.
  6. Zorg dat je itembank zo groot is dat je random toetsen aan kan bieden aan de kandidaten.

Kortom mogelijkheden genoeg om je examenvragen te beschermen.

Alleen de zesde tip: een grote itembank maakt het bijna nutteloos om vragen te hamsteren. 

 

Noot: Fahrenheit 451 is een science fiction boek uit 1953.

 

Geplaatst in NVE, onderwijs, online examination, online examinering, online toetsing, toezichthouder

Implementatie van toetssoftware: eitje?

Onlangs las ik deze blogpost van Wilfred Rubens over de implementatie van iPads op school.

Hij verwijst naar een model voor de implementatie van e-learning. Dat model staat in deze blogpost uitgelegd, inclusief een screencast (het geluid is niet denderend).

implementatie

Voor e-learning is het belangrijk dat met alle elementen rekening gehouden wordt.

Ook bij de implementatie van digitale toetsing zijn deze elementen van groot belang.

De benoemde elementen:

  • machtsverhoudingen en belangen
  • leiderschap en strategie
  • infrastructuur en systemen
  • curriculum
  • mensen en cultuur
  • processen en organisatie

Daarnaast is alles omvattend aanwezig: de context. Is het een  implementatie in een examenorganisatie of een onderwijs instelling bijvoorbeeld. En tenslotte, niet onbelangrijk voor degene die de implementatie doet:

Wat zijn de doelen? Wat is het resultaat?

Zelf werk ik niet met dit model.

In zijn algemeenheid probeer ik eerst de huidige situatie heel scherp in beeld te krijgen. Daarbij gebruik ik wel altijd als houvast dit model:

Het 7-S model van McKinsey.

7S model

Dit model heeft een grote gelijkenis met het model van Wilfred. Alle elementen hebben een grote samenhang, je kan het één niet zonder het ander zien.

Strategie is meestal richtinggevend voor de andere elementen. Een structuurverandering komt dan tot stand dankzij een strategieverandering:

 ”Structure follows strategy … as the left foot follows the right.” (H. Mintzberg)

De meeste organisaties hebben wel een idee hoe de toekomst eruit moet zien. Ze hebben minstens een gevoel over de strategie van de organisatie.

Voorbeeld

Een onderwijsinstelling die gedreven door de vergrijzing vaststelt dat het aantal leerlingen terugloopt en tegelijkertijd ziet dat het aantal dure (oude) docenten oploopt. Vanuit deze gegevens moet een strategie voor de toekomst gemaakt worden. Wanneer je als school niets doet weet je zeker dat je problemen krijgt. Je moet bijvoorbeeld docenten ontslaan omdat je niet voldoende leerlingen hebt. Dat wil je voorkomen dus je past je strategie aan.

Terug naar de implementatie

Een gewenste implementatie van toetssoftware is bijna altijd het gevolg van een strategie wijziging. Bijvoorbeeld: Mijn kandidaten zijn digitaal vaardig en vinden papier ouderwets, ik wil minder examens op papier afnemen.

Bij de implementatie ga ik nadat ik de huidige situatie beschreven heb naar de gewenste situatie kijken.

Ook daarvoor is het 7-S model handig. Het is een kapstokje om te checken of je alle elementen meeneemt.

Wanneer je de huidige situatie en de gewenste situatie beschrijft wordt vanzelf inzichtelijk waar het verschil zit. Meestal komt ook een duidelijke pilot naar voren. Om aan te tonen dat de gewenste situatie een haalbaar en reëel doel is is het verstandig eerst een pilot te doen.

Pilot

In de pilot ga je doen wat je voornemens bent in de hele organisatie te gaan doen. In een pilot rondom online examineren ga je bijvoorbeeld één examen omzetten van papier naar digitaal. Je doorloopt het hele proces, van inschrijving tot uitslagbepaling. Omdat je dit onder gecontroleerde condities doet met alle aandacht voor dit examen is de kans groot dat de pilot slaagt. Een geslaagde pilot heeft veel voordelen. Een pilot maakt zichtbaar wat wel en niet werkt.

Voordelen:

  1. Knelpunten worden zichtbaar tijdens de pilot. Daar kan je van leren tijdens de daadwerkelijke implementatie. Bovendien kun je bijsturen wanneer dat nodig is.
  2. Succeservaringen kun je delen. Door het klein en overzichtelijk te houden is de kans op succeservaringen groter. Daardoor worden collega’s in de organisatie mogelijk ook enthousiast over digitaal te toetsen. Ze willen het ook proberen. 

Voor een goede pilot is het noodzakelijk dat je samenwerkt. Zowel de organisatie als de implementatieadviseur (of projectleider) moeten de bereidheid hebben samen te willen werken aan het implementatietraject met de pilot.

Wanneer de organisatie niet bereid is in haar keuken te laten kijken is de kans op succes nihil. De implementatieadviseur kan immers niet anders dan op de signalen van de organisatie af gaan. Er is dan geen ruimte om te zien of te ervaren dat de signalen kloppen. Er is geen ruimte om alle elementen van het 7-Sen model te onderzoeken en mee te nemen in de implementatie en de pilot. Feitelijk wordt op deze manier de implementatie adviseur bij voorbaat lamgeslagen. Het resultaat is meestal een pilot die niet op alle punten even succesvol is. Bijvoorbeeld: de pilot loopt enorm uit in tijd en geld of de succeservaringen blijven uit.

Conclusie

Welk model je ook gebruikt bij een implementatie, realiseer je dat een implementatie meer omvat dan alleen de toetssoftware of de e-learning applicatie. Kijk altijd naar de bredere context van de organisatie om zicht te hebben op het geheel in plaats van genoegen te nemen met hetgeen je als waarheid voorgeschoteld krijgt.

 

 

Geplaatst in Andriessen, onderwijs, online examination, online examinering

Jip en Janneke praten over software ontwikkeling

Meestal heb ik het in dit blog over digitaal (online) toetsen. Daarvoor heb je een applicatie (software) nodig. Deze blog gaat over mijn ervaringen met softwareontwikkeling en digitaal toetsen.

Vorige week had ik een interessant gesprek met mijn (IT) collega. Ik zal een fragmentje uit het gesprek delen:

Als jij iets vertelt aan klanten dan begrijp ik er niets van. Het gekke is dat de klanten jou wel begrijpen.

Ik: (een beetje verbijsterd) Oh?! communicatie

Ja, jouw gesprekken gaan ongeveer zo. “Het is vies weer vandaag. Ik ga naar Ibiza. En morgen moet ik mijn band plakken.”

Het is, voor mij, volkomen onduidelijk waar je het over hebt.

Hij schudde vertwijfeld zijn hoofd.

Ik bedacht me: Hallo, we hebben het hier over toetssoftware en gesprekken met gewaardeerde klanten.

Hij ging verder met zijn verhaal:

Het gekke is dat de klant jou wel volgt. Die geeft volkomen adequate reacties op jouw vragen en opmerkingen.

Kijk dat maakt me wel weer blij. Kennelijk sla ik niet volkomen wartaal uit. Even kreeg ik die indruk wel. 

Daarna zei hij:

Jij bent zo wollig in je taalgebruik en zo weinig systematisch, ik heb altijd het gevoel dat ik de boodschap er uit moet destilleren.

Hier viel ik ongeveer van mijn stoel.

Hij kon het niet weten maar in een vorig leven ben ik eens ernstig toegesproken door mijn toenmalige manager om vooral MEER wollig te communiceren. Mijn probleem was dat ik te rechtlijnig en helder problemen beschreef waardoor pijnpunten in de organisatie bloot gelegd werden. Dus of ik alsjeblieft een en ander wollig wilde communiceren. Echt ze zei wollig.

Niet lang daarna heb ik een andere baan gezocht.

Even terug naar het gesprek.

Mijn IT collega is een man die als geen ander in staat is een probleem te ontrafelen. Hij gaat tekenen en praten. Terwijl hij dat doet maakt hij een goede vertaalslag naar de software developers. Petje af.

Maar niet om het een of ander.

Die klantvraag breng ik bij mijn IT collega. Daarvoor heb ik gesprekken gehad met de klant. De klant die ik begrijp en die mij begrijpt. Echt ondanks alles wat mijn IT collega beweert, ze begrijpen me heus.

Wanneer ik de klantvraag bij mijn IT collega breng legt hij daarvoor restricties op. Ik mag geen oplossingen benoemen. Oplossingen moeten vanuit de techniek komen en niet van te voren ingekleurd worden door een klantvertegenwoordiger. Dat snap ik.

Dat vind ik moeilijk.

Klanten die een applicatie kennen geven aan mij ook vaak aan in welke richting ze een oplossing zoeken.

Maar: In software is het door het gebruik van de code nog wel eens zo dat de oplossing uit andere hoek komt.

Eerlijk gezegd maakt mij dat niet uit.

Het gaat erom dat de klant krijgt wat hij hebben wil.

Mijn taak is zo goed mogelijk uitleggen wat de klant wil. Dat doe ik door voortdurend dicht tegen de processen van de klant aan te zitten. Goed met de klant door te praten wat de bedoeling is. Desnoods in Jip en Janneke taal. Daarna neem ik alles mee naar huis en ga met mijn IT collega praten. In gesprek met mijn IT collega stel ik me vaak op als de klant.

En dan gebeurt het.

Ik krijg terug dat ik te wollig ben.

Volgens mij is mijn IT collega te rechtlijnig en ongenuanceerd. Hij maakt alles zwart en wit, terwijl voor mij en mijn klant er veel tinten grijs zijn.

Wat is de moraal van dit verhaal?

Vanuit verschillende invalshoeken hebben mensen verwachtingen over de werking van de applicatie. De techniek, de klant, de consultant en de productowner moeten met elkaar praten over de applicatie. Maar ze verstaan elkaar niet. Het is alsof de één van Mars komt en de ander van Venus.

Je kent dat spelletje waarbij je een woord in je oor gefluisterd krijgt en dat woord door moet geven aan je buurman? Juist, grote verbazing wanneer de laatste het woord hardop uitspreekt. Het lijkt in de verste verte niet op het oorspronkelijke woord. Dat kan zomaar gebeuren met software ontwikkeling.

Hoe los je dat nou op?

Dat is niet eenvoudig maar het kan wel. Veel hangt af van de communicatie!

Vier tips voor applicatie ontwikkeling:

  1. Zorg dat de klantvraag helder is. De (ontwikkel)opdracht moet eenduidig zijn. Dit is moeilijker dan je denkt en vergt veel overleg en afstemming.
  2. De productowner maakt de verbinding met de techniek. Code schrijven is een vak apart. Degene die de code schrijft moet constant kunnen checken of datgene wat hij schrijft nog past bij de opdracht en klantwens. Dat betekent dat de productowner continu moet afstemmen met ontwikkelaars en klant.
  3. Toets met regelmaat de klantwens door tussentijdse presentaties van alles wat al klaar is. Dit geeft de klant ruimte om bij te sturen en voortdurend af te stemmen of de opdracht nog scherp op het netvlies staat.
  4. Neem in je projectplan en offerte voldoende ruimte op voor overleg en afstemming.

De basis van een goede applicatie en een tevreden klant is communicatie en verwachtingen management.

Wanneer je elkaars taal niet spreekt moet je zorgen dat je elkaar wel gaat begrijpen, desnoods in Jip en Janneke taal.

 

Veel van deze punten vind je terug in de SCRUM techniek. Wil je daar meer over lezen: SCRUM ontwikkeling.

Geplaatst in Andriessen, kwaliteit, software-ontwikkeling, TeleToets

Alternatieven in antwoorden 5 tips

Ik was op zoek naar afleiders.

O nee, niet omdat ik mijn werk niet leuk vind of op zoek ben naar een andere hobby.

Ik zocht literatuur over afleiders in meerkeuzevragen.

De (antwoord)alternatieven, zoals onze zuiderburen zeggen.

De literatuur is het over één ding eens:

Iedereen, die wel eens een examen met multiple choice vragen heeft ontwikkeld, zal het beamen.

Afleiders maken is het moeilijkst.

Natuurlijk is het maken van een goede vraag een vak apart. Maar vaak lukt dat wel. Goede afleiders of alternatieven verzinnen is echt moeilijk.

Ik wil je graag helpen.

Belangrijke voorwaarde voor de antwoordalternatieven is:

Alle afleiders moeten waarschijnlijk zijn.

Dat wil zeggen dat alle afleiders een antwoord op de vraag zouden kunnen zijn. Wanneer je geen kennis hebt van de stof zou je alle antwoorden als even logisch of waarschijnlijk zien.

Het doel van het maken van afleiders is dat onderscheid tussen de goede en de slechte kandidaten ontstaat. Je wilt dat een goede kandidaat de vragen ook goed kan beantwoorden. De kandidaat die niet voldoende geleerd heeft mag in verwarring gebracht worden door de alternatieven waardoor hij gaat gokken en zal zakken voor de toets. Dat gokken gebeurt in de situatie dat de kandidaat het niet zeker weet. Dat betekent dat deze kandidaat mogelijk gaat beredeneren welk antwoord past bij de vraag.

Hierbij 5 tips voor het maken van goede antwoordalternatieven:

  1. alle afleiders moeten even waarschijnlijk zijn en zowel grammaticaal als inhoudelijk juist.
  2. alle afleiders moeten ongeveer dezelfde lengte hebben en probeer de alternatieven kort te houden geef zoveel mogelijk informatie in de vraag (stam).
  3. verzin voor de afleiders tegenvoorbeelden van het juiste antwoordalternatief, gebruik geen (dubbele) ontkenningen.
  4. alle afleiders moeten in dezelfde stijl geschreven zijn. Probeer niet: je afleiders een air van correctheid te geven door ‘wetenschappelijk’ of ‘professioneel’  woordgebruik. Je loopt het risico leesvaardigheid te toetsen in plaats van de voorgeschreven stof. Vermijd vage formuleringen.
  5. verzin één afleider minder. Drie alternatieven is even goed als vier alternatieven. In de praktijk zie je vaak dat van die vier alternatieven één afleider nooit gekozen wordt.

Over dat laatste punt.

Achteraf is het altijd goed om een itemanalyse te maken. Check of alle alternatieven gekozen zijn. Wanneer je dat in excel doet kun je mooie draaigrafieken maken. Kijk maar:

afleider

Je ziet hier dat antwoordalternatief D nooit gekozen is. Alternatief C is door 2 van de 201 kandidaten gekozen. Conclusie: hier is werk aan de winkel. In ieder geval weg met alternatief D.

 

Nog een toegift tip 6: Vier-ogen principe

Bedenk echter steeds dat de beste manier om een goede vragen en antwoorden te maken het vier-ogen principe is.

Wanneer je een vraag met antwoordalternatieven gemaakt hebt, laat de vraag dan tegenlezen door een collega. Twee zien meer dan één.

 

Veel succes met het maken van goede afleiders.

 

Meer lezen?

Eerder heb ik al eens over de QDNA tool geschreven. Op deze website zijn een aantal tips over het maken van afleiders te vinden.

Ook op de site van de KU Leuven zijn tips te vinden over het maken van goede afleiders.

Ten slotte: Toetsvragen schrijven van Ben Wilbrink (1983).

 

ToetsenPS Harry Molkenboer is een boek aan het schrijven over toetsing. Hoofdstuk 10 Ontwikkelen van gesloten vragen is in aansluiting op dit blog een aanrader.

8 oktober komt het boek: Toetsen volgens de toetscyclus uit!

 

 

 

 

 

 

 

 

Geplaatst in itembank, online toetsing, TeleToets, vraagsoorten

Toetssoftware inrichten met voorbedachten rade

Stel, je hebt na flink wikken en wegen voor een online toetssoftware gekozen die perfect bij jouw organisatie past! Je hebt de link naar deze software ontvangen samen met jouw inloggegevens. Je staat op het punt om de online toetsomgeving te gaan inrichten. Je hebt alleen nog nooit eerder met digitale toetssoftware gewerkt….

Wat doe je nu?

  • Optie 1: Je gaat gewoon proberen. Door middel van trial and error ontdek je de ideale inrichting van de toetssoftware.
  • Optie 2: Je volgt eerst een training. Waar nodig lees je de handleidingen goed door. Op basis van deze kennis richt je de toetssoftware in.

Optie 1 doet mij denken aan een stroming binnen het behaviorisme die zich bezighoudt met operante conditionering (OU, 2015). Binnen het behaviorisme wordt alleen gekeken naar waarneembaar gedrag van mens en dier. Operante conditionering richt zich vooral op het aan- en afleren van gedrag door middel van straffen en belonen. Bijvoorbeeld: Een leerling moet kennis vergaren over de Tweede Wereldoorlog. Hierover krijgen de leerlingen een toets. Voor de toets krijgen de leerlingen een cijfer. Daaraan wordt een waardering voldoende of onvoldoende gekoppeld. Het cijfer wordt hier ingezet als een straf (onvoldoende) of beloning (voldoende) om de leerlingen te stimuleren om de stof te leren.

Wanneer je leert door middel van trial and error dan leer je dus door middel van straffen en belonen.

Je blijft testen met de inrichting van de toetssoftware totdat je als beloning een succeservaring hebt.

Bijvoorbeeld: Je wilt de volgende ‘papieren’ vraag invoeren.

Onderwijspsycholoog Benjamin Bloom ontwikkelde tussen 1948 en 1956 een taxonomie waarmee hij verschillende toepassingsniveaus van kennis ordende. In willekeurige volgorde zijn dit:

  1. Analyseren
  2. Synthetiseren
  3. Toepassen
  4. Begrijpen
  5. Evalueren
  6. Reproduceren     

Wat is de juiste volgorde van de kennisniveaus van hoog naar laag?

      a.  2, 5, 1, 3, 4, 6
      b.  1, 5, 2, 4, 3, 6
      c.  5, 2, 1, 3, 4, 6

Voor deze vraag kun je gebruik maken van een meerkeuzevraag. Deze vraag is voor de leerling net zo eenvoudig te beantwoorden als de ‘papieren’ vraag. Dit kan zorgen voor een succeservaring voor de toetsconstructeur waardoor je deze vraag op deze manier blijft afnemen. Het belangrijk nadeel van de keuze voor dit vraagtype: multiple gok. Dit nadeel kun je eenvoudig op lossen door gebruik te maken van een ander digitaal vraagtype…

Hier wordt meteen het risico duidelijk dat kleeft aan de werkwijze van trail and error. Je neemt bij het uitproberen van de toetssoftware je bestaande kennis over het ontwikkelen van examens op papier mee. Hierdoor weet je bijvoorbeeld hoe je een examen goed op moet bouwen. Je mist echter ook kennis. Digitaal heb je namelijk andere mogelijkheden. Om alles uit de toetssoftware te halen wat er in zit, moet je wel van deze mogelijkheden afweten. Zo kun je bij de meerkeuze vraag hierboven beter gebruik maken van een rangschikvraag (afbeelding 1).

rangschikvraag

Afbeelding 1: Rangschikvraag in TeleToets

Door middel van trial and error kom je niet tot deze oplossing. Je moet op zijn minst op de hoogte zijn van de beschikbaarheid en doel van deze vraagsoort. Wanneer je een training volgt of van te voren handleidingen bestudeert (optie 2), heb je een beter beeld over de mogelijkheden van de software.

Op deze manier kun je uit alle aangeboden kennis zelf die informatie selecteren die van toepassing is op jouw eigen situatie (organisatie). Dit heeft overeenkomsten met de constructivistische leertheorie (zie onderstaande video). Deze theorie stelt dat jij zelf actief kennis opbouwt uit de informatie die je aangeboden wordt. Door het selecteren van informatie uit de training en de handleidingen creëer je een beeld van de inrichting van jouw software. Je kiest bijvoorbeeld uit de voorlichting over digitale vraagtypes die vraagtypes uit die passen bij jouw doelgroep en het doel van het examen.

Voor een trainer of schrijver van handleidingen is dit een grote uitdaging! De informatie moet zo aangeboden worden dat jij, vanuit jouw bestaande kennis, de waarde ziet van bepaalde opties in de toetssoftware. De trainer moet jouw stimuleren waar nodig buiten de bestaande kaders van jouw organisatie te denken. Waardoor jij dus voor de rangschikvraag kiest en niet voor de meerkeuzevraag..

Bij de inrichting van toetssoftware maak je altijd gebruik van trail and error. Soms loopt het nu eenmaal anders dan verwacht. Dit is ook prima. Wanneer je een training volgt en handleidingen leest, weet je in ieder geval waar je de informatie vandaan kan halen. Hierdoor kun je flexibel met ‘errors’ omgaan.

Bronnen:

OU. (2015) Proef eens van.. Psychologie. http://bit.ly/1OqW0QC

Geplaatst in online toetsing, TeleToets, trainingen, vraagsoorten