Drie jaar geleden zijn we begonnen. Leraren werken samen met programmeurs aan een gereedschap voor het onderwijs dat aan de volgende eisen moet voldoen:

• Gebruiksgemak voor leraren en leerlingen
• Voordeel van automatisering in
  • Verlaging werkdruk
  • Verbetering rendement
• Veel formatieve toepassingen
• Eigenaarschap bij leraar en leerling, niet bij een algoritme

Het is geen gratis toepassing geworden en dat verkleint het bereik. Leraren kicken op gratis; je zou bijna denken dat zij de leermiddelen betalen. Maar, beste leraar, als je school investeert in hardware, moet je je schoolleiding kunnen overtuigen dat hardware alleen geen oplossingen biedt voor jouw werkdruk, leerlingmotivatie en onderwijsrendement.

In een serie blogs zal ik ingaan op de toepassingen van KWIZL, onze leer-/toetsomgeving.
Deel 1   Waarom Kahoot je onderwijs ondermijnt, over Kwiz-mode
Deel 2   Metadata, eindelijk gebruik je de kracht van de computer
Deel 3   Waarom geen algoritmes en adaptieve toetsen (volgt)
Deel 4   De Peer review werkt verpletterend degelijk (volgt)

Gebruik de kracht van je computer
Serieuze software is niet gratis. Een beetje methode heeft een digitale component die je voor een -meestal niet zo- zacht prijsje naast of in plaats van het boek kunt gebruiken en ook toepassingen als Kahoot laten je betalen als je ze voor meer gebruikt dan een incidenteel spelletje.
Niet zo raar natuurlijk: ook programmeurs, technici en servers moeten betaald worden, en zo gauw als je met leerlinggegevens gaat werken moet er AVG-wise ook een fikse inspanning geleverd worden.
Veel betaalde toepassingen (In Nederland: Quayn, Learnbeat, Kwizl) maken gebruik van metadata. Daarmee kun je de computer inzetten om data te verzamelen. Het is namelijk niet realistisch om te denken dat je in klassen met meer dan 10 leerlingen, van iedere leerling een compleet accuraat beeld hebt. Jij kunt als leraar niet alle data opslaan en verwerken die je leerlingen aanleveren in gesprekken, schrijfsels, toetsen en opdrachten. Laat staan met klassen van 32.
 
Metadata
De functie ‘metadata’ stelt je in staat om aan iedere verwerkingsopdracht/vraag/toets informatie toe te voegen over de doelstelling die je wilt bereiken/toetsen met dit item. Dat deze toepassing heel bevorderlijk kan zijn voor hoogwaardig onderwijs hebben instellingen als SLO en Kennisnet al lang geleden ingezien. Kennisnet metadateert bijvoorbeeld om gemakkelijk passende onderwijspakketten te vinden, terwijl SLO sleutelt aan metadatasets.
Kwizl biedt iedere methode, maar ook iedere school de mogelijkheid om eigen metadatasets te maken, eventueel gebaseerd op bestaande (bijvoorbeeld die van de SLO).
BruutTAAL, de methode Nederlands die met Kwizl werkt, heeft een eigen metadataset ontwikkeld, die afwijkt van die van het SLO; hij is veel gedetailleerder, zodat leerling en leraar gemakkelijker zien waar de leerwinst te halen is. Waar bij SLO het diepste schrijfniveau is: Correcte spelling en interpunctie hanteren bij het schrijven, splitst BruutTAAL dat nog uit in Werkwoordspelling | Spelling | Formuleren | Zinsbouw en benoemt het binnen deze onderwerpen nog allerlei detaildoelen. Zo krijgt een leerling niet alleen te zien dat hij nog "niet altijd correct spelt", maar ziet hij bijvoorbeeld dat zijn werkwoordspelling behoorlijk goed is, terwijl hij hen hun en zij niet correct gebruikt. Overigens: als je school met BruutTAAL werkt, kun je ook eigen materiaal metadateren met deze metadata, waardoor het dashboard van de leerling steeds waardevoller wordt.
 
Eigenaarschap
De leraar is eigenaar van zijn onderwijs, de leerling van zijn leren. Als je je leerlingen leert om metadatasets te lezen, dan gaan zij zich vanzelf interesseren voor hun resultaten; iedere leerling wil namelijk wat maken van zijn leven. Regelmatig geef je in de klas tijd om leerlingen hun eigen resultaten te laten analyseren. Door de metadata zien leerlingen waarom hun leesvaardigheid achterblijft. Dan is het niet: “Ik had een 5, begrijpend lezen heb ik nooit gekund,” maar zien ze dat ze een tekststructuur niet doorgronden, of alineaverbanden missen, dat ze te weinig examenidioom beheersen of een te beperkte woordenschat hebben.

Formatief vakwerk
En dan komt de leraar om de hoek kijken. Kwizl gelooft niet geprogrammeerde instructie; feedback door de computer pakt vaak net niet de essentie van de gedachtefout van de leerling en heel vaak klikt een leerling de feedback weg voordat deze gelezen, laat staan gesnapt en verwerkt is.
In het resultatendashboard klikt een leerling steeds dieper om uiteindelijk bij de vragen met bepaalde metadata uit te komen. Op dat punt is een gesprek met de leraar goud waard, samen constateren leerling en leraar het probleem, praten ze over dit individuele probleem en kan de deskundige leraar een vervolgstap kiezen.
 
Metadata zijn doelstellingen, hanteerbaar gemaakt in een boomstructuur, om leraar en leerling handvatten te geven om persoonlijker onderwijs te realiseren. Profiteer van je device en laat de computer doen waar ie goed in is: data verzamelen en bruikbaar maken.

Drie jaar geleden zijn we begonnen. Leraren werken samen met programmeurs aan een gereedschap voor het onderwijs dat aan de volgende eisen moet voldoen:

• Gebruiksgemak voor leraren en leerlingen
• Voordeel van automatisering in
  • Verlaging werkdruk
  • Verbetering rendement
• Veel formatieve toepassingen
• Eigenaarschap bij leraar en leerling, niet bij een algoritme

Het is geen gratis toepassing geworden en dat verkleint het bereik. Leraren kicken op gratis; je zou bijna denken dat zij de leermiddelen betalen. Maar, beste leraar, als je school investeert in hardware, moet je je schoolleiding kunnen overtuigen dat hardware alleen geen oplossingen biedt voor jouw werkdruk, leerlingmotivatie en onderwijsrendement.

In een serie blogs zal ik ingaan op de toepassingen van KWIZL, onze leer-/toetsomgeving.
Deel 1   Waarom Kahoot je onderwijs ruïneert, over Kwiz-mode
Deel 2   Metadata, eindelijk gebruik je de kracht van de computer
Deel 3   Waarom geen algoritmes en adaptieve toetsen (volgt)
Deel 4   De Peer review werkt verpletterend degelijk (volgt)

Hoe Kahoot je onderwijs ondermijnt
Van de week trapte ik er weer eens in. Ik liet leerlingen voor elkaar een Kahoot over een formuleerprobleem maken. Bij groep twee was het raak: 275 deelnemers. Gelukkig heb ik Hapara en zie ik meteen dat Joost net op Kahoothack heeft gegoogeld en nu aan het saboteren is, maar de lol is eraf, de makers van deze Kahoot balen als een stekker.
Ook bloedirritant: Je hebt 40 deelnemers in een klas van 32. Blijkt ook nog na de quiz dat iemand die niet in de klas zit gewonnen heeft met alleen gokken.
 
Maar ook als je dat allemaal onder controle hebt, iedereen met zijn eigen naam in jouw quiz zit en jij lekker met je klas de quiz doet, kan er nog van alles misgaan met jouw quizdoel: testen wie het begrepen heeft.
Dat merkte ik een jaar of drie geleden toen een notoir zwakke werkwoordspeller de Kahoot won met 0 fouten, toen ik als afsluiter van een lessenserie werkwoordspelling een Mars uitloofde voor degene die een 10 zou halen. Hij kreeg zijn Mars en bekende toen dat hij op een ander tabblad de quiz ook open had staan, elke vraag met de antwoorden zag aankomen en dus snel en goed kon antwoorden.
 
Ik ben echt dol op het muziekje, maar Kahoot heeft weinig met leren te maken. Het is een spelletje dat kinderen leuk vinden. Beter geformuleerd: Het is een spelletje, wat kinderen leuk vinden. Maakt niet uit welk spelletje: alles beter dan les, maar denk alsjeblieft niet dat we dit serieus nemen.
 
Maar formatief onderwijs is toch de juiste richting?

Zeker, maar geloof me: Kahoot is van zichzelf niet formatief. Je kunt met veel moeite en training je leerlingen zover krijgen dat zij correct met eigen naam inloggen, je kunt dan iedere vraag met de afleiders bespreken en iedere vraag als leermoment nemen, zoals je dat ook zou doen als je leerlingen allemaal een wisbordje geeft en dan is dat best formatief, maar het is formatief binnen een moment. Waardevol, maar dat kan veel beter.
En ik weet, je kunt resultaten opvragen en opslaan, maar zeg eens eerlijk: hoe vaak heb je dat gedaan. Ik vijf keer en toen was ik daar wel klaar mee.
 
Kortom: Kahoot blijft een gadget, zeker ook in de beleving van leerlingen. Je kent allemaal het verschijnsel dat leerlingen als een gek repetitief op hun telefoon aan het tikken zijn om maar de eerste te zijn. Het goede antwoord boeit niet.
Daarnaast kun je kinderen alleen meerkeuzevragen laten beantwoorden en ook dat beperkt je mogelijkheden.
 
De Kwiz-mode

Een formatieve toepassing binnen Kwizl is dan ook de Kwiz-mode geworden: 'Kahooten' zonder de nadelen. Niet hackbaar, geen muziekje, geen tijdsdruk, alle vragen gemetadateerd, ook gesloten vragen mogelijk (antwoord intypen), geen groot scherm nodig (leerlingen zien de vraag op hun eigen apparaat) en eventueel te bedienen met je mobiel waardoor je niet gebonden bent aan die plaats voor het bord.
Jij ziet zelf welke antwoorden leerlingen geven en je kunt dan ook meteen een zeer renderend klassengesprek voeren over de ins en outs van deze vraag. Alle antwoorden van leerlingen worden opgeslagen, zij kunnen zelf terugkijken en er altijd op terugkomen.
Ik zet de Kwiz-mode vaak in als uitleginstrument: ik verwerk de moeilijkheden in vragen en zie dan hoeveel leerlingen deze moeilijkheid doorgronden en kan aandacht besteden aan de leerlingen met denkfouten, meteen en doelgericht. Een leerling weet na de Kwiz hoe goed hij de stof al beheerst.
 
Zo moet klassen-ict werken. Een leraar die zijn vak beheerst zet een gereedschap in om leerlingen vaker, beter en dieper te laten nadenken.
Omdat ze weten dat alles wordt opgeslagen zijn ze behoorlijk gemotiveerd om te denken voor ze antwoorden en dat is de pure winst. Naast de wijsheid die je steeds stimuleert: fouten die je maakt na goed nagedacht te hebben, geven waardevolle informatie over wat je nog niet beheerst.
Kinderen ervaren dat het zin heeft om je verstand te gebruiken en dat kun je ze niet vaak genoeg laten merken.

Een tijdje geleden riep ik op facebook (in de facebookgroep Leraar Nederlands) op om de methode "maak de zin vragend", die gebruikt wordt om de pv te vinden, af te schaffen. In het eerste prachtige weekend van dit jaar namen ruim 200 mensen de moeite om te reageren, naast of in combinatie met ruim 100 likes en dislikes.
Na een dag reageerde ik met Het zit blijkbaar hoog, tijd voor actie, maar daarna reageerde geen uitgever of methodeschrijver met een (wel gevraagde) reactie. Jammer.

Als ik de discussie wat mag samenvatten zijn met name VO-, hbo- en universitaire leraren voor afschaffing. VO-leraren klinken wanhopig:
“Gek word ik ervan.” “Ik probeer dit ook weer iedere keer eruit te rammen.” “Ongeveer het eerste wat ik mijn leerlingen in klas 1 leer is de afkorting BSBS: basisschoolbullshit.”
PO-leraren zijn over het algemeen vrij positief over de vraagmethode. Hun argumentatie: waarom zou je iets afschaffen wat prima werkt, is voor hen volstrekt geldig. Blijkbaar helpt de vraagmethode hun leerlingen om een zin te ontleden. 

Wat PO-leraren blijkens de discussie niet beseffen, is hoe keihard hun woorden op de harde schijf van de kinderen gespijkerd zijn (“Dan zeg je toch gewoon dat de zinnen nu complexer zijn en dat die regel niet meer werkt”). 
Juffen en meesters zijn heilig. De band die jullie met leerlingen opbouwen in een schooljaar, daar kunnen wij alleen van dromen. “Vergeet alles wat je tot nu toe geleerd hebt,” (ook wel BSBS genoemd, las ik) werkt dan ook averechts.

In het VO gebruiken we de persoonsvorm vooral om het te hebben over werkwoordspelling. Tot en met 6 vwo zijn er veel leerlingen die fouten blijven maken, en ook in deze facebookgroep en bij collega’s die geen Nederlands geven -toch allemaal hbo- of universitair opgeleid- blijven deze fouten opduiken, en dat is eigenlijk raar: een volstrekt logisch systeem dat hoogopgeleiden niet onder de knie krijgen.
In “Emil worstelt met de werkwoordspelling” (Levende Talen Magazine 2015, nummer 4) zegt Jeroen Steenbakkers terecht dat het misschien lijkt dat veel leerlingen in groep 8 hun werkwoorden correct spellen, maar dit is slechts schijn: in enkelvoudige zinnen die het voltooid deelwoord altijd als laatste werkwoord hebben lijkt het alleen maar oké. Er is geen begrip, alleen maar een onomstotelijke waarheid: elke zin heeft één persoonsvorm en die vind je door de zin vragend te maken. Later leren ze over samengestelde zinnen, maar de grote meerderheid krijgt het niet voor elkaar om die nieuwe kennis te combineren met De Waarheid.

Lerarenopleiders doen hun best, “maar in de lesmethode op hun stageschool zien ze toch weer die vraagzin...” en “een deel is helaas behoorlijk conservatief en wil het liefst precies hetzelfde als wat ze tijdens hun eigen schooltijd hebben geleerd :( “

Ik hoop dat leraren basisonderwijs nu begrijpen waarom die vraagmethode echt weg moet: je zet je leerlingen enorm op achterstand. De meesten krijgen het namelijk niet voor elkaar om De Waarheid aan te passen aan nieuwe kennis en zo blijft die vraagmethode in de weg zitten. De vraagmethode mag ook niet één van de methodes zijn; het is namelijk de makkelijkste en leerlingen blijven die dan gebruiken. De tijdproef is misschien wat moeilijker in het begin. Maar als je een zin niet van tijd kunt veranderen, is het wat voorbarig om te gaan ontleden.

Uitgevers en vakdidactici, PO en VO, zullen we eens een bijeenkomst prikken om dit probleem de wereld uit te helpen (om te beginnen uit Nederland)? Reageer dan hieronder even. Misschien wil HSN 2018 wel een sessie inruimen, daar zijn we toch allemaal. Misschien voelt SLO zich geroepen? Een gezamenlijk overleg zou een gezamenlijke afschaffing van de vraagmethode in de nieuwe drukken kunnen bewerkstelligen. Ik zou het mooi vinden.

“Nee, nou even niet jongens, ik moet gaan surveilleren. Schoolexamens”. Gedecideerd stuur ik de klas mijn lokaal uit en sluit af. Nog net tijd voor een wc’tje en koffie. Ik doe het ze niet aan: een koffiedrinkende surveillant. De geur, het getingel van het lepeltje, aan mij zullen ze zich niet storen.
Schoolexamens worden ons altijd persoonlijk in de hand gestopt in de personeelskamer; zo weet de examensecretaris zeker dat de dossiertoets afgenomen wordt. Die secretaris is er nog niet. Eerst koffie dan maar. Gek, normaal staat hij altijd al te wachten bij de ingang. Even bellen. Geen kiestoon, weer kapot. “Iemand Cor gezien?” Niemand. Even naar zijn kamer dan maar. We gaan hier niet die kinderen de zenuwen in helpen.
 
Eén minuut voor begin kan ik het lokaal openen, toch nog mooi. Ik maak haast met uitdelen en precies op tijd kunnen de leerlingen hun dossiertoets maken. Ik ga zitten en voel meteen dat ik iets vergeten ben. Een krampje links onder in mijn buik. Ik leun naar rechts en probeer het onopvallend weg te masseren. Dat lukt niet. Ik druk mijn rug tegen de leuning en beweeg mijn lichaam langzaam van links naar rechts in de hoop dat die tegendruk verlicht. IJdel. Ik voel me steeds beroerder, er verschijnen zweetdruppeltjes op mijn gezicht. Joep kijkt even op, maar is zo verdiept in zijn werk dat hij niets in de gaten heeft.
Ik ontplof bijna, er moet echt druk van de ketel. De telefoon was kapot. Ik sta op en loop naar de deur. Misschien loopt er een collega langs die ik even naar binnen kan vragen zodat ik weg kan. Niemand. 10 minuten lang. Ik ga weer zitten en doe wat ik moet doen om niet te sterven: langzaam ontspan ik mijn kringspier een beetje. Ik voel de poep meteen komen en knijp weer af. Is het echt al zo nijpend dat het niet anders kan? Jaaaaa, het moet nuuuuu.
Ik ontspan weer en afknijpen is er nu echt niet meer bij. Ik voel weke warmte mijn broek instromen, gelukkig geluidloos, alleen, er komt geen eind aan. Wanneer mijn broek vol is, manoeuvreer ik zó met mijn rug dat de brij  langs de ruggengraat zijn weg naar boven kan zoeken. Goed opletten dat het niet boven mijn kraag uitkomt. Ik trek mijn boord strak tegen mijn nek en bemerk tot mijn opluchting dat de stroom afbuigt naar mijn mouwen. Mijn buikpijn is ver weg. “Tom, doe jij even de ramen dicht. Ik denk dat er gegierd wordt”.
 
Dat geeft me weer even tijd om te verzinnen hoe nu verder. Ook met deze column. Wat ik maar wil zeggen: naar de wc gaan wanneer je moet, is een zwaar onderschatte arbeidsvoorwaarde.

Zou het niet handig zijn om te weten hoe goed een examenvraag gemaakt is? Je kunt dan in de voorexamenklassen díe vragen al eens gebruiken en zo de moeilijkheidsgraad opvoeren naar de examens toe.
Met deze vraag ging ik op zoek naar een betrouwbare bron en die vond ik op de Cito-site zelf. Ieder jaar (vanaf 2014) publiceert Cito voor ieder examenvak een Toets- en itemanalyse (Tia) (Cito, sd). Prachtig. Per vraag staat aangegeven hoeveel leerlingen op deze vraag gescoord hebben, welke scores ze daarbij haalden en bij meerkeuzevragen staat van elke afleider vermeld hoeveel leerlingen ervoor kozen.
​
Na een vraag over deze scores op de Facebookgroep Leraar Nederlands tipte Christine Brackmann een artikel van Hans Goosen over dit onderwerp. In Gebruik de TIA’s (Goosen, 2015) waarschuwt hij ervoor om in examentrainingen kritiekloos oude examens te gebruiken: In het examen Nederlands vwo 2013- 1 haalden zeven van de zeventien vragen bij de eerste tekst een Rit-waarde van minder dan 0.20. Als je zo’n examen gebruikt bij de examenvoorbereidingen, mag je wel voorzichtig zijn.
Nou had ik nog nooit van een Rit-waarde gehoord, dus ik ging maar eens wat lezen. De Rit geeft aan hoe goed een vraag het verschil aangeeft tussen ‘goede’ en ‘slechte’ kandidaten. Eenvoudig gezegd gaat het bij de Rit-waarde om de vraag of de kandidaten met een hoge score voor de toets als geheel ook de moeilijke vragen beter gemaakt hebben dan de kandidaten met een lage score. Als vooral zwakke leerlingen een ‘moeilijke’ opgave goed doen, mag je twijfelen over de betrouwbaarheid van de vraag. (Goosen, 2015)
En gelukkig biedt ook hier de site van Cito zelf uitkomst. In Toets- en itemanalyse met TIA (Goldebeld, 1992) noteert P. Goldebeld op pagina 49 het volgende schema:
Ik lees hierin dat een item met een Rit-waarde onder de 0,20 beoordeeld moet worden als slecht. 7 van de 17 vragen van tekst 1 van het vwo-examen Nederlands was dus slecht: 41%. Een incident, mag ik hopen.


Ik schrik me kapot

Nu is wel mijn argwaan gewekt. Zou de kritiek op de Cito-toetsing terecht kunnen zijn? Met name de examens Nederlands zijn de laatste jaren in de media uitgebreid gefileerd en de klachtenlijn raakt ieder jaar weer overbelast.
Ik pak de TIA van 2014 er eens bij en schrik me kapot: ik zie dat 14 van de 28 items (alleen de tekstverklaring, overige items betroffen samenvatting) een Rit-waarde van 0.19 of lager hebben. 50% van de items is in dit opzicht slecht.
In het schema hieronder zie je hoe in 2014 de kwaliteit van de examenvragen per vak was.

56,4 % in 2015: Meer dan de helft van de vragen wordt niet goed gemaakt door de betere leerling. En realiseer je nu nog eens dat dit alleen nog maar het percentage vragen met een score onder de 0,20 is. Dan komt er nog een bak vragen die beoordeeld moeten worden als “twijfelgeval”. De gemiddelde Rit-waarde voor het examen Nederlands is 0.24 in 2014, 0.21 in 2015 en 0.23 in 2016. Jaar in jaar uit ook de allerlaagste gemiddelde Rit-waarde van alle afgenomen havo-examens.
​
Als Hans Goosen zegt dat je voorzichtig moet zijn om oude examens te gebruiken in de examentraining ben je in eerste instantie geneigd om te denken: dan nemen we alleen de ‘goede’ of ‘zeer goede’. Alleen: het havo-examen Nederlands had er daar in 2014 maar 5 van, dat van 2015 had er 9 en in 2016 waren er weer maar 5 (van de 42). Dan ben je snel uitgeoefend. Maar dat is wel wat je zou moeten doen: neem je een toets voor de tweede keer af, dan verwijder je de slechte items.
En misschien is het maar beter dat je ook oefent in de slechte en de twijfelgevallen, want voorlopig zijn we er nog niet van af. Ook van de cijfers van 2016 word je niet vrolijk. Al zien we daar wel een mooie ontwikkeling: de verschillen tussen de diverse examens worden kleiner. Gedeelde smart …


Complimenten voor de filosofie-examenmakers: drie jaar op rij geen slechte items, maar dit terzijde.
​
Als ik een tweede correctie doe, controleer ik of mijn collega de boel niet belazert. Heeft hij normaal (correct dus) nagekeken, dan respecteer ik zijn mening en kan ik het soms niet eens zijn met hem, maar laat ik hem zijn eigen leerlingen beoordelen. Ik corrigeer nog wel de taalfouten die er zeker nog zijn (ook ik zie ze niet altijd allemaal) en laat het daarbij. De meeste tweede correctoren zijn echter betweters (want leraar, én leraar Nederlands: muggenzifters van de ergste soort dus) en je moet over elk twistpuntje (± 0,025 van het eindcijfer) steggelen.
Nu ik dit Rit-waardeverhaal tot me door laat dringen, vind ik onze tweedecorrectieritueledans nog triester. Telefoongesprekken en zelfs bijeenkomsten van een uur of vier bekvechten zijn vrij normaal. De uitkomst verschilt in de regel echt weinig van de eerste correctie.
Achterhoedegevechten. Hier is de echte winst te halen: een examen afnemen dat vragen heeft die door iedereen maar op een manier opgevat kunnen worden, zodat je echt test of iemand de tekst heeft begrepen, niet of iemand de vraag opvat op de manier die de examenmakers bedoelen.

Zwartepieten (excusez le mot)

• Hoe kan het dat (minstens) vanaf 2014 de havo-examens Nederlands zo veel slecht beoordeelde items hebben?
• Is het examenprogramma Nederlands zo moeilijk te vertalen naar een examen?
• Waarom wijkt het beeld bij Nederlands zo af van dat bij de andere vakken?
• Leest het CvTE de TIA’s niet?
• Geeft het CvTE aan Cito wel een duidelijke opdracht?
• Hoeft Cito geen verantwoording af te leggen?
• Krijgt Cito ondanks deze matige prestatie betaald?
• Én een syllabus, én referentieniveaus, is dat misschien verwarrend?
• Moet SLO in actie komen?
• Waarom reageerde tot nu toe niemand op deze cijfers?
• Waar blijven de Kamervragen?
• Van wie moeten de koppen rollen?

Of lees ik al die cijfers verkeerd? Ik ben geen toetsdeskundige en misschien is het helemaal niet erg dat een Rit-waarde aangeeft dat een item slecht is. Als je me gerust kunt stellen, graag.
Maar ik ben wel geschrokken. Wat als de Rit-waarde wel enige betekenis heeft? Gaan ouders van wie de kinderen op een puntje of 3 zakken op Nederlands nu rechtszaken aanspannen vanwege de ondeugdelijke toetsing? Het zou zomaar kunnen.

Een van mijn zwartepietvragen was Waarom reageerde tot nu toe niemand op deze cijfers. Natuurlijk ook gewoon mijn eigen stomme schuld. Waarom heb ik die TIA’s niet eerder gelezen? Waarschijnlijk omdat ik lesgaf en die lessen ook voorbereidde en verwerkte. Werkdruk lijkt me een mooi excuus.
Is er misschien een onderwijsjournalist die het de moeite waard vindt om hier eens naar te kijken? Ook naar vmbo en vwo kijken, de productielijn examen langslopen. Van die dingen.
 

 
Bronnen
Centraal schriftelijke examens havo en vwo

Goldebeld, P. (1992, Maart). Toets- en Itemanalyse met TIA, Toelichting bij het lezen en interpreteren van toetsen itemanalyses voor gesloten en/of open vragen. 

Goosen, H. (2015). Gebruik de TIA's. Levende Talen Magazine (2), 18-23.

Dit bericht werd overgenomen door onderwijstijdschrift DIDACTIEF, ook daar reacties.

Een maand of acht geleden werd ik gebeld door een medewerkster van Van Dijk, een boekhandel die voor half Nederland (Iddink doet de andere helft) schoolboeken levert. De Guido in Arnhem was na een proefperiode enthousiast over BruutTAAL en Henk ter Haar en Bert Mollema wilden de methode netjes via Van Dijk aanschaffen; Van Dijk en Iddink sluiten contracten af waarin zij scholen verplichten alle leermiddelen via hen bestellen.
Na wat informatie uitgewisseld te hebben stelde ik de vraag wat de service, BruutTAAL ontsluiten via een centrale login, zou kosten. Mevrouw dacht aan een vergoeding van rond de 15%.
“Dat is dan 50 cent per leerling,” rekende ik vlug uit, "dat is te doen".
“O, normaal rekenen we toch op zo’n 5 euro per leerling per boek. Wat kost BruutTAAL dan?”
“Vier euro vijftig, inclusief 21% btw.”
Mevrouw dacht prima mee en ging ermee akkoord dat BruutTAAL buiten hen om aangeschaft werd, ondanks de overeenkomst.

Dat een boekhandel geld verdient met de verkoop van boeken is niet raar, maar nu lijkt die boekhandel een factor in de autonomie van scholen en leraren te worden. Een ander voorbeeld:
In 2003 schreef ik een ckv-methode. We (uitgever LAMBO en ik) deden we ons best om een lichtgewicht, goedkoop boek te maken. We hadden beiden schoolgaande kinderen, betaalden ons scheel aan boeken (toen nog rekening ouders) en waren bezorgd voor de ruggetjes. Uiteindelijk ging DeMap/Kunststof in de winkel € 10,50 kosten.
Je snapt mijn verbazing dat dit boek voor € 12,50 op de boekenlijst van mijn leerlingen stond. Ik nam contact op met de uitgever en die wist te melden dat Iddink extra marge nam (omdat het boek zo goedkoop was?) en daarnaast ook nog een fikse korting op de inkoopprijs bedong.
Als je dan bedenkt dat Iddink als ‘huurprijs’ 35% van de nieuwwaarde rekent en secties verplicht om minstens vier jaar met een methode te doen en dat je ook nu in het pakket van je kinderen nog boeken uit 2005 tegenkomt, dan snap je dat het verdienmodel van deze boekhandel briljant is. O ja: vergeet niet dat in iedere boekenprijs al zo’n 40% marge voor de boekhandel is opgenomen.

Ik snap het niet helemaal:

• Die Europese aanbesteding zou toch zorgen voor meer concurrentie. Hoe kunnen twee boekhandelaren nagenoeg de complete Nederlandse markt in handen hebben?
• De vaste boekenprijs zorgt ervoor dat prijsconcurrentie met korting niet mogelijk is. Mag je de prijs van boeken als boekhandel wel eigenhandig verhogen?
• Waarom mogen Iddink en Van Dijk scholen verplichten alle leermiddelen bij hen af te nemen?
• Weet onze minister dat ze voor iedere centrale login extra betaalt aan Iddink en Van Dijk?
• Is het wenselijk dat Iddink en Schoolmaster dezelfde baas hebben? Wat gaat die verstrengeling van elo, administratie en leermiddelentoegang betekenen in de toekomst?

Het zijn echte vragen, ik ben leraar en heb geen tijd om hiernaar onderzoek te doen. Iemand anders wel? Of zijn de antwoorden er al?

Wat zou het mooi zijn als hieronder reacties komen die mijn insinuaties helemaal onderuit halen.
Laat maar komen.

Vandaag kreeg ik van de Onderwijsraad bericht dat een van mijn blogposts is genomineerd voor de Prijs voor de beste onderwijsblog 2017. We zijn nog met zijn zessen: Steven Geurts, Casper Hulshof, Janneke de Ruiter, Anneke Smits/Erna van Koeven en Ben Wilbrink. Sowieso een mooi rijtje om tussen te staan.
Op 27 januari zal op de NOT deze prijs worden uitgereikt, samen met de Nationale prijs voor de onderwijsjournalistiek 2017 en de Werkbeurs onderwijsjournalistiek 2017. 
Op Onderwijsjournalistiek.nl  lees je over alle nominaties.
Heel leuk om te merken dat je gelezen wordt en dat je schrijfsels gewaardeerd worden. Hier lees je de genomineerde tekst: Size matters, ééééch wel.

Gisteren ging een mooie tweet rond via Dominique Sluijsmans en Bas Trimbos. Zij hadden uit een uitgebreid Engelstalig artikel uit 2013 een overzichtelijk schema gekopieerd. In dat schema zag je nog eens helder verwoord wanneer je toetsing werkelijk integreert in onderwijs, wanneer je formatief toetst. Formatief toetsen is geen vormpje maar een fundamenteel andere houding tegenover hoe onderwijs werkt.
Even eerlijk bekennen: ik heb de eerste twee regels gelezen en heb toen geretweet. Pas toen collega Cobine vanmorgen zei: "Dat was nou eens een duidelijk schemaatje dat je doorstuurde," besefte ik hoe routineus ik aan het twitteren was geweest. Volg je - om leeftijdsredenen - maar 24 man en dan nóg lees je niet alles goed.
Voor straf moest ik van mezelf de tekst van het overzicht vertalen. Wellicht zijn er meer mensen die de moeite niet nemen als het in het Engels is. Dat vertalen viel nog niet mee; Amerikaans jargon is toch nét wat anders dan het Nederlandse en soms is het dan ook beter om te spreken van hertalen.
Het hele artikel vind je hier (12 pagina's, maar 6 daarvan zijn voetnoten, bibliografie en kaft, dus 6 pagina's lezen). Hieronder mijn poging tot vertaling.

Afgelopen dinsdag was ik uitgenodigd om in een bijeenkomst van OCW mee te praten over formatief toetsen. De uitnodiging:
Er is een beweging in het onderwijs naar meer formatief toetsen. De overheid wil deze beweging graag ondersteunen en formatieve evaluatie en een feedbackcultuur stimuleren. In een bijeenkomst delen onderwijsprofessionals, deskundigen van SLO en universiteiten, toets- en methodeontwikkelaars en belangenorganisaties kennis en ervaring.
Vragen die aan bod komen, zijn onder andere:

• Wat doen scholen om formatieve evaluatie en feedback te bevorderen?
• Wat zijn randvoorwaarden voor succes en wat zijn belemmeringen?
• Aan welke instrumenten en ondersteuning hebben scholen behoefte?
• Welke rol kan de overheid spelen om formatieve evaluatie en een feedback cultuur te stimuleren?

Ik was uitgenodigd omdat ik een week tevoren op een SLO-bijeenkomst (Toetsen om te leren) had gepresenteerd hoe de Odulphushavo in Tilburg in zijn onderwijsvernieuwing vanaf 2012 omgegaan was met cijfergeving, welk ontwikkeling was doorgemaakt en waar de school nu staat. Dit praktijkverhaal sprak veel mensen aan. Zeker de worsteling van traditionele leraren (het Odulphuslyceum bestaat 117 jaar, glas-in-loodramen, traditie, opa zat er ook op school) met het loslaten van ‘zekerheden’ (ook al zie je eigenlijk wel dat die zekerheden je in de weg zitten).
Ik mag in dit enthousiaste team de onderwijsontwikkelaar zijn. In het begin zette ik de lijnen uit. Daarbij ging ik uit van het Odulphusprobleem: hoe motiveer ik de havoleerling (dit blijkt trouwens geen exclusief Odulphusprobleem) en nam ik vrij beschikbaar onderzoek serieus (zittenblijven werkt niet, de relatie leraar-leerling is dé factor voor geslaagd onderwijs, leren=werken). Het eigenaarschap voor het onderwijs in de klas ligt bij iedere leraar, zoals deze ook probeert om het eigenaarschap van het leren bij de leerling te leggen.

Deze bijeenkomst (op de 16e verdieping, provinciaal neemt foto) leerde mij dat veel mensen op allerlei niveaus en met eigen kwaliteiten goed aan het werk zijn (Lees ook Share the system nog eens). Deze keer zag ik een ambtenarenteam aan het werk en ik heb ervan genoten. Het organiseerde voorbeeldig, mobiliseerde ieders expertise, was nieuwsgierig en verzamelde in een middag een schat aan informatie. Discussieleiders pikten snel grotere lijnen en parallellen op en vatten deskundig samen. 21e eeuwvaardigheden alom.
Tijdens de plenaire slotronde kon ik ook nog kwijt dat ik in de laatste ronde (Wie gaat nu welke actie ondernemen) had gemist de structuur/ het ministerie. Sander Dekker zegt in dit interview dat Nederland maar twee verplichte summatieve toetsen kent, maar hij vergeet dat iedere school een PTA moet hebben, waarin herkansingen geregeld zijn. Zo gauw je over herkansingen begint, ben je summatief bezig. Met een summatief centraal examen kan ik leven (zonder ook), maar nu is alles verplicht summatief, terwijl je eigenlijk je kinderen wat wil leren. Niet voor de toets, maar voor hun leven. Die PTA-verplichting moet echt weg; de syllabi voldoen prima.

Tot slot: een beetje bekroop me het vervelende gevoel dat formatief toetsen als hét redmiddel van het onderwijs wordt gezien. Dát gaat de motivatie verhogen, dát gaat uitval voorkomen. En daarmee zou je kunnen vergeten dat onderwijs voor leerlingen vooral betekenisvol moet zijn. Zij moeten het idee hebben dat school hen vooruithelpt in het leven. Zij moeten eigen doelen leren stellen door het te mogen. Zij moeten ook doelloos onderwijs krijgen: gewoon kijken hoever je kunt komen en waar het schip strandt.
Een beetje zoals die ambtenaren de middag in stapten: leid ons maar, we zijn als een gek aan het leren en met jullie input creëren we weer nieuwe uitdagingen. Spannend en zinvol met een open einde, geen vooropgesteld doel. Want dat was aan het eind van de middag ook een mooie uitkomst: Er moet onderzoek komen dat bewijst dat formatief lesgeven werkt. Misschien is het net zo waar als de wijsheid kinderen te laten doubleren.