Regeling beoordelingsnormen doorstroomtoetsen PO

Geraadpleegd op 01-05-2025.
Geldend van 01-03-2025 t/m heden

Origineel opschrift en aanhef

Regeling van het College voor toetsen en examens van 28 november 2022, nummer CvTE-22.00977, houdende vaststelling van de regeling voor de procedure om te komen tot de beoordelingsnormen van de doorstroomtoetsen (Regeling beoordelingsnormen doorstroomtoetsen PO)

Het College voor toetsen en examens,

Gelet op artikel 3a, eerste lid, onderdeel f, van de Wet College voor toetsen en examens;

Gezien de goedkeuring van de Minister voor Primair en Voortgezet Onderwijs, gegeven op 4 november 2022, nummer 1303595,

Besluit:

Artikel 1. Beoordelingskader

De regeling voor de procedure om te komen tot de beoordelingsnormen van de doorstroomtoetsen als bedoeld in artikel 3a, eerste lid, onderdeel f van de Wet College voor toetsen en examens wordt vastgesteld als opgenomen in de bijlage van deze regeling.

Artikel 2. Technische specificaties levering van gegevens voor de beoordeling van de doorstroomtoetsen

De technische specificaties voor de levering van de gegevens voor de beoordeling van de doorstroomtoetsen, als bedoeld in artikel 1, worden beschreven in het handboek doorstroomtoets en het handboek normering of aanvullingen daarop, zoals gepubliceerd op de website van het College voor toetsen en examens (cvte.nl/onderwerpen/toetsen-primair-onderwijs).

Artikel 3. Inwerkingtreding

Deze regeling treedt in werking op het tijdstip waarop artikel VIII, onderdeel B, van de Wet van 9 februari 2022 tot wijziging van een aantal onderwijswetten in verband met aanpassingen op het gebied van de doorstroom van het basisonderwijs naar het voortgezet onderwijs en wijziging van de stelselinrichting van doorstroomtoetsen en toetsen verbonden aan leerling- en onderwijsvolgsystemen in het basisonderwijs (Stb. 2022, 135) in werking treedt.

Artikel 4. Citeertitel

Deze regeling wordt aangehaald als: Regeling beoordelingsnormen doorstroomtoetsen PO.

Origineel slotformulier en ondertekening

Deze regeling zal met de toelichting in de Staatscourant worden geplaatst.

Het College voor toetsen en examens,

de voorzitter,

J.H. van der Vegt

Bijlage 1. De procedure om te komen tot de beoordelingsnormen van de doorstroomtoetsen

Bijlage behorende bij artikel 1 van de Regeling beoordelingsnormen doorstroomtoetsen PO

1. Inleiding

1.1. Reikwijdte

De Regeling beoordelingsnormen doorstroomtoetsen po bevat algemeen verbindende voorschriften voor toetsaanbieders van een tot het stelsel toegelaten doorstroomtoets po. De Regeling beoordelingskader doorstroomtoetsen po schrijft voor dat een toets alleen zal worden erkend als de procedure om te komen tot de beoordelingsnormen van de doorstroomtoets wordt gevolgd.

De Regeling Beoordelingsnormen Doorstroomtoetsen po beschrijft de inhoud en de processtappen van de volgende sleutelonderdelen, met verwijzing naar de paragrafen met kwaliteitseisen zoals opgenomen in de Regeling beoordelingskader doorstroomtoetsen po:

Ter voorbereiding op de landelijke (toetsoverstijgende) normering:

• • Gezamenlijk anker

De landelijke (toetsoverstijgende) normering (conform deze onderhavige Regeling beoordelingsnormen doorstroomtoetsen po).

Na afronding van de landelijke (toetsoverstijgende) normering:

• • Datalevering toelatings- en doorstroomonderzoek

Een doorstroomtoets wordt erkend door het CvTE voor een periode van vier jaar, mits deze voldoet aan de voorwaarden voor erkenning en de regeling beoordelingskader doorstroomtoetsen po.

Jaarlijks zal het CvTE vaststellen of de in dat schooljaar aan te bieden erkende doorstroomtoets voldoet aan de criteria op basis waarvan de erkenning is verleend. De erkende doorstroomtoets is onderdeel van de jaarlijks door een adviseur uit te voeren landelijke normeringsprocedure zoals beschreven in deze Regeling Beoordelingsnormen. Als een doorstroomtoets niet (langer) aan de voorschriften van deze Regeling Beoordelingsnormen voldoet, kan de erkenning door het CvTE worden ingetrokken op grond van artikel 3a, vierde lid, van de Wet College voor toetsen en examens.

1.2. Begrippen en definities

Anker	Het anker bestaat uit opgaven die in twee of meer toetsen worden opgenomen om verschillen in de moeilijkheidsgraad tussen de betreffende toetsen vast te kunnen stellen
Ankerbank	De bank met vastgestelde gezamenlijk ankeropgaven.
Ankeropgave	Een opgave in het anker
Aspirant-ankeropgave	Een opgave die mogelijk in het gezamenlijk anker opgenomen kan worden, maar nog niet als zodanig is vastgesteld.
Betrouwbaarheid	Mate waarin de toetsscores vrij zijn van toevallige meetfouten.
CAT	Computergestuurde adaptieve toets (CAT) op opgaveniveau.
Cesuur	Minimale prestatie (gerepresenteerd als vaardigheid of toetsscore) die net indicatief is voor het halen van een (referentie)niveau of toetsadviescategorie.
Equivaleren	verschillende doorstroomtoetsen op dezelfde schaal brengen.
Jaarset	De selectie van gezamenlijk ankeropgaven uit de ankerbank die in een bepaald afnamejaar wordt afgenomen.
Kindopgave	Aangepaste versie van een ankeropgave van een toetsaanbieder om de opgave te laten aansluiten bij een specifieke doorstroomtoets.
MAND server	Beveiligde server die CvTE beschikbaar stelt om gegevens te delen
Moederopgave	Basisversie van een ankeropgave in de ankerbank. Een aspirant-ankeropgave kan een moederopgave worden als het is gepretest en initiële psychometrische parameters bekend zijn, en de opgave inhoudelijk en psychometrisch voldoet. Eventuele kindopgaven zijn afgeleid van deze versie.
Pretest	Hier wordt dezelfde definitie toegepast als in het beoordelingskader, wat betekent dat dit zowel afnamen los van de operationele afname kan betreffen, alsook de afname in de high-stakes doorstroomtoets met beperkte exposure (zaaien).
Stichting Cito	Het onderdeel van stichting Cito waar de wettelijke adviestaak voor het CvTE belegd is, de adviseur.
Toetsaanbieder	Aanbieder van een doorstroomtoets.
Werkgroep gezamenlijk anker	Een werkgroep waar alle toetsaanbieders in het stelsel vertegenwoordigd zijn.

1.3. Eisen aan de software

De functionaliteit van de software dient passend en toereikend te zijn voor het uitvoeren van de landelijke (toetsoverstijgende) normeringsprocedure, voor gebruik van een twee parameter logistisch itemresponsemodel (2PL) – dat wil zeggen een model waarin de moeilijkheidsgraad en het onderscheidend vermogen van de toetsopgaven worden meegenomen.

Het CvTE laat periodiek de software, die door de adviseur wordt gebruikt voor de landelijke toetsoverstijgende normering, extern valideren op bovenstaande criteria.

2. Gezamenlijk anker

Het gezamenlijk anker is een verzameling van opgaven die in alle doorstroomtoetsen wordt opgenomen om verschillen in de moeilijkheidsgraad tussen de betreffende doorstroomtoetsen vast te kunnen stellen en daarmee zowel de vergelijkbaarheid tussen doorstroomtoetsen als over jaren heen te waarborgen. Het ankerbankbeheer is belegd bij Stichting Cito.

2.1. Uitgangspunten gezamenlijk anker

• • Het gezamenlijke anker is bij wet een instrument waar alle toetsaanbieders aan mogen bijdragen door het leveren van opgaven.

• • Het gezamenlijk anker wordt gebruikt om de toetsadviezen en de behaalde referentieniveaus voor Lezen, Taalverzorging en Rekenen van de verschillende doorstroomtoetsen te equivaleren.

• • Om de vergelijkbaarheid tussen de toetsen te vergroten is het belangrijk dat al vanaf een vroeg stadium in de opgaveconstructie er rekening mee wordt gehouden dat de opgaven met minimale aanpassingen weergegeven kunnen worden in alle toetsplatformen, en dat de opgaven inhoudelijk bij de reguliere opgaven van alle toetsen aansluiten.

• • Het gezamenlijk anker bevat opgaven die afneembaar zijn en onderwijskundig en psychometrisch passen bij alle doorstroomtoetsen.

• • Het gezamenlijk anker voor een bepaald afnamejaar is gebaseerd op het voor dat jaar geldende beoordelingskader, toetswijzer en toetsbesluit1.

• • De toetsmatrijs is de basis voor het ontwikkelen van nieuwe gezamenlijk ankeropgaven en het samenstellen van de jaarset (zie paragraaf 2.4).

• • De toetsaanbieders zorgen voor geheimhouding van de gezamenlijk ankeropgaven. De inhoud van gezamenlijk ankeropgaven wordt alleen gedeeld via een speciaal hiervoor opgezette server, en dus niet via e-mail of online vergaderingen. Gecontroleerde exposure van de opgaven draagt ook bij aan de geheimhouding.

• • De toetsaanbieders accepteren ieder afnamejaar de jaarset van gezamenlijk ankeropgaven (zie ook 2.2.1D) en nemen dit volledig (d.w.z.: alle opgaven) op in hun toets.

• • De jaarsets van het gezamenlijk anker worden jaarlijks vernieuwd volgens de hieronder beschreven verversingsstrategie (zie 2.2.1F).

• • Het gezamenlijk anker wordt in iedere doorstroomtoets op een manier afgenomen zodat de prestatie op deze opgaven de potentie van leerlingen reflecteert.

• • Er bestaat een link tussen de verschillende jaarsets van het gezamenlijk anker. Dat betekent dat er in de jaarset ook ankeropgaven opgenomen zijn die in een eerdere afname gebruikt zijn.

• • Het CvTE stelt de jaarset van het gezamenlijk anker vast. Een jaarset kan daarna niet meer gewijzigd worden, tenzij na afname van het er aan voorafgaande jaar een opgave psychometrisch niet blijkt te functioneren als anker. De adviescommissie verifieert bij de vaststelling of het gezamenlijk anker voldoet aan de eisen zoals geformuleerd in deze regeling (zoals samenstelling e.d.).

2.2. De ankercyclus

Deze paragraaf beschrijft de levenscyclus van een ankeropgave. Per stap wordt beschreven wat de te nemen acties zijn, wie wat oplevert, en hoe de verantwoordelijkheden zijn belegd.

2.2.1. Stappen in de ankercyclus

A. Inventarisatie van de ankerbank

Er wordt een inventarisatie gemaakt van de hoeveelheid beschikbaar materiaal in de huidige ankerbank in relatie tot de toetsmatrijs (zie paragraaf 2.4) en de verversingsstrategie (zie stap F). Op basis hiervan wordt door het CvTE aan de ankerbankbeheerder de opdracht gegeven tot het opleveren van een nieuwe jaarset, waar afhankelijk van de inventarisatie een constructieopdracht aan verbonden is. Wanneer er een constructieopdracht nodig blijkt om de jaarset te kunnen leveren, dan zal deze met de toetsaanbieders gedeeld worden.

B. Constructieopdracht

De constructieopdracht geeft aan wat voor opgaven opgeleverd moeten worden aan de ankerbankbeheerder en aan welke eisen deze moeten voldoen.

C. Constructie en selectie

De aspirant-ankeropgaven doorlopen in principe hetzelfde traject als normale opgaven voor doorstroomtoetsen: ze moeten voldoen aan dezelfde eisen als reguliere opgaven zoals beschreven in het beoordelingskader.

Opgaven dienen daarom ook gepretest te worden voordat ze opgenomen kunnen worden in de ankerbank. Hier zijn twee routes voor:

• A. Toetsaanbieders leveren opgavemateriaal aan, wat vervolgens in de werkgroep gezamenlijk anker besproken wordt en indien nodig aangepast. Geselecteerde opgaven worden vervolgens in verhouding tot het aantal ingeschreven leerlingen.verdeeld over de toetsen om gepretest te worden. Als de opgaven na de pretest aan de psychometrische eisen blijken te voldoen, kunnen de opgaven opgenomen worden in de ankerbank.

• B. Toetsaanbieders leveren reeds gepreteste opgaven aan. Dit kan uit hun reeds bestaande bank, of gericht geconstrueerd volgens de opdracht. De opgaven worden besproken in de werkgroep gezamenlijk anker en eventueel geselecteerd om in de ankerbank te worden opgenomen. Eventueel kunnen inhoudelijke aanpassingen voorgesteld worden. Bij grote aanpassingen zal het CvTE besluiten dat een opgave eerst opnieuw in een pretest moet worden opgenomen.

Voordat opgaven gepretest worden in optie A of na een voorgestelde wijziging in route B, dienen de opgaven te zijn voorgelegd en als goed te zijn beoordeeld door de onderwijskundige beoordeling van het CvTE.

Naast de inhoudelijke eisen zoals gespecificeerd in de constructieopdracht moeten de opgaven aan psychometrische eisen voldoen (zie paragraaf 2.3.2).

D. Definitieve selectie en vaststelling jaarset gezamenlijk anker

Uit de ankerbank wordt een selectie gemaakt voor een jaarset met daarin de gezamenlijk ankeropgaven die worden afgenomen in een bepaald afnamejaar. Deze wordt vastgesteld door het CvTE. De in de bank opgenomen moederopgaven worden vervolgens door de toetsaanbieders overgenomen en eventueel aangepast zodat ze geschikt zijn voor hun doorstroomtoets. Hierbij worden de richtlijnen uit paragraaf 2.3.4 in acht genomen om mogelijke bias te voorkomen. Aangepaste opgaven of kindopgaven worden ter goedkeuring schriftelijk voorgelegd aan het CvTE. Goedgekeurde kindopgaven kunnen worden opgenomen in de doorstroomtoetsen.

E. Afname en analyse

Nadat de doorstroomtoetsen afgenomen zijn, wordt tijdens de kalibratie ten behoeve van de landelijke normering gecontroleerd of de ankeropgaven voldoen aan de psychometrische eisen van een goed anker. Als dit het geval is, worden ze ook daadwerkelijk gebruikt voor de equivalering van de verschillende doorstroomtoetsen en afnamejaren. Indien een ankeropgave psychometrisch voldoet, zal deze ook meetellen in de totaalscore van de leerling. Wanneer een ankeropgave in de afname niet blijkt te voldoen, kan dit afhankelijk van de details verschillende gevolgen hebben. Als een opgave niet blijkt te functioneren in de high-stakes afname in alle toetsen of toetsvarianten kan de ankeropgave compleet verworpen worden, waardoor de opgave niet meer meewerkt in de equivalering en ook niet meer meetelt in de score van de leerlingen. In het geval van toets-DIF kan er bijvoorbeeld ook gekozen worden om de ankeropgave bij één toets(variant) of bij een deel van de toetsen los te koppelen, waardoor deze opgave voor deze toets(variant) geen rol speelt in de equivalering, maar de opgave wel gebruikt kan worden in de vaardigheidsschattingen en scoring van de leerlingen.

Afhankelijk van de analyse kan een opgave vervolgens aangepast worden voor een volgende high-stakes afname, of wordt de opgave compleet verwijderd uit de ankerbank. Naast toets-DIF kan er tussen afnamejaren ook parameterdrift plaatsvinden bij een ankeropgave. In dit geval kunnen soortgelijke maatregelen getroffen worden.

F. Verversingsstrategie

Er wordt een verversingsstrategie van 50% nagestreefd. Dit betekent dat iedere jaarset idealiter voor ieder vaardigheidsdomein voor de helft uit opgaven bestaat die voor het eerst ingezet worden. Een kwart van de jaarset bestaat uit opgaven die een jaar eerder in de jaarset opgenomen waren, en een kwart uit opgaven die voor het laatst meer dan een jaar geleden geselecteerd zijn.

	Fractie opgaven in jaarset jaar X
Nieuwe opgaven	50%
Opgaven uit jaarset jaar X-1	25%
Opgaven uit jaarsets van jaar X-2 of eerder	25%

Nadat een opgave in 3 jaarsets is opgenomen, wordt de opgave niet meer geselecteerd. Een opgave mag maximaal 5 jaar na de eerste opname in een jaarset nog geselecteerd worden.

2.3. Richtlijnen

2.3.1. Richtlijnen rond de constructie van ankeropgaven

• • Ankeropgaven moeten voldoen aan de kwaliteitscriteria V2 en V3 van het beoordelingskader.

• • Ankeropgaven kunnen met minimale aanpassingen bij alle toetsaanbieders afgenomen worden conform de richtlijnen in paragraaf 2.3.4 (richtlijnen afname).

• • Ankeropgaven zijn lokaal onafhankelijk.

• • In alle ankeropgaven wordt gebruik gemaakt van interpunctie (starten met hoofdletter, eindigen met een punt).

• • Geen sleepvragen, cloze-items of opgaven met ‘aanklikken van zinsdelen’.

• • Meerkeuze-opgaven voldoen aan de eisen uit de Checklist voor het beoordelen van de kwaliteit van observatiecategorieën en toetsopgaven (CvTE, 2024).

• • Richtlijnen voor opgaven bij het onderdeel Lezen:

  • ○ Altijd twee of meer opgaven per tekst

  • ○ Bij voorkeur opgaven van twee of meer taakuitvoeringen per tekst

• • Richtlijnen voor opgaven bij het subdomein Taalverzorging:

  • ○ Voor het onderdeel spelling niet-werkwoorden bestaat een set dictee-opgaven en een set niet-dictee-opgaven.

2.3.2. Richtlijnen rond de selectie van ankeropgaven

Deze richtlijnen betreffen de selectie van de moederopgaven waarvoor in een pretest gegevens zijn verzameld. Wanneer deze opgaven geselecteerd worden, kan iedere toetsaanbieder een eigen kindopgave van deze opgave maken dat zo min mogelijk afwijkt van de moederopgave, maar past bij de eigen vormgeving. Ingediende opgaven hebben niet eerder in een doorstroomtoets van een aanbieder gezeten, tenzij dit in een zaaisteekproef was zoals omschreven in 5.2 van de Regeling beoordelingskader doorstroomtoets PO.

• • Op basis van pretestgegevens voldoen de ankeropgaven in ieder geval aan de volgende eisen:

  • ○ P-waarde is lager dan 0,80 en groter dan 0,302.

  • ○ Opgaven hebben een rir groter dan 0,20

  Als de steekproefpopulatie van de pretest sterk afwijkt van de toetspopulatie kan een schatting van de p-waarde en rir gemaakt worden door middel van een simulatie.

• • Binnen een jaarset van een vaardigheidsdomein hebben de opgaven voldoende spreiding in moeilijkheid zodat er betrouwbaar in een breed vaardigheidsgebied gemeten kan worden, en moet er voldoende spreiding in de inhoudelijke kenmerken zitten.

• • Wanneer reeds gepreteste aspirant-ankeropgaven aangeboden worden aan de werkgroep gezamenlijk anker moet bekend zijn hoe vaak en met hoeveel observaties deze opgaven eerder door de toetsaanbieder zijn afgenomen in een pretestsituatie.

• • Leesteksten worden niet meer dan twee jaar achter elkaar geselecteerd in een jaarset.

2.3.3. Richtlijnen rond de opslag van ankeropgaven

• • Labels worden toegekend door de ankerbankbeheerder en dienen eenduidig te zijn en niet veranderd te worden. Deze behoren geen informatie te bevatten (zoals een afnamejaar) en functioneren alleen ter identificering van de opgave.

  • ○ Rekenen: AR0001, AR0002, enzovoort.

  • ○ Taal: AT0001, AT0002, enzovoort.

  • ○ Lezen: ALAA01, ALAA02, ALAB01, ALAB02, enzovoort.

    Twee letters na AL geven de tekst aan, numerieke sortering moet gelijk zijn aan de volgorde van de opgaven bij een tekst.

• • Eenduidige omschrijving van typering/kenmerken van opgaven, gebaseerd op toetsmatrijs.

• • Van iedere opgave worden op een centrale server de volgende gegevens bijgehouden:

  • ○ De moederopgave in tekstvorm en eventuele bijbehorende afbeeldingen in hoge resolutie.

  • ○ Afbeeldingen van kindopgaven van alle toetsaanbieders en afnamejaren.

  • ○ Klassieke psychometrische gegevens zoals bekend uit de pretest.

• • Per toetsaanbieder en afnamejaar worden klassieke psychometrische gegevens en IRT-kenmerken bijgehouden.

• • De ankerbank wordt regelmatig gecontroleerd op actualiteit door de ankerbeheerder in samenspraak met de werkgroep gezamenlijk anker, eventueel voortschrijdend inhoudelijk inzicht of veranderingen in technische mogelijkheden.

2.3.4. Richtlijnen rond de afname van het anker in de doorstroomtoets

• • De jaarset van het gezamenlijk anker kan integraal worden afgenomen in een aparte toetsvariant of in deelsets verdeeld zijn over verschillende afnamevarianten. Het is daarbij een vereiste dat de verschillende afnames van het gezamenlijk anker bij een toetsaanbieder ook via een intern anker zijn gekoppeld aan de rest van de afname(varianten) zodat er een verbonden design ontstaat wat met de gefixeerde jaarset van het gezamenlijk anker gekalibreerd kan worden.

• • Het gezamenlijk anker wordt voorgelegd aan een steekproef van leerlingen uit het regulier basisonderwijs die representatief is voor de toetsaanbieder van de doorstroomtoets. In het geval dat deelsets worden voorgelegd dient iedere deelset aan een representatieve steekproef voorgelegd te worden.

• • Iedere ankeropgave wordt aan tenminste 1000 leerlingen voorgelegd.

• • De ankeropgaven zijn zodanig over de toets verspreid dat de positie minimale invloed heeft op de prestatie van de leerlingen op deze opgaven. Concreet betekent dit dat de ankeropgaven niet helemaal voorin of achterin de toets geplaatst zijn op een bepaalde afnamedag of toetstaak3.

• • De ankeropgaven vallen qua inhoud en vormgeving niet herkenbaar op tussen de reguliere opgaven in de toets. Ze worden niet in een afwijkend blok afgenomen maar vermengd met reguliere opgaven van hetzelfde vaardigheidsdomein.

• • Toetsaanbieders kunnen minimale aanpassingen doen in de ankeropgaven om deze afneembaar te maken voor hun eigen doorstroomtoets en ze beter te integreren, mits goedgekeurd door het CvTE. Dit kan zijn:

  • ○ Aanpassingen in lay-out zodat de opgave past in de toetsvorm of de afnamespeler van toetsaanbieder.

  • ○ Kleine tekstuele wijzingen in tekst ter bevordering van consistentie over de toets.

  • ○ Kleine wijzigingen in de opmaak van afbeeldingen ten behoeve van de consistentie.

  Deze lijst kan verder uitgebreid en geconcretiseerd worden. Ook kan deze lijst aangevuld worden met aanpassingen die niet doorgevoerd mogen worden, omdat is gebleken dat een dergelijke aanpassing tot DIF kan leiden. Dit zal gaandeweg gebeuren binnen de werkgroep gezamenlijk anker. De aanpassingen mogen geen itembias tot gevolg hebben. De gemaakte afspraken worden vastgelegd in een overzicht werkafspraken met de toetsaanbieders.

• • De gezamenlijk ankeropgaven tellen mee in de vaardigheidsschattingen en totaalscores van de leerlingen4, tenzij de opgaven na analyse afgekeurd zijn bij de kalibratie t.b.v. de landelijke normering zoals omschreven in 2.2.1E.

2.3.5. Geheimhoudingsverplichting

Het is niet toegestaan vastgestelde ankeropgaven zonder overleg met CvTE elders te gebruiken. Toetsaanbieders zullen aan derden geen informatie, kennis of gegevens openbaren of doen openbaren, op welke wijze dan ook, met betrekking tot de ankerbank, het gezamenlijk anker en alle andere informatie die aan hen bekend is geworden en waarvan zij redelijkerwijs moeten begrijpen dat deze informatie van vertrouwelijke aard is.

Deze geheimhoudingsplicht blijft van kracht op het moment dat een toetsaanbieder niet langer een doorstroomtoets aanbiedt.

2.4. Toetsmatrijs

Tijdens de selectie van de jaarsets van het gezamenlijk anker worden de volgende uitgangspunten gehanteerd:

• • Iedere jaarset van het gezamenlijk anker bevat voor ieder verplicht onderdeel 20 opgaven.

• • Binnen ieder domein bestaat de jaarset uit een gelijke verhouding opgaven van referentieniveau 1F en 2F (voor Taalverzorging en Lezen) /1S (voor Rekenen).

De toetsmatrijs geldt als richtlijn voor de vaststelling van iedere jaarset, hier kan van jaar op jaar in beperkte mate van afgeweken worden, bijvoorbeeld als de vulling van de bank niet toereikend is:

Lezen

Subdomein	Taakuitvoering	Aantal
Zakelijke teksten (16)	Techniek en woordenschat	2
	Begrijpen	4
	Interpreteren	2
	Samenvatten	4
	Opzoeken	4
Fictionele/narratieve/literaire teksten (4)	Begrijpen	2
	Interpreteren	2

Taalverzorging

Onderdeel	Categorie	Aantal
Interpunctie (6)	Leestekens	6
Spelling niet-werkwoorden (7)	Lettergreepgrenzen	1
	Morfologisch	4
	Overige regels1	2
Spelling werkwoorden (7)	Morfologisch	7

¹ Onder overige regels worden spelambigue woorden (logografische spelling), schrijfwijze van tussenklanken en gebruik van trema en koppelteken bedoeld (Meijerink, 2009).

Rekenen

Domein	Onderdeel	Aantal
Getallen (7, >1 kaal, >2 context)	Notatie, taal en betekenis	1
	Verbanden	2
	Gebruiken	4
Verhoudingen (5, >1 kaal, >2 context)	Verbanden	2
	Gebruiken	3
Meten en meetkunde (5)	Verbanden	3
	Gebruiken	2
Verbanden (3)	Verbanden	1
	Gebruiken	2

3. Landelijke (toetsoverstijgende) normering

Na afname van de varianten van de doorstroomtoetsen van het vigerende kalenderjaar, start de landelijke (toetsoverstijgende) normering. In deze Regeling Beoordelingsnormen Doorstroomtoetsen po worden normeringsstappen beschreven. Het CvTE stelt vervolgens voor ieder van de afgenomen doorstroomtoetsen de normering vast.

Om recht te doen aan een betrouwbare en valide inschatting van het vaardigheidsniveau van leerlingen, het vergroten van de vergelijkbaarheid, in het geval van een calamiteit of anderszins gewichtige reden, kan het CvTE besluiten om van de in deze Regeling Beoordelingsnormen Doorstroomtoetsen po beschreven wijze van normering af te wijken.

In het geval van ingrijpen door het CvTE omdat de normering bij een specifieke doorstroomtoets niet kan worden uitgevoerd, kan dat consequenties hebben voor de erkenning of toelating van de betreffende doorstroomtoets voor het erop volgende jaar.

3.1. Planning en aanleveren en data

In onderstaande tabel staat de planning van de normeringsfasen beschreven. Een gedetailleerde beschrijving van de werkzaamheden is beschreven in de volgende paragrafen. Het is uiteraard mogelijk dat een stap eerder is afgerond dan de deadline. Het CvTE kan in bijzondere gevallen genoodzaakt zijn de genoemde data aan te passen en zal in dat geval de nieuwe planning met de toetsaanbieders delen.

Fase	Code	Stap	Wie	Deadline
1. Datalevering
	Leveren benodigde gegevens		Toetsaanbieders plaatsen data op de MAND server	Maandag na de laatste week van de officiële afnameperiode(09:00)
2. Kalibratie gezamenlijk ankeropgaven
	Levering resultaten		Stichting Cito plaatst resultaten op de MAND server	donderdag na de laatste week van de officiële afnameperiode (09:00)
Re 1. (optioneel) Update datalevering
	Definitieve datalevering toetsaanbieders (optioneel)		Toetsaanbieders plaatsen data op de MAND serve	vrijdag na de laatste week van de officiele afnameperiode (09:00)
3. Normeringsprocedure IRT
	Voorlopige normeringsvergadering CvTE		Stichting Cito aan CvTE	Dinsdag, de week na datalevering (09:00)
4. Definitieve beslissing normering
	CvTE beslist over de definitieve normering		Stichting Cito en CvTE	Dinsdag, de week na datalevering (uiterlijk 16:00)
	Presentatie van definitieve normering aan afstemmingsoverleg		Stichting Cito aan Toetsaanbieders	Dinsdag, de week na datalevering (16:00–18:00)

3.2. Datalevering

De toetsaanbieder is verantwoordelijk voor het correct, tijdig, volledig en veilig beschikbaar stellen van consistente data uit de operationele afname van de varianten die zijn afgenomen in het betreffende jaar.

De toetsaanbieder levert voor de landelijke normering de voorgeschreven gegevens over de afgenomen doorstroomtoets op de MAND server.

De data (1.) dient op de in de tabel opgenomen datum aangeleverd te zijn. Pas wanneer de data gecontroleerd is, kan de kalibratie van de gezamenlijk ankeropgaven gestart worden. Daarna wordt eventueel nieuwe, aangevulde data (Re 1.) aangeleverd. Voorafgaand aan de campagne zal aan iedere toetsaanbieder gevraagd worden of zij de intentie hebben van deze gelegenheid gebruik te maken. Het format en de controle van deze optionele levering zijn gelijk aan die bij de initiële aanlevering.

Wanneer de controles van de data interne inconsistenties uitwijzen, wordt de toetsaanbieder hiervan op de hoogte gesteld. Het CvTE en Stichting Cito zullen de data niet bewerken anders dan voorzien en beschreven is in deze regeling. Wanneer er vertragingen in aanlevering van de data optreden kan het normeringsproces vertraging oplopen.

De toetsaanbieder levert een zo compleet mogelijke dataset, die bestaat uit ruwe scores en andere kenmerken van leerlingen van zowel het regulier basisonderwijs als speciaal (basis)onderwijs, maar exclusief NOB-scholen en particuliere scholen. Minimaal moet de dataset bij de uiteindelijke datalevering resultaten van 50% van het totale aantal inschrijvingen van een doorstroomtoets bevatten. Alle dataleveringen bevatten minstens 1000 observaties per gezamenlijk ankeropgave uit de verplicht op te nemen jaarset van het gezamenlijk anker. Leerlingen die speciale toetsversies maken, zoals bijvoorbeeld bij de toets voor blinden of slechthorenden of gebruik maken van de rekenkaart, worden niet geleverd en tellen niet mee in de hiervoor genoemde eisen. Leerlingen die een reguliere variant maken maar bijvoorbeeld van een verklanking gebruikmaken dienen wel geleverd te worden. Van opgaven die niet meetellen (bijvoorbeeld zaai-opgaven zoals beschreven in 5.2 scenario 2 van het Beoordelingskader of geneutraliseerde opgaven), worden geen afnamegegevens door de toetsaanbieder aangeleverd. Afgebroken en ongeldige afnames vormen geen deel van de datalevering door de toetsaanbieder.

Voordat de ruwe scores worden geleverd door de toetsaanbieder, heeft de toetsaanbieder een itemanalyse uitgevoerd om eventuele sleutelfouten en -uitbreidingen te signaleren. In de dataset die op de MAND-server wordt aangeleverd zijn deze fouten reeds gecorrigeerd door middel van sleutelwijzigingen of neutralisaties.

De data zal aangeleverd worden via de terminal server van het CvTE. Iedere toetsaanbieder heeft een map campagne van het betreffende jaar waarin de data geplaatst wordt.

De gegevens die geleverd zijn ten behoeve van de landelijke normering kunnen ook gebruikt worden voor nadere analyses door CvTE of Stichting Cito als daar behoefte aan is.

Indien de aan het CvTE geleverde data nog niet het volledige leerlingen aantal bevat levert de aanbieder voor het einde van de school/leerling rapportage periode de volledige data aan.

3.2.1. Data en structuur

De toetsaanbieder levert voor de normering:

• • Eén bestand met leerlinggegevens.

• • Voor ieder onderdeel een apart bestand met scoringsgegevens.

• • Eén bestand met p-waarden en aantal observaties van de items die opgenomen zijn in de analysedata (ter controle). Itemcodes dienen uniek te zijn over onderdelen heen.

• • Representativiteitsgegevens in de vorm van alle bekende schooladviezen.

De data worden aangeleverd in csv (uitgaande van de Nederlandse situatie, dus puntkomma-gescheiden en komma als decimaalscheidingsteken). De teruggeleverde databestanden gebruiken ditzelfde format. De toetsaanbieders leveren geen aparte toetsbeschrijving.

3.2.2. Leerlinggegevens

In het bestand met leerlinggegevens dienen de volgende variabelen opgenomen te worden:

Kolomnaam	Omschrijving
person_id	Leerlingidentificatiecode, numeriek of string. Niet herleidbaar naar persoonsgegevens.
populatie	Naam van populatie/toetsboekje/covariaat, optioneel en alleen van toepassing als er daadwerkelijk populaties zijn die aanleiding geven tot verschillende groepering in de MML-schatting.
schooltype	Schooltype, numeriek: BO = 1 SBO = 2 SO = 3 overig = 4
schoolcode	RIO instellingscode plus vestigingscode, in formaat 99XX00. Voorheen bekend als BRIN-nummer plus vestigingscode. Bij leerlingen van scholen waarvan in totaal minder dan 5 leerlingen zijn ingeschreven bij de toetsaanbieder mag waarde ‘<5’ gebruikt worden.
schooladvies	Schooladvies, numeriek: pro = 1 vmbo bb = 2 vmbo bb/kb = 3 vmbo kb = 4 vmbo kb/gt = 5 vmbo gt = 6 vmbo gt/havo = 7 havo = 8 havo/vwo = 9 vwo = 10 onbekend = 0 of >10

Als naamgeving van dit bestand wordt verwacht:

TOETS_leerlingen.csv

3.2.3. Scoringsgegevens

Voor de scoringsgegevens wordt zowel wide-format als long-format data verwerkt. Indien data in wide-format wordt aangeleverd dienen per onderdeel de volgende scoringsgegevens opgenomen te worden:

Kolomnaam	Omschrijving
person_id	Leerlingidentificatiecode, numeriek of string
item_ids...	Voor ieder item een kolom met als naam het label van het item, met daarin de score: 0 = incorrect (inclusief overgeslagen of leeggelaten items) 1 = correct leeg = missing by design

In wide-format data staat het complete resultaat van een leerling op één regel.

Indien data in long-format wordt aangeleverd dienen per onderdeel de volgende scoringsgegevens opgenomen te worden:

Kolomnaam	Omschrijving
person_id	Leerlingidentificatiecode, numeriek of string
item_id	Itemlabel
item_score	Item score: 0 = incorrect (inclusief overgeslagen of leeggelaten items) 1 = correct missing by design wordt niet geleverd

In long-format data vormt ieder leerling-item-paar een aparte regel.

Als naamgeving van het bestand met scoringsgegevens wordt verwacht:

TOETS_[naam onderdeel in hoofdletters].csv

Voor de verplichte onderdelen worden de namen LEZEN, REKENEN en TAAL verwacht.

3.2.4. Representativiteitsgegevens

Naast een controle op de representativiteit van de geleverde dataset, worden deze gegevens gebruikt om de landelijke prestaties op de doorstroomtoetsen te vergelijken met voorgaande jaren. De totale leerlingaantallen worden gevalideerd met behulp van inschrijfgegevens van DUO. In het bestand met representativiteitsgegevens dienen de volgende variabelen opgenomen te worden:

Kolomnaam	Omschrijving
schooladvies	Schooladvies, zelfde indeling als leerling gegevens
n	Aantal leerlingen met dit schooladvies in de complete dataset, ook van leerlingen die nog niet gescoord zijn, voor zover bekend en van alle onderwijstypen samen

Als naamgeving van het bestand met representativiteitsgegevens wordt verwacht:

TOETS_representativiteit.csv

3.2.5. Controlegegevens

In het controlebestand met p-waarden dienen tot slot de volgende gegevens te worden aangeleverd:

Kolomnaam	Omschrijving
item_id	Itemlabel
onderdeel	Naam van het onderdeel in hoofdletters, overeenkomend met de onderdeelnamen in de namen van de scoringsgegevens
n	Aantal observaties (alle onderwijstypen samen)
p_waarde	p-waarde van het item (alle onderwijstypen samen)

Als bestandnaam voor het controlebestand met p-waarden wordt verwacht:

TOETS_controle.csv

3.2.6. Datacontroles

Stichting Cito voert de volgende controles uit op de aangeleverde data:

• • Zijn alle bestanden aanwezig met de juiste namen en kolommen?

• • Zijn leerlingidentificatiecodes uniek?

• • Zijn alle schooltypes toegestaan?

• • Zijn items per leerling uniek?

• • Kloppen de p-waarden en aantallen observaties met het validatiebestand?

• • Bevat ieder verplicht onderdeel ankeropgaven? (labels conform parameterbestand)

• • Is het design verbonden?

• • Check op correcte leerlingkoppeling door correlatiecoëfficiënten van verschillende onderdelen uit te rekenen. Bij een correlatie lager dan 0,4 koppelt Stichting Cito terug aan de toetsaanbieder dat er een lage correlatie is geconstateerd, met het verzoek de koppeling op leerlingniveau te controleren. Wanneer de toetsaanbieder aangeeft dat de lage correlatie correct is zal Stichting Cito de normering uitvoeren op de aangeleverde data.

3.3. Normeringsprocedure

Nadat de gescoorde data door Stichting Cito zijn gecontroleerd en geanalyseerd volgt de landelijke (toetsoverstijgende) normeringsprocedure.

De normering wordt door Stichting Cito uitgevoerd met behulp van het gezamenlijke anker. De berekeningen worden uitgevoerd in daarvoor voorgeschreven gevalideerde software. De normeringsprocedure bestaat uit de volgende stappen:

• 1. kalibratie gezamenlijk ankeropgaven

• 2. doorrekening normering

• 3. toepassing normering

Periodiek worden de onderdeelgewichten en de cesuren voor de referentieniveaus en de toetsadviescategorieën geanalyseerd en zo nodig geactualiseerd. Hiervoor worden onder andere gegevens uit het meest recente Toelatings- en doorstroomonderzoek gebruikt.

3.3.1. Kalibratie gezamenlijk ankeropgaven

Voor ieder van de wettelijk verplichte onderdelen Lezen, Rekenen en Taalverzorging wordt de afnamedata van alle toetsaanbieders samengenomen. Deze data worden gekalibreerd in het 2PL-itemresponsmodel, waarbij iedere toets als afzonderlijke populatie in de MML5-kalibratie wordt behandeld. Alleen leerlingen van regulier basisonderwijs worden hierin meegenomen. Verder worden opgaven niet gebruikt wanneer:

• – de opgave minder dan 200 observaties heeft;

• – er sprake is van een item met slechts één responscategorie

• – de opgave een discriminatieparameter in het 2PL heeft van a < 0.1.

In deze kalibratie worden de gezamenlijk ankeropgaven die al in eerdere jaren opgenomen zijn geweest in de doorstroomtoetsen gefixeerd op de destijds vastgestelde parameters. Deze worden voorafgaand aan de campagne gedeeld door met de toetsaanbieders. Door deze parameterfixatie worden alle toetsen en ook gezamenlijk ankeropgaven die voor het eerst worden afgenomen op dezelfde schaal gebracht.

Alle gezamenlijk ankeropgaven worden gecontroleerd op mogelijk differentieel functioneren (DIF) tussen toetsen onderling, maar ook in vergelijking met doorstroomtoetsafnames uit het verleden (parameterdrift). Dit gebeurt door middel van een visuele inspectie van de itemcurves en een impactanalyse rondom de cesuurpunten van de referentieniveaus. Bij het constateren van differentieel functioneren wordt hiervoor gecompenseerd met de ingrepen zoals besproken in 2.2.1E. De bevindingen worden teruggerapporteerd aan de toetsaanbieders. Na het uitvoeren van deze procedure worden de parameters van de gezamenlijk ankeropgaven vastgesteld door het CvTE en gedeeld met de toetsaanbieders.

Teruglevering itemparameters gezamenlijk anker

Stichting Cito levert de toetsaanbieders een csv-bestand met gekalibreerde itemparameters, zowel van de bestaande als de nieuwe items van het gezamenlijk anker. Hierin staan de volgende kolommen:

Kolomnaam	Omschrijving
item_id	Itemlabel
item_score	Score van het item (1)
beta	Moeilijkheidsparameter
SE_beta	Standaardfout op moeilijkheidsparameter
alpha	Discriminatieparameter
SE_alpha	Standaardfout op discriminatieparameter
onderdeel	Het onderdeel van het item

Als bestandsnaam wordt gebruikt:

ankerparameters_JAAR.csv

Tevens levert Stichting Cito dan aan de toetsaanbieders een bestand met uitgeschakelde items die een te lage discriminatieparameter kregen in de initiële 2PL-kalibratie.

Kolomnaam	Omschrijving
item_id	Itemlabel
onderdeel	Het onderdeel behorende bij het item
alpha	Discriminatieparameter
beta	Moeilijkheidsparameter
SE_alpha	Standaardfout op discriminatieparameter
SE_beta	Standaardfout op moeilijkheidsparameter

Als bestandsnaam wordt gebruikt:

TOETS_uitgeschakeld_ankerkalibratie.csv

3.3.2. Doorrekening normering doorstroomtoetsen

De toetseigen opgaven van de verplichte onderdelen van iedere toetsaanbieder worden apart gekalibreerd in het 2PL-itemresponsmodel, waarbij het gezamenlijk anker wordt gefixeerd op de in stap 1 (kalibratie anker) verkregen parameters. Hierdoor worden de opgaven van iedere toets op dezelfde, vergelijkbare schaal gebracht. In deze procedure worden dezelfde eisen gesteld aan opgaven als in stap 1, en worden eveneens alleen resultaten van leerlingen uit het regulier basisonderwijs meegenomen.

Met deze parameters worden vervolgens vaardigheidsschattingen uitgevoerd voor alle leerlingen voor ieder verplicht toetsonderdeel. De vaardigheidsschattingen worden vergeleken met de meest recent bepaalde cesuurpunten voor de referentieniveaus 1F en 2F/1S voor de drie wettelijk verplichte onderdelen.

Voor iedere leerling van wie de gegevens zijn aangeleverd door de toetsaanbieder worden de vaardigheden op alle onderdelen die meetellen voor het toetsadvies samengevoegd tot een gemiddelde latente vaardigheid (GLV). De GLV’s worden vervolgens vergeleken met de meest recent door Stichting Cito vastgestelde cesuurpunten voor de toetsadviescategorieën om op basis hiervan een toetsadvies toe te kennen.

Referentieniveaus

Nadat de itemparameters geschat zijn, worden voor de drie verplichte onderdelen vaardigheidsschattingen uitgevoerd voor iedere leerling met behulp van Warm’s gewogen waarschijnlijkheidsschatter. Deze vaardigheidsschattingen worden vervolgens vergeleken met de cesuurpunten voor ieder van de referentieniveaus:

Tabel 1: cesuurpunten voor de referentieniveaus in de IRT-normering.

referentieniveau	cesuur
Lezen 1F	– 2.12085
Lezen 2F	– 0.81552
Rekenen 1F	– 1.59269
Rekenen 1S	0.02194
Taalverzorging 1F	– 2.00258
Taalverzorging 2F	– 0.43391

Van iedere doorstroomtoets zal de proportie referentieniveau behaald uitgerekend worden.

Toetsadviezen

De cesuurpunten voor de toetsadviezen zijn gedefinieerd op de GLV-schaal. De wegingsfactoren van de verschillende onderdelen in de GLV zijn:

Tabel 2: wegingsfactoren van de onderdelen voor de GLV.

lezen	rekenen	taal
0.3000	0.4500	0.2500

De GLV’s worden vervolgens vergeleken met cesuurpunten om iedere leerling op basis hiervan een toetsadvies toe te kennen:

Tabel 3: cesuurpunten voor de toetsadviezen op de GLV-schaal in de IRT-normering.

grenspunt	cesuur
pro/vmbo bb → vmbo bb/kb	– 2.16753
vmbo bb/kb → vmbo kb/gl-tl	– 1.13056
vmbo kb/gl-tl → vmbo gl-tl/havo	– 0.48615
vmbo gl-tl/havo → havo/vwo	0.18100
havo/vwo → vwo	0.79278

Teruglevering uitgeschakelde items

Dit bestand bevat de items die uitgeschakeld zijn in de IRT-kalibratie omdat ze een discriminatieparameter met een waarde lager dan 0.1 hebben gekregen in de initiële 2PL-kalibratie of te weinig observaties hadden. Als er geen items uitgeschakeld zijn wordt een leeg bestand opgeleverd. De volgende kolommen zijn opgenomen:

Kolomnaam	Omschrijving
item_id	Itemlabel
onderdeel	Het onderdeel behorende bij het item
alpha	Discriminatieparameter
beta	Moeilijkheidsparameter
SE_alpha	Standaardfout op discriminatieparameter
SE_beta	Standaardfout op moeilijkheidsparameter

Als bestandsnaam wordt gebruikt:

TOETS_uitgeschakeld.csv

Teruglevering itemparameters

Dit bestand bevat de itemparameters zoals geschat in de IRT-normering volgens het 2PL-model. De volgende kolommen zijn opgenomen:

Kolomnaam	Omschrijving
item_id	Itemlabel
onderdeel	Het onderdeel behorende bij het item
alpha	Discriminatieparameter
beta	Moeilijkheidsparameter
SE_alpha	Standaardfout op discriminatieparameter
SE_beta	Standaardfout op moeilijkheidsparameter

Als bestandsnaam wordt gebruikt:

TOETS_itemparameters.csv

Teruglevering populatieparameters

Bevat de MML-populatieparameters zoals geschat in de IRT-normering in het 2PL-model voor alle onderdelen. De volgende kolommen zijn opgenomen:

Kolomnaam	Omschrijving
populatie	Naam van populatie/toetsboekje/covariaat indien van toepassing, anders de naam van de toets
group_n	Aantal leerlingen in de populatie
onderdeel	Het onderdeel
mu	Populatiegemiddelde
sd	Standaarddeviatie van de populatie
SE_mu	Standaardfout op het populatiegemiddelde
SE_sd	Standaardfout op de standaarddeviatie van de populatie

Als bestandsnaam wordt gebruikt:

TOETS_populatieparameters.csv

Teruglevering vaardigheidsschattingen

Bevat voor iedere leerling de vaardigheid op ieder onderdeel in het 2PL-model, geschat via Warm’s gewogen waarschijnlijkheidsschatter. Tevens zijn de berekende GLV’s en de via de cesuren daaraan gerelateerde toetsadviezen hieraan toegevoegd. De volgende kolommen zijn opgenomen:

Kolomnaam	Omschrijving
person_id	Leerlingidentificatiecode
schooltype	Schooltype, zelfde indeling als leerlinggegevens
theta_[onderdeel]	Vaardigheidsschatting voor ieder onderdeel
glv	GLV
toetsadvies	Toetsadvies volgens de IRT-normering

Als bestandsnaam wordt gebruikt:

TOETS_vaardigheden.csv

Teruglevering referentieniveaus

Bevat een overzicht van de behaalde referentieniveaus in de IRT-normering in het 2PL-model, waarbij alleen leerlingen uit regulier BO zijn meegenomen. De volgende kolommen zijn opgenomen:

Kolomnaam	Omschrijving
onderdeel	Het onderdeel
niveau	Het referentieniveau
perc_behaald	Percentage behaald

Als bestandsnaam wordt gebruikt:

TOETS_referentieniveaus.csv

Teruglevering toetsadviezen

Bevat een overzicht met behaalde toetsadviezen in de IRT-normering. Alleen leerlingen uit regulier BO worden meegenomen. De volgende kolommen zijn opgenomen:

Kolomnaam	Omschrijving
toetsadvies	Het toetsadvies
perc_behaald	Percentage behaald

Als bestandsnaam wordt gebruikt:

TOETS_toetsadviezen.csv

Controle

Met behulp van een populatieschatting op basis van de voorlopige schooladviezen wordt een vergelijking tussen de toetsaanbieders gemaakt van de prestaties op de referentieniveaus en de verdeling van toetsadviezen. Hiervoor zal conditioneel op schooladvies een trekking worden uitgevoerd uit de behaalde referentieniveaus en toetsadviezen van de volledige landelijke populatie (voor zover de schooladviezen bekend zijn).

3.3.3. Toepassing normering doorstroomtoetsen

De in stap 2 (doorrekening normering doorstroomtoetsen) doorgerekende resultaten op de normeringssteekproef dienen slechts ter controle. Iedere toetsaanbieder past de vastgestelde normering, in de vorm van de in stap 1 (kalibratie gezamenlijk anker) vastgestelde parameterfixaties voor het gezamenlijk anker en de in stap 2 vastgestelde cesuren, zelf toe voor iedere deelnemende leerling ten behoeve van de rapportages. Indien een toets gebruikmaakt van een opgavebank of de steekproef te beperkt was, kunnen hierbij ook opgaven meegenomen worden die in de operationele afname van de doorstroomtoets minder dan 200 observaties hadden, mits voor die opgaven voldaan wordt aan de eisen voor itemparameterschattingen zoals genoemd in 5.2.1 doel B in het Beoordelingskader.

Nadat de toetsadviezen en referentieniveaus zijn uitgerekend voor de leerlingen in de met het CvTE en Stichting Cito gedeelde normeringssteekproef wordt de normering, inclusief de cesuren voor de referentieniveaus en de toetsadviescategorieën en de onderdeelgewichten, door het CvTE definitief vastgesteld.

3.3.4. Optionele onderdelen

Naast de wettelijk verplichte onderdelen worden ook de optionele onderdelen die meetellen in het toetsadvies van iedere toetsaanbieder door Stichting Cito gekalibreerd door middel van een voorgeschreven kalibratiewijze met bijbehorende schattingsmethode, uit te voeren in de extern gevalideerde software, waarbij per toetsaanbieder dezelfde populaties als bij de wettelijk verplichte onderdelen worden gebruikt.

4. Normering bij inzet OCW Doorstroomtoets

Omdat een mogelijk inzetscenario van de OCW Doorstroomtoets het uitlekken van gezamenlijk ankeropgaven is, bevat de OCW Doorstroomtoets geen gezamenlijk ankeropgaven. In plaats van een parameterfixatie op het gezamenlijk anker, worden de vaardigheidsschalen in de normering van de OCW Doorstroomtoets gefixeerd door middel van een koppeling naar de Centrale Eindtoets en/of DOE. De OCW Doorstroomtoets bestaat namelijk uit opgaven die via pretestafnames zijn gekoppeld aan afnames van de Centrale Eindtoets. Omdat de Centrale Eindtoets wel het gezamenlijk anker bevatte, kan via deze route de OCW Doorstroomtoets op dezelfde schaal gebracht worden als het gezamenlijk anker. Hiertoe zal een kalibratie met het 2PL-model gebruikt worden. Als deze schalen zijn overgezet, kunnen de cesuurpunten voor de referentieniveaus en toetsadviezen zoals beschreven in deze regeling toegepast worden om tot de waarden voor leerlingrapportages te komen.

Ruwweg worden twee scenario’s voor de inzet van de OCW Doorstroomtoets voorzien:

• 1. Een kleinschalige inzet vanwege een gelokaliseerde calamiteit, minder dan 1000 leerlingen.

• 2. Een grootschalige inzet met hoge leerlingaantallen.

Bij een kleinschalige inzet zijn er te weinig observaties van de opgaven uit de OCW Doorstroomtoets voor een betrouwbare kalibratie. In dat geval zal de OCW Doorstroomtoets vooraf gekalibreerd worden op basis van pretestgegevens, en worden de normeringen voor de (leerling)rapportages op deze kalibraties gebaseerd. Bij een grootschalige inzet zal wel een nieuwe kalibratie uitgevoerd worden op basis van de operationele afname. Voorwaarde hiervoor is echter wel dat er voldoende tijd is voor de rapportagedeadline van 15 maart. Of dit haalbaar is wordt beoordeeld en besloten in het calamiteitenteam

Omdat het gezamenlijk anker niet wordt afgenomen in de OCW Doorstroomtoets, zal de toets niet gecontroleerd worden in de reguliere landelijke toetsoverstijgende normering. Indien schooladviezen beschikbaar zijn van de deelnemende leerlingen kunnen de resultaten van de OCW Doorstroomtoets wel meegenomen worden om inzicht te krijgen in de landelijke relatie tussen schooladviezen en toetsadviezen. Hiertoe levert Stichting Cito team DOE/ OCW Doorstroomtoets een csv-bestand met voor iedere leerling het schooltype, het schooladvies, en de geschatte latente vaardigheden voor ieder onderdeel (zie voor de dataomschrijving de tabellen in paragraaf 3.3 en 5.7).

5. Datalevering toelatings- en doorstroomonderzoek

5.1. Achtergrond

Voor de normering moet o.a. toelatings- en doorstroomonderzoek (hierna: doorstroomonderzoek) verricht worden. Dit houdt in dat gekeken wordt hoe de resultaten die leerlingen behalen op een doorstroomtoets in groep 8 zich verhouden tot de schoolsoort waarop zij zich de eerste drie jaar van het voortgezet onderwijs (vo) bevinden. De voorspellende waarde van de toetsrsultaten wordt hiermee bepaald. Om dit te kunnen doen is een koppeling nodig tussen twee typen data: toetsresultaten van individuele leerlingen op de doorstroomtoets in groep 8 en (doorstroom)gegevens van de plaatsing van deze leerling in het eerste, tweede en derde jaar van het vo.

5.2. Proces verwerking persoonsgegevens

Het doorstroomonderzoek voert Stichting Cito uit voor het CvTE. De databronnen hiervoor zijn toetsresultaten op leerlingniveau van de toetsaanbieders, en plaatsingsgegevens van het vo uit het Register Onderwijsdeelnemers (ROD) van DUO. Om de koppeling tussen deze twee databronnen te kunnen maken, moeten de gegevens terug te voeren zijn op individuele leerlingen en moeten er dus persoonsgegevens verwerkt worden.

Om de uitwisseling van persoonsgegevens tot een minimum te beperken zal voor de koppeling per individuele leerling een pseudoniem gebruikt worden. Door middel van het toepassen van een reeds bestaand pseudonimiseringsalgoritme kunnen toetsaanbieders en DUO zelf dit pseudoniem genereren. Doordat DUO en de toetsaanbieders vier dezelfde gegevens van een individuele leerling in dit pseudonimiseringsalgoritme stoppen, komt hetzelfde pseudoniem voor een individuele leerling eruit bij de twee verschillende bronnen. Op basis van dit pseudoniem kan Stichting Cito de gegevens koppelen. Er is bij gebruik van dit algoritme geen sleutel waarmee het pseudoniem weer teruggezet kan worden door een ander dan degene die ook beschikt over de persoonsgegevens zelf. Alleen DUO en de individuele toetsaanbieders die de gegevens hebben geleverd kunnen het pseudoniem weer koppelen aan de persoonsgegevens waarmee het pseudoniem is gegenereerd. Op die manier beschikt Stichting Cito onder verantwoordelijkheid van het CvTE over zo min mogelijk gevoelige gegevens om deze wettelijke taak goed uit te kunnen voeren.

5.3. Wijze van pseudonimiseren

De pseudoniemen worden met het hashingalgoritme SHA-256 gegenereerd. Om de pseudoniemen later te kunnen matchen is het van belang dat alle partijen exact dezelfde set aan persoonsgegevens gebruiken om tot hetzelfde pseudoniem te komen. De invoer bestaat uit de instellingscode, achternaam, toetsscore en geboortedatum van de leerling. Indien bij een leerling één van deze gegevens mist, dient deze leerling niet gepseudonimiseerd te worden en wordt deze niet geleverd aan Stichting Cito. Ditzelfde is het geval bij leerlingen voor wie bovenstaande gegevens identiek zijn, bijvoorbeeld bij tweelingen op dezelfde school met dezelfde toetsscore. Leerlingen die een doorstroomtoets maken in het buitenland of op private scholen worden niet geleverd. Leerlingen van SO, SBO en VSO worden wel gepseudonimiseerd en geleverd aan Stichting Cito.

De specificatie voor de vier invoergegevens van het pseudoniem is als volgt:

Veld	#	Betekenis en waardenbereik
Schoolcode	1	RIO instellingscode. Waarde altijd tekst van 4 karakters (2 cijfers en 2 letters). Dit komt overeen met de eerste vier tekens van de BRIN-code.
Achternaam leerling	2	Achternaam van de leerling. Waarde is het significante deel van de achternaam, dus zonder voorvoegsel en zonder de scheidingsspatie volgend op het voorvoegsel [NEN 1888:2002]. De waarde is maximaal 70 karakters. Indien het significante deel van de achternaam uit meer delen bestaat, die gescheiden zijn door een koppelteken (‘-’), wordt geen spatie geplaatst voor en/of na dit koppelteken. Bijvoorbeeld: ‘Van der Berg’ wordt ‘Berg’, ‘O’Brien’ blijft ‘O’Brien’, ‘Al Khadouri’ wordt ‘Khadouri’, ‘El-Idrissi’ blijft ‘El-Idrissi’, ‘Da Silva-Pereira’ wordt ‘Silva-Pereira’, ‘van der Berg-van Laar’ wordt ‘Berg-van Laar’.
Geboortedatum leerling	3	Datum van geboorte van de leerling; waarde volgens formaat EEYY-MM-DD.
Toetsscore leerling	4	De toetsscore van de doorstroomtoets is een geheel getal (verplicht volgens PvE ROD-po) met de volgende waardenbereiken:
		IEP	50...100
		Route 8	100...300
		AMN	301...500
		Dia	321...390
		Leerling in beeld	151...200
		DOE	200...400
		OCW doorstroomtoets	200...400

Deze gegevens worden gescheiden door komma’s samengevoegd tot een gegevenssleutel, waarna het hashingsalgoritme wordt toegepast. Bijvoorbeeld:

Gegevenssleutel: ‘99CV,Test,2021-01-01,500’

Pseudoniem: ‘9fc18ccca231fa1951282b4a53ba6b71d3901122eff663c95758ac207cae8903’

De gegevenssleutel heeft als tekencodering UTF-8, bij gebruik van een andere codering kan een ander pseudoniem ontstaan (met name bij diakrieten).

5.4. Specificatie bestandlevering

Datalevering als csv volgens Nederlandse conventies:

• • Scheidingsteken ‘;’

• • Teksten zonder aanhalingstekens

• • Decimaalscheidingsteken: komma

• • Eerste regel bevat kolomnamen

Zowel de kolomnamen als de waarden zijn hoofdlettergevoelig.

5.4.1. Levering door DUO

Naamgeving ‘DUO-dso-’ + [YYYYMMDD] + ‘.csv’

• • [YYYYMMDD] = datum aanmaak bestand

• • Selectie: alle leerlingen eindtoets/doorstroomtoets van afgelopen 3 kalenderjaren

kolomnaam	beschrijving
Pseudoniem	Zie beschrijving 5.3
Toetssoort	Uit waardelijst ‘Toetssoort’
Ontheffing	J/N
Toetsscore
Kalenderjaar	Jaar van afname doorstroomtoets (YYYY)
Referentieniveau rekenen	Uit waardelijst ‘Referentieniveau rekenen’
Referentieniveau lezen	Uit waardelijst ‘Referentieniveau taal’
Referentieniveau taalverzorging	Uit waardelijst ‘Referentieniveau taal’
Verblijfjaar
Leerjaar
Niveau	Uit waardelijst ‘NiveauVO’
Voorlopig schooladvies	Uit waardelijst ‘Schooladvies’
Definitief schooladvies	Uit waardelijst ‘Schooladvies’
Type onderwijs	Uit waardelijst ‘Type onderwijs’

5.4.2. Levering door toetsaanbieders

Naamgeving [Toetssoort]-dso-’ + [YYYYMMDD] + ‘.csv’

• • [Toetssoort] = uit waardelijst ‘Toetssoort’

• • [YYYYMMDD] = datum aanmaak bestand

kolomnaam	beschrijving
Pseudoniem	Zie beschrijving 5.3
Toetssoort	Uit waardelijst ‘Toetssoort’
Afnamemodus	Uit waardelijst ‘Afnamemodus’
Toetsscore	Toetsscore van de doorstroomtoets, zie ook de tabel in 5.4
Kalenderjaar	Jaar van afname doorstroomtoets (YYYY)
Referentieniveau_rekenen	Uit waardelijst ‘Referentieniveau Rekenen’
Referentieniveau_lezen	Uit waardelijst ‘Referentieniveau Taal’
Referentieniveau_taalverzorging	Uit waardelijst ‘Referentieniveau Taal’
GLV	De GLV zoals bepaald door de toetsaanbieder (dus inclusief eventuele optionele onderdelen die meetellen voor het toetsadvies), op basis van gewogen gemiddelde van onderdeelvaardigheden. Afronden op 3 decimalen.
vaardigheid_rekenen	Door de toetsaanbieder geschatte latente vaardigheid op de onderdeel Rekenen, Lezen en Taalverzorging, op basis van een WML in het 2PL op de schaal van het gezamenlijk anker. Afronden op 3 decimalen.
vaardigheid_lezen
vaardigheid_taalverzorging
Toetsadvies	Uit waardelijst ‘Toetsadvies’

Waardelijst

veld	waarden
Toetssoort	AMN, DIA, DOE, OCW DOORSTROOMTOETS_, ICE, LEERLING_IN_BEELD, ROUTE_8
Afnamemodus	digitaal, papier
Referentieniveau Rekenen	L1F, 1F, 1S
Referentieniveau Taal	L1F, 1F, 2F
NiveauVO	pro, vmbo bb, vmbo kb, vmbo gl, vmbo gl-tl, vmbo tl, havo, vwo
Toetsadvies	pro/vmbo bb, vmbo bb/vmbo kb, vmbo kb/vmbo gl-tl, vmbo gl-tl/havo, havo/vwo, vwo
Schooladvies	pro, vmbo bb, vmbo bb/vmbo kb, vmbo kb, vmbo kb/vmbo tl-tl, vmbo gl-tl, vmbo gl-tl/havo, havo, havo/vwo, vwo
Type onderwijs	BO, SBO, SO

1. Voor de meest recente publicaties zie www.toetsenpo.nl ^ [1]
2. Vooral bij Lezen, teksten, is het niet altijd haalbaar om hier precies aan te houden. Ook hier geldt dat dit een richtlijn is en pragmatisch en weloverwogen een keuze wordt gemaakt. ^ [2]
3. Zie ook toelichting T2 in Regeling beoordelingskader doorstroomtoets PO. ^ [3]
4. Zie ook hoofdstuk 3 uit bijlage 1 uit de Regeling beoordelingsnormen doorstroomtoetsen PO. ^ [4]
5. Marginal maximum likelihood (MML) is een schattingsmethode om tot itemparameters te komen in een kalibratie. ^ [5]