1. Inleiding
1.1. Reikwijdte
De Regeling beoordelingsnormen doorstroomtoetsen po bevat algemeen verbindende voorschriften
voor aanbieders van een tot het stelsel toegelaten doorstroomtoets po. De Regeling
beoordelingskader doorstroomtoetsen po schrijft voor dat een toets alleen zal worden
erkend als de procedure om te komen tot de beoordelingsnormen van de doorstroomtoets
wordt gevolgd.
De Regeling Beoordelingsnormen Doorstroomtoetsen po beschrijft de inhoud en de processtappen
van de volgende sleutelonderdelen, met verwijzing naar de paragrafen met kwaliteitseisen
zoals opgenomen in de Regeling beoordelingskader doorstroomtoetsen po:
Ter voorbereiding op de landelijke (toetsoverstijgende) normering:
-
1. Pretestprocedure (paragrafen 5.2.1 en 5.2.2);
-
1.1 Toetssamenstelling (paragraaf 5.2.3).
-
2. De landelijke (toetsoverstijgende) normering (conform deze onderhavige Regeling beoordelingsnormen
doorstroomtoetsen po).
-
3. Na afronding van de landelijke (toetsoverstijgende) normering:
-
3.1 Kwaliteitsverantwoording (paragraaf 5.3).
Een doorstroomtoets wordt erkend door het CvTE voor een periode van vier jaar, als
die voldoet aan de voorwaarden voor erkenning en de regeling beoordelingskader doorstroomtoetsen
po.
Jaarlijks zal het CvTE vaststellen of de in dat schooljaar aan te bieden erkende doorstroomtoets
voldoet aan de criteria op basis waarvan de erkenning is verleend. De erkende doorstroomtoets
is onderdeel van de jaarlijks door een adviseur uit te voeren landelijke normeringsprocedure
zoals beschreven in deze Regeling Beoordelingsnormen. Als een doorstroomtoets niet
(langer) aan de voorschriften van deze Regeling Beoordelingsnormen voldoet, kan de
erkenning door het CvTE worden ingetrokken op grond van artikel 3a, vierde lid, van de Wet College voor toetsen en examens.
1.2. Begrippen en definities
|
Aanbieder
|
aanbieder van een doorstroomtoets.
|
|
Ankeropgave(n)
|
item(s) dat in twee of meer (varianten van een) doorstroomtoets wordt opgenomen om
verschillen in de moeilijkheidsgraad tussen de betreffende (varianten van de) toets
vast te kunnen stellen.
|
|
Betrouwbaarheid
|
mate waarin de toetsscores vrij zijn van toevallige meetfouten.
|
|
CAT
|
Computergestuurde adaptieve toets (CAT) op itemniveau.
|
|
Cesuur
|
minimale prestatie (gerepresenteerd als vaardigheid of toetsscore) die net indicatief
is voor het halen van een (referentie)niveau of toetsadviescategorie.
|
|
Doorstroomtoets
|
vervanger van de eindtoets primair onderwijs.
|
|
Equivaleren
|
op dezelfde schaal te brengen van verschillende doorstroomtoetsen.
voor de leerling.
|
|
Vertrouwelijkheid
|
bevoegdheden en mogelijkheden om kennis te nemen van informatie voor een gedefinieerde
groep gerechtigden. Classificatie gaat in op de mogelijke gevolgen wanneer informatie
in handen komt van derden die hiertoe niet zijn geautoriseerd.
|
1.3. Eisen aan de software
Waar haalbaar en mogelijk worden de eisen aan de software geoperationaliseerd in lijn
met de BIV (Beschikbaarheid, Integriteit, Vertrouwelijkheid)-classificatie. Informatie
moet beschikbaar en toegankelijk zijn. Classificatie gaat in op de mogelijke gevolgen
als informatie, of een informatieset, niet beschikbaar is. De BIV-classificatie is
een indeling die binnen de informatiebeveiliging wordt gehanteerd, waarbij de beschikbaarheid
(continuïteit en repliceerbaarheid), de integriteit (betrouwbaarheid en transparantie)
en de vertrouwelijkheid (exclusiviteit en privacy) van informatie en systemen wordt
aangegeven.
Aanvullend op de beveiligingseisen conform de BIV-classificatie dient de functionaliteit
van de software passend en toereikend te zijn voor het uitvoeren van de landelijke
(toetsoverstijgende) normeringsprocedure, voor gebruik van een twee parameter logistisch
itemresponsemodel (2PL) – dat wil zeggen een model waarin de moeilijkheidsgraad en
het onderscheidend vermogen van de toetsopgaven worden meegenomen.
Het CvTE laat periodiek de software, die door de adviseur wordt gebruikt voor de landelijke
toetsoverstijgende normering, extern valideren op bovenstaande criteria.
2. Pretestprocedure
De pretestprocedure, uit te voeren door de toetsaanbieder, heeft als doel om met behulp
van itemkalibratie het functioneren van een nieuw item vast te stellen (zie de Regeling
beoordelingskader doorstroomtoetsen po)
De pretestprocedure is ook van toepassing op nieuw geconstrueerde of nieuw toegevoegde
gezamenlijke ankeropgaven voor het meten van de referentieniveaus Lezen (1F / 2F),
Taalverzorging (1F / 2F) en Rekenen (1F / 1S).
De Regeling beoordelingskader doorstroomtoetsen po biedt twee scenario’s voor het
pretesten:
-
1. nieuwe opgaven pretesten in een separate losse afname, of
-
2. nieuwe opgaven pretesten door deze te zaaien in een operationele toets.
Voor beide mogelijkheden worden eisen gesteld aan de omvang en samenstelling van de
steekproef, voor zowel lineaire (papier of digitaal) als adaptieve toetsen. Ook worden
eisen gesteld aan het dataverzamelingsdesign (zie de Regeling beoordelingskader doorstroomtoetsen
po).
Na het verzamelen van de pretestresultaten, worden de nieuwe (anker)opgaven door de
aanbieder gekalibreerd in een 2PL itemresponsemodel en met gebruik van hiertoe geëquipeerde
software om zo de psychometrische kwaliteit van de (anker)opgaven vast te stellen.
De kwaliteitseisen die hiervoor gelden zijn beschreven in de Regeling beoordelingskader
doorstroomtoetsen po.
3. Toetssamenstelling
Na afronding van de kalibratie van de nieuwe (anker)opgaven, stelt de aanbieder de
(varianten van de) definitieve doorstroomtoets voor het eerstkomende schooljaar (T+1)
samen. De psychometrische eisen die aan de toets worden gesteld, zijn beschreven in
de regeling beoordelingskader doorstroomtoetsen po. Hierin worden de eisen voor de
verschillende toetsvormen (lineair of adaptief en met of zonder gebruik van een itembank)
apart vermeld.
Voor alle vormen en varianten van de doorstroomtoetsen gelden de volgende eisen:
-
– De items van de verplicht op te nemen subsets van het gezamenlijk anker moeten op
een zodanige wijze over de toets worden verspreid, dat de positie in de toets zo min
mogelijk invloed op de prestatie van de leerling heeft en de ankeritems qua lay-out
en tekstuele vormgeving niet als opvallend afwijkend in de toets herkenbaar zijn.
Voor wat betreft een adaptieve toets op moduleniveau (MST) moet het design aantonen
dat de ankers op de juiste manier aan bod komen, voor wat betreft een computergestuurde
adaptieve toets op itemniveau (CAT) moet dit in het algoritme zijn verantwoord. De
afname dient zo te zijn ingericht dat er aan alle eisen ten aanzien van het gezamenlijk
anker kan worden voldaan zoals geformuleerd in de regeling beoordelingskader doorstroomtoetsen
po.
-
– Alle gezamenlijke ankeritems moeten meetellen in de totaalscore van de leerling, mits
uit de analyse achteraf door een adviseur van het CvTE volgt dat de items naar behoren
functioneren.
-
– Zolang de toetsaanbieder voldoet aan de eisen ten aanzien van het opnemen en afnemen
van de subsets van gezamenlijke ankeritems die moeten worden ingebouwd, staat het
de aanbieder vrij om ook een eigen (intern) anker in de toets op te nemen. Het intern
anker kan niet het gezamenlijk anker vervangen.
-
– Op 31 mei levert de aanbieder de voorgestelde toetssamenstelling (T+1) met bijbehorende
verantwoordingsdocumenten, een en ander zoals voorgeschreven in het Normeringshandboek
Doorstroomtoetsen po en zoals voorgeschreven in de Regeling beoordelingskader doorstroomtoetsen
po, in bij het CvTE. Uiterlijk 15 weken na aanlevering van de volledige set verantwoordingsdocumenten
beslist het CvTE of de voorgestelde doorstroomtoets (T+1) in het jaar daarop mag worden
afgenomen op de scholen.
4. Landelijke (toetsoverstijgende) normering
Na afname van de varianten van de doorstroomtoetsen in de maanden februari en maart
van het vigerende kalenderjaar, start de landelijke (toetsoverstijgende) normering.
In deze Regeling Beoordelingsnormen Doorstroomtoetsen po worden normeringsstappen
beschreven. Het CvTE stelt vervolgens voor ieder van de afgenomen doorstroomtoetsen
de normering vast.
4.1. Aanleveren, controleren en analyseren van de ruwe toetsscores
De aanbieder is verantwoordelijk voor het correct, tijdig, volledig en veilig beschikbaar
stellen van consistente data uit de operationele afname van de varianten van de in
de maanden februari en maart afgenomen doorstroomtoets.
De aanbieder levert de voor de landelijke normering voorgeschreven documenten en bijbehorende
data over de in de maanden februari en maart afgenomen doorstroomtoets in bij het
CvTE. Een adviseur controleert in opdracht van het CvTE de aangeleverde data op tijdigheid,
volledigheid en bruikbaarheid en beschrijft hoe de aanbieder de betreffende data dient
aan te leveren. Vervolgens worden de toets- en itemparameters door een adviseur opnieuw
geschat in een 2PL itemresponsemodel met gebruik van extern gevalideerde software.
Items worden niet gebruikt in de toetsoverstijgende item-kalibratie van de landelijke
normering wanneer:
-
– het item minder dan 200 observaties heeft;
-
– er sprake is van een item met één scorecategorie;
-
– het item een discriminatieparameter in 2PL heeft van a < 0.1.
Wanneer de controles uitwijzen dat er een verschil is tussen wat gevonden wordt en
wat verwacht wordt, wordt de aanbieder hiervan op de hoogte gesteld. Om recht te doen
aan een betrouwbare en valide inschatting van het vaardigheidsniveau van leerlingen,
het vergroten van de vergelijkbaarheid, in het geval van een calamiteit of anderszins
gewichtige reden, kan het CvTE besluiten om van de in deze Regeling Beoordelingsnormen
Doorstroomtoetsen po beschreven wijze van normering af te wijken.
In het geval van ingrijpen door het CvTE omdat de normering bij een specifieke doorstroomtoets
niet kan worden uitgevoerd, kan dat consequenties hebben voor de erkenning of toelating
van de betreffende doorstroomtoets voor het erop volgende jaar.
4.2. Overbrengen van de cesuren van de referentieniveaus en het toetsadvies
Nadat de gescoorde data door een adviseur van het CvTE zijn gecontroleerd, geanalyseerd
en gekalibreerd, volgt de landelijke (toetsoverstijgende) normeringsprocedure.
De normering wordt door een adviseur van het CvTE uitgevoerd met behulp van het gezamenlijke
anker en bestaat uit de volgende stappen:
-
– De itemparameters van de items van de wettelijk verplichte onderdelen Lezen, Rekenen
en Taalverzorging worden door een adviseur per aanbieder geschat in het 2PL itemresponsemodel.
De berekeningen worden uitgevoerd in een daarvoor voorgeschreven gevalideerde software.
-
– Met deze itemparameters worden vervolgens vaardigheidsschattingen uitgevoerd voor
alle leerlingen voor deze toetsonderdelen. De vaardigheidsschattingen worden vergeleken
met de meest recent bepaalde cesuurpunten voor de referentieniveaus 1F en 2F/1S voor
de drie wettelijk verplichte onderdelen.
-
– Naast de wettelijk verplichte onderdelen worden ook de optionele onderdelen die meetellen
in het toetsadvies van iedere aanbieder door een adviseur gekalibreerd door middel
van een voorgeschreven kalibratiewijze met bijbehorende schattingsmethode, uit te
voeren in de extern gevalideerde software, waarbij per aanbieder dezelfde populaties
als bij de wettelijk verplichte onderdelen worden gebruikt.
-
– Voor iedere leerling van wie de gegevens zijn aangeleverd door de aanbieder worden
de vaardigheden op alle voor het te berekenen toetsadvies meetellende onderdelen samengevoegd
tot een GLV. De GLV’s worden vervolgens vergeleken met de meest recent door een adviseur
van het CvTE vastgestelde cesuurpunten voor de toetsadviescategorieën om op basis
hiervan een toetsadvies toe te kennen. De gewichten (c.q. de weging van de toetsonderdelen)
voor de GLV worden bepaald met behulp van het meest recent uitgevoerde Toelatings-
en Doorstroomonderzoek en worden, indien nodig, periodiek geactualiseerd.
Een adviseur berekent de cesuren voor de referentieniveaus voor de wettelijk verplichte
onderdelen Lezen, Taalverzorging en rekenen en de cesuren voor toetsadviescategorieën.
Nadat het CvTE deze heeft vastgesteld, maakt een adviseur op basis van de door de
toetsaanbieder aangeboden normeringssteekproef een inschatting van de verdeling van
de behaalde referentieniveaus en toetsadviezen. Dit gebeurt met behulp van de items
met tenminste 200 observaties, met tenminste twee scorecategorieën en met een discriminatieparameter
van a>= 0.1 in het 2PL itemresponsemodel, waarmee de vaardigheid geschat wordt van
de leerlingen waar de data van gedeeld is.
Aansluitend stelt de aanbieder zelf op basis van de door het CvTE vastgestelde cesuren
voor de referentieniveaus voor de wettelijk verplichte onderdelen Lezen, Taalverzorging
en Rekenen en de cesuren voor toetsadviescategorieën per individuele leerling de definitief
behaalde referentieniveaus en het toetsadvies vast.
5. Kwaliteitsverantwoording
In de Regeling beoordelingskader doorstroomtoetsen po wordt vermeld dat de aanbieder
ieder jaar na de operationele afname van de doorstroomtoets met gebruik van hiertoe
geëquipeerde software een verantwoordingsdocument samenstelt, tenzij de aanbieder
besluit om vanaf het daaropvolgende jaar (T+1) te stoppen als aanbieder van een doorstroomtoets.
De aangeboden kwaliteitsverantwoording is onderdeel van de indiening tot erkenning
van de doorstroomtoets voor het eerstvolgende schooljaar.
