Na afname van de doorstroomtoets van het vigerende kalenderjaar, start de normering.
In deze Regeling beoordelingsnormen doorstroomtoets po Bonaire worden de normeringsstappen
beschreven. Het CvTE stelt vervolgens voor de afgenomen doorstroomtoets de normering
vast.
Om recht te doen aan een betrouwbare en valide inschatting van het vaardigheidsniveau
van leerlingen, het vergroten van de vergelijkbaarheid over jaren of in het geval
van een calamiteit of anderszins gewichtige reden, kan het CvTE besluiten om van de
in deze Regeling beoordelingsnormen doorstroomtoets po Bonaire beschreven planning
en/of wijze van normering af te wijken.
In het geval van ingrijpen door het CvTE omdat de normering niet kan worden uitgevoerd,
kan dat consequenties hebben voor de erkenning of toelating van de doorstroomtoets
voor het erop volgende jaar.
3.2. Kalibratieset
De toetsaanbieder laat direct na de officiële afnameperiode weten van hoeveel leerlingen
data geschikt zijn om mee te nemen in de kalibratieset. Indien dit aantal niet hoog
is, zal moeten worden bepaald of (en eventueel hoe) de normering later kan plaatsvinden
om het aantal leerlingen data te verhogen.
Voor aanvang van de kalibratie en normering wordt tevens een itemanalyse uitgevoerd
door de toetsaanbieder om slecht functionerende opgaven en eventuele sleutelfouten
op te sporen en waar mogelijk te remediëren.
Vervolgens voert de toetsaanbieder een DIF-analyse uit om te bepalen welke opgaven
uit de pretest en eerdere afnames van de doorstroomtoets po Bonaire worden meegeschaald
en deel uitmaken van de gegevensset waarover gekalibreerd gaat worden. Het voorstel
wordt voorgelegd aan het CvTE en besproken en indien akkoord bevonden vastgesteld
in een vergadering.
3.3. Normering doorstroomtoets po Bonaire
De normering wordt door de toetsaanbieder uitgevoerd. De berekeningen worden uitgevoerd
in door met het CvTE afgestemde software.
Indien van toepassing worden de data van leerlingen die speciale toetsversies maken,
zoals bijvoorbeeld bij de toets voor blinden of slechthorenden of gebruik maken van
de rekenkaart, buiten beschouwing gelaten in de kalibratie ten behoeve van de normering.
Leerlingen die een reguliere variant maken maar bijvoorbeeld van een verklanking gebruikmaken,
worden wel meegenomen.
In het kalibratieproces wordt een DIF- en/of fitanalyse uitgevoerd op de ankeropgaven
om vast te stellen of deze goed als anker functioneren. Bij ankeropgaven die niet
goed functioneren worden ingrepen conform 2.2.1E uitgevoerd.
De opgaven van de verplichte onderdelen worden apart gekalibreerd in het 1PL-itemresponsmodel
met behulp van de CML-schattingsmethode. Hierbij voert de toetsaanbieder een gezamenlijke
kalibratie uit met de data van eerdere afnames. Hierdoor worden de opgaven van de
doorstroomtoets op dezelfde, vergelijkbare schaal gebracht met eerdere afnames en
de pretesten waarop standaardsettingen en equivaleringen zijn uitgevoerd. Hierdoor
kunnen de cesuren voor de referentie- en ERK-niveaus van de wettelijk verplichte onderdelen
overgebracht worden naar de scoreschaal van de doorstroomtoets. Voor iedere leerling
worden de vaardigheden op alle onderdelen die meetellen voor het toetsadvies samengevoegd
tot een gemiddelde latente vaardigheid (GLV). De cesuren voor de toetsadviescategorieën
worden vastgesteld op deze GLV-schaal.
Referentieniveaus
De cesuren voor de referentieniveaus voor rekenen worden gebaseerd op de cesuren die
ook in Europees Nederland gelden. Hiervoor wordt via het anker een koppeling gelegd
naar de afname van de papieren IEP doorstroomtoets van 2024. Omdat hier met een ander
psychometrisch model gewerkt wordt, worden via een equipercentiel-equivalering de
cesuren uit Europees Nederland naar de schaal van de doorstroomtoets po Bonaire overgezet,
waardoor de cesuren berekend kunnen worden.
De equipercentiel-equivalering zal de volgende percentages behaalde referentieniveaus
voor de papieren IEP doorstroomtoets van 2024 reproduceren:
|
referentieniveau
|
percentage behaald
|
|
Rekenen 1F
|
91,4%
|
|
Rekenen 1S
|
43,2%
|
Om de cesuren te bepalen voor de referentie- en ERK-niveaus van NVT lezen en luisteren
en Papiamentu lezen en taalverzorging wordt via het anker een koppeling gelegd naar
de itemsets waarop de standaarden zijn vastgesteld.
Via standaardbepaling zijn de volgende grenswaarden bepaald voor de referentie- en
ERK-niveaus op de daarvoor geselecteerde itemsets:
|
referentie/ERK-niveau
|
Grenswaarde (maximale score)
|
|
NVT Lezen A2
|
20 scorepunten (van de 40)
|
|
NVT Lezen B1
|
29 scorepunten (van de 40)
|
|
NVT Luisteren A2
|
20 scorepunten (van de 40)
|
|
NVT Luisteren B1
|
29 scorepunten (van de 40)
|
|
Papiamentu Lezen 1F
|
14 scorepunten (van de 20)
|
|
Papiamentu Taalverzorging 1F
|
17 scorepunten (van de 25)
|
De toetsaanbieder berekent voor ieder referentie- en ERK-niveau een grensscore voor
iedere toetsversie van de doorstroomtoets po Bonaire van het vigerende afnamejaar.
Dit wordt gedaan via omzettingstabellen met een schatting van de vaardigheid met behulp
van Warm’s gewogen waarschijnlijkheidsschatter. Zowel in de equipercentiel-equivalering
voor de referentieniveaus van rekenen als in de equivalering naar de standaardbepalingen
wordt de conventie gehanteerd dat de cesuur komt te liggen bij de latente vaardigheid
die het percentiel of ruwe score het beste benadert, waarbij het percentage behaald
of de standaard wordt gerealiseerd. De proportie referentie- en ERK-niveau behaald
over de gehele toetspopulatie zal ook door de toetsaanbieder uitgerekend worden.
Toetsadviezen
De cesuurpunten voor de toetsadviezen zijn gedefinieerd op de GLV-schaal. De wegingsfactoren
van de verschillende onderdelen in de GLV, vastgesteld uit doorstroomonderzoek, zijn:
Tabel 2: wegingsfactoren van de onderdelen voor de GLV.1
|
NVT
|
Rekenen
|
Papiamentu
|
|
39%
|
42%
|
19%
|
1 Voor Nederlands als vreemde taal en Papiamentu zijn op dit moment geen cesuren beschikbaar
specifiek binnen de terreinen tussen (sub)domeinen. Daarom is ervoor gekozen om bij
Papiamentu Lezen en Taalverzorging allebei 50% te laten meewegen, en bij Nederlands
als Vreemde Taal Lezen en Luisteren allebei 50%.
De GLV van iedere leerling wordt berekend door een gewogen gemiddelde te nemen van
de vaardigheden op de verschillende onderdelen, berekend met Warm’s gewogen waarschijnlijkheidsschatter.
Om te garanderen dat ieder onderdeel daadwerkelijk met het voorgeschreven gewicht
wordt meegenomen, worden de vaardigheden op ieder onderdeel getransformeerd zodat
ze standaardnormaal verdeeld zijn. Vervolgens worden de cesuren op de GLV-schaal berekend
met behulp van onderstaande tabel met streefpercentages zoals vastgesteld uit doorstroomonderzoek.
De GLV van iedere leerling wordt vergeleken met deze cesuurpunten om iedere leerling
op basis hiervan een toetsadvies toe te kennen.
Tabel 3: streefpercentages voor de toetsadviezen.
|
toetsadvies
|
percentage1
|
|
pro/vmbo bb
|
22,2
|
|
vmbo bb/kb
|
37,2
|
|
vmbo kb/gl-tl
|
18,7
|
|
vmbo gl-tl/havo
|
12,9
|
|
havo/vwo
|
6,3
|
|
vwo
|
2,6
|
1 De percentages in deze tabel zijn voor deze regeling voor het overzicht afgerond
tot 1 decimaal achter de komma, waardoor de percentielen tot 99,9% en niet 100% optellen.
Periodiek worden de onderdeelgewichten en de cesuren voor de toetsadviescategorieën
door het CvTE geanalyseerd en zo nodig geactualiseerd. Hiervoor worden onder andere
gegevens uit het meest recente doorstroomonderzoek gebruikt.
3.4. Datalevering
De toetsaanbieder is verantwoordelijk voor het correct, tijdig, volledig en veilig
aan het CvTE beschikbaar stellen van consistente data uit de operationele afname van
de varianten die zijn afgenomen in het betreffende jaar.
De toetsaanbieder levert de complete dataset aan aan het CvTE met alle leerlingen
bij wie de toets is afgenomen. De dataset bestaat uit ruwe scores en andere kenmerken
van leerlingen. Van opgaven die niet meetellen (bijvoorbeeld zaai-opgaven zoals beschreven
in 5.2 scenario 2 van het Beoordelingskader doorstroomtoets po Bonaire of geneutraliseerde
opgaven), worden geen afnamegegevens door de toetsaanbieder aangeleverd. Afgebroken
en ongeldige afnames vormen geen deel van de datalevering door de toetsaanbieder.
Geneutraliseerde opgaven worden niet aangeleverd.
Als afnamegegevens van andere toetsen worden gebruikt in de kalibratie of equivalering
worden deze ook aangeleverd door de toetsaanbieder aan het CvTE. Dit zijn bijvoorbeeld
pretesten en toetsen in Europees Nederland. Afnamegegevens die tijdens eerdere afnames
van de doorstroomtoets po Bonaire zijn geleverd, hoeven niet opnieuw aangeleverd te
worden.
Naast de afnamegegevens wordt door de toetsaanbieder een beschrijving geleverd van
de ingrepen die zijn uitgevoerd in het anker, en welke cesuren en grensscores zijn
bepaald via de equivaleringsprocedure.
De data worden na de normering aangeleverd via de terminal server van het CvTE. De
gegevens die geleverd zijn kunnen ook gebruikt worden voor nadere analyses door het
CvTE of de adviseur als daar behoefte aan is.
3.4.1. Data en structuur
De toetsaanbieder levert na de normering:
-
• Eén bestand met leerlinggegevens.
-
• Voor ieder onderdeel een apart bestand met scoringsgegevens.
-
• Eén bestand met p-waarden en aantal observaties van de items die opgenomen zijn in
de analysedata (ter controle). Itemcodes dienen uniek te zijn over onderdelen heen.
De data worden aangeleverd in csv (uitgaande van de Nederlandse situatie, dus puntkomma-gescheiden
en komma als decimaalscheidingsteken). De teruggeleverde databestanden gebruiken ditzelfde
format. De toetsaanbieder levert geen aparte toetsbeschrijving.
3.4.2. Leerlinggegevens
In het bestand met leerlinggegevens dienen de volgende variabelen opgenomen te worden:
|
Kolomnaam
|
Omschrijving
|
|
person_id
|
Leerlingidentificatiecode, numeriek of string. Niet herleidbaar naar persoonsgegevens.
|
|
speciale_versie
|
ja/nee. Leerlingen die een speciale versie hebben gemaakt worden niet meegenomen in
de kalibraties ten behoeve van de normering. Alleen van toepassing op afnamegegevens
van de doorstroomtoets po Bonaire.
|
|
toets
|
Welke toets de leerling gemaakt heeft. Dit veld is bedoeld om onderscheid te maken
tussen de afname van de doorstroomtoets po Bonaire en andere toetsen die gebruikt
worden in de kalibratie en equivalering:
dst_bonaire_20xx = data van de doorstroomtoets po Bonaire van jaar 20xx.
pretest_x = data van pretest met label x.
dst_nl_20xx[p/d] = data van de doorstroomtoets Europees Nederland van jaar 20xx, modus
papier (p) of digitaal (d).
|
|
schoolcode
|
RIO instellingscode plus vestigingscode, in formaat 99XX00. Voorheen bekend als BRIN-nummer
plus vestigingscode. Bij leerlingen van scholen waarvan in totaal minder dan 5 leerlingen
zijn ingeschreven bij de toetsaanbieder mag waarde ‘<5’ gebruikt worden. Alleen van
toepassing op afnamegegevens van de doorstroomtoets po Bonaire.
|
|
schooladvies
|
Schooladvies, numeriek:
pro = 1
vmbo bb = 2
vmbo bb/kb = 3
vmbo kb = 4
vmbo kb/mavo = 5
mavo = 6
mavo/havo = 7
havo = 8
havo/vwo = 9
vwo = 10
onbekend = 0 of >10
Alleen van toepassing op de afnamegegevens van de doorstroomtoets po Bonaire.
|
Als naamgeving van dit bestand wordt verwacht: dst_bonaire_leerlingen.csv
3.4.3. Scoringsgegevens
Voor de scoringsgegevens worden zowel wide-format als long-format data verwerkt. Indien
data in wide-format worden aangeleverd dienen per onderdeel de volgende scoringsgegevens
opgenomen te worden:
|
Kolomnaam
|
Omschrijving
|
|
person_id
|
Leerlingidentificatiecode, numeriek of string
|
|
item_ids...
|
Voor ieder item een kolom met als naam het label van het item, met daarin de score:
0 = incorrect (inclusief overgeslagen of leeggelaten items)
1 = correct
leeg = missing by design
|
In wide-format data staat het complete resultaat van een leerling op één regel.
Indien data in long-format worden aangeleverd dienen per onderdeel de volgende scoringsgegevens
opgenomen te worden:
|
Kolomnaam
|
Omschrijving
|
|
person_id
|
Leerlingidentificatiecode, numeriek of string
|
|
item_id
|
Itemlabel
|
|
item_score
|
Item score:
0 = incorrect (inclusief overgeslagen of leeggelaten items)
1 = correct
missing by design wordt niet geleverd
|
In long-format data vormt ieder leerling-item-paar een aparte regel.
Als naamgeving van het bestand met scoringsgegevens wordt verwacht:
dst_bonaire_[naam onderdeel in hoofdletters].csv
Voor de verplichte onderdelen worden de namen PAPLEZEN, PAPTAALVERZORGING, REKENEN,
NVTLEZEN en NVTLUISTEREN verwacht.
3.4.4. Gegevens over ingrepen in ankeropgaven
Bij het uitvoeren van de equivalering kan het zijn dat opgaven worden losgekoppeld
zodat ze niet meer bijdragen aan de link tussen verschillende afnames. In de praktijk
betekent dit dat opgaven een nieuw label krijgen, zodat ze wel meetellen in het toetsresultaat
maar niet meer beschouwd worden als anker. Herlabelingen dienen als volgt aangeleverd
te worden:
|
Kolomnaam
|
Omschrijving
|
|
item_id_oud
|
Oorspronkelijk itemlabel
|
|
item_id_nieuw
|
Nieuw itemlabel
|
|
onderdeel
|
Naam van het onderdeel in hoofdletters, zie omschrijving bij 3.4.3.
|
|
toets
|
Toets waarin de herlabeling wordt toegepast, zie omschrijving tabel 3.4.2.
|
|
opmerking
|
Optionele opmerking om reden van ingreep te beschrijven
|
Als naamgeving van het bestand met ingrepen wordt verwacht:
dst_bonaire_ingrepen.csv
3.4.5. Controlegegevens
In het controlebestand met p-waarden dienen tot slot de volgende gegevens te worden
aangeleverd:
|
Kolomnaam
|
Omschrijving
|
|
item_id
|
Itemlabel
|
|
onderdeel
|
Naam van het onderdeel in hoofdletters, overeenkomend met de onderdeelnamen in de
namen van de scoringsgegevens
|
|
n
|
Aantal observaties (alle onderwijstypen samen)
|
|
p_waarde
|
p-waarde van het item (alle onderwijstypen samen)
|
Als bestandnaam voor het controlebestand met p-waarden wordt verwacht:
dst_bonaire_controle.csv
3.4.6. Datacontroles
De adviseur voert de volgende controles uit op de aangeleverde data:
-
• Zijn alle bestanden aanwezig met de juiste namen en kolommen?
-
• Zijn leerlingidentificatiecodes uniek?
-
• Zijn items per leerling uniek?
-
• Kloppen de p-waarden en aantallen observaties met het controlebestand?
-
• Is het design verbonden?
-
• Check op correcte leerlingkoppeling door correlatiecoëfficiënten van verschillende
onderdelen uit te rekenen. Bij een correlatie lager dan 0,4 koppelt de adviseur terug
aan de toetsaanbieder dat er een lage correlatie is geconstateerd, met het verzoek
de koppeling op leerlingniveau te controleren. Wanneer de toetsaanbieder aangeeft
dat de lage correlatie correct is zal de adviseur de normering uitvoeren op de aangeleverde
data.
3.4.7. Uitwisseling resultaten controle
Na het doorrekenen van de normering worden de resultaten ter controle uitgewisseld
tussen het CvTE/adviseur enerzijds en de toetsaanbieder anderzijds.
Levering itemparameters
Dit bestand bevat de itemparameters zoals geschat in de IRT-normering volgens het
1PL-model. De volgende kolommen zijn opgenomen:
|
Kolomnaam
|
Omschrijving
|
|
item_id
|
Itemlabel
|
|
onderdeel
|
Het onderdeel behorende bij het item
|
|
beta
|
Moeilijkheidsparameter
|
|
SE_beta
|
Standaardfout op moeilijkheidsparameter
|
Als bestandsnaam wordt gebruikt: dst_bonaire_itemparameters.csv
Levering vaardigheidsschattingen
Bevat voor iedere leerling die de doorstroomtoets po Bonaire gemaakt heeft de vaardigheid
op ieder onderdeel in het 1PL-model, geschat via Warm’s gewogen waarschijnlijkheidsschatter.
Tevens zijn de berekende GLV’s en de via de cesuren daaraan gerelateerde toetsadviezen
hieraan toegevoegd. De volgende kolommen zijn opgenomen:
|
Kolomnaam
|
Omschrijving
|
|
person_id
|
Leerlingidentificatiecode
|
|
schooltype
|
Schooltype, zelfde indeling als leerlinggegevens
|
|
theta_[onderdeel]
|
Vaardigheidsschatting voor ieder onderdeel (zie naamgeving 3.4.3)
|
|
glv
|
GLV
|
|
toetsadvies
|
Toetsadvies volgens de IRT-normering
|
Als bestandsnaam wordt gebruikt: dst_bonaire_vaardigheden.csv
Levering referentie- en ERK-niveaus
Bevat een overzicht van de cesuren en percentages behaald van de referentie- en ERK-niveaus
in de IRT-normering in het 1PL-model, voor de leerlingen die de doorstroomtoets po
Bonaire gemaakt hebben. De volgende kolommen zijn opgenomen:
|
Kolomnaam
|
Omschrijving
|
|
onderdeel
|
Het onderdeel
|
|
niveau
|
Het referentie/ERK-niveau
|
|
cesuur
|
Cesuur op de latente vaardigheidsschaal
|
|
perc_behaald
|
Percentage behaald
|
Als bestandsnaam wordt gebruikt: dst_bonaire_referentieniveaus.csv
Levering toetsadviezen
Bevat een overzicht van de cesuren op de GLV-schaal voor de toetsadviezen in de IRT-normering.
De volgende kolommen zijn opgenomen:
|
Kolomnaam
|
Omschrijving
|
|
toetsadvies
|
Het toetsadvies
|
|
cesuur
|
Cesuur op de GLV-schaal
|
Als bestandsnaam wordt gebruikt:
dst_bonaire_toetsadviezen.csv
3.4.8. Vaststelling normering doorstroomtoets po Bonaire
Nadat op basis van de normering de toetsadviezen en referentie- en ERK-niveaus zijn
uitgerekend voor de leerlingen, wordt de normering, inclusief de cesuren voor de referentie-
en ERK-niveaus, de toetsadviescategorieën en de onderdeelgewichten, door het CvTE
definitief vastgesteld.
3.4.9. Optionele onderdelen
Naast de wettelijk verplichte onderdelen worden ook de optionele onderdelen die meetellen
in het toetsadvies van iedere toetsaanbieder door de adviseur gekalibreerd door middel
van een voorgeschreven kalibratiewijze met bijbehorende schattingsmethode, uit te
voeren in de extern gevalideerde software, waarbij per toetsaanbieder dezelfde populaties
als bij de wettelijk verplichte onderdelen worden gebruikt.