De instructies die het CvTE toepast om tot de N-termen te komen.
1. Uitgangspunt
De normering van de centrale examens dient er zorg voor te dragen dat in opeenvolgende
jaren aan kandidaten bij eenzelfde centraal examen (vak en schooltype/leerweg) dezelfde
eisen worden gesteld. Omdat het technisch onmogelijk is onze examens van jaar op jaar
precies even moeilijk te maken, zorgt de keuze van de normeringsterm (N-term) daarvoor.
Het proces van normering is erop gericht, gegeven dit uitgangspunt, de juiste N-term
te bepalen.
In supplement I staan de formules die bij de omzetting van score naar cijfer worden
gehanteerd.
Voor ieder centraal examen stelt het College voor toetsen en examens (CvTE), zodra
dat mogelijk is, referentiegegevens vast; een referentie-examen met een referentie-N-term
en een referentiepopulatie met een referentie-gemiddeld cijfer en referentie-percentage
onvoldoende.
-
– Het referentie-examen met de referentie-N-term vormt, in combinatie met de inhoud
van de syllabus, de prestatie-eis op het centraal examen.Bij een nieuw examen zou het, bij gelijke vaardigheid, even moeilijk moeten zijn om
hetzelfde cijfer te halen als op het referentie-examen. Het CvTE monitort of handhaven
van de prestatie-eis op een centraal examen reëel en mogelijk is en stelt deze zo
nodig bij.
-
– De referentiepopulatie is de groep examenkandidaten uit één of meerdere examenjaren.
Het referentiegemiddeld cijfer geeft aan welk gemiddeld cijfer de referentiepopulatie
gehaald zou hebben op het referentie-examen bij de referentie-N-term. De prestaties
van nieuwe kandidaten kunnen vergeleken worden met die van de referentiepopulatie.
Bij een stabiel vaardigheidsniveau wordt de N-term bij een nieuw examen zo gekozen
dat het gemiddeld cijfer zo dicht mogelijk ligt bij het referentie-gemiddeld cijfer.
In een periode waarin het vaardigheidsniveau stabiel is, kunnen de referentiegegevens
gebaseerd worden op meerdere jaren en in een periode waarin het vaardigheidsniveau
niet stabiel is, zullen de referentiegegevens gebaseerd zijn op het meest recente
geschikte centraal examen.
2. Bepalen technische N-term
Voor ieder centraal examen worden afnamegegevens verzameld; scores per item per kandidaat.
Daarnaast wordt informatie verzameld over de moeilijkheidsgraad van dat examen in
vergelijking met het referentie-examen. Daarvoor kan gebruik gemaakt worden van:
-
− Pretest, posttest of anchor in package
-
− Vergelijkende standaardbepalingen
-
○ Uitgevoerd door de vaststellingscommissie van het CvTE
-
○ uitgevoerd door een groep experts onder leiding van Stichting Cito
-
○ uitgevoerd door correctoren van de staatsexamens
-
− Methoden om vaardigheidswijziging in een cluster van vakken te schatten
-
− Docentenoordeel
-
− Historische N-termen
-
− vergelijking tijdvak 2 met tijdvak 1 op basis van de resultaatverbetering van kandidaten
die in het eerste tijdvak een onvoldoende hadden
De N-term wordt bepaald aan de hand van een gewogen oordeel over alle beschikbare
bronnen voor het betreffende centraal examen. Op deze manier wordt gezorgd dat een
verandering in vaardigheidsniveau gesignaleerd wordt en de prestatie-eis gelijk blijft
ook als de vaardigheid van de examenpopulatie verschilt van de referentiepopulatie. Het gemiddeld cijfer wordt hoger bij een toegenomen vaardigheidsniveau en lager
bij een gedaald vaardigheidsniveau.
2.1. Voorlopige N-term in tijdvak 2
Voor het examen in het tweede tijdvak geldt in beginsel de N-term van het eerste tijdvak.
Aan de hand van verzamelde informatie over de moeilijkheidsgraad van het examen in
het tweede tijdvak in vergelijking met het examen in het eerste tijdvak, wordt nagegaan
of deze N-term zou leiden tot hogere eisen aan de kandidaat dan in het eerste tijdvak.
Als dat het geval is, wordt de N-term zo vastgesteld dat de eisen gelijk zijn.
2.2. Centraal examen met een nieuw examenprogramma
Bij de normering van een examen met een nieuw examenprogramma kan vaak geen vergelijking
gemaakt worden met een referentie-examen. In dat geval kan gebruik gemaakt worden
van niet-vergelijkende standaardbepalingsmethoden.
In geval van een pilot kan een examen op basis van het nieuwe programma (het pilotexamen)
gelijktijdig worden afgenomen met een examen op basis van het oude programma (het
reguliere examen). Als de oude en nieuwe stof elkaar deels overlappen en de overlap
eenzelfde positie in het programma inneemt, wordt op grond van de resultaten van de
kandidaten op de vragen over de overlappende stof de vaardigheid van de kandidaten
bepaald. Deze informatie kan gebruikt worden om de moeilijkheidsgraad van de vragen
over de niet-overlappende stof en vervolgens het gehele examen te bepalen.
3. Compensatie voor fouten of onvolkomenheden via de N-term
Als een examen een onvolkomenheid bevat die kandidaten aanwijsbaar kan benadelen,
krijgen correctoren nadere instructies door een aanvulling op het correctievoorschrift.
De aanvulling kan inhouden dat alle punten voor (een deel van) de vraag aan alle kandidaten
moeten worden toegekend ongeacht of er wel of geen antwoord gegeven is, en ongeacht
het gegeven antwoord. In dat geval is sprake van neutralisatie van (een deel van)
de vraag. De vraag draagt de facto niet meer bij aan het behaalde resultaat op het
centraal examen.
Voor de nadelige gevolgen voor een kandidaat van een door het CvTE vastgestelde fout
of onvolkomenheid in een examen of correctievoorschrift, compenseert het CvTE via
de N-term indien:
-
a. de fout of onvolkomenheid niet eerder is hersteld via een erratum op de opgaven of
via een aanvulling op het correctievoorschrift, bedoeld in artikel 10 van de Regeling beoordelingsnormen en bijbehorende scores centraal examen
VO;
-
b. herstel via een aanvulling op het correctievoorschrift gelet op het tijdstip waarop
de fout wordt vastgesteld naar het oordeel van het CvTE leidt tot een te groot risico
op onjuistheden bij het vaststellen van scores op examens; en
-
c. de N-term nog niet is vastgesteld.
Deze correctieprocedure via de N-term geldt voor alle tijdvakken en vindt in voorkomende
gevallen plaats op grond van de in supplement II bij deze bijlage opgenomen formules
voor het compenseren voor een fout of onvolkomenheid. Hierdoor wordt voorkomen dat
de score van een kandidaat in een te laag cijfer wordt omgezet.
Supplement I. De formules voor de omzetting van score naar cijfer
1. Uitgangspunten
Het systeem voor de omzetting van score naar cijfer is gebaseerd op de volgende vier
uitgangspunten:
-
1. Elk gescoord punt draagt altijd bij tot een hoger examencijfer (afronding daargelaten);
-
2. Een score van 0% correspondeert altijd met examencijfer 1,0;
-
3. Een score van 100% correspondeert altijd met examencijfer 10,0;
-
4. Over een zo breed mogelijk centraal interval van de scoreschaal is er (afronding daargelaten)
sprake van een evenredige stijging van score- en cijferpunten die onafhankelijk is
van de normering.
Hierbij wordt onder de score verstaan: de zuivere score, dus uitsluitend de punten
die aan de kandidaat zijn toegekend voor goede antwoordelementen.
2. Het normeringsvoorschrift
Het normeringsvoorschrift bestaat uit twee onderdelen:
-
− de hoofdrelatie: de formule die, voor de overgrote meerderheid van de kandidaten,
het berekeningsvoorschrift geeft voor het omzetten van score naar cijfer;
-
− vier grensrelaties: vier formules die (bij andere N-termen dan 1,0) voorkomen dat
kandidaten met zeer lage of zeer hoge scores een cijfer zouden krijgen dat in strijd
is met bovengenoemde vier uitgangspunten.
3. De hoofdrelatie
De hoofdrelatie geeft aldus het examencijfer als functie van de score:
C = 9,0 * (S/L) + N (1)
waarin:
C = het cijfer voor het centraal examen.
S = de score, dat wil zeggen de zuivere aan de kandidaat toegekende score.
L = de lengte van de scoreschaal, zoals vastgelegd in het correctievoorschrift;
N = de normeringsterm, een getal met één decimaal liggend tussen de waarden: N = 0,0
en N = 2,0, vast te stellen door het CvTE middels een normeringsbeslissing.
Zijn zowel L als N bekend, dan leidt invullen van de score S direct tot het examencijfer
C.
De hoofdrelatie is gevisualiseerd in figuur 1:
Figuur 1
4. De grensrelaties
Als de normeringsterm groter of kleiner is dan 1,0 wordt niet automatisch voldaan
aan de eerder genoemde vier uitgangspunten. Bij N-termen groter dan 1,0 zou een score
van 0 een cijfer hoger dan 1,0 opleveren en de maximale score hoger dan 10,0. Het
omgekeerde gebeurt bij N-termen kleiner dan 1,0. Hiermee is niet voldaan aan de uitgangspunten
2 en 3.
Dit is in beeld gebracht in figuur 2:
Figuur 2
Dit wordt opgelost door middel van een systeem van zogeheten grensrelaties. Het principe
van grensrelaties is gevisualiseerd in figuur 3.
Figuur 3
Samen vormen de vier lijnstukken 2a, 2b, 3a en 3b een gebied waarbinnen alle toegestane
score-cijfercombinaties moeten liggen. Dreigt bij toepassing van de hoofdrelatie –
formule (1) – een score-cijfercombinatie buiten deze grenzen te vallen, dan moet voor
de desbetreffende score dat cijfer vervangen worden door het cijfer berekend met de
corresponderende grensrelatie.
De grensrelaties worden gevormd door de volgende vier formules:
C = 1,0 + S* (9/L)*2 (2a)
C = 10,0 – (L-S)* (9/L) * 0,5 (2b)
C = 1,0 + S* (9/L)* 0,5 (3a)
C = 10,0 – (L-S)*(9/L)*2 (3b)
Bij N > 1,0 geldt voor de laagste scores de formule (2a) en voor de hoogste scores
de formule (2b).
In figuur 4 is dit gevisualiseerd.
Figuur 4
Bij N < 1,0 geldt voor de laagste scores de formule (3a) en voor de hoogste scores
de formule (3b).
In figuur 5 is dit gevisualiseerd.
Figuur 5
5. Samenvattend
Samenvattend ziet het er als volgt uit:
Bij een waarde voor de normeringsterm van N = 1,0 treedt het systeem van grensrelaties
niet in werking en resulteert een score-cijfertransformatie die grafisch wordt gerepresenteerd
door de rechte lijn van Fig.1, de lijn die in Fig. 6 is gelabeld met: ‘N=1,0’.
Bij alle andere waarden van N zijn de grensrelaties wel van belang. In figuur 6 zijn
als voorbeelden de twee gevallen in beeld gebracht die respectievelijk corresponderen
met N = 2,0 en N = 0,0. Deze leveren als score-cijfertransformaties de twee dubbel-geknikte
lijnen op (gelabeld met ‘N=2,0’ en ‘N=0,0’).
Figuur 6
Supplement II. De formules voor het compenseren voor een fout of onvolkomenheid
De N-term die zou zijn vastgesteld als de desbetreffende fout of onvolkomenheid in
een examen of correctievoorschrift niet door het CvTE was vastgesteld, wordt verhoogd
met 9 * Pvrg * Mvrg / L, waarbij deze uitkomst wordt afgerond op één decimaal.
In deze formule staat Pvrg voor de P-waarde van de onvolkomen vraag en Mvrg voor de maximaal haalbare score op deze vraag. Een P-waarde van 0,63 betekent dat
de kandidaten gemiddeld 63% van Mvrg behaald hebben. L staat voor de lengte van de scoreschaal ofwel de maximaal haalbare
score op het gehele examen.
Het uitgangspunt bij deze werkwijze is dat de kandidaat die geen punten heeft kunnen
scoren op de onvolkomen vraag, voldoende wordt gecompenseerd om geen nadeel te ondervinden
van de fout.
Aan het derde tijdvak nemen zo weinig kandidaten deel dat de P-waarden geen relevante
informatiebron vormen. De N-term die zonder de fout zou zijn vastgesteld wordt verhoogd
met 9 * Mvrg / L. Deze compensatie is wellicht te hoog, maar zo wordt voorkomen dat kandidaten
benadeeld worden door de fout.
