Beoordelingskader accreditatiestelsel hoger onderwijs Nederland

[Regeling materieel uitgewerkt per 04-03-2024.]
Geraadpleegd op 16-04-2024.
Geldend van 20-12-2016 t/m heden

December 2016

Inleiding

Met het Beoordelingskader accreditatiestelsel hoger onderwijs Nederland voor het beoordelen van de kwaliteit van hogeronderwijsopleidingen en -instellingen heeft het Nederlandse kwaliteitszorgstelsel een volgende fase bereikt. Het nieuwe kader brengt een belangrijke optimalisatie tot stand, passend bij het huidige tijdsbeeld. Tevens komt het kader tegemoet aan een kwaliteitszorgstelsel dat is gebaseerd op vertrouwen in de bestaande, hoge kwaliteit van het Nederlandse hoger onderwijs.

Het stelsel beoogt, binnen het geldende wettelijke raamwerk van de Wet op het hoger onderwijs en wetenschappelijk onderzoek (WHW), het eigenaarschap van docenten en studenten over de opleidingen te bevestigen en de administratieve lasten rond accreditatie bij de opleidingen en instellingen te verminderen. Tegelijkertijd dient het stelsel voldoende robuust te zijn om de kwaliteit van opleidingen en instellingen te waarborgen, verbetering te kunnen afdwingen en de geboden kwaliteit zichtbaar te maken voor studenten, werkgevers en de samenleving.

De vorige twee Nederlandse accreditatiestelsels traden in 2002 en in 2011 in werking. Nu, met de start van de derde fase van het accreditatiestelsel in 2017 begint tegelijk de tweede ronde van de instellingstoets kwaliteitszorg (ITK). De eerste ronde van ITK’s heeft een belangrijke bijdrage geleverd aan de totstandkoming van een kwaliteitszorgsysteem op instellingsniveau en een kwaliteitscultuur op het gebied van onderwijs. In de tweede ronde wordt beoordeeld in hoeverre het genoemde kwaliteitszorgsysteem en de daarbij horende werkwijzen robuust zijn en of binnen de instellingen een duurzame kwaliteitscultuur tot stand is gekomen. Een positief oordeel over alle standaarden bevestigt dan het vertrouwen in de instelling.

Daarmee vormt de tweede ronde ITK’s een belangrijke bouwsteen voor een stelsel dat is gebaseerd op vertrouwen. Het kader voor de ITK is in dit licht herzien waardoor het ruimte biedt voor verdere ontwikkeling van een stelsel met vertrouwen als uitgangspunt.

Voor de beoordeling van opleidingen bevat het nieuwe kader één set standaarden voor nieuwe en bestaande opleidingen, wetenschappelijke en hoger beroepsopleidingen op associate-degree-, bachelor- en masterniveau. Ook zijn de in het kader opgenomen beslisregels en andere aanwijzingen en richtlijnen ingeperkt en vereenvoudigd. Dit weerspiegelt het uitgangspunt dat maatwerk en eigen invulling door de opleidingen en instellingen bepalen op welke wijze de visitaties worden ingericht binnen de ruimte die het kader daarvoor biedt.

De open opzet en uitwerking maken het kwaliteitszorgstelsel flexibeler en leiden tot minder administratieve lasten. Het kader gaat uit van vertrouwen én van zelfvertrouwen. Bestaande documenten kunnen volstaan om de kwaliteit, kennis en kunde aan te tonen van hen die het onderwijs vormgeven. Van instellingen en opleidingen wordt dan ook niet meer gevraagd dan in dit kader is beschreven.

Het beoordelingskader sluit aan bij de criteria die zijn opgenomen in de WHW en de Standards and Guidelines for Quality Assurance in the European Higher Education Area (European Standards and Guidelines – ESG) en schetst de criteria op basis waarvan de kwaliteitsborging in het Nederlandse hoger onderwijs is vormgegeven.

Het kader blijft onverminderd uitgaan van ‘peer review’ als de beste methode om de kwaliteit vast te stellen. De beoordelingen worden uitgevoerd vanuit een werkwijze en houding die past bij collegiale toetsing. Het panel van onafhankelijke en gezaghebbende experts gaat een open dialoog aan over de kwaliteit met de instelling. Aan de hand van het zelfevaluatierapport wordt het panel deelgenoot van de reflectieve cyclus die de instelling doorloopt om kwaliteit te waarborgen en telkens te verbeteren: van visie en doelstelling naar uitvoering, van evaluatie en resultaten naar verbetering en ontwikkeling.

Het kader vraagt nadrukkelijk aandacht voor kwaliteitscultuur en de verankering daarvan, altijd in samenhang met instrumenten om kwaliteit te verzekeren.

Het kader is gebaseerd op respect voor de autonomie van de instellingen die primair verantwoordelijk zijn voor de kwaliteit. De visie en doelstellingen van de instelling of de opleiding zijn het startpunt van de beoordeling en worden niet inhoudelijk beoordeeld. Uitgangspunt is dat studenten en docenten het onderwijs en de opleiding vormgeven, en daarvoor gezamenlijk als ‘eigenaren’ een belangrijke verantwoordelijkheid dragen. Maar ook de samenleving als geheel is eigenaar van en belanghebbende bij het onderwijs; goed en toegankelijk hoger onderwijs is van groot belang is voor een duurzame en evenwichtige ontwikkeling van de hedendaagse samenleving, zowel in economische als sociaal-maatschappelijke zin.

Het Beoordelingskader accreditatiestelsel hoger onderwijs Nederland is tot stand gekomen na overleg met de koepelorganisaties voor bekostigde en particuliere universiteiten en hogescholen, evaluatiebureaus, studentenorganisaties, werkgeversorganisaties en vakbonden, en met inbreng van vele betrokkenen uit het veld.

In de volgende hoofdstukken wordt het kader weergegeven, onderscheiden naar hoofdstuk 1 over de instellingstoets kwaliteitszorg en hoofdstuk 2 over de opleidingsbeoordeling, zowel voor bestaande als voor nieuwe opleidingen. Hoofdstuk 3 beschrijft de werkwijze voor de overige beoordelingen. Hoofdstuk 4 gaat in op de mogelijkheid van bezwaar en beroep. Hoofdstuk 5 betreft de publicatie van het kader.

Het Accreditatiekader bestaande opleidingen hoger onderwijs (Stcrt. 2003, 120), het Toetsingskader nieuwe opleidingen hoger onderwijs (Stcrt. 2003, 120), de Beoordelingskaders accreditatiestelsel hoger onderwijs (Stcrt. 2010, 2152316) en de Beoordelingskaders accreditatiestelsel hoger onderwijs (Stcrt. 2014, 367913) worden ingetrokken.

Het voorliggende beoordelingskader is goedgekeurd door de Minister van Onderwijs, Cultuur en Wetenschap bij brief van 16 november 2016, kenmerk 1095509.

De voorzitter van de Nederlands Vlaamse Accreditatieorganisatie,

A.H. Flierman.

1. Instellingstoets kwaliteitszorg

1.1. Inleiding

De instellingstoets kwaliteitszorg (ITK) is een periodieke, externe en onafhankelijke beoordeling van de interne kwaliteitszorg van een instelling. Interne kwaliteitszorg omvat zowel de kwaliteitscultuur als het interne systeem van kwaliteitszorg van een instelling. Bij deze toets wordt vastgesteld dat het interne kwaliteitszorgsysteem in samenhang met de kwaliteitscultuur verzekert dat de eigen visie op goed onderwijs wordt gerealiseerd.

Een kwaliteitszorgsysteem bestaat uit eenvoudige, eenduidige en controleerbare doelstellingen, procedures voor de borging van de kwaliteit, verankering van de Plan Do Check Act (PDCA) cyclus in de organisatie, ‘hard controls’, periodieke evaluaties en systematische opvolging van verbeteringen. Kwaliteitscultuur verwijst naar een duidelijke en doorleefde visie, een gezamenlijke gerichtheid op verbeteringen, leiderschap, aanspreekbaarheid en ‘soft controls’, samenwerken en zelfsturing, (academische) professionaliteit, studentbetrokkenheid en een externe oriëntatie. Beide dimensies van sturen op en streven naar goede kwaliteit van het onderwijs worden in de instellingstoets kwaliteitszorg betrokken. De instelling toont de effectiviteit van de eigen synergie tussen beide dimensies aan en heeft dus ruimte om daartussen een eigen balans te kiezen. Het woord “kwaliteitszorg” verwijst in dit kader dan ook nadrukkelijk naar beide dimensies: het systeem van kwaliteitszorg en de kwaliteitscultuur.

De centrale vraag is: verzekert de kwaliteitszorg de realisatie van de visie op goed onderwijs en werkt de instelling duurzaam aan ontwikkeling en verbetering?

Deze centrale vraag wordt beantwoord aan de hand van vier samenhangende vragen die het uitgangspunt vormen voor de instellingstoets kwaliteitszorg:

1. is er voldoende draagvlak voor de visie en het beleid van de instelling ten aanzien van de kwaliteit van haar onderwijs in de brede zin en vindt hierover voldoende externe en interne afstemming plaats?
2. hoe realiseert de instelling deze visie op kwaliteit?
3. hoe monitort de instelling dat zij de visie op kwaliteit realiseert?
4. hoe werkt de instelling aan verbetering?

Bovengenoemde vragen zijn in het kader vertaald naar vier standaarden:

1. visie en beleid
2. uitvoering
3. evaluatie en monitoring
4. ontwikkelingsgerichtheid

De vier standaarden vormen een ‘reflectieve cyclus’ aan de hand waarvan de instelling aantoont dat in al haar geledingen een sterke ontwikkelingsgerichte kwaliteitscultuur bestaat en resultaten van beleid worden opgevolgd. De kwaliteitscultuur wordt ondersteund door een efficiënt systeem van interne kwaliteitszorg, waardoor de kwaliteit van het onderwijs duurzaam wordt geborgd.

Met de instellingstoets kwaliteitszorg legt de instelling rekenschap af aan de samenleving over de degelijkheid van haar zorg voor de kwaliteit van het onderwijs en laat ze zien duurzame kwaliteitsontwikkeling te hebben verzekerd.

De WHW vraagt aandacht voor voorzieningen die de toegankelijkheid en studeerbaarheid bevorderen voor studenten met een functiebeperking.

Uitgangspunt voor de ITK vormt de duidelijke, gedeelde en doorleefde visie van de instelling op goed onderwijs. De visie wordt niet inhoudelijk beoordeeld tijdens de ITK. De instelling is autonoom en ontwikkelt een eigen visie op goed onderwijs die goed moet zijn afgestemd op verwachtingen en eisen van het werkveld, de vakgenoten, studenten en de samenleving. De instelling en haar docenten en studenten dragen en ontwikkelen die visie vanuit een externe gerichtheid en in samenspraak met het maatschappelijk veld.

Het open karakter van het kader onderstreept autonomie van de instelling en de eigen verantwoordelijkheid voor de kwaliteit. Het open karakter draagt bij aan het eigenaarschap van docenten en studenten. Aan de hand van de open standaarden reflecteert het panel in de gesprekken op de eigen visie op goed onderwijs, de wijze waarop daar uitvoering aan wordt gegeven en de evaluatie en resultaten. Door gebruik van open standaarden bestaat eveneens ruimte voor variatie in de uitvoering en de inrichting van het onderwijsbeleid, eventueel ook tussen de verschillende onderdelen van de instelling.

Bij een aanvraag voor verlenging van de geldigheidsduur van het besluit instellingstoets kwaliteitszorg wordt duurzame en systematische verankering van de interne kwaliteitszorg in de achterliggende jaren in de beoordeling betrokken.

Een extern panel van onafhankelijke deskundigen voert de instellingstoets uit (peer review). De NVAO benoemt de leden van het panel. Het panel beoordeelt of de instelling beschikt over passende kwaliteitszorg om de kwaliteit van de opleidingen te borgen en een kwaliteitscultuur die bevordert dat alle betrokkenen streven naar (verdere) kwaliteitsontwikkeling.

1.2. Standaarden

Visie en beleid

Standaard 1: De instelling beschikt over een breed gedragen onderwijsvisie en een daarbij aansluitend beleid gericht op de interne kwaliteitszorg van haar onderwijs.

De instelling kent een duidelijke en in alle geledingen gedeelde visie op goed onderwijs. Docenten en studenten dragen de visie en ontwikkelen deze in onderlinge samenspraak en met externe stakeholders. De onderwijsvisie is actueel door periodieke afstemming op de relevante (veranderende) omgeving. De onderwijsvisie is vertaald naar expliciete uitgangspunten voor kwaliteitszorg. De onderwijsvisie is, in overeenstemming met de ESG, studentgericht (student centred learning).

Uitvoering

Standaard 2: De instelling verwezenlijkt de onderwijsvisie op doeltreffende wijze, blijkend uit passende beleidsacties en -processen met name op het gebied van personeel, toetsing, voorzieningen, en studenten met een functiebeperking.

De onderwijsvisie is adequaat vertaald naar concrete beleidsacties en -processen. De instelling kent processen voor ontwerp, erkenning en borging van de kwaliteit van opleidingen in overeenstemming met de ESG en toont de werking en toepassing van deze processen aan op basis van een track record. Studenten en medewerkers zijn mede-eigenaar van het beleid en dragen vanuit de gezamenlijke visie bij aan de realisatie ervan. Uit die betrokkenheid blijkt de realisatie van de beoogde kwaliteitscultuur van de instelling.

De uitvoering is in overeenstemming met de visie: personeel, toetsing en voorzieningen bevorderen de toegankelijkheid en studeerbaarheid van het onderwijs.

Evaluatie en monitoring

Standaard 3: De instelling evalueert stelselmatig of zij de beoogde beleidsdoelstellingen met betrekking tot onderwijskwaliteit realiseert. Daarbij betrekt zij relevante stakeholders.

De instelling organiseert effectieve feedback die de realisatie van het beleid ondersteunt. Hierbij zet zij passende evaluatie- en meetactiviteiten in, die bestendig verankerd zijn in de instelling. Die instrumenten leveren inzichtelijke informatie die bruikbaar is bij het formuleren van gewenste kwaliteitsontwikkeling. Onderdeel is een transparante werkwijze om risico’s te signaleren, te rapporteren en waar nodig te handelen, gericht op verbeteren. De reflectie op de uitkomsten is onderdeel van het organisatiemodel en geeft in alle lagen van de organisatie en de medezeggenschap voldoende inzicht in de effectiviteit van de beleidsuitvoering.

Het is niet noodzakelijk dat de meet- en evaluatieactiviteiten instellingsbreed uniform zijn. Het gaat immers om de effectiviteit.

Studenten, medewerkers, alumni en deskundigen uit het maatschappelijke veld spelen een actieve rol bij de evaluaties.

De instelling publiceert accurate, actuele en toegankelijke informatie over de evaluatieresultaten.

Ontwikkeling

Standaard 4: De instelling is gericht op ontwikkeling en werkt systematisch aan de verbetering van haar onderwijs.

Op grond van feedback en reflectie op de resultaten zijn doelgerichte maatregelen genomen om het beleid of de uitvoering te versterken, te verbeteren of bij te stellen. Het opvolgen van verbetermaatregelen is verankerd in de organisatiestructuur. Het ontwikkelbeleid van de instelling stimuleert alle betrokkenen om bij te dragen aan innovatie en kwaliteitsverbetering.

Interne en externe stakeholders zijn geïnformeerd over de ontwikkelingen die in gang worden gezet op grond van de evaluatieresultaten. De instelling verbetert zich doorlopend en sluit aan op de (veranderende) omstandigheden en verwachtingen van studenten en werkgevers.

1.3. Oordelen en beslisregels panel

Oordeel per standaard: Het panel voorziet elke standaard van een oordeel op de schaal:
	Voldoet: de instelling voldoet aan de standaard Voldoet ten dele: de instelling voldoet in belangrijke mate aan de standaard maar er zijn verbeteringen nodig om volledig aan de standaard te voldoen. Hiervoor worden voorwaarden gesteld (zie onder: ‘voorwaarden’) Voldoet niet: de instelling voldoet niet aan de standaard
Beslisregels eindoordeel instelling:
	Positief: op alle standaarden ‘voldoet’. Positief onder voorwaarden: maximaal op twee standaarden een ‘voldoet ten dele’ waarbij voorwaarden zijn opgelegd. Negatief: ‘voldoet niet’ op een of meer standaarden en eveneens bij drie of meer ‘voldoet ten dele’.
Voorwaarden:
	Wanneer het panel komt tot het advies ‘Positief onder voorwaarden’ adviseert het panel tevens (een) voorwaarde(n). Het panel adviseert alleen tot het stellen van voorwaarden wanneer realisatie binnen een termijn van maximaal twee jaar realistisch en haalbaar is. De NVAO besluit over het stellen van voorwaarden. Wanneer het stellen van voorwaarden niet realistisch en haalbaar is, is het eindoordeel ‘negatief’. Het panel adviseert concreet over de voorwaarden die vervuld moeten worden om te voldoen aan de standaarden.
Aanbevelingen:
	Het panel kan bij iedere standaard suggesties voor verbeteringen doen die in de rapportage worden onderscheiden van de onderbouwing van de oordelen.

Beoordeling specifieke aspecten

De instelling kan ervoor kiezen om gelijktijdig met de ITK een specifiek, instellingsbreed aspect te laten beoordelen. Hierbij kan gedacht worden aan een bijzonder kenmerk of specifieke kwaliteitszorgactiviteiten van een instelling. Bij het bestuurlijk overleg (zie onder) worden hier afspraken over gemaakt. Het beoordelen van een specifiek aspect leidt tot een extra audittrail en/of een aanvulling op het panel met specifieke deskundigheid. De instelling onderbouwt het aspect in de aanvraag. Het panel beoordeelt het aspect en adviseert daarover. De NVAO kan het advies bekrachtigen. De NVAO kan een aanvraag voor een specifiek, instellingsbreed aspect buiten behandeling stellen, wanneer dit buiten haar competenties valt (zie hoofdstuk 3).

1.4. Beoordelingsproces

1.4.1. Aanvraag indienen

De instelling dient een aanvraag in bij de NVAO via brief of e-mail. Wanneer de instelling de geldigheidsduur van een bestaande ITK wil verlengen (heraanvraag), moet de aanvraag ten minste één jaar voor het vervallen van de instellingstoets plaatsvinden.

1.4.2. Bestuurlijk overleg

Na ontvangst van de aanvraag neemt de NVAO het initiatief tot een bestuurlijk overleg.

Het bestuurlijk overleg is een kennismaking met en een toelichting op de ITK. In dat verband komen bijvoorbeeld de volgende onderwerpen aan bod: de organisatiestructuur en profilering van de instelling, de (internationale) samenstelling van het panel en de taal waarin de toets zal worden uitgevoerd, het tijdpad, de vorm en omvang van het zelfevaluatierapport, aandachtspunten voor de beoordeling, wensen met betrekking tot de inrichting van de locatiebezoeken en het in de instelling beschikbare materiaal ten behoeve van de toets.

Voorafgaand aan het bestuurlijk overleg ontvangt de instelling het accreditatieportret. Dit accreditatieportret geeft een overzicht van de uitkomsten van de accreditaties en toetsen nieuwe opleiding over de afgelopen jaren. De instelling krijgt de gelegenheid correcties door te geven. De NVAO houdt rekening met de verscheidenheid in organisatievormen en met het specifieke karakter van de instelling. Bij het bestuurlijk overleg worden vertegenwoordigers van studenten en docenten uit voor de instelling toepasselijke medezeggenschaps- of (studenten)inspraakorganen betrokken.

1.4.3. Panelsamenstelling

Na het bestuurlijk overleg benoemt de NVAO het panel dat de instellingstoets uitvoert. De instelling kan binnen twee weken beargumenteerd bedenkingen tegen de samenstelling van het panel doorgeven aan de NVAO.

De experts voor instellingsbeoordelingen zijn onafhankelijk van de instelling (tenminste vijf jaar geen directe of indirecte banden gehad met de te beoordelen instelling die leiden tot een ‘conflict of interest’), zijn gezaghebbend op bestuurlijk niveau of binnen de ontwikkeling van het hoger onderwijs, auditdeskundig of vertegenwoordigen het maatschappelijk veld. Panelleden tekenen voorafgaand aan de beoordeling een onafhankelijkheidsverklaring.

Het panel beschikt gezamenlijk over onderstaande expertises:

– bestuurlijke deskundigheid;
– hoger onderwijsdeskundigheid, bij voorkeur ook wat betreft ontwikkelingen buiten Nederland;
– deskundigheid op het gebied van de inrichting en effectiviteit van kwaliteitszorgsystemen;
– vertegenwoordiger van de studenten;
– vertegenwoordiger uit het maatschappelijk veld c.q. werkveld;
– in voorkomend geval: deskundigheid op het vlak van het (de) aangevraagde specifieke aspect(en).

Het panel bestaat, na overleg met de instelling uit maximaal vijf leden, inclusief een studentlid en wordt ondersteund door een secretaris en een procescoördinator van de NVAO. Een panellid met bestuurlijke deskundigheid treedt op als voorzitter.

De NVAO geeft alle panelleden een specifiek op de instellingstoets kwaliteitszorg gerichte briefing en/of training.

Het panel voert een peer review uit, in die zin dat collegiale consultatie/toetsing centraal staan. De attitude en werkwijze van het panel passen bij dit uitgangspunt. Dit betekent onder meer dat het panel vertrekt vanuit vertrouwen en de uitgangspunten van de instelling respecteert, een open dialoog met de instelling voert, recht doet aan de verschillende perspectieven op kwaliteit en bijdraagt aan verbetering.

1.4.4. Zelfevaluatierapport en overig materiaal

De instelling stelt een zelfevaluatierapport op waarin de sterke en de zwakke punten van de instelling staan beschreven. Het zelfevaluatierapport wordt ter advisering voorgelegd aan het, c.q. de voor de instelling toepasselijke medezeggenschaps- of inspraakorga(a)n(en). Het rapport is een op zichzelf leesbaar document met een omvang van maximaal 50 pagina’s (exclusief bijlagen). Het advies van de medezeggenschapsraad maakt deel uit van het zelfevaluatierapport. Het is mogelijk om met de NVAO afspraken te maken over een andere vorm of omvang van het zelfevaluatierapport (zie Bestuurlijk overleg hierboven).

De instelling kiest het overige materiaal dat voor het locatiebezoek ter inzage voor het panel beschikbaar is. Er worden vooraf geen nadere eisen gesteld aan de inhoud en de vorm daarvan. Het panel kan aanvullend informatie opvragen, maar betracht daarbij terughoudendheid. Uitgangspunt is dat de instelling de documenten en informatie verstrekt die het panel voor de uitvoering van zijn taak nodig heeft. Er wordt zoveel mogelijk gebruik gemaakt van bestaand materiaal. In principe laat de NVAO het aan de instelling en het panel over om in onderling overleg vast te stellen welke informatie nodig is voor een goede oordeelsvorming. Indien nodig kan de NVAO bindende uitspraken doen.

De instelling bezorgt haar zelfevaluatierapport met bijlagen uiterlijk zes weken voor het eerste locatiebezoek van het panel aan de NVAO.

1.4.5. Locatiebezoeken

In beginsel voert het panel twee locatiebezoeken uit: een verkennend en een verdiepend bezoek. Tussen het eerste en het tweede bezoek liggen ten minste vier weken. In het eerste bezoek vormt het panel zich een algemeen beeld van de instelling. In het tweede bezoek vindt verdieping plaats door het uitvoeren van ten minste twee audittrails.

Eén trail betreft een verdiepend onderzoek naar de effectiviteit van de kwaliteitszorg en het risicomanagement voor opleidingen. Het panel kiest enkele opleidingen aan de hand waarvan de inrichting van de kwaliteitszorg, risicosignalering en de opvolging van de resultaten door alle organisatielagen heen wordt onderzocht. Daarnaast definieert het panel de thematiek voor de verdiepende audittrail(s) aan het eind van het voorbereidend bezoek. Bij een heraanvraag zijn de bevindingen uit het vorige bezoek hierbij betrokken.

Op verzoek van de instelling kan de NVAO bij een heraanvraag van de ITK besluiten de twee bezoeken aansluitend te laten plaatsvinden, bijvoorbeeld bij inzet van een internationaal panel.

Wanneer de bezoeken aansluitend plaatsvinden, informeert de NVAO de instelling vier weken voorafgaand aan het bezoek over de onderwerpen van de audittrails. In dit geval is in het programma tijd gereserveerd voor het bespreken van thema’s of kwesties waarvan gedurende het bezoek blijkt dat verdieping noodzakelijk is.

Instellingen kunnen tijdens het bestuurlijk overleg eventuele wensen ten aanzien van het locatiebezoek aangeven.

Voorbereiding van het panel

Het panel heeft het zelfevaluatierapport van de instelling en het accreditatieportret voorafgaand aan het verkennend bezoek bestudeerd.

Tijdens een voorbereidend intern paneloverleg plaats bespreekt het panel het zelfevaluatierapport en de onderliggende documenten. Tevens formuleert het panel de vragen die het tijdens het eerste bezoek aan de gespreksdeelnemers wil voorleggen en bepaalt het zijn werkwijze.

Eerste bezoek: verkennend

Tijdens het verkennende bezoek maakt het panel kennis met de instelling. Het panel spreekt tijdens dit bezoek onder meer met de raad van toezicht, het instellingsbestuur, het voor het onderwijs bevoegde management, functionarissen belast met kwaliteitszorg en andere relevante staffunctionarissen, docenten uit vertegenwoordigende organen, studenten uit vertegenwoordigende organen en vertegenwoordigers uit het maatschappelijk veld.

Tevens stelt het panel het open spreekuur vast. Dit spreekuur biedt alle medewerkers van de instelling de gelegenheid om de eigen visie op de kwaliteitszorg van de instelling in vertrouwen naar voren te brengen. De instelling geeft voorafgaand aan het bezoek ruime bekendheid aan het open spreekuur. Degene die hiervan gebruik wenst te maken, kan zich per e-mail bij de secretaris van het panel melden.

De procescoördinator bespreekt met de instelling de inrichting van het locatiebezoek en de aankondiging van het spreekuur. Aan het eind van het eerste bezoek geeft de voorzitter van het panel een beknopte terugkoppeling aan de instelling met een weergave van de eerste indrukken en welke audittrails worden uitgevoerd.

Tweede bezoek: verdiepend

Tijdens het verdiepende bezoek vinden de audittrails plaats. Een audittrail stelt het panel in staat om na te gaan of zijn eerste indrukken juist zijn. Onder het kopje ‘locatiebezoeken’ worden de onderwerpen van de audittrails beschreven. Trails kunnen de organisatie horizontaal of verticaal benaderen. ‘Horizontale’ trails kijken naar uitvoering of opvolging van een specifieke doelstelling of aspect in een bepaalde laag van de organisatie, bijvoorbeeld alle faculteiten. ‘Verticale’ trails volgen de uitvoering in ‘de lijn’ door alle lagen van de organisatie heen. De trail die kijkt naar opvolging van kwaliteitszorg van opleidingen heeft een ‘verticaal’ karakter. De beoordeling van een ‘specifiek aspect’ (zie 1.3) vereist een extra trail.

In het panel vindt collegiale oordeelsvorming plaats. Er wordt gelijkwaardig recht gedaan aan de verschillende perspectieven op kwaliteit die in het panel zijn vertegenwoordigd, waaronder het studentenperspectief. Het panel streeft daarbij naar consensus.

Aan het einde van het verdiepende bezoek geeft de voorzitter een beknopte terugkoppeling van de voorlopige bevindingen van het panel. De definitieve bevindingen worden opgenomen in het adviesrapport.

1.4.6. Adviesrapport

De secretaris van het panel stelt een adviesrapport op van maximaal 30 pagina’s.

Dit rapport bevat een samenvatting van de bevindingen en overwegingen van het panel die ten grondslag liggen aan de oordelen.

De kern van het rapport bevat per standaard de feitelijk onderbouwde bevindingen van het panel, de overwegingen, het oordeel, de eventuele beoordeling van specifieke aspecten, aanbevelingen en eventuele voorwaarden.

Het panel baseert de onderbouwing op het zelfevaluatierapport, de gesprekken met de vertegenwoordigers van de instelling en bevindingen naar aanleiding van het bestudeerde materiaal.

Het rapport opent met een korte en bondige samenvatting, gericht op een breder lezerspubliek. Het rapport sluit af met een scoretabel met de oordelen per standaard en een beredeneerd eindoordeel.

De bijlage bevat de samenstelling van het panel en korte cv-beschrijvingen van de panelleden, de werkwijze van het panel, de data en het programma van de locatiebezoeken (met namen en functies van de gespreksdeelnemers, met uitzondering van de namen van de deelnemers aan het open spreekuur) en een overzicht van het bestudeerde materiaal.

De voorzitter stelt het conceptrapport vast nadat alle panelleden akkoord zijn gegaan met de inhoud van het rapport. De instelling ontvangt het conceptrapport voor het binnen twee weken corrigeren van eventuele feitelijke onjuistheden. Het panel verwerkt de reactie van de instellingen en daarna stelt de voorzitter het definitieve rapport vast, na instemming van de panelleden.

1.5. Besluitvorming NVAO

De NVAO vormt zich een oordeel over het adviesrapport waarbij wordt gekeken naar consistentie, werkwijze van het panel, procedurele eisen, onderbouwing en weging om vast te stellen dat het paneladvies degelijk, deugdelijk en navolgbaar is onderbouwd en de oordeelsvorming consistent heeft plaatsgevonden. De NVAO kan de voorzitter van het panel (en eventueel andere panelleden) uitnodigen voor een toelichting. De NVAO informeert de instelling over dit overleg en kan de instelling ook uitnodigen voor een gesprek. Instellingen kunnen aangeven dat zij behoefte hebben aan een toelichting.

De NVAO komt op basis van het adviesrapport van het panel en eventuele toelichting gemotiveerd tot een eigenstandig oordeel. Het besluit luidt dan: positief; positief onder voorwaarde(n) of negatief. De instelling krijgt de gelegenheid te reageren op feitelijke onjuistheden in het voornemen tot besluit.

Bij het besluit positief onder voorwaarde(n) stelt de NVAO een of meer voorwaarden. De NVAO geeft de termijn aan waarbinnen de gegevens ten behoeve van een beoordeling of aan de voorwaarden is voldaan, moeten worden geleverd, zodat de herbeoordeling binnen twee jaar kan plaatsvinden. De termijn wordt vastgelegd in de beperkte geldigheidsduur van de ITK.

Instellingen die met (voorwaardelijk) positief gevolg de ITK hebben doorlopen, kunnen tijdens de geldigheidsduur de beperkte opleidingsbeoordeling toepassen (bestaande en nieuwe opleidingen).

Bekendmaking

De NVAO publiceert het besluit over de instellingstoets en het adviesrapport op haar website.

Intrekken van de aanvraag

De instelling kan gedurende het gehele beoordelingstraject de aanvraag intrekken, tot aan het moment dat de NVAO een definitief besluit – op de in de Algemene wet bestuursrecht voorgeschreven wijze – heeft genomen en het besluit is gepubliceerd.

1.6. Beoordeling voorwaarde(n)

In het besluit positief onder voorwaarde(n) legt de NVAO vast aan welke voorwaarde(n) moet worden voldaan en binnen welke termijn. Tevens is een uiterste inleverdatum bepaald voor het aanleveren van documentatie waarin de instelling aantoont dat de voorwaarden zijn vervuld. In beginsel beoordeelt hetzelfde panel of aan de voorwaarden is voldaan. De NVAO kan de samenstelling van het panel aanpassen. Het panel bepaalt de werkwijze bij het beoordelen van de voorwaarden.

Over de inrichting van de beoordeling vindt afstemming plaats tussen panel, instelling en NVAO. Het panel brengt een adviesrapport uit aan de NVAO. Zie verder de bepalingen over het adviesrapport en de besluitvorming door de NVAO.

2. Opleidingsbeoordeling

2.1. Inleiding

Het kader voor de opleidingsbeoordeling heeft betrekking op opleidingen in het wetenschappelijke onderwijs (wo), opleidingen in het hoger beroepsonderwijs (hbo) op bachelor- en masterniveau en associate-degreeprogramma’s (Ad-programma’s)’.

Bij de opleidingsbeoordeling onderscheidt de WHW de beoordeling van een bestaande opleiding (accreditatie) en de toets nieuwe opleiding(TNO). Het beperkte kader wordt gevolgd wanneer de instelling beschikt over een positief of een voorwaardelijk positief besluit instellingstoets kwaliteitszorg. Het uitgebreide kader geldt in de overige gevallen.

(*) Zie uitzondering planbeoordeling bij paragraaf 2.3 'Toets nieuwe opleiding'

2.2. Bestaande opleiding

Bij het beoordelen van bestaande opleidingen staat de gerealiseerde kwaliteit centraal. De opleiding toont aan dat de onderwijspraktijk aan de standaarden voldoet. De beoordeling richt zich op de beoogde leerresultaten, de inrichting van het curriculum, de leeromgeving, de toetsing, het docententeam en de gerealiseerde leerresultaten.

2.3. Toets nieuwe opleiding (TNO)

De toets nieuwe opleiding is een planbeoordeling. Deze beoordeling richt zich op plannen, randvoorwaarden en de gerealiseerde kwaliteit voor zover van toepassing. De plannen zijn voldoende uitgewerkt om het panel een helder beeld te geven van de beoogde leerresultaten, de inrichting van het curriculum, de leeromgeving, de toetsing en het docententeam dat de opleiding zal gaan verzorgen. Voor het eerste jaar (60 EC) is de opzet van het curriculum in detail beschreven. Verder spreekt het panel met het ontwikkelteam en/of de beoogde docenten over de invulling van de resterende programmaonderdelen en de realisatie en toetsing van de beoogde leerresultaten.

Uitzondering planbeoordeling bij TNO
Wanneer de opleiding feitelijk al wordt verzorgd, wordt ook bij de TNO het gerealiseerd niveau beoordeeld aan de hand van tussentijdse toetsen en indien beschikbaar eindwerkstukken. Om formele redenen (eerste registratie in het CROHO) wordt dan een TNO toegepast. Zie ook: Toelichting TNO uitgebreide beoordeling gerealiseerde leerresultaten na drie jaar.

Beperkt versus uitgebreid kader

Bij toepassing van het beperkte kader wordt het panel gevraagd om overlap met de instellingstoets kwaliteitszorg te voorkomen. In het beperkte kader ligt het accent op de inhoudelijke kwaliteit van de opleiding, inclusief de daarvoor benodigde leeromgeving en het docententeam. Buiten beschouwing blijven: instellingsbrede aspecten van kwaliteitszorg en kwaliteitscultuur, het instellingsbeleid ten aanzien van personeelsbeleid en voorzieningen en aansluiting bij de strategie van de instelling. Deze zijn immers tijdens de instellingstoets kwaliteitszorg beoordeeld. Het uitgebreide kader stelt juist wel de inpassing van de opleiding in het instellingsbeleid, voorzieningen, kwaliteitszorg en kwaliteitscultuur aan de orde.

2.4. Beperkt kader

Beoogde leerresultaten

Standaard 1: De beoogde leerresultaten passen bij het niveau en de oriëntatie van de opleiding en zijn afgestemd op de verwachtingen van het beroepenveld en het vakgebied en op internationale eisen.

De beoogde leerresultaten beschrijven aantoonbaar het niveau (associate degree, bachelor of master) zoals gedefinieerd in het Nederlands kwalificatieraamwerk en de oriëntatie (hbo of wo) van de opleiding. Ze sluiten bovendien aan bij de actuele eisen die vanuit het regionale, het nationale en het internationale perspectief door het beroepenveld en het vakgebied worden gesteld aan de inhoud van de opleiding. Voor zover van toepassing zijn de beoogde leerresultaten tevens in overeenstemming met relevante wet- en regelgeving.

Onderwijsleeromgeving

Standaard 2: Het programma, de onderwijsleeromgeving en de kwaliteit van het docententeam maken het voor de instromende studenten mogelijk de beoogde leerresultaten te realiseren.

De beoogde leerresultaten zijn adequaat vertaald in leerdoelen van (onderdelen van) het programma. Hierbij wordt rekening gehouden met de diversiteit van de toegelaten studenten. De docenten zijn zowel inhoudelijk als didactisch voldoende deskundig om de opleiding te verzorgen en geven begeleiding. De onderwijsleeromgeving bevordert dat studenten op actieve wijze deelnemen aan de vormgeving van het eigen leerproces (student-centred). Opleidingsspecifieke voorzieningen worden beoordeeld, tenzij het gaat om instellingsbrede voorzieningen waarover bij de ITK al is gerapporteerd.

Toetsing

Standaard 3: De opleiding beschikt over een adequaat systeem van toetsing.

De beoordeling is valide, betrouwbaar en voldoende onafhankelijk. De eisen zijn helder voor de studenten. De kwaliteit van de tentaminering en examinering wordt voldoende gewaarborgd en voldoet aan de wettelijke deugdelijkheidsvereisten. De toetsen ondersteunen het eigen leerproces van de student.

Gerealiseerde leerresultaten

Standaard 4: De opleiding toont aan dat de beoogde leerresultaten zijn gerealiseerd.

(zie ook bij TNO: Uitzondering planbeoordeling bij toets nieuwe opleiding)

Het realiseren van de beoogde leerresultaten blijkt uit de uitkomsten van toetsen, de eindwerken en de wijze waarop afgestudeerden in de praktijk of in een vervolgopleiding functioneren.

De opleiding beschrijft hoe zij de realisatie van het niveau toetst. Dat kan aan de hand van diverse producten of proeven die hier worden samengenomen onder het begrip eindwerk. Een niet limitatieve opsomming van eindwerken is: de eindscriptie, een portfolio, een beroepsproduct, een (reeks van) tentamen(s), een artikel of een artistieke prestatie of een combinatie hiervan.

Het panel beoordeelt ten minste 15 eindwerken van de opleiding. Selectie vindt plaats op basis van een lijst met studentnummers met daarbij de informatie die nodig is om een adequate selectie te maken. De selectie kent een redelijke verdeling over voldoende, goede en zeer goede eindwerken. Tevens zijn varianten, locaties, specialisaties, afstudeertrajecten en programma’s, zodanig in de selectie vertegenwoordigd dat mogelijke kwaliteitsverschillen daartussen kunnen worden vastgesteld. Hierdoor kan het nodig zijn het aantal eindwerken dat wordt beoordeeld op te hogen. De opleiding stelt het panel in de gelegenheid om zich voorafgaand1 aan het locatiebezoek een oordeel te vormen over deze eindwerken en de beoordeling daarvan door de opleiding. Tijdens het locatiebezoek spreekt het panel met beoordelaars/examinatoren van de opleiding om een goed inzicht te krijgen in de wijze waarop de beoordeling tot stand is gekomen en de realisatie van het niveau wordt bewaakt.

2.4.1. Aanvullend bij de toets nieuwe opleiding

– Het panel, en in het verlengde de NVAO, spreekt zich uit over opname van de opleiding in een CROHO-onderdeel 2;
– In het geval van een hbo- opleiding spreekt het panel, en in het verlengde de NVAO, zich uit over een passende toevoeging aan de graad van de opleiding.

2.4.2. Oordelen en beslisregels panel beperkt kader

Het panel neemt in zijn advisering de volgende beslisregels in acht:

	Bestaande opleiding:	Toets nieuwe opleiding:
Oordeel per standaard: Het panel voorziet elke standaard van een oordeel op de schaal:
	‘onvoldoende’, ‘voldoende’, ‘goed’ of ‘excellent’ (zie: definitie oordelen).	‘voldoet niet´, ‘voldoet ten dele´ of ´voldoet´ (zie: definitie oordelen).
Beslisregels totaaloordeel opleiding:
	Excellent: ‘excellent’ op ten minste twee standaarden, waaronder in elk geval standaard 4 en verder ten minste ‘voldoende’ (zie toelichting Excellent). Goed: minimaal ‘goed’ op ten minste twee standaarden, waaronder in elk geval standaard 4 en verder ten minste ‘voldoende’. Voldoende: minimaal ‘voldoende’ op ten minste twee standaarden waaronder in elk geval standaard 1 en herstel van de tekortkoming(en) bij de ‘onvoldoende’ standaarden is realistisch en haalbaar binnen twee jaar (zie ‘herstel’). Onvoldoende: i) standaard 1 is ‘onvoldoende’ of ii) een of twee standaarden ‘onvoldoende’ en herstel binnen twee jaar is niet realistisch en haalbaar iii) drie of meer standaarden ‘onvoldoende’.	Positief: op alle standaarden ‘voldoet’. Positief onder voorwaarden: maximaal op twee standaarden een ‘voldoet ten dele’ waarbij voorwaarden zijn opgelegd. Negatief: ‘voldoet niet’ op een of meer standaarden en eveneens bij drie of meer ‘voldoet ten dele’.
	Herstel	Voorwaarden
	Wanneer het eindoordeel ‘voldoende’ is en een of twee standaarden worden ‘onvoldoende’ beoordeeld, maar herstel van de tekortkoming(en) binnen maximaal twee jaar realistisch en haalbaar is, kan het panel adviseren om een herstelperiode op te leggen. De NVAO besluit over het opleggen van een herstelperiode. Wanneer het opleggen van een herstelperiode niet realistisch en haalbaar is, is het eindoordeel ‘onvoldoende’. Het panel adviseert concreet over de tekortkomingen die moeten worden weggenomen om te voldoen aan de voorwaarden.	Wanneer het panel komt tot het advies ‘Positief onder voorwaarden’ adviseert het panel tevens (een) voorwaarde(n). Het panel adviseert alleen tot het stellen van voorwaarden wanneer realisatie binnen een termijn van maximaal twee jaar realistisch en haalbaar is. De NVAO besluit over het stellen van voorwaarden. Wanneer het stellen van voorwaarden niet realistisch en haalbaar is, is het eindoordeel ‘negatief’. Het panel adviseert concreet over de voorwaarden die vervuld moeten worden om te voldoen aan de standaarden.

2.5. Uitgebreid kader

Beoogde leerresultaten

Standaard 1: De beoogde leerresultaten passen bij het niveau en de oriëntatie van de opleiding en zijn afgestemd op de verwachtingen van het beroepenveld, het vakgebied en op internationale eisen.

Programma; oriëntatie

Standaard 2: Het programma maakt het mogelijk om passende (professionele of academische) onderzoeks- en beroepsvaardigheden te realiseren.

Het programma sluit aan bij de actuele (internationale) ontwikkelingen, eisen en verwachtingen in het beroepenveld en in het vakgebied. Academische vaardigheden en/of onderzoeks- en/of beroepsgerichte competenties krijgen invulling op een wijze die past bij de oriëntatie en het niveau van de opleiding.

Programma; inhoud

Standaard 3: De inhoud van het programma biedt studenten de mogelijkheid om de beoogde leerresultaten te bereiken.

De leerresultaten zijn adequaat vertaald in leerdoelen van (onderdelen van) het programma.

Programma; leeromgeving

Standaard 4: De vormgeving van het programma zet aan tot studeren en biedt studenten de mogelijkheid om de beoogde leerresultaten te bereiken.

De vormgeving van het programma draagt bij aan de realisatie van de beoogde leerresultaten. De onderwijsleeromgeving bevordert dat studenten een actieve rol nemen in de vormgeving van het eigen leerproces (student-centred). De inrichting van de leeromgeving past bij de onderwijsvisie van de instelling.

Instroom

Standaard 5: Het programma sluit aan bij de kwalificaties van de instromende studenten.

De gehanteerde toelatingseisen zijn realistisch met het oog op de beoogde leerresultaten.

Personeel

Standaard 6: Het docententeam is gekwalificeerd voor de inhoudelijke en onderwijskundige realisatie van het programma en de omvang ervan is toereikend.

De docenten zijn zowel inhoudelijk als didactisch voldoende deskundig om de opleiding te verzorgen. Het personeelsbeleid draagt daar aan bij. Er is voldoende personeel beschikbaar om de opleiding te verzorgen en de studenten te begeleiden.

Voorzieningen

Standaard 7: De huisvesting en de materiële voorzieningen zijn toereikend voor de realisatie van het programma.

De huisvesting van de opleiding en de voorzieningen passen bij de beoogde leerresultaten en de onderwijsleeromgeving.

Begeleiding

Standaard 8: De studiebegeleiding en de informatievoorziening aan studenten bevorderen de studievoortgang en sluiten aan bij de behoefte van studenten.

Studenten ontvangen een passende begeleiding (ook in het geval van een functiebeperking). De informatievoorziening van de opleiding is adequaat.

Kwaliteitszorg

Standaard 9: De opleiding kent een expliciete en breed gedragen kwaliteitszorg, bevordert de kwaliteitscultuur en is gericht op ontwikkeling.

De opleiding organiseert effectieve periodieke feedback die de realisatie van de beoogde leerresultaten ondersteunt. Bij bestaande opleidingen vinden geëigende verbeteringen plaats naar aanleiding van de uitkomsten van de vorige beoordeling. Hierbij worden passende evaluatie- en meetactiviteiten ingezet. De uitkomsten van deze evaluatie vormen aantoonbaar de basis voor ontwikkeling en verbetering. De opleiding legt intern verantwoording af over de bijdrage van de opleiding aan het realiseren van de strategische doelen van de instelling. Kwaliteitszorg verzekert realisatie van de beoogde leerresultaten. Bij de interne kwaliteitszorg zijn de opleidings- en examencommissies, medewerkers, studenten, alumni en het afnemende beroepenveld van de opleiding actief betrokken. De ontwerpprocessen en de erkenning en borging van de kwaliteit van de opleiding zijn in overeenstemming met de ESG. De opleiding publiceert accurate, betrouwbare en voor de doelgroepen goed toegankelijke informatie over de kwaliteit van de opleiding.

Toetsing

Standaard 10: De opleiding beschikt over een adequaat systeem van toetsing.

De beoordeling is valide, betrouwbaar en voldoende onafhankelijk. De kwaliteit van de tentaminering en examinering wordt voldoende gewaarborgd en voldoet aan de wettelijke deugdelijkheidsvereisten. De examencommissie oefent haar wettelijke bevoegdheid uit. De toetsen ondersteunen het eigen leerproces van de student.

Gerealiseerde leerresultaten

Standaard 11: De opleiding toont aan dat de beoogde leerresultaten worden gerealiseerd.

(Bij de toets nieuwe opleiding wordt deze standaard alleen beoordeeld wanneer onderwijs wordt verzorgd en de realisatie van de leerresultaten door afstudeerders kan worden vastgesteld, zie: Uitzondering planbeoordeling bij toets nieuwe opleiding. In alle andere gevallen wordt de beoordeling uitgesteld tot drie jaar na de start van de opleiding, zie: TNO uitgebreide beoordeling gerealiseerde leerresultaten na drie jaar).

Het realiseren van de beoogde leerresultaten blijkt uit de uitkomsten van toetsen, de eindwerken en de wijze waarop afgestudeerden in de praktijk of in een vervolgopleiding functioneren.

De opleiding beschrijft hoe zij de realisatie van het niveau toetst. Dat kan aan de hand van diverse producten of proeven die hier worden samengenomen onder het begrip ‘eindwerk’. Een niet limitatieve opsomming van eindwerken is: de eindscriptie, een portfolio, een beroepsproduct, een (reeks van) tentamen(s), een artikel of een artistieke prestatie of een combinatie hiervan.

Het panel beoordeelt ten minste 15 eindwerken van de opleiding. Selectie vindt plaats, op basis van een lijst met studentnummers met daarbij de informatie die nodig is om een adequate selectie te maken. De selectie kent een redelijke verdeling over voldoende, goede en zeer goede eindwerken. Tevens zijn varianten, locaties, specialisaties, afstudeertrajecten en programma’s, zodanig in de selectie vertegenwoordigd dat mogelijke kwaliteitsverschillen daartussen kunnen worden vastgesteld. Hierdoor kan het nodig zijn het aantal eindwerken dat wordt beoordeeld op te hogen. De opleiding stelt het panel in de gelegenheid om zich voorafgaand3 aan het locatiebezoek een oordeel te vormen over deze eindwerken en de beoordeling daarvan door de opleiding. Tijdens het locatiebezoek wordt gesproken met beoordelaars/examinatoren van de opleiding om een goed inzicht te krijgen in de wijze waarop de beoordeling tot stand is gekomen en de realisatie van het niveau wordt bewaakt.

2.5.1. Aanvullend bij de uitgebreide toets nieuwe opleiding:

– Het panel en in het verlengde de NVAO, spreekt zich uit over toedeling van de opleiding in een CROHO-onderdeel4;
– In het geval van een hbo-opleiding spreekt het panel, en in het verlengde de NVAO, zich uit over een passende toevoeging aan de graad van de opleiding.

Toelichting TNO uitgebreide beoordeling gerealiseerde leerresultaten na drie jaar

Wanneer op het moment van de aanvraag nog geen feitelijk onderwijs wordt verzorgd en de betrokken instelling beschikt (nog) niet over een instellingstoets kwaliteitszorg (onder voorwaarden), dan worden drie jaar nadat de toets nieuwe opleiding is verleend, de volgende kwaliteitsaspecten beoordeeld:

a. het gerealiseerde niveau, gelet op hetgeen internationaal gewenst en gangbaar is;

b. de deugdelijkheid van beoordeling, toetsing en examinering van de studenten.

Een onafhankelijk, door de NVAO geaccordeerd panel voert de beoordeling uit. De instelling verstrekt uiterlijk twee en een half jaar na het besluit toets nieuwe opleiding het adviesrapport aan de NVAO.

2.5.2. Oordelen en beslisregels panel uitgebreid kader

Het panel neemt in zijn advisering de volgende beslisregels in acht:

	Bestaande opleiding:	Toets nieuwe opleiding:
Oordeel per standaard: Het panel voorziet elke standaard van een oordeel op de schaal:
	‘onvoldoende’, ‘voldoende’, ‘goed’ of ‘excellent’ (zie: definitie oordelen).	‘voldoet niet´, ‘voldoet ten dele´ of ´voldoet´ (zie: definitie oordelen).
Beslisregels totaaloordeel opleiding:
	Excellent: ‘excellent’ op ten minste vijf standaarden, waaronder in elk geval standaard 11 en verder ten minste ‘voldoende’ (zie toelichting Excellent). Goed: minimaal ‘goed’ op ten minste vijf standaarden, waaronder in elk geval standaard 11 en verder ten minste ‘voldoende’. Voldoende: minimaal ‘voldoende’ op ten minste zes standaarden, waaronder in elk geval standaard 1 en herstel van de tekortkoming(en) bij de ‘onvoldoende’ standaarden is realistisch en haalbaar binnen twee jaar (zie ‘herstel’). Onvoldoende: i) standaard 1 is ‘onvoldoende’ of ii) ten minste zes standaarden ‘voldoende’ en herstel van de tekortkomingen bij de ‘onvoldoende’ standaarden binnen twee jaar is niet realistisch en haalbaar (zie: ‘herstel’), of iii) minder dan zes standaarden ‘voldoende’.	Positief: op alle standaarden ‘voldoet’. Positief onder voorwaarden: ten minste zes standaarden ‘voldoet’ en de overige standaarden ‘voldoet ten dele’ waarbij voorwaarden zijn opgelegd (zie voorwaarden). Negatief: ‘voldoet niet’ op een of meer standaarden en eveneens bij minder dan zes standaarden ‘voldoet’.
	Herstel	Voorwaarden
	Wanneer het eindoordeel ‘voldoende’ is en een of meer standaarden worden ‘onvoldoende’ beoordeeld, maar herstel van de tekortkoming(en) binnen maximaal twee jaar realistisch en haalbaar is, kan het panel adviseren om een herstelperiode op te leggen. De NVAO besluit over het opleggen van een herstelperiode. Wanneer het opleggen van een herstelperiode niet realistisch en haalbaar is, is het eindoordeel ‘onvoldoende’. Het panel adviseert concreet over de tekortkomingen die moeten worden weggenomen om te voldoen aan de voorwaarden.	Wanneer het panel komt tot het advies ‘positief onder voorwaarden’ adviseert het panel tevens (een) voorwaarde(n). Het panel adviseert alleen tot het stellen van voorwaarden wanneer realisatie binnen een termijn van maximaal twee jaar realistisch en haalbaar is. De NVAO besluit over het stellen van voorwaarden. Wanneer het stellen van voorwaarden niet realistisch en haalbaar is, is het eindoordeel ‘negatief’. Het panel adviseert concreet over de voorwaarden die vervuld moeten worden om te voldoen aan de standaarden.

2.6. Definitie oordelen standaarden

Basiskwaliteit:	De kwaliteit die in internationaal perspectief redelijkerwijs mag worden verwacht van een ad-programma, bachelor- of masteropleiding binnen het hoger onderwijs.
Bestaande opleiding
Onvoldoende:	de opleiding voldoet niet aan de basiskwaliteit en vertoont tekortkomingen op meer aspecten. Het panel kan herstel voorstellen (zie: ’herstel’)
Voldoende:	de opleiding voldoet over de volle breedte van de standaard aan de basiskwaliteit
Goed:	de opleiding steekt systematisch uit boven de basiskwaliteit.
Excellent:	de opleiding steekt systematisch ver uit boven de basiskwaliteit en geldt als een internationaal voorbeeld (zie: toelichting Excellent)

Toets nieuwe opleiding
Voldoet niet:	de nieuwe opleiding voldoet niet aan basiskwaliteit
Voldoet ten dele:	de nieuwe opleiding voldoet in belangrijke mate aan de basiskwaliteit, maar er zijn verbeteringen nodig om volledig aan de standaard(en) te voldoen. Als uitgangspunt worden voorwaarden gesteld om deze verbeteringen te realiseren. (maar zie: ‘Beslisregels totaaloordeel opleiding’ zowel bij het beperkt kader als bij het uitgebreid kader voor uitzonderingen)
Voldoet:	de nieuwe opleiding voldoet aan de basiskwaliteit

Toelichting Excellent

Het panel geeft in het rapport een overtuigende onderbouwing bij het oordeel ‘Excellent’. Daartoe toont de opleiding aan dat ze als een internationale best practice kan worden aangemerkt. Het panel zal extra bestaande documentatie opvragen wanneer dat voor de onderbouwing van het oordeel noodzakelijk is.

2.7. Beoordelingsproces bestaande opleiding

2.7.1. Aanvraag

Aanvragen om accreditatie worden uiterlijk ingediend op de inleverdatum van de visitatiegroep waarvan de opleiding deel uitmaakt. Het adviesrapport van het panel maakt deel uit van de accreditatieaanvraag.

2.7.2. Beoordeling in visitatiegroepen

Bestaande opleidingen worden in visitatiegroepen beoordeeld. De NVAO deelt opleidingen in bij een visitatiegroep (op voordracht van de instelling) en stelt daarvan de inleverdatum vast. Regelingen voor aanvragen en wijzigingen zijn op de website van de NVAO gepubliceerd.5

Opleidingen kunnen als sector voorafgaand aan het accreditatieproces met de NVAO spreken over bijvoorbeeld vergelijkend beoordelen in de visitatiegroep, het accreditatiekader, de inhoudelijke thematiek en de werkafspraken om het accreditatieproces goed te laten verlopen.

2.7.3. Zelfevaluatie en bijlagen

De instelling stelt een zelfevaluatierapport op waarin de sterke en de zwakke punten van de opleiding worden beschreven. Het rapport is een op zichzelf leesbaar document met een omvang van maximaal 15 pagina’s (beperkt kader)/ 20 pagina’s (uitgebreid kader) (exclusief studentenhoofdstuk en bijlagen). Het is mogelijk om met het panel afspraken te maken over een andere vorm of omvang van het zelfevaluatierapport. Naast een zelfevaluatie, kunnen ook bestaande evaluatieve documenten van de opleidingen worden gebruikt. De standaarden uit het beoordelingskader zijn herleidbaar, bijvoorbeeld door een toelichting. Onderdeel van de zelfevaluatie is een eigen hoofdstuk van studenten en/of advies van de opleidingscommissie. De opleiding bevordert dat een onafhankelijk en representatief studentenhoofdstuk tot stand komt.

De opleiding voegt bij de zelfevaluatie een beperkt aantal bijlagen. Deze bijlagen geven inzicht in de opzet en/of inhoud van het programma, de samenstelling van het docententeam en de onderwijs- en examenregeling.

Het panel vraagt aanvullende documenten en informatie op indien nodig voor het vormen van een oordeel. Uitgangspunt is dat de opleiding de documenten en informatie verstrekt die het panel voor de uitvoering van haar taak nodig heeft. Het panel betracht echter terughoudendheid en vraagt geen andere informatie op dan reeds beschikbaar bij de opleiding.

2.7.4. Panelsamenstelling

De peers voor opleidingsbeoordelingen zijn onafhankelijk, gezaghebbend in hun vakgebied en beschikken gezamenlijk over onderstaande deskundigheden:

– actuele kennis van het desbetreffende vakgebied;
– (recente) ervaring met het verzorgen van onderwijs en toetsing in hetzelfde type onderwijs (hbo/wo master/bachelor/associate degree);
– is in staat om de opleiding te vergelijken in internationaal perspectief;
– ervaring in het (internationale) werkveld van het vakgebied;
– ervaring met peer review in het hoger onderwijs;
– indien van toepassing: heeft kennis van een specifiek didactische concept;
– indien van toepassing: deskundigheid op het vlak van het aangevraagde bijzondere kenmerk

Het panel bestaat uit tenminste vier leden. Een (op het gebied van kwaliteitszorg) actieve student uit het hoger onderwijs maakt deel uit van het panel. Het panel wordt ondersteund door een door de NVAO getrainde secretaris die formeel géén lid is van het panel.

De panelleden zijn onafhankelijk van de opleiding (tenminste vijf jaar geen directe of indirecte banden gehad met de instelling van de opleiding die leiden tot een ‘conflict of interest’). Panelleden tekenen voorafgaand aan de beoordeling een onafhankelijkheidsverklaring.

Visitatiegroepen

Beoordeling van bestaande opleidingen vindt plaats in een visitatiegroep.6 Een visitatiegroep wordt door één panel vergelijkend beoordeeld.7 De betrokken instellingsbesturen leggen een afgestemd voorstel voor de samenstelling van het panel ter instemming voor aan de NVAO8 (inclusief vermelding van secretaris en eventuele procescoördinator9). Daarbij wordt beschreven hoe (de samenhang in) het panel bijdraagt aan een consistente vergelijking tussen de opleidingen. De NVAO toetst de bekwaamheid, de onafhankelijkheid en de samenhang van het panel aan de hand van bovenstaande criteria.

Voorbereiding van het panel

De voorzitter en de secretaris van het panel zijn overeenkomstig de eisen van de NVAO getraind. Er vindt eveneens training/briefing van het panel plaats. Het panel spreekt een werkwijze af.

Voorafgaand aan het bezoek heeft het panel het zelfevaluatierapport van de opleiding bestudeerd.

Vervolgens vindt een voorbereidend intern paneloverleg plaats waarin het panel het zelfevaluatierapport en de onderliggende documenten bespreekt. Tevens formuleert het panel de vragen die het tijdens het bezoek aan de gespreksdeelnemers zal voorleggen.

Het panel voert een peer review uit in die zin dat collegiale consultatie/toetsing centraal staan. De attitude en werkwijze van het panel past bij dit uitgangspunt. Dit betekent onder meer dat het panel vertrekt vanuit vertrouwen en de uitgangspunten van de opleiding, een open dialoog met de opleiding voert, recht doet aan de verschillende perspectieven op kwaliteit en bij draagt aan verbetering.

Oordeelsvorming

In het panel vindt collegiale oordeelsvorming plaats. Daarbij wordt gelijkwaardig recht gedaan aan de verschillende perspectieven op kwaliteit die in het panel zijn vertegenwoordigd, waaronder het studentenperspectief. Het panel streeft daarbij naar consensus.

2.7.5. Locatiebezoek

Het locatiebezoek bestaat uit twee delen:

1. beoordeling in het kader van accreditatie en verbetering: de opleiding doet een programmavoorstel voor het locatiebezoek, inclusief gespreksvolgorde, gesprekstypen, personen en duur. Het panel honoreert dit voorstel zo veel mogelijk en kan ten behoeve van betrouwbare oordeelsvorming aanpassingen vragen;
2. de opleiding voert daarnaast een zogenoemd ontwikkelgesprek met het panel waarin mogelijke verbeteringen vanuit een ontwikkelperspectief aan de orde komen.

2.7.6. Rapportage

Het locatiebezoek levert twee rapportages op:

1. adviesrapport: in dit rapport maakt het panel inzichtelijk welke bevindingen hebben geleid tot de toegekende oordelen en vat deze samen in een bondig adviesrapport. De standaarden en beslisregels uit het toepasselijke kader zijn leidend in deze rapportage. Aanbevelingen tot verbetering zijn opgenomen in het adviesrapport. Het adviesrapport bevat een samenvatting. Het adviesrapport ligt ten grondslag aan het accreditatiebesluit van de NVAO. De NVAO publiceert het besluit en het adviesrapport;
2. de instelling publiceert daarnaast binnen een redelijke termijn na het accreditatiebesluit van de NVAO de conclusies die zijn verbonden aan het ontwikkelgesprek met het panel.

Het conceptadviesrapport wordt vastgesteld door de voorzitter na akkoord door de panelleden.

De instelling ontvangt het conceptrapport voor het binnen twee weken corrigeren van eventuele feitelijke onjuistheden. Het panel verwerkt de reactie van de instellingen en daarna stelt de voorzitter het definitieve rapport vast, na instemming van de panelleden.

2.8. Beoordelingsproces toets nieuwe opleiding

2.8.1. Aanvraag

De Instelling dient een aanvraag in bij de NVAO. Het informatiedossier volgt de standaarden van het beoordelingskader en maakt deel uit van de aanvraag. Het informatiedossier is een op zichzelf leesbaar document met een omvang van maximaal 15 pagina’s (beperkt kader)/ 20 pagina’s (uitgebreid kader) (exclusief bijlagen). Naast een informatiedossier kunnen ook bestaande documenten van de opleidingen worden gebruikt.

De opleiding voegt bij het informatiedossier een beperkt aantal bijlagen. Deze bijlagen geven inzicht in de opzet en/of inhoud van het programma en de samenstelling van het beoogde docententeam.

2.8.2. Panelsamenstelling

De samenstelling, voorbereiding en oordeelsvorming van het panel bij een toets nieuwe opleiding zijn gelijk aan die van het panel bij de beoordeling van een bestaande opleiding (zie paragraaf 2.7.4, met uitzondering van ‘visitatiegroepen’). De NVAO stelt het panel samen dat de toets nieuwe opleiding uitvoert en benoemt dit panel. De instelling kan binnen twee weken na bekendmaking van de samenstelling beargumenteerd bedenkingen tegen de samenstelling van het panel doorgeven aan de NVAO. De panelleden zijn onafhankelijk van de opleiding (tenminste vijf jaar geen directe of indirecte banden gehad met de instelling van de opleiding die leiden tot een ‘conflict of interest’). Panelleden tekenen voorafgaand aan de beoordeling een onafhankelijkheidsverklaring. Het panel wordt bij een TNO ondersteund door een door de NVAO getrainde secretaris en/of een procescoördinator van de NVAO10.

2.8.3. Locatiebezoek

Het programma van het locatiebezoek komt tot stand in overleg tussen de procescoördinator en de contactpersoon van de opleiding. Zie paragraaf 2.7.5 (met uitzondering van ‘Ontwikkelgesprek’).

2.8.4. Adviesrapport

Rapportage blijft beperkt tot het adviesrapport. Zie paragraaf 2.7.6 (met uitzondering van ‘Verslag ontwikkelgesprek’). In aanvulling op paragraaf 2.7.6: Wanneer het panel adviseert om voorwaarden te stellen, reageert de instelling op die voorwaarden bij de correctie van feitelijke onjuistheden. De NVAO betrekt de reactie bij het bepalen van de voorwaarden en de termijn waarbinnen moet worden aangetoond dat daaraan is voldaan.

2.9. Besluitvorming NVAO

2.9.1. Bestaande opleiding

Opleidingen worden voor zes jaar geaccrediteerd. Elke zes jaar toont de opleiding aan dat zij nog steeds aan de standaarden voor heraccreditatie voldoet. De NVAO komt op basis van het adviesrapport van het panel, gemotiveerd, tot een eigenstandig oordeel op grond waarvan zij een besluit neemt. De NVAO kan besluiten dat de opleiding opnieuw voor zes jaar geaccrediteerd wordt, dat er geen heraccreditatie van de opleiding plaatsvindt of dat de lopende accreditatietermijn tijdelijk wordt verlengd in het kader van een herstelperiode.

Bij een onvoldoende op standaard 1 neemt de NVAO een negatief besluit en is er geen mogelijkheid voor een aanvullende beoordeling. Wanneer het panel adviseert tot het toekennen van een herstelperiode, voegt de opleiding een herstelplan bij de aanvraag tot heraccreditatie en het advies van de opleidingscommissie daarover (wanneer de opleidingscommissie wettelijk is voorgeschreven).

De NVAO betrekt het herstelplan bij het besluit tot het verlengen van de lopende accreditatietermijn in het kader van een herstelperiode en bij het bepalen van de termijn waarbinnen moet worden aangetoond dat herstel is gerealiseerd. In het laatste geval vindt binnen maximaal twee jaar een aanvullende beoordeling plaats. Dit wordt vastgelegd in het besluit.

2.9.2. Beoordeling na herstel

De NVAO legt in het besluit tot het verlengen van de lopende accreditatietermijn in het kader van een herstelperiode vast welke aspecten worden beoordeeld om de realisatie van het herstel vast te stellen. Tevens wordt een uiterste inleverdatum bepaald voor het aanleveren van documentatie door de opleiding waarin wordt aangetoond dat het herstel is gerealiseerd. In beginsel beoordeelt hetzelfde panel of het herstel is gerealiseerd. De NVAO kan besluiten tot aanpassingen in de samenstelling. Het panel besluit welke werkwijze wordt gevolgd bij de beoordeling. Het panel brengt advies uit aan het NVAO bestuur. Zie verder paragraaf 2.9 ‘Besluitvorming NVAO’.

2.9.3. Toets nieuwe opleiding

Bij een toets nieuwe opleiding kan de NVAO tot een positief besluit (voor zes jaar) of negatief besluit komen. Aan een positief besluit kan de NVAO voorwaarden verbinden. In het laatste geval vindt binnen maximaal twee jaar een aanvullende beoordeling plaats. Indien voorwaarden zijn gesteld is de looptijd van de toets nieuwe opleiding beperkt tot de periode waarin aan voorwaarden moet zijn voldaan.

Voor opleidingen die een uitgebreide toets nieuwe opleiding hebben ondergaan, bestaat de verplichting om na drie jaar het niveau te laten beoordelen. Deze verplichting geldt alleen indien de instelling die de opleiding aanbiedt, niet beschikt over een (voorwaardelijke) ITK (zie toelichting: TNO uitgebreide beoordeling gerealiseerde leerresultaten na drie jaar).

Nieuwe opleidingen worden uiterlijk in de aprilronde11 van het jaar twee jaar vóór het jaar van de vervaldatum ingedeeld in een visitatiegroep (jaar aprilronde = jaar vervaldatum min 2). De instelling dient uiterlijk in de desbetreffende aprilronde een verzoek tot indeling in. Deze verplichting is onderdeel van het besluit.

2.9.4. Beoordeling onder voorwaarden

In het positief besluit onder voorwaarden legt de NVAO vast welke aspecten worden beoordeeld om realisatie van de voorwaarden vast te stellen. Tevens wordt een uiterste inleverdatum bepaald voor het aanleveren van documentatie door de opleiding waarin wordt aangetoond dat aan de voorwaarden is voldaan. In beginsel beoordeelt hetzelfde panel of aan de voorwaarden is voldaan. De NVAO kan besluiten tot aanpassingen in de samenstelling. Het panel besluit welke werkwijze wordt gevolgd bij de beoordeling. De inrichting van de beoordeling wordt afgestemd tussen de procescoördinator en de instelling. Het panel brengt advies uit aan het NVAO bestuur. Zie verder paragraaf 2.9 ‘Besluitvorming NVAO’.

3. Overige beoordelingen

In combinatie met de instellingstoets kwaliteitszorg, respectievelijk de opleidingsbeoordeling kunnen andere procedures van toepassing zijn.

Dit is onder meer het geval bij een aanvraag voor het beoordelen van:

– specifieke aspecten (bij een instellingstoets kwaliteitszorg)
– een toets nieuwe opleiding van de eerste opleiding die wordt verzorgd door een organisatie die als ‘rechtspersoon voor hoger onderwijs’ wil worden erkend door de Minister van Onderwijs, Cultuur en Wetenschap en een geaccrediteerde opleiding wil verzorgen;
– een verlenging van de cursusduur;
– een gezamenlijke opleiding (joint programme/joint degree);
– een bijzonder kenmerk;
– een onderzoeksmaster;
– de samenstelling van een panel.

Het panel betrekt deze procedures voor zover van toepassing in zijn advisering.

De aanvullende/afwijkende eisen aan de inrichting van de beoordeling door het panel en aanvullingen op de standaarden voor de beoordeling zijn opgenomen in separate uitwerkingen. De NVAO publiceert deze op haar website.

4. Bezwaar en beroep

Alvorens het besluit vast te stellen over een instellingstoets kwaliteitszorg, een beperkte of uitgebreide opleidingsbeoordeling, een beperkte, uitgebreide, (verzwaarde) uitgebreide of aanvullende TNO, stelt de NVAO het instellingsbestuur in de gelegenheid om binnen twee weken zijn zienswijze over feitelijke onjuistheden in het voornemen tot besluit naar voren te brengen.

Deze twee weken vallen binnen de wettelijke termijn van zes maanden (voor de instellingstoets kwaliteitszorg, de beperkte en de uitgebreide TNO) dan wel van drie maanden (voor de beperkte en de uitgebreide opleidingsbeoordeling) waarbinnen de NVAO tot een besluit moet komen.

De NVAO zendt na definitieve vaststelling het besluit zo snel mogelijk aan het instellingsbestuur en maakt het besluit tegelijkertijd openbaar via haar website.

Daarbij bestaat de mogelijkheid van bezwaar en beroep:

Het maken van bezwaar geschiedt door het indienen van een bezwaarschrift door een belanghebbende bij de NVAO. De termijn voor het indienen van bezwaar bedraagt zes weken. In het kader van de behandeling van het bezwaar vindt in beginsel een hoorzitting plaats. De NVAO beslist binnen twaalf weken na ontvangst van het bezwaarschrift. De beslissing op bezwaar kan voor ten hoogste zes weken worden verdaagd. Hiervan wordt schriftelijk mededeling gedaan. Op de bezwaarschriftenprocedure is van toepassing de Algemene wet bestuursrecht en de Regeling bezwaarschriftenprocedure Awb NVAO.

Tegen een beslissing op bezwaar van de NVAO staat beroep open bij de Afdeling bestuursrechtspraak van de Raad van State. De termijn voor het indienen van beroep bedraagt zes weken. Hangende de bezwaar- en/of beroepsprocedure kan aan de bevoegde bestuursrechter worden verzocht een voorlopige voorziening te treffen indien onverwijlde spoed, gelet op de betrokken belangen, dat vereist.

5. Publicatie

Het Beoordelingskader accreditatiestelsel hoger onderwijs Nederland wordt na publicatie in de Staatscourant op de website van de NVAO geplaatst (www.nvao.net).

Bijlage Lijst met afkortingen

CROHO Centraal Register Opleidingen Hoger Onderwijs
Ad Associate-degreeprogramma
ESG Standards and Guidelines for Quality Assurance in the European Higher Education Area (European Standards and Guidelines)
Hbo hoger beroepsonderwijs
ITK instellingstoets kwaliteitszorg
NVAO Nederlands-Vlaamse Accreditatieorganisatie
PDCA Plan Do Check Act
TNO toets nieuwe opleiding
WHW Wet op het hoger onderwijs en wetenschappelijk onderzoek
Wo wetenschappelijk onderwijs

Colofon

Beoordelingskader accreditatiestelsel

hoger onderwijs Nederland

NVAO

Nederlands-Vlaamse Accreditatieorganisatie

Parkstraat 28 ⁄ 2514 JK Den Haag

Postbus 85498 ⁄ 2508 CD Den Haag

Nederland

T 31 70 312 23 00

E info@nvao.net

www.nvao.net

In bijzondere gevallen kan het panel de eindwerken ook tijdens het locatiebezoek bestuderen (bijvoorbeeld in het geval van uitvoerende kunsten). ^ [1]
Het Centraal Register Opleidingen Hoger Onderwijs (CROHO) kent de onderwijsonderdelen: Onderwijs, Landbouw en natuurlijke omgeving, Natuur, Techniek, Gezondheidszorg, Economie, Recht, Gedrag en maatschappij, Taal en cultuur en Sectoroverstijgend. ^ [2]
In bijzondere gevallen kan het panel de eindwerken ook tijdens het locatiebezoek bestuderen (bijvoorbeeld in het geval van de uitvoerende kunsten). ^ [3]
Het Centraal Register Opleidingen Hoger Onderwijs (CROHO) kent de onderwijsonderdelen: Onderwijs, Landbouw en natuurlijke omgeving, Natuur, Techniek, Gezondheidszorg, Economie, Recht, Gedrag en maatschappij, Taal en cultuur en Sectoroverstijgend. ^ [4]
De NVAO handelt aanvragen en wijzigingen eenmaal per jaar af (aprilronde). ^ [5]
‘Unieke’ opleidingen vormen op zichzelf een visitatiegroep. ^ [6]
Om reden van onafhankelijkheid, specifieke deskundigheid en beschikbaarheid van panelleden kan de samenstelling per opleiding wisselen. Er moet echter voldoende ‘overlap’ zijn tussen de samenstelling per opleiding om een consistente vergelijkende beoordeling mogelijk te maken. ^ [7]
Deze taak kan worden gedelegeerd aan een penvoerder. ^ [8]
De secretaris en procescoördinator zijn formeel géén lid van het panel. Zij ondersteunen het proces van de oordeelsvorming, maar hebben daarin geen stem. ^ [9]
De secretaris en procescoördinator zijn formeel géén lid van het panel. Zij ondersteunen het proces van de oordeelsvorming, maar hebben daarin geen stem. ^ [10]
Mutaties in de samenstelling van visitatiegroepen worden door de NVAO één maal per jaar verwerkt (aprilronde) en gepubliceerd op de website van de NVAO. ^ [11]