EN
Zoek icoon

4.3 Standaard 3, evalueren en monitoren

De instelling evalueert stelselmatig of zij de beoogde beleidsdoelstellingen met betrekking tot onderwijskwaliteit realiseert. Daarbij betrekt zij relevante stakeholders.

Stelselmatig evalueren
De instrumenten die wij inzetten om te monitoren geven ons inzicht in de mate waarin instituten en diensten beleid en ontwikkeldoelen realiseren. De instituten en diensten organiseren vanuit hun eigen kwaliteitszorgsysteem passende methoden om feedback over onderwijs en onderzoek op te halen. Instituten voeren de dialoog met de Raden van Advies en opleidingen met de werkveldcommissies. Op instellingsniveau ontsluiten wij dankzij management control, op planmatige en systematische wijze, informatie over de mate waarin (kwaliteits-)doelstellingen bereikt worden. Het is immers van belang om tijdig risico’s te signaleren en de voortgang van strategische ontwikkelprogramma’s te monitoren. Fontys evalueert en monitort stelselmatig in de vorm van periodieke managementrapportages, programma- en projectrapportages, bestuursrapportages en het jaarlijkse bestuursverslag. Tijdens het tweemaandelijkse Fontysberaad reflecteren de directeuren op een kritische én constructieve manier op ons lerend vermogen en de wijze van samenwerking.

Meten en evalueren
Procesprestaties en bevindingen geven inzicht in de mate waarin kwaliteitsdoelen op instituutsniveau bereikt zijn. De methoden om de gegevens te verzamelen zijn valide en goed beargumenteerd gekozen, de beoordeling van de resultaten is betrouwbaar; hierover zijn we transparant naar alle betrokkenen. Waar dat mogelijk is, kunnen resultaten als interne benchmark gehanteerd worden. Op die manier stimuleren we dat instituten en opleidingen van elkaar leren.

Kwantiteit en kwaliteit
Dit monitoren van kwaliteit kan zowel kwantitatief als kwalitatief plaatsvinden. De beweging van cijfers naar waarden en van intern naar extern is ingezet omdat de focus op kwantitatieve indicatoren zoals studenttevredenheidscijfers onvoldoende weerspiegelde hoe kwaliteit ervaren werd. Juist kwalitatieve informatie, zoals de mate waarin actuele en toekomstgerichte vraagstukken van het werkveld in het onderwijs aan bod komen, is nodig. Evalueren wordt hier gebruikt in de betekenis van ‘het bepalen van de kwalitatieve en kwantitatieve waarde of belang’: het toetsen aan de kwaliteitsdoelen en het achteraf beoordelen of de beoogde kwaliteitsdoelen zijn behaald. De evaluatie is input voor het verbeter- en ontwikkelbeleid en voor de in- en externe verantwoording. De systematische integrale beoordeling van kwaliteit door te meten, evalueren en reflecteren is ingebed in verschillende cycli en op verschillende niveaus binnen Fontys.

Concrete acties
De specifieke manieren waarop wij op instellingsniveau de kwaliteit monitoren, lichten we hierna toe:

Icoon referentie naar ITK 2013

A. Audits

Fontys voert planmatig interne audits uit. Deze zijn erop gericht aanvullende zekerheid te verstrekken aan managementteams van instituten, aan het CvB en aan de RvT, op basis van neutraal en deugdelijk onderzoek. Wij hanteren drie soorten interne audits: basisaudits (opleidingskwaliteit), maatwerkaudits (managementcontrol) en bijzondere onderzoeken. De interne audits bieden een goede tussentijdse kritische reflectie op de opleidingskwaliteit. Doel is de kwaliteit van opleidingsteams te stimuleren. Een basisaudit vindt halverwege de zesjaarlijkse accreditatiecyclus plaats. Een team van onafhankelijke interne auditoren beoordeelt de opleiding. De beoordeling van de opleiding vindt plaats aan de hand van de NVAO-standaarden voor de beperkte opleidingsbeoordeling en aanvullende standaarden voor organisatie- en kwaliteitsmanagement. De audits kennen zowel een compliance- als een ontwikkelingsgericht karakter. De auditcommissie en de commissie Onderwijs, Onderzoek en Identiteit van de RvT ontvangen geaggregeerde informatie over de uitkomsten van interne audits.
Fontys kent al een jarenlange reeks van succesvolle opleidingsaccreditaties. Daarom hebben we besloten om de auditsystematiek meer te richten op de ontwikkeling en verbetering van kwaliteit. Deze ontwikkelrichting is vastgesteld in de vernieuwde audit charter. Instituten en diensten worden uitgenodigd om in hun kwaliteitsbeleid hierop in te spelen. Het kwaliteitsportfolio als digitaal platform en de kritische dialoog als kwaliteitsinstrument bieden hiertoe mogelijkheden.

B. Onderzoekskalender

Voor studiesucces en studenttevredenheid is studeerbaarheid in de dagelijkse praktijk van groot belang. Daarom doet ieder instituut vijf concrete beloftes aan studenten om de studeerbaarheid te bevorderen. Dit noemen we de Fontys High Five. Regelmatig evalueren we deze High Five, zodat opleidingen zicht krijgen op de mate waarin zij in staat zijn realistische verwachtingen te creëren over de ‘kleine kwaliteit’ bij studenten. In 2017 is de High Five herzien. Daarnaast nemen wij deel aan de Nationale Studenten Enquête (NSE), het jaarlijkse landelijke onderzoek onder studenten in het hoger onderwijs.

De Fontys High Five resultaten

Vanaf 2018 nemen alle instituten Fontysbreed deel aan de HBO-monitor, het jaarlijkse landelijke onderzoek dat anderhalf jaar na het afstuderen onder alumni wordt gehouden (tot dan toe koos elk instituut zelf de wijze waarop alumni-onderzoek plaatsvindt). Fontys voert zelf medewerkerstevredenheidsonderzoeken uit, waarin de werkbeleving van medewerkers wordt gepeild. Voor de diensten is er een jaarlijks klanttevredenheidsonderzoek onder stakeholders bij de instituten en bij de andere diensten. De kwantitatieve onderzoeken en analyses bieden een betrouwbaar inzicht in de resultaten van instituten op enkele belangrijke kwaliteitsdoelen. De digitale omgeving (business intelligence/BI) biedt instituten en diensten permanent inzicht in de actuele stand van zaken op de indicatoren. Daarnaast nemen instituten en diensten kwalitatieve beschrijvingen en overzichten (zoals opleidingsevaluaties) op als kwaliteitsbewijzen in de managementrapportage.

Fontys volgt daarnaast de uitkomsten van de Keuzegids HBO en Elsevier en vergelijkt de resultaten met de intern georganiseerde feedback om tot bijstelling van beleid te komen.

Instituten en diensten leggen bij voorkeur in een jaarlijkse onderzoekkalender vast welke evaluaties en onderzoeken naar de prestaties en processen worden uitgevoerd. Te denken valt aan een planning van evaluaties van open dagen, van dialoogsessies met alumni en bijeenkomsten met werkveldpartners. De onderzoekkalender is opgenomen bij het kwaliteitsbeleid of kwaliteitshandboek of andere vormen van documentatie van het kwaliteitssysteem. Het team ‘institutional research’ (IR) wordt gevormd door een netwerk van medewerkers van de diensten Onderwijs & Onderzoek, Studentenvoorzieningen en Marketing & Communicatie. Dit IR-team ondersteunt het College van Bestuur en instituten bij het aggregeren en interpreteren van evaluaties.

C. Studentportfolio's

Belangrijk bewijs voor de kwaliteit van een opleiding zijn de verworven competenties van studenten. Deze zijn zichtbaar in hun prestaties bij toetsen, in de kwaliteit van hun beroepsproducten, in onderzoeksverslagen, in de beoordeling van het professioneel handelen, et cetera. Bij visitaties en audits vindt een herbeoordeling plaats door peers, van werkstukken op eindniveau. Zoals in het NVAO-beoordelingskader is opgenomen, kan de opleiding zelf aangeven in welke producten of proeven het eindniveau wordt beoordeeld. Als niet-limitatieve opsomming van eindwerken noemen ze de eindscriptie, een portfolio, een beroepsproduct, een (reeks van) tentamen(s), een artikel of een artistieke prestatie of een combinatie hiervan. Om studenten de mogelijkheid te geven de eigen professionele ontwikkeling te staven en deze toekomstgericht te kunnen blijven aanvullen, stimuleren we de ontwikkeling van een (digitaal) overdraagbaar studentportfolio.

D. Examencommissies

Examencommissies leggen jaarlijks verantwoording af over hun werkzaamheden in de vorm van een jaarverslag. Dit verslag komt periodiek aan de orde in de planning & control-cyclus. Nieuw is dat de betrokken portefeuillehouder eenmaal per jaar (sinds 2017) met de voorzitters van examencommissies (mede op basis van jaarverslagen), de kwaliteit van toetsing en examinering evalueert. Daarbij gaat in het bijzonder aandacht uit naar:

  • de onafhankelijke positie en de facilitering van de examencommissie.

  • het aanwijzen van examinatoren.

  • het toezicht op het systeem van toetsing.

  • het toezicht op de eisen voor het afstuderen en het toezicht op de wijze waarop het eindniveau wordt beoordeeld.

  • de borging van de toetskwaliteit via ‘vreemde ogen’.

De examencommissies zijn zich bewust van hun professionele rol, taken en verantwoordelijkheden. Er zijn wel verschillen in de manier waarop de examencommissies invulling geven aan hun rol binnen de kaders van de WHW en de kaders die Fontys daartoe aanreikt. Een enkele examencommissie noemt verbeterpunten om de onafhankelijkheid te versterken of knelpunten in de facilitering. Belangrijkste aandachtspunt in brede zin blijft de structurele inzet van peer reviews om het eindniveau te borgen.

E. Managementreview

Geaggregeerde of samengevatte evaluaties komen weliswaar gedurende het jaar regelmatig ter tafel, maar het ontbreekt soms op instellingsniveau aan een georganiseerd reflectiemoment waarop de resultaten en opgehaalde feedback in samenhang beschouwd worden. Het zou goed zijn om meer rustmomenten te creëren om reviews op dit niveau te organiseren. Zo kunnen we ontdekken of dat meer inzicht geeft in de effectiviteit van de interne kwaliteitszorg: hebben de genomen verbeter- en ontwikkelmaatregelen en ingezette (kwaliteits-)instrumenten geleid tot de gewenste resultaten? En in hoeverre dragen deze bij aan het realiseren van de ambities? Ter ondersteuning daarvan is gestart met de inrichting van het kwaliteitsportfolio op instellingsniveau. Ook staan we bewuster stil bij de ‘lessons learned’ op de momenten waarop de bestuursverslagen samengesteld worden.

Het is wenselijk dat zowel het CvB als het management van instituten en diensten met geplande tussenpozen het kwaliteitsmanagementsysteem beoordelen op geschiktheid. Daarvoor kunnen als input worden gebruikt: de resultaten uit in- en externe audits, evaluatie-opbrengsten, feedback zoals klachten of bezwaren (jaarverslag examencommissie), prestaties (studiesucces) en de mate waarin ingezette verbetermaatregelen tot kwaliteitsverbetering hebben geleid. De conclusies en resultaten uit deze reviewmomenten kunnen dan aan de basis staan van beslissingen en acties die kunnen leiden tot onder meer:

  • het benutten van kansen voor verbetering.

  • het aanbrengen van wijzigingen in het kwaliteitsmanagementsysteem.

  • het aanbrengen van veranderingen in de aanwending van middelen.

F. Bezwaren en klachten

Binnen Fontys zijn er veel voorzieningen waar medewerkers terecht kunnen met knelpunten van uiteenlopende aard. Uit onderzoek is echter gebleken dat er in geval van (dreigende) meningsverschillen of conflicten tussen leidinggevenden en medewerkers geen instantie is waar de medewerker terecht kan, anders dan bij zijn naast-hogere leidinggevende en bemiddeling vanuit de dienst P&O en/of mediator.
Voor deze situaties is de ombudsman beschikbaar. Bij hem kan men terecht voor advies of om een klacht in te dienen, waarbij de ombudsman steeds zal nagaan of er mogelijkheden zijn de klacht op te lossen. Dit kan bijvoorbeeld bemiddeling of een doorverwijzing zijn.
Klachten of bezwaarschriften van studenten met betrekking tot toetsen en examens worden decentraal behandeld. Wanneer de afhandeling escaleert, buigt het College van Beroep zich over een kwestie. De formele procedure hiervoor is transparant en functioneert; er is ruim voldoende aandacht van het College van Bestuur voor de kwesties. Daarnaast wordt het jaarverslag van de vertrouwenspersoon besproken, evenals het incidentenoverzicht. Medewerkers die integriteitsvraagstukken aan de orde willen stellen kunnen deze melden via de klokkenluidersregeling.

Soft controls
Naast bovengenoemde ‘hard control’ kwaliteitsinstrumenten die op instellingsniveau gehanteerd worden, zijn de ‘soft controls’ om te monitoren en te signaleren minstens zo belangrijk. Denk aan de rol die de consultants kwaliteitsmanagement hebben bij het stimuleren en verbeteren van de effectiviteit van kwaliteitsbeleid op instituutsniveau (inclusief de organisatie van kennisbijeenkomsten op het vlak van kwaliteitszorg). Samen met collega’s – waaronder controllers, consultants p&o en studentvoorzieningen – dragen zij bij aan de ontwikkelingsgerichtheid en kwaliteitscultuur van instituten.

Relevante stakeholders
Relevante stakeholders zoals studenten, medewerkers, alumni en deskundigen uit het maatschappelijke veld spelen een actieve rol bij de evaluaties die Fontys uitvoert. Wij streven naar optimale transparantie en openbaarheid over de evaluatieresultaten.

Peers
Fontys spiegelt haar onderwijs- en kwaliteitsbeleid en de uitvoering daarvan (standaard 1 en 2) zoveel mogelijk met externen. Peers worden veelvuldig ingezet op beoordelings- en evaluatieaspecten, zowel bij interne als externe audits op het gebied van onderwijs en onderzoek. Opleidingen binnen Fontys werken in landelijk verband nauw samen met andere soortgelijke opleidingen binnen de zogenaamde landelijke opleidingsoverleggen. Daar worden niet alleen de beoogde leerresultaten vastgesteld en geactualiseerd, maar steeds vaker ook beoordelen opleidingen elkaars afstudeerwerken. Op die manier borgen we – via het ‘vierogen-principe’ – dat de leerresultaten worden behaald conform de landelijke afspraken.

Kwaliteitsportfolio
Momenteel zijn dertien instituten actief binnen de ontwikkeling van het kwaliteitsportfolio, waarin zowel structuuraspecten (bijvoorbeeld de bouw van een digitale portfolio-omgeving) als cultuuraspecten een rol spelen (hoe stimuleer en stuur je op gewenst gedrag, hoe zorgen we ervoor dat studenten en medewerkers via medezeggenschap actief kunnen meedenken en meewerken aan de ontwikkeling van kwalitatief goed onderwijs?). In 2022 wordt van alle instituten verwacht dat ze volgens de uitgangspunten van dit programma werken.

Evaluatie onderzoek
Ook op onderzoeksgebied werkt Fontys aan een eigen evaluatiesystematiek. Hiermee kunnen wij ons in het kader van de afspraken zoals die binnen de Vereniging van Hogescholen zijn gemaakt (BKO) verantwoorden. Op onderdelen, zoals bijvoorbeeld internationalisering of het functioneren van examencommissies, organiseert Fontys regelmatig reviews en evaluatiebijeenkomsten.

Evaluatie programma’s
Naast deze reguliere evaluatieactiviteiten hebben we in het kader van onderwijsontwikkeling of -uitvoering, project- en programmastructuren opgezet met een eigen verantwoordingslijnen. Deze programma’s (zie genoemde voorbeelden bij standaard 4) lopen dwars door de organisatie heen en vereisen een tijdelijke aanvullende of aangepaste organisatiestructuur. Dit is nodig omdat er toenemende behoefte is aan meer horizontale afstemming en samenwerking binnen Fontys.

0:00
0:00