Door het invullen van deze screeningslijst krijgt u een beeld van de kwaliteit van een toets of examen. De lijst start met een aantal vragen over gegevens van de toets. Daarna kunt u de kwaliteit van de toets bepalen aan de hand van criteria, subcriteria en hulpvragen. Hierbij volgt de screeningslijst de stappen in de Toetscyclus zoals op veel onderwijsinstellingen in gebruik.

Lees voor u start eerst de toelichting.

Vraag

Ja Nee

Opmerking

Welke toets/examen wordt gescreend?
- Naam van de school of exameninstelling
- Naam en code opleiding (b.v. crebonummer of crohonummer)
- Naam en code toets of examen zoals vermeld in examenplan, studiegids of cijferregistratiesysteem
1 Is de toets volledig aangeleverd en in overeenstemming met het examenplan en examenreglement?
- a. Is de toetsdocumentatie volledig aangeleverd om de screening uit te voeren? Geef aan welke documenten of onderdelen aanwezig zijn.
  - Examenplan/PTA/examenprogramma of studiegids (met vastgelegde afspraken over vorm en inhoud van het examen)
  - Verantwoording of verbeterplan
  - Toetsmatrijs
  - Instructie/ informatie voor de kandidaat
  - Toetsvragen/opdracht voor de kandidaten
  - Antwoordmodel/ beoordelingsformulier
  - Instructie voor de beoordelaar(s)
  - Tweede versie of herkansing
- b. Zijn de volgende gegevens van de toets vermeld (op het voorblad of elders)?
  - Naam constructeur(s) of leverancier
  - Naam betreffende opleiding / kwalificatiedossier/eindterm of kerndoel
  - Toetsdoel of inhoud van de toets. Ofwel: de te beheersen kennis en vaardigheden volgens het examenplan, studiegids of een ander document
  - Functie van de toets (kwalificerend, voortgangstoets, selectie van kandidaten)
  - Toetsvorm: Kennisexamen (b.v. meerkeuzevragen of open vragen) of praktijkexamen (b.v. vaardigheidstoets, project, proeve van bekwaamheid, scriptie, presentatie, CGI)
  - Afnamelocatie? (praktijklokaal, theorielokaal, stagebedrijf, computerlokaal, gesimuleerde beroepssituatie, anders nl...)
  - Aantal vragen/opdrachten (eventueel ook het aantal subvragen)
  - Maximale score
  - Tijdsduur van het examen
  - Beschikbare hulpmiddelen voor de kandidaat
  - Cesuur: Bij welke score haalt de kandidaat een voldoende resultaat?
  - Afnamedatum of periode.
- Zijn bovenstaande gegevens volledig in en overeenstemming met studiegids en examenreglement?
2 Dekt de toets de gestelde leerdoelen?
- a. Is het basisontwerp van de toets passend bij de doelen?
  - Passen de toetsvormen/vraagvormen/opdrachtvormen optimaal bij het toetsdoel?(evt. ook de verhouding in omvang van toegepaste onderdelen .
  - Vormen de vragen/opdrachten/cases een representatieve steekproef voor het doel van het examen (Is een voldoende op deze toets voldoende garantie voor beheersing lle kennis/vaardigheden?)
  - Worden de praktische opdrachten uitgevoerd in een authentieke context wat betreft complexiteit, zelfstandigheid en verantwoordelijkheid?
  - Is de beschreven organisatie van het examen haalbaar en realistisch?
- b. Wordt de inhoud van het examen correct verantwoord met een matrijs?
  - Worden alle doelen/onderwerpen zoals vermeld in de studiegids gedekt door de matrijs?
  - Is de inhoud van het examen in de matrijs evenwichtig uitgewerkt naar meer gedetailleerde subdoelen of onderwerpen?
  - Komt de taxonomie in de matrijs overeen met de beschrijving van het leerdoel?
  - Zijn percentages of te behalen scorepunten per doel/onderwerp/taxonomie in de matrijs vermeld?
  - Is elke vraag gekoppeld aan een cel in de matrijs?
  - Als er geen matrijs is: Zijn alle doelen van het examen gekoppeld aan een opdracht en/of aan beoordelingscriteria?
3 Zijn de vragen en opdrachten van voldoende kwaliteit?
- a. Komt de inhoud van de vragen/opdrachten overeen met de leerdoelen volgens de matrijs? (Ook: wordt er niet meer getoetst dan vereist?)
  - Komt de taxonomie van de vragen/opdrachten overeen met die van de leerdoelen volgens de matrijs? (b.v. de handelingswerkwoorden komen overeen)
  - Zijn de vragen/opdrachten specifiek voor het toetsdoel? (b.v. Niet t‚ specialistisch maar ook niet op basis van algemene ontwikkeling te beantwoorden)
  - Sluit de detaillering van de opdracht aan bij het beheersingsniveau? (b.v. minder gedetailleerd bij hoger niveau)
  - Zijn de opdrachten beschreven als concreet beroepsmatig gedrag?
- b. Zijn de gebruikte cases en beeldmateriaal van goede kwaliteit? (met een casus wordt bedoeld een korte of uitgebreide schets van een praktijksituatie, beeldmateriaal is een foto, video, schema, grafiek etc.)
  - Geeft de casus/het beeldmateriaal een herkenbare (beroeps)situatie voor de kandidaat?
  - Is de casus/het beeldmateriaal nieuw voor de kandidaat? (casus komt niet in b.v. lesstof of oefenmateriaal voor)
  - Is de casus/het beeldmateriaal nodig voor beantwoorden van de vraag? (geen onnodig leeswerk of afleiding)
  - Is in de casus duidelijk met wie de kandidaat zich moet identificeren?
- c. Zijn de vragen en opdrachten eenduidig?
  - Is voor de kandidaat duidelijk wat hij moet doen of antwoorden?
  - Is aangegeven hoe compleet of hoe lang het antwoord moet zijn (b.v. aantal woorden, argumenten, met bronvermelding of berekening)?
  - Zijn de zinsconstructies zo eenvoudig mogelijk? (b.v. geen onnodig lange zinnen)
  - Is een opdracht met meerdere onderdelen puntgewijs weergegeven?
  - Bevat een vraag/opdracht ‚‚n specifiek probleem? (b.v. vermijd dubbele stellingvragen, of meerdere onderwerpen in ‚‚n vraag)
  - Is negatieve vraagstelling of dubbele ontkenning vermeden?
  - Is de vraag voor ‚‚n interpretatie vatbaar? (b.v. klemtoonverschuiving geeft andere betekenis)
  - Zijn vragen in de directe vraagvorm gesteld en opdrachten in gebiedende wijs?
  - Wordt het vragen naar mening van de kandidaat vermeden? (valkuil: het werkwoord 'kunnen')
  - Is inleidende tekst duidelijk van de vraag gescheiden?
  - Wordt gebruik van afkortingen, aanhalingstekens en haakjes vermeden?
  - Past het taalgebruik in de opgave bij het niveau van de doelgroep? (wel vakjargon, geen onnodig moeilijke woorden)
- d. Meerkeuzevragen: Zijn de alternatieven van voldoende kwaliteit?
  - Lijkt de sleutel op de afleiders qua taalgebruik, lengte, etc.?
  - Zijn de afleiders plausibel voor kandidaten die de leerstof niet beheersen? (maar let op: stel geen strikvraag)
  - Is ‚‚n antwoordmogelijkheid de juiste? (vermijd ?alle bovengenoemde? en ?geen van bovengenoemde?)
  - Sluiten de alternatieven grammaticaal correct aan bij de stam?
  - Is het aantal alternatieven optimaal? (vuistregel: 3 alternatieven)
  - Wordt vaag of absoluut taalgebruik vermeden? (b.v. woorden zoals: soms, meestal, altijd, alle, nooit)
  - Wordt onnodige herhaling van tekst vermeden?
- e. Is de toets zorgvuldig samengesteld?
  - Zijn de vragen/opdrachten onafhankelijk van elkaar? (b.v. het goede antwoord van de ene vraag overlapt niet met het antwoord op een andere vraag)
  - Wordt voorkomen dat groepen deelnemers ten onrechte bevoordeeld of benadeeld worden? (b.v. door eenzijdige vraagstelling of eenzijdige context van cases, of sterk cultureel gekleurde vraagstelling)
4 Is de kwaliteit van het antwoordmodel en/of beoordelingsformulier voldoende?
- a. Theorie: Is het antwoordmodel inhoudelijk juist?
  - Is de sleutel of het antwoordmodel inhoudelijk juist en volledig?
  - Is er verwezen naar vakinhoudelijke bron(nen) of lesmateriaal die verificatie van het antwoord mogelijk maken?
- b. Open vragen: Is bij open vragen de kwaliteit van de antwoordmodellen en beoordelingsinstructie voldoende?
  - Sluit het antwoordmodel aan bij de vraagstelling?
  - Is de verdeling van scorepunten over delen van het antwoord aangegeven?
  - Zijn er indien nodig regels m.b.t. het doorberekenen van fouten vermeld? (wordt een fout slechts ‚‚n keer aangerekend?)
  - Is er een evenwichtige puntenverdeling? (b.v. door te werken met ‚‚n punt per denkstap, liever niet standaard het aantal punten per vraag stellen op een afgerond getal)
  - Is er een regel voor het toekennen van punten bij antwoorden die juist zijn, maar niet vermeld zijn in het antwoordmodel?
  - Is er een regel voor het toekennen van punten bij opsommingvragen, als de kandidaat meer noemt dan het gevraagde aantal?
  - maken alle kandidaten dezelfde vragen/opdrachten? Indien niet: Hoe wordt gelijkwaardigheid gegarandeerd?
- c. Praktijk: Is de kwaliteit van de beoordelingsformulier voldoende?
  - Zijn eventuele voorwaarden waar het ingeleverde werk aan moet voldoen aangegeven? (gebruik van de juiste formats, aantal pagina?s)
  - Passen de beoordelingscriteria bij de doelen wat betreft beheersingsniveau en inhoud?
  - Zijn de criteria in waarneembaar gedrag of resultaat geformuleerd?
  - Bevat elk criterium slechts ‚‚n aspect? (niet van toepassing bij gebruik van Rubrics)
  - Zijn de criteria zo veel mogelijk onafhankelijk van elkaar te beoordelen?
  - Is de beoordelingsschaal (ja/nee, O/V, O/V/G, 1-10) passend bij het toetsdoel en inhoud van de criteria?
  - Zijn de mogelijke scores per beoordelingscriterium toegelicht en voldoende eenduidig? (b.v. wanneer geeft de beoordelaar een voldoende of goed)
  - Is het invullen van het beoordelingsformulier praktisch en realistisch? (b.v. observatietijd, tijd voor invullen en overleg)
5 Zijn de taalverzorging en opmaak van voldoende kwaliteit?
- a. Is de taalverzorging van voldoende kwaliteit?
  - Past het taalgebruik in het algemeen bij het niveau van de doelgroep?
  - Is de aanspreekvorm consequent toegepast (u, je/jij, derde persoon)?
  - Zijn gelijksoortige vragen of opdrachten consequent opgesteld en vormgegeven?
  - Zijn spellingregels correct toegepast?
  - Wordt interpunctie correct en consequent toegepast?
- b. Is de opmaak van voldoende kwaliteit?
  - Is gebruikgemaakt van de afgesproken formats voor documenten?
  - Zijn opsommingen consequent vormgegeven? (b.v. alternatieven bij MC vragen)
  - Is de nummering van vragen en criteria correct?
  - Is de informatie en vraagstelling steeds duidelijk te onderscheiden?
  - Ondersteunt het lettertype en opmaak de leesbaarheid?
6 Leiden afname en beoordeling tot een voldoende objectief oordeel?
- a. Is de afname(procedure) van de gestandaardiseerd?
  - Maken alle kandidaten dezelfde vragen/opdrachten? Indien niet: Hoe wordt gelijkwaardigheid gegarandeerd?
  - Zijn de toegestane hulpmiddelen en afnamecondities beschreven?
  - Is de beschikbare tijd aangegeven?
  - Is er fraudebeleid beschreven voor tijdens de afname?
  - Indien een opdracht door loting of steekproef wordt gekozen, is dit onvoorspelbaar voor de student?
  - Is beschreven welke uitleg of hulp de kandidaat krijgt tijdens de afname?
  - Is er een instructie voor het geval dat de afnamecondities afwijkend zijn?
  - Is er een instructie voor het geval niet alle taken kunnen worden uitgevoerd? (b.v. dat het examen niet door kan gaan)
- b. Praktijk en Open vragen: Is de procedure voor beoordeling gestandaardiseerd en objectief?
  - Wordt voorafgaand aan de beoordeling gecontroleerd op plagiaat of fraude? (b.v. plagiaatscan)
  - Zijn de eisen aan de beoordelaars beschreven?
  - Is tenminste ‚‚n beoordelaar onafhankelijk (d.w.z. niet als begeleider of docent betrokken bij de kandidaat)?
  - Zijn er twee of meer beoordelaars per kandidaat?
  - Zijn de beoordelaars deskundig in het vakgebied?
  - Stemmen de beoordelaars hun werkwijze onderling af?
  - Leidt de beoordeling tot een individueel oordeel per kandidaat?
  - Is er een procedure voor het geval criteria niet kunnen worden waargenomen of beoordeeld?
  - Vullen de beoordelaars eerst onafhankelijk van elkaar de beoordeling in komen daarna pas tot een gezamenlijk oordeel?
  - Is er een procedure beschreven om, bij verschillende (deel-)scores van de beoordelaars tot overeenstemming te komen over het eindoordeel?
  - Is er een andere/aanvullende manier ingezet om objectiviteit van het oordeel te waarborgen?
7 Zijn de scores voldoende betrouwbaar?
- a. Zijn de afnamegegevens kwantitatief geanalyseerd? Zo nee, is er beschrijving hoe analyse zal plaatsvinden? Zo ja, noteer het aantal kandidaten in de analyse (N) en de typering van de populatie (b.v. herkansing of niet)
  - Is de betrouwbaarheid (interne consistentie) berekend (b.v. Crohnbachs alpha)? Zo ja, Is de betrouwbaarheid voldoende voor het toetsdoel?
  - Zijn de individuele items geanalyseerd op moeilijkheid en onderscheidend vermogen (p-waarde en Rir waarde)?
  - Zijn de uitslagen van vergelijkbare afnames voldoende overeenkomstig? (b.v. parallelklassen, vorige cohorten, verwante vakken)
- b. Is er een kwalitatieve inschatting van de betrouwbaarheid mogelijk?
  - Is de kwaliteit van de opdrachten, antwoordmodel/criteria, afname en beoordeling voldoende? (zie de oordelen op de criteria 3, 4 en 6 in deze lijst)
  - Bevat de toets voldoende vragen/criteria voor een betrouwbaar oordeel? (zie richtlijnen in de literatuur)
  - Zijn er maatregelen beschreven om beoordelaarsovereenstemming te bevorderen?
  - Zijn er andere bewijzen of aanwijzingen van voldoende betrouwbaarheid? (b.v. een vast team van beoordelaars, procedure langer in gebruik, weinig verbeterpunten uit evaluaties, weinig of geen klachten)
8 Wordt de cesuur en de norm gehandhaafd?
- a. Is de cesuur correct opgesteld?
  - Kan de beoordelaar eenduidig opmaken hoe de eindwaardering tot stand komt? (b.v. met een formule)
  - Is er een omzettingstabel van score naar cijfer? (indien van toepassing)
  - Is de weging van de criteria of onderdelen zodanig dat bij een voldoende het toetsdoel daadwerkelijk wordt beheerst? (b.v. niet dubbel afronden van scores)
  - Past de gekozen cesuur bij de intentie van de leerdoelen? (mbo de cesuur is op het niveau van de beginnend beroepsbeoefenaar)
  - Is de systematiek die gebruikt is voor het bepalen van de cesuur inzichtelijk (b.v. standaardsetting, Angoff methode)?
- b. Wordt vergelijkbare moeilijkheid van toetsversies geborgd?
  - Zijn herkansingen en verschillende versies van de toets gelijkwaardig?
  - Is er een procedure voor het bijstellen van de cesuur na afname beschreven?
9 Is de procedure transparant voor de betrokkenen?
- a. Is de procedure transparant voor de kandidaat?
  - Is de gang van zaken tijdens het examen beschreven? (o.a. wie zijn betrokken bij het examen en wat is hun functie)
  - Is er indien nodig een instructie bij het beantwoorden van de vragen/opdrachten?
  - Is het voor de kandidaat duidelijk hoe beoordeeld gaat worden?
  - Zijn er oefenopgaven of voorbeelduitwerkingen met beoordeling beschikbaar voor de kandidaat?
  - Zijn de onderwerpen/beoordelingscriteria vooraf bekend gemaakt bij de kandidaat? (eventueel ook de toetsmatrijs)
  - Krijgt de kandidaat toelichting bij de beoordeling van zijn werk?
  - Is de inzage van de beoordeling en gemaakt werk geregeld?
  - Is er informatie over de herkansingprocedure opgenomen of wordt ernaar verwezen?
  - Is er een procedure voor bezwaar vermeld of wordt ernaar verwezen?
- b. Is de procedure transparant voor beoordelaar en surveillant?
  - Is er voldoende instructie (naast de beoordelingsinstructie) over de gang van zaken voor de beoordelaar(s) indien nodig?
  - Is er een instructie voor de afnameleider/surveillant?
  - Is het aantal uren dat voor afname, beoordeling en rapportage is aangegeven realistisch?
10 Is er een gefundeerde verantwoording of verbeterplan?
- a. Zijn betrokkenen geraadpleegd bij de constructie/verbeterplan?
  - Is er input of feedback van vakinhoudelijk deskundigen?
  - Is er input of feedback van toetsdeskundigen (b.v. toets(vaststellings)commissie)?
  - Is er feedback van de beoordelaars? (b.v. zijn de criteria bruikbaar bij beoordelen)
  - Zijn er bevindingen n.a.v. de analyse van afnamegegevens (zie criterium 7)
  - Is er feedback uit het werkveld of vervolgonderwijs verzameld? (b.v. doorstroom mbo naar hbo)
  - Is er feedback van kandidaten verzameld?
  - Zijn de uitvoerbaarheid en kostenaspecten betrokken bij de verantwoording of verbeterplan?
- b. Is verantwoord dat de toets voldoet aan de gestelde (wettelijke) eisen?
- c. Zijn gemaakte keuzes of prioriteiten verantwoord?