Proefschrift
Design and evaluation of video portfolios: reliability, generalizability, and validity of an authentic performance assessment for teachers
In welke mate zijn beoordelingen op basis van een videodossier betrouwbaar, generaliseerbaar en valide?
- Auteur
- Maria Elisabeth Jacomina Bakker
- Datum
- 02 december 2008
- Links
- Fulltext in Leiden University Repository
Onderzoeksvraag
De ontwikkeling van instrumenten voor het beoordelen van docentcompetenties staat volop in de belangstelling. Uit onvrede met bestaande procedures, worden momenteel nieuwe beoordelingsprocedures ontwikkeld, ook wel ‘authentieke performance assessments’ genoemd. Een belangrijk kenmerk van deze beoordelingsprocedures is dat ze beogen recht te doen aan het complexe en contextgebonden karakter van lesgeven.Deze nieuwe vormen van beoordelen brengen nieuwe bedreigingen van de betrouwbaarheid en validiteit met zich mee. Om die bedreigingen te reduceren, worden in de literatuur verschillende maatregelen aangedragen die in het design van de beoordelingsprocedure zouden kunnen worden opgenomen. Voorafgaand aan dit onderzoek werd er op basis van deze maatregelen een beoordelingsprocedure ontwikkeld genaamd ‘videodossiers’. De centrale vraag in het proefschrift luidt: in welke mate zijn beoordelingen op basis van een videodossier betrouwbaar, generaliseerbaar en valide? Deze onderzoeksvraag is in drie deelstudies onderzocht.
Resultaten
Het belangrijkste resultaat dat werd gevonden, is dat beoordelaars een acceptabel tot hoog niveau van overeenstemming bereikten voor het toekennen van cijfermatige competentiebeoordelingen op basis van een videodossier en dat er op basis van twee beoordelaars al een acceptabele interbeoordelaarsovereenstemming te verkrijgen was. Verder bleek dat beoordelaars de toegekende cijfermatige beoordelingen baseerden op uiteenlopende bewijzen en argumenten.