Validiteit van assessment resultaten
9 belangrijke vragen over Validiteit van assessment resultaten
Noem de vier principes van validiteit waarmee je kan bepalen of jouw testresultaten valide zijn?
- Interpretaties: de betekenis die je geeft aan een score. Zorg dat deze goed en betrouwbaar zijn (vb vergelijk met klas)!
- Gebruiksdoel: welke acties neem je op basis van de scores.
- Waarden: de interpretaties en gebruiken die maakt zijn afhankelijk van je educatieve en sociale waarden.
- Consequenties: denk na over de consequenties! Dit kan voor elke student verschillend zijn!
Om validiteit in testen in de klas te realiseren moet de test aansluiten bij de leerdoelen (welke duidelijk omschreven moeten zijn en getaxonomeerd). Noem een aantal criteria voor het verbeteren vd validiteit bij testen in de klas?
- Representativiteit en relevantie van de inhoud
- Representatie van denk processen en vaardigheden
- Consistent met andere testen/beoordelingsmethoden
- Betrouwbaarheid en objectiviteit (systematische procedure, beoordelen correctoren hetzelfde)
- Eerlijkheid voor verschillende type studenten
- Economische, efficiënte, praktische, instructionele functies
- Gebruik meerdere evaluatie instrumenten/ meetmethoden
- Positieve consequenties voor leren
Wordt aangeboden om de validiteit te beschrijven dmv argumenten. Dit heet argument- gebaseerde aanpak van validiteit. Wat houdt dit in?
Je maakt eerst duidelijk van welke interpretaties en gebruiken van assessment je (gebruik) gaat maken. Geef daarvoor een logisch argument en onderbouw dit met voors en tegens (welk nut heeft de assessment in de setting?).
- Hogere cijfers + sneller leren
- Niets twee keer studeren
- 100% zeker alles onthouden
Bij inhoudsvaliditeit gaat het om de taken/vragen die in de toets zitten. De ontwikkelaar van de test en de gebruiker kunnen nogal van oordeel verschillen over de kwaliteit van de taken. Welke informatiebronnen zijn er?
- Table of specifications: omschrijft domein meestal vanuit handleidingen of technische publicaties (tabel bevat de basis categorieën en vaardigheden die worden getoetst, beschrijft percentage van taken (items) voor elke inhoud- vaardigheid combinatie).
- Curriculum relevantie: hoe goed representeren de items uit de test het curriculum raamwerk vd school? Je hebt te maken met instrument, idee leraar en curriculum school; daar moet match in zitten.
- Aanpassing aan de standaarden vd overheid: daarvoor doet de overheid allignment studies, zo kijken of de testen overeenkomen met wat de overheid beoogt dat de leerlingen leren.
Relaties tussen delen van de assessment: leg uit hoe de interne structuur van een assessment instrument wordt beschreven?
Door de onderlinge relaties tussen onder de taken en de relaties tussen taken en het totaal aan resultaten te beschrijven. Hiervoor moet bewijs worden gezocht. Wordt vaak correlatie coëfficiënt gebruikt als bewijs van validiteit: zij meten de mate waarin er een relatie is tussen twee of meer sets van assessment scores.
Relaties van resultaten met andere variabelen: bewijs van externe structuur. Wat is de externe structuur van een assessment en welke soorten zijn er? (criteriumvaliditeit)
Het patroon van relaties tussen assessment resultaten en scores van variabelen extern van de assessment. (Vb of meerkeuzevragen en orale vragen beide begrijpend lezen meten.)
- Predicitieve validiteit: in hoeverre toekomstige prestatie op een criterium kan worden voorspeld door eerder behaald prestaties.
- Concurente validiteit: in hoeverre de huidige prestatie kan worden voorspeld door eerder bepaalde prestaties op datzelfde criterium.
Het onderscheidt os belangrijk omdat tijd een belangrijke rol speelt bij de correlatie.Hoe langer de tijdsperiode tussen de twee afnames, hoe lager de correlatie.
Wat is de correlatie coëfficiënt en hoe kun je deze relatie aflezen uit een scatterplot?
Een statistische index die de mate de de relatie kwantificeert tussen de score van de ene assessments met de scores van de andere assessment. Schaal van -1 tot +1.
Als de punten een rankorde hebben gekregen en daarna in een scatterplot zijn geplaatst, kun je de correlatie aflezen. Hoe dichter de punten bij een rechte lijn komen te liggen, hoe hoger de mate van correlatie tussen 2 scores. De scores scatteren in een elliptische vorm: hoe minder correlatie, hoe wijder de elliptische vorm (wordt meer een cirkel)
Wat is meest gebruikte methode om correlatie te meten?
Pearson's correlatie coëfficiënt (r).
- Positieve correlatie: hoge score op ene test wordt geassocieerd met hoge score andere test.
- Negatieve correlatie: hoge score op ene test wordt geassocieerd met hoge score ander test.
Kan hiermee uitkomst test voorspellen! Perfecte correlatie betekend perfecte voorspelling.
Welke verschillende soorten bewijs zijn er waarmee de interpretaties/beoordelingsresultaten kunnen worden ondersteund? (criteria van validiteit)
- Inhoud: deken de vragen de gehele lading?
- Denkvaardigheid: beschrijving van de effectiviteit van deze vaardigheden
- Interne structuur: samenhang tussen delen van beoordeling.
- Externe structuur: relatie tussen testresultaten en andere resultaten (criterium validiteit)
- Betrouwbaarheid: consistentie meetresultaten tussen verschillende beoordelaars
- Generalisatie: testresultaten naar bredere context
- Consequenties: wat zijn positieve/negatieve gevolgen?
- Praktische bruikbaarheid: validiteit neemt toe als op goede manier wordt gebruikt.
De vragen op deze pagina komen uit de samenvatting van het volgende studiemateriaal:
- Een unieke studie- en oefentool
- Nooit meer iets twee keer studeren
- Haal de cijfers waar je op hoopt
- 100% zeker alles onthouden