Startpagina / Samenvattingen / Testtheorie / steekproef-kruisvalidering-populatie

Predictieve validiteit - fase 6: Kruisvalidering

Q: Op welke 2 manieren kan men nagaan of er sprake is van sterke kanskapitalisatie bij kruisvalidering?

1. Het trekken van een nieuwe steekproef (kostbaar en tijdrovend). 2. Het aselect splitsen van de huidige steekproef. Een groot verschil in correlaties duidt op onbruikbaarheid van de steekproef en mislukte validatie.

5 belangrijke vragen over Predictieve validiteit - fase 6: Kruisvalidering

Wat houdt fase 6: kruisvalidering in?

Deze houdt in dat het regressiemodel dat is gevonden op basis van de steekproefgegevens, wordt gecontroleerd op een nieuwe, representatieve steekproef van proefpersonen, afkomstig uit dezelfde populatie als de eerste steekproef.

Nagegaan wordt dan of de geschatte regressiegewichten (gewogen testscores; grote unieke bijdrage van een test aan een voorspelling) in beide steekproeven voldoende op elkaar lijken en of de meervoudige correlaties (correlatie van de totaalscore gebaseerd op de hele testbatterij met het geobserveerde criterium) ongeveer gelijk zijn.

Waneer is er sprake van een robuust model na kruisvalidering?

Een model dat bij kruisvalidering overeind blijft en algemeen in de populatie toepasbaar is.
Maakt meer kasn om tot juiste beslissingen te komen.

Waarom is het uitvoeren van kruisvalidatie of cross validation van belang?

Door trial and error samenstelling kunnen foute voorspellers in de test belanden die leiden tot sterke kanskapitalisatie, welke er voor zorgt dat het gevonden regressiemodel te goed past bij deze steekproef maar niet bij de populatie waaruit deze is getrokken.

Wat is een efficiente methode om kruisvalidatie op te zetten?

Uit een steekproef, mits groot genoeg, aselect te splitsen in twee even grote deelsteekproeven. Het uiteindelijk gekozen model uit de eerste steekproef, te testen bij de tweede. Als de resultaten vergelijkbaar zijn, de correlatie van de geobserveerde criteriumscore met de door het model geschatte criteriumscore uit beide steekproeven komen behoorlijk overeen, zal kanskapitalisatie dus een kleine rol gespeeld hebben.

Op welke 2 manieren kan men nagaan of er sprake is van sterke kanskapitalisatie bij kruisvalidering?

1. Het trekken van een nieuwe steekproef (kostbaar en tijdrovend).
2. Het aselect splitsen van de huidige steekproef. Een groot verschil in correlaties duidt op onbruikbaarheid van de steekproef en mislukte validatie.

De vragen op deze pagina komen uit de samenvatting van het volgende studiemateriaal:

Testtheorie | 9789031347476 | P J D Drenth, et al

Bekijk samenvatting