Validiteit en betekenis - Predictieve validiteit - Validiteitsgeneralisatie
22 belangrijke vragen over Validiteit en betekenis - Predictieve validiteit - Validiteitsgeneralisatie
Wat is de reden dat er duizenden valideringsonderzoeken zijn gedaan?
- De opvatting dat de predictieve validiteit in hoge mate situatiespecifiek is
- Hierdoor wordt in onderzoeken steeds nagegaan of een bepaalde test geschikt is voor een specifiek voorspellingsdoel
Welke vraag stelt validiteitsgeneralisatie aan de kaak?
Wat is volgens Schmidt en Hunter de belangrijkste oorzaak van variantie die generalisatie van validiteitscoëfficiënten in de weg staat?
Op basis van onderzoek werd vastgesteld dat validiteitscoëfficiënten maar weinig situatie-specifiek zijn en dus gegeneraliseerd kunnen worden.
- Hogere cijfers + sneller leren
- Niets twee keer studeren
- 100% zeker alles onthouden
Voor mijn 1e tentamen haalde ik een 6. Toen ben ik gaan zoeken naar manieren om beter te leren en ben ik Study Smart tegen gekomen. Sindsdien heb ik een 9,0 - 8,0 - 7,6 - 8,0 - 8,0 gehaald. Ik raad het echt íédereen aan die het maar horen wil. Ik ben er zo blij mee!!
Met mijn oude methode was ik geslaagd voor maar 3 van de 8 vakken. Sinds ik mijn aantekeningen digitaal maak in study smart, ben ik voor alle vakken de éérste keer geslaagd. StudySmart neemt voor mij de stress van slagen of niet slagen weg.
Door StudySmart gaat het op zo veel vlakken beter met mij. Eerst had ik continu studiestress en ik had nergens tijd voor. Nu voel ik mij rustig en zelfverzekerd (door gebruik van het programma). Eerst haalde ik meestal een 7, nu vaak een 8 of zelfs een 9.
Hey Chris, ik wil je echt hartelijk danken voor het ontwikkelen van het platform. Ik haalde hiervoor altijd rond de 6/10 voor m'n tentamens, nu een 8,6, een 7,9 en een 7,6!!
Sinds ik Study Smart gebruik, is mijn gemiddelde 1 punt gestegen. Ik heb zelfs een statistisch vak met een 10/10 afgerond terwijl ik slecht ben in statistiek. Nu volg ik extra vakken omdat vorig jaar zo goed ging door Study Smart. Veel dank!
Sinds ik ben gaan leren met StudySmart ben ik geslaagd voor al mijn examens!!! Geen herexamens!! Eerst was ik al blij met een voldoende en nu haal ik alleen maar goede cijfers. Veel dank!
Ik heb alle vakken die ik met Study Smart heb geleerd gehaald. Met rechten ben ik van een 5 naar een 8 gegaan! Ik weet nu zeker dat ik al mijn vakken gewoon ga halen.
Ik dacht altijd dat ik goed studeerde. Mijn cijfers waren ook prima. Ik had mij nooit kunnen voorstellen dat ik zo veel beter en sneller zou studeren door het toepassen van deze vaardigheden.
Ik voel mij voor het eerst 100% zeker over de manier waarop ik leer. Ik heb nu het complete overzicht en de structuur die ik nodig had
Door Study Smart kreeg ik weer plezier in het studeren en haalde ik direct betere cijfers. Alles ging ineens beter. Ik raad Study Smart enorm aan aan scholieren en studenten.
Met dit plaform kan ik super snel en gestructueerd studeren. Ik ben nooit meer de weg kwijt in de stof of in mijn aantekeningen en maak veel sneller goede samenvattingen.
Eerst waren mijn aantekeningen een zooitje. Nu gebruik ik Study Smart en studeer ik super gestructureerd. Het helpt mij om tijd te besparen waardoor ik ook andere dingen kan doen die ik belangrijk vind.
Leerlingen die met het systeem hebben gewerkt hebben gewoon een beter resultaat behaald. Het systeem past alle leertrucjes zo toe, dat zowel de kinderen die goed scoren, maar ook zij die minder scoren, aan hun trekken komen.
Hey Chris, ik wil je enorm bedanken. Het vak waar ik vorig jaar nog net een 5,5 voor haalde, heb ik nu voor ditzelfde vak maar liefst een 9,7 gehaald! Mede dankzij jouw methode! Heel erg bedankt!
Het grootste effect is dat mijn kind veel enthousiaster is over school! Elke ouder wilt graag dat zijn kind het goed doet op school, en Study Smart draagt daar aan bij.
Dankzij StudySmart heb ik vorig jaar al mn examens gehaald en ook veel betere punten gehaald. Maar bovenal heb ik nu gewoon een heel goede studiemethode onder de knie, waarmee ik zeker weet dat ik de rest van mijn studie gewoon ga halen.
Het is de vraag in hoeverre de gevonden validiteit van een test generaliseerbaar is naar een andere (bv in selectie tests van de ene functie naar de andere). Schmidt en Hunter (1977) hebben hier onderzoek naar gedaan. Welke elementen namen zij mee in hun onderzoek?
2.. Deze standaarddeviatie wordt gecorrigeerd voor deze veronderstelde methodologische fouten (steekproeffouten, onbetrouwbaarheid van predictoren en criteria en beperkingen van variatiebreedte (restriction of range).
Tests hebben vaak een lage valideringscoëfficiënt (niet hoger dan 0.3 of 0.4). Waarom kunnen deze test toch een bijdrage leveren?
Zo is een intelligentietest een goede valide voorspeller van schoolsucces. Toch kunnen toetsen (die minder valide zijn dan een intelligentietest) ook voorspellende waarden hebben omdat zij unieke eigenschappen meten, zoals studiemotivatie en kritisch kijken.
Welke twee vragen hebben betrekking op validiteitsgeneralisatie ?
- De vraag in hoeverre predictieve validiteit daadwerkelijk situatiespecifiek is (dus alleen geldt voor bijv. de geschiktheid voor de functie van programmeur)
- In hoeverre gebleken validiteit kan worden gegeneraliseerd naar nieuwe voorspellingssituaties (is de validiteit van de test voor een geschikte programmeur ook te generaliseren naar een test voor de geschiktheid voor een helpdeskfunctie?)
Beoordeel de juistheid van de volgende twee stellingen:
- Volgens Schmidt en Hunter zijn validiteitsresultaten generaliseerbaar over organisaties, geografische gebieden, functies en tijdsperioden.
- Tests voor cognitieve vaardigheden zijn volgens Schmidt en Hunter niet situatiespecifiek.
Wat zijn de 2 voornaamste kritieken op het onderzoek van Schmidt en Hunter naar generaliseerbaarheid?
2. De correctie van de standaarddeviatie voor methodologische fouten is veelal te groot, waardoor de overblijvende variantie van de validiteitscoëfficiënten te klein uitvalt en de mate van generaliseerbaarheid toeneemt.
Welke fouten/methodologische artefacten verklaren volgens Schmidt en Hunter de grote variatie in validiteitscoëfficienten in (situatie-specifieke) valideringsonderzoeken?
- kleine steekproefgrootte waardoor toevalsinvloeden verhoudingsgewijs een grote invloed hebben en
- subtiele verschillen in samenstelling van steekproeven, die niet volledig represnetatief zijn voor populatie
- -> te hoge of te lage validiteitscoefficient
- -> grote meetfouten waardoor correlaties (validiteitscoefficienten) te laag worden geschat)
- leidt tot een onderschatting van de validiteitscoefficient
- over een smal interval van test- en/of criteriumscores valt de correlatie lager uit dan over een breed interval
- t.g.v afwijzen ongeschikte kandidaten en vetrek geschikte kandidaten
Wat zijn volgens Schmidt en Hunter (1977) de 3 belangrijkste fouten die gemaakt worden bij validiteitsgeneralisatie?
- Steekproeffouten, waardoor validiteitscoëfficiënten te hoog of te laag worden geschat
- Onbetrouwbaarheid van predictoren en criteria. Dit betekent grote meetfouten, waardoor correlaties (validiteitscoëfficiënten) te laag worden geschat)
- Beperking van de variatiebreedte, als gevolg van het afwijzen van ongeschikt geachte kandidaten en het later uit de organisatie vertrekken van juist de meest geschikte kandidaten, leidt tot een onderschatting van de validiteitscoëfficiënt)
Hoe kan de vraag beantwoord worden in hoeverre de gebleken validiteit kan worden gegeneraliseerd naar nieuwe voorspellingssituaties?
Wat wordt er binnen de validiteitsgeneralisatie verstaan onder effectiviteit?
Wat is de conclusie van Schmidt, (1988) over de generaliseerbaarheid van validiteitscoëfficiënten?
UIt welke stappen bestaat de methode van Schmidt en Hunter waarmee ze de situatie-specifieke predictiviteit en de generaliseerbaarheid van validiteit onderzoeken ?
- Corrigeren van de standaarddeviatie voor de methodologische fouten -> meer realistische schatting van de validiteitscoëfficient. Wanneer de standaarddeviatie van de validiteitscoefficienten gelijk is aan 0, dan betekent dit dat de validiteit van de test(s) niet verschilt over de selectiesituaties en dat er dus NIET in elke voorspellingssituaties opnieuw de validiteit bepaald hoeft te worden.
- De voor methodologische fouten gecorrigeerde effectiviteit wordt geschat en de ondergrens voor de validiteit wordt bepaald (het tiende percentiel) -> uitspraak over de te verwachte validiteit in de onderzochte categorie van tests en functies (=validiteitsgeneralisatie)
Wat zijn twee belangrijke bezwaren tegen de methode van Schmidt en Hunter?
2. De toegepaste correctie is vaak te groot
Welke maat wordt gebruik om te bepalen in hoeverre de validiteit kan worden gegeneraliseerd naar nieuwe voorspellingssituaties, en wanneer is die wel/niet generaliseerbaar?
Is de effectiviteit tussen de 0.1 en de -0.1 dan is de validiteitsgeneralisatie zeer discutabel. Is de effectiviteit daarentegen bijvoorbeeld 0.4 en de ondergrens 0.35 dan is met grote zekerheid generalisatiemogelijk naar toekomstige, gelijksoortige voorspellingssituaties.
Miskenning van niet-lineaire relatie tussen predictor en criterium
Wat concludeert Schmidt (1988) over de mate waarin tests generaliseerbaar zijn?
Welke conclusies trekken Schmidt en Hunter n.a.v. hun onderzoek naar specifieke-predictiviteit en generaliseerbaarheid van validiteit
- Validiteitscoefficienten in veel gevallen niet of maar weinig situatiespecifiek zijn
- Generalisatie is mogelijk over organisaties, geografische gebieden, functies en tijdvakken.
- De resterende variantie en de effectiviteit is groot genoeg om in 90 a 95% van de nieuwe toepassingen een positieve validiteit te vewachten
- Voor cognitieve testen is de gecorrigeerde sd =0 (geen situatiespecificiteit) en de validiteit constant over situaties
Wat zijn de kritiekpunten van Jansen.a. op de ideeen van Schmidt en Hunter?
- Het gebruik van slecht geoperationaliseerde criteria ( te simpel/globaal of te subjectief) -> te lage lage validiteit en te weinig spreiding -> te snel de situatiespecificiteit kunnen verwerpen
- De correctie van de sd/variantie van de validiteitscoefficienten t.g.v. de methodologische fouten is te groot -> overblijvende variantie valt te klein uit -> is in het voordeel van de situatiespecificiteit
Op welke manier geven Schmidt en Hunter antwoord op de eerste vraag (in hoeverre is predectieve validiteit daadwerkelijk situatiespecifiek)?
- Er worden meerdere tests verzameld die hetzelfde meten en afkomstig uit gelijksoortige functies (redeneercapaciteiten & in de sfeer van de ICT)
- beschikbare validiteitscoëfficiënten worden verzameld
- standaarddeviatie wordt bepaald, deze geeft de variatie in de gevonden validiteitscoëfficiënten weer
- deze variatie wordt gezien als methodologisch fouten (steekproeffouten, onbetrouwbaarheid van predictoren en criteria)
- standaarddeviatie wordt gecorrigeerd op deze veronderstelde fouten
- na de correctie zijn de resulterende standaarddeviatie van de validiteitscoëfficiënten gelijk aan nul (validiteit van de tetst verschilt niet meer over selectiesituaties)
Op welke manier geven Schmidt en Hunter antwoord op de tweed vraag (generaliseerbaarheid naar nieuwe situaties)?
- Er wordt een schatting gemaakt van de, wederom voor methodologische fouten gecorrigeerde, effectiviteit
- Deze effectiviteit kan worden opgevat als de representatieve validiteit binnen een specifieke categorie van tests en functies. Mocht de standaarddeviatie van de validiteitscoëfficiënten na correctie niet gelijk zijn aan nul, dan wordt een betrouwbaarheidsinterval berekend waarvan het tiende percentiel doorgaans wordt beschouwd als een ondergrens voor de validiteit
De vragen op deze pagina komen uit de samenvatting van het volgende studiemateriaal:
- Een unieke studie- en oefentool
- Nooit meer iets twee keer studeren
- Haal de cijfers waar je op hoopt
- 100% zeker alles onthouden
