Inleiding, Betrouwbaarheid en Validiteit
22 belangrijke vragen over Inleiding, Betrouwbaarheid en Validiteit
Geef een voorbeeld van de coefficient alfa (zie afbeelding)
Wat is het kritiek van Schmitt op de coefficient alfa?
De multimethod-multitrait matrix (Campbell & Fiske) is een methode om de begripsvaliditeit te meten. Leg deze matrix uit.
Zie afbeelding. Het zijn verschillende soorten metingen (= indicatoren) voor eenzelfde construct. Er worden 2 vragen gesteld: werd er gemeten volgens dezelfde methode? Is het een meting van hetzelfde construct (trek)?
- Hogere cijfers + sneller leren
- Niets twee keer studeren
- 100% zeker alles onthouden
Voor mijn 1e tentamen haalde ik een 6. Toen ben ik gaan zoeken naar manieren om beter te leren en ben ik Study Smart tegen gekomen. Sindsdien heb ik een 9,0 - 8,0 - 7,6 - 8,0 - 8,0 gehaald. Ik raad het echt íédereen aan die het maar horen wil. Ik ben er zo blij mee!!
Met mijn oude methode was ik geslaagd voor maar 3 van de 8 vakken. Sinds ik mijn aantekeningen digitaal maak in study smart, ben ik voor alle vakken de éérste keer geslaagd. StudySmart neemt voor mij de stress van slagen of niet slagen weg.
Door StudySmart gaat het op zo veel vlakken beter met mij. Eerst had ik continu studiestress en ik had nergens tijd voor. Nu voel ik mij rustig en zelfverzekerd (door gebruik van het programma). Eerst haalde ik meestal een 7, nu vaak een 8 of zelfs een 9.
Hey Chris, ik wil je echt hartelijk danken voor het ontwikkelen van het platform. Ik haalde hiervoor altijd rond de 6/10 voor m'n tentamens, nu een 8,6, een 7,9 en een 7,6!!
Sinds ik Study Smart gebruik, is mijn gemiddelde 1 punt gestegen. Ik heb zelfs een statistisch vak met een 10/10 afgerond terwijl ik slecht ben in statistiek. Nu volg ik extra vakken omdat vorig jaar zo goed ging door Study Smart. Veel dank!
Sinds ik ben gaan leren met StudySmart ben ik geslaagd voor al mijn examens!!! Geen herexamens!! Eerst was ik al blij met een voldoende en nu haal ik alleen maar goede cijfers. Veel dank!
Ik heb alle vakken die ik met Study Smart heb geleerd gehaald. Met rechten ben ik van een 5 naar een 8 gegaan! Ik weet nu zeker dat ik al mijn vakken gewoon ga halen.
Ik dacht altijd dat ik goed studeerde. Mijn cijfers waren ook prima. Ik had mij nooit kunnen voorstellen dat ik zo veel beter en sneller zou studeren door het toepassen van deze vaardigheden.
Ik voel mij voor het eerst 100% zeker over de manier waarop ik leer. Ik heb nu het complete overzicht en de structuur die ik nodig had
Door Study Smart kreeg ik weer plezier in het studeren en haalde ik direct betere cijfers. Alles ging ineens beter. Ik raad Study Smart enorm aan aan scholieren en studenten.
Met dit plaform kan ik super snel en gestructueerd studeren. Ik ben nooit meer de weg kwijt in de stof of in mijn aantekeningen en maak veel sneller goede samenvattingen.
Eerst waren mijn aantekeningen een zooitje. Nu gebruik ik Study Smart en studeer ik super gestructureerd. Het helpt mij om tijd te besparen waardoor ik ook andere dingen kan doen die ik belangrijk vind.
Leerlingen die met het systeem hebben gewerkt hebben gewoon een beter resultaat behaald. Het systeem past alle leertrucjes zo toe, dat zowel de kinderen die goed scoren, maar ook zij die minder scoren, aan hun trekken komen.
Hey Chris, ik wil je enorm bedanken. Het vak waar ik vorig jaar nog net een 5,5 voor haalde, heb ik nu voor ditzelfde vak maar liefst een 9,7 gehaald! Mede dankzij jouw methode! Heel erg bedankt!
Het grootste effect is dat mijn kind veel enthousiaster is over school! Elke ouder wilt graag dat zijn kind het goed doet op school, en Study Smart draagt daar aan bij.
Dankzij StudySmart heb ik vorig jaar al mn examens gehaald en ook veel betere punten gehaald. Maar bovenal heb ik nu gewoon een heel goede studiemethode onder de knie, waarmee ik zeker weet dat ik de rest van mijn studie gewoon ga halen.
Wat wordt gemeten met criteriumvaliditeit?
In welke mate de test een bepaald criterium (bijv. werkprestatie) voorspelt. Zie afbeelding. De betrouwbaarheid geeft de bovengrens van de criteriumvaliditeit aan.
Correctie voor attenuatie is een vorm van validiteitscorrectie. Omschrijf deze correctie voor attenuatie:
Correctie voor attenuatie (verzwakking) is een statistische procedure om een correlatiecoefficient te ontdoen van het verzwakkende effect van meetfouten.
Attenuatie: de correlatie tussen de geobserveerde scores is altijd kleiner dan (of gelijk aan) de correlatie van de true scores. Meetfouten hebben tot gevolg dat de correlatie tussen twee tests/metingen lager uitvalt dan de werkelijke correlatie.
Licht convergente en divergente validiteit verder toe?
Divergent: zijn die verbanden die er niet mogen zijn er ook echt niet?
> Lage correlatie = hoge/goede validiteit.
(Dit heeft te maken met de MultiTrek NultiMethode Matrix van Campbell & Fiske)
Een andere validiteitscorrectie is de correctie voor 'restriction of range'. Licht dit toe.
Geef de formule weer van de validiteitscorrectie (restriction of range?)
Wat zijn de 2 kritieken m.b.t. validiteitsgeneralisatie?
2 'File drawer probleem' (te veel onderzoeken naar 1 probleem, maar veel onderzoeken worden niet gepubliceerd. Dus je mist informatie over onderzoeken, dit levert een vertekend beeld op.
Wat is kruisvalidering/cross validation? (2)
2. De mate van shrinkage geeft de generaliseerbaarheid van de gevonden resultaten aan. Shrinkage = als je kruisvalideert neemt de voorspellende waarde af. Dus je coefficient 'shrinkt' (neemt af). Bij weinig shrinkage heb je de juiste validiteit.
r = correlatie
Leg in eigen woorden het verschil uit tussen betrouwbaarheid en validiteit en hoe deze begrippen aan elkaar gerelateerd zijn.
De betrouwbaarheid van een testprocedure bepaalt de bovengrens van de correlatiecoëfficiënt die gevonden kan worden tussen de test en het criterium.
Waarom is voor sommige tests de coëfficiënt alfa geen geschikte betrouwbaarheidsmaat?
betrouwbaarheid. Ook voor tests die een tijdslimiet hebben is coëfficiënt alfa ongeschikt. Testhertest of paralleletest betrouwbaarheidscoëfficiënten zijn meer geschikt voor deze tests.
Alice heeft een schaal ontwikkeld bestaande uit 5 items om emotionele intelligentie te meten. Zie de afbeelding.
De alfa is .63
b) Hoe zou Alice de coëfficiënt alfa kunnen verhogen?
inhoudelijk dichter bij elkaar liggen. Het gevaar is dan dat ze een nauwer construct meet dan
nu en dus niet meer het volledige domein dekt (= lagere inhoudsvaliditeit). Alice zou ook de
test kunnen verlengen door er enkele items bij te bedenken.
Alice heeft een schaal ontwikkeld bestaande uit 5 items om emotionele intelligentie te meten. Zie de afbeelding.
De alfa is .63
d) Alice wil uiteindelijk de schaal gaan gebruiken als selectie-instrument. Met hoeveel items zou ze de schaal dan moeten verlengen?
k = 0.80 (1 – 0.63) / 0.63 (1 – 0.80) = 0.80*0.37 / 0.63*0.20 = 0.30 / 0.13 = 2.31
Het aantal items moet dus met de factor 2.31 verlengd worden. Dat betekent dat de nieuwe
schaal uit 5*2.31 = 11.55 (afgerond 12) items moet bestaan.
Jacob heeft een ruwe score van 18 op een cognitieve capaciteitentest. De gemiddelde score van zijn normgroep bedraagt 15 (SD = 2.00). De test-hertestbetrouwbaarheid van de test is .80.
a) Bereken het 95% betrouwbaarheidsinterval voor de score van Jacob.
b) Wat betekent dit interval?
a) Om het BI te berekenen moeten we eerst de ware score van Jacob berekenen.
T = (X - m) * rxx + m = (18 - 15)* 0.80 + 15 = 2.40 + 15 = 17.40
Vervolgens hebben we de SE nodig.
SE = SD * (1 - Rxx) = 2.00 * (1 - 0.80) = 0.40
Het 95% BI bedraagt T ± 2*SE.
De ondergrens is 17.40 – 0.80 = 16.60
De bovengrens is 17.40 + 0.80 = 18.20
b) We kunnen zeggen dat de kans 95% is dat de score van Jacob bij een volgende testafname
tussen 16.60 en 18.20 zal liggen.
Qa-answernotes-contentBella is
selectiepsycholoog bij de gemeente. Ze heeft de validiteit van een door
haar ontwikkelde kennistest onderzocht onder 100 werknemers. Bella was
een beetje teleurgesteld over het resultaat. Ze vond een correlatie van
.20 tussen de kennistest en het criterium, het eindoordeel van de
jaarlijkse functioneringsgesprekken. Volgens Schmidt en Hunter (1998)
bedraagt de validiteit van kennistests normaal gesproken .48.
b) Bella besluit de validiteitscoëfficiënt te corrigeren voor attenuatie. De betrouwbaarheid van de kennistest bedraagt .85. De betrouwbaarheid van het criterium bedraagt .65. Wat is de gecorrigeerde validiteitscoëfficiënt?
De gecorrigeerde validiteitscoëfficiënt bedraagt:
0.20 / √0 .85*0.65 =0.20 / √ 0.55 = 0.20 / 0.74 = 0.27
Vat kort samen wat de correctie voor attenuatie precies betekent:
-X = T + E
-De correlatie tussen test en criterium indien perfect betrouwbaar gemeten (zie formule afbeelding, Rxx en Ryy = 1.00)
Omschrijf het model van Binning & Barett:
Zie afbeelding.
Het criteriumdomein is vaak werkprestatie.
De twee onderste (instrument/criteriummaat) kun je toetsen, de bovenste (predictor construct en criterium domein) niet.
Predictorconstructen (cognitieve capaciteiten, kennis en ervaring, persoonlijkheid, motivatie, interesse) -> er zijn weinig constructen die verband hebben met bijv. werkprestatie.
Extra toelichting:
Criteriumdomein = wat moet een persoon kunnen? Latente variabele, in de toekomst beschikbaar Selectieconstruct = kunnen we dit gaan voorspellen? Latente variabele, nu beschikbaar Selectieinstrument = operationalisering van selectieconstruct. Manifeste variabele, nu beschikbaar Criteriummaat = operationalisering van criteriumdomein. Manifeste variabele, in de toekomst beschikbaar. Elke pijl staat voor een mogelijke fout; relaties zijn niet perfect.
Benoem de 2 kritiek van Schmitt op het gebruik van de coefficient Alfa:
1 CA wordt vaak als bewijs gebruikt dat de schaal unidimensioneel is, maar de schaal kan makkelijk uit meerdere dimensies bestaan.
2 De testlengte is ook van invloed op de CA.
Wat is de correctie van attenuatie?
Het geeft de correlatie tussen predictor en criterium weer zonder meetfouten (dus relatie tussen ware score predictor en criterium zonder meetfouten).
Wat is de correctie voor restriction of range?
Het criterium is alleen gebaseerd op de geselecteerde groep, hoe goed zij presteren. Dit wordt door de restr of range gecorrigeerd.
Omschrijf het verschil tussen convergente en divergentie validiteit:
Convergent = correlaties tussen schalen die hetzelfde meten (moet zo hoog mogelijk)
Divergent = alle overige correlaties (moet zo laag mogelijk zijn)
De vragen op deze pagina komen uit de samenvatting van het volgende studiemateriaal:
- Een unieke studie- en oefentool
- Nooit meer iets twee keer studeren
- Haal de cijfers waar je op hoopt
- 100% zeker alles onthouden
