De bijdrage van de test in het beslissingsproces - Enkelvoudig selectie- c.q. afwijzingsmodel - Het gebruik van een enkele test
40 belangrijke vragen over De bijdrage van de test in het beslissingsproces - Enkelvoudig selectie- c.q. afwijzingsmodel - Het gebruik van een enkele test
Wanneer heeft een test in het selectieproces een zinvolle functie?
- vaststellen van een optimale kritische testscore / aftestgrens
- toevalskans (een lage toevalskans heeft gevolgen voor de bijdrage van de test in het beslissingsproces; het aantal foutieve beslissingen kan bierdoor vergroot worden)
- selectieratio (waarbij wordt iemand aangenomen of afgewezen)
Welke 4 combinaties kunnen binnen het enkelvoudige selectie cq afwijzingsmodel worden gemaakt?
- Positieve missers (onterecht afwijzen): ondanks een onvoldoende testprestatie, toch een voldoende crietriumscore
- Positieve treffers (terecht aannemen): zowel op test als criterium voldoende
- Negatieve treffers (terecht afwijzen): zowel op test als criterium onvoldoende
- Negatieve missers (onterecht aannemen): voldoende testresultaat en onvoldoende criterium
- Positief en negatief hebben betrekking op het criterium
- Missers en treffers hebben betrekking op al dan niet overeenstemming tussen testprestatieen criteriumscore
Wat is het verschil tussen de verticale aftestgrens en de horizontale kritische criteriumscore?
- Hogere cijfers + sneller leren
- Niets twee keer studeren
- 100% zeker alles onthouden
Voor mijn 1e tentamen haalde ik een 6. Toen ben ik gaan zoeken naar manieren om beter te leren en ben ik Study Smart tegen gekomen. Sindsdien heb ik een 9,0 - 8,0 - 7,6 - 8,0 - 8,0 gehaald. Ik raad het echt íédereen aan die het maar horen wil. Ik ben er zo blij mee!!
Met mijn oude methode was ik geslaagd voor maar 3 van de 8 vakken. Sinds ik mijn aantekeningen digitaal maak in study smart, ben ik voor alle vakken de éérste keer geslaagd. StudySmart neemt voor mij de stress van slagen of niet slagen weg.
Door StudySmart gaat het op zo veel vlakken beter met mij. Eerst had ik continu studiestress en ik had nergens tijd voor. Nu voel ik mij rustig en zelfverzekerd (door gebruik van het programma). Eerst haalde ik meestal een 7, nu vaak een 8 of zelfs een 9.
Hey Chris, ik wil je echt hartelijk danken voor het ontwikkelen van het platform. Ik haalde hiervoor altijd rond de 6/10 voor m'n tentamens, nu een 8,6, een 7,9 en een 7,6!!
Sinds ik Study Smart gebruik, is mijn gemiddelde 1 punt gestegen. Ik heb zelfs een statistisch vak met een 10/10 afgerond terwijl ik slecht ben in statistiek. Nu volg ik extra vakken omdat vorig jaar zo goed ging door Study Smart. Veel dank!
Sinds ik ben gaan leren met StudySmart ben ik geslaagd voor al mijn examens!!! Geen herexamens!! Eerst was ik al blij met een voldoende en nu haal ik alleen maar goede cijfers. Veel dank!
Ik heb alle vakken die ik met Study Smart heb geleerd gehaald. Met rechten ben ik van een 5 naar een 8 gegaan! Ik weet nu zeker dat ik al mijn vakken gewoon ga halen.
Ik dacht altijd dat ik goed studeerde. Mijn cijfers waren ook prima. Ik had mij nooit kunnen voorstellen dat ik zo veel beter en sneller zou studeren door het toepassen van deze vaardigheden.
Ik voel mij voor het eerst 100% zeker over de manier waarop ik leer. Ik heb nu het complete overzicht en de structuur die ik nodig had
Door Study Smart kreeg ik weer plezier in het studeren en haalde ik direct betere cijfers. Alles ging ineens beter. Ik raad Study Smart enorm aan aan scholieren en studenten.
Met dit plaform kan ik super snel en gestructueerd studeren. Ik ben nooit meer de weg kwijt in de stof of in mijn aantekeningen en maak veel sneller goede samenvattingen.
Eerst waren mijn aantekeningen een zooitje. Nu gebruik ik Study Smart en studeer ik super gestructureerd. Het helpt mij om tijd te besparen waardoor ik ook andere dingen kan doen die ik belangrijk vind.
Leerlingen die met het systeem hebben gewerkt hebben gewoon een beter resultaat behaald. Het systeem past alle leertrucjes zo toe, dat zowel de kinderen die goed scoren, maar ook zij die minder scoren, aan hun trekken komen.
Hey Chris, ik wil je enorm bedanken. Het vak waar ik vorig jaar nog net een 5,5 voor haalde, heb ik nu voor ditzelfde vak maar liefst een 9,7 gehaald! Mede dankzij jouw methode! Heel erg bedankt!
Het grootste effect is dat mijn kind veel enthousiaster is over school! Elke ouder wilt graag dat zijn kind het goed doet op school, en Study Smart draagt daar aan bij.
Dankzij StudySmart heb ik vorig jaar al mn examens gehaald en ook veel betere punten gehaald. Maar bovenal heb ik nu gewoon een heel goede studiemethode onder de knie, waarmee ik zeker weet dat ik de rest van mijn studie gewoon ga halen.
Waarom is er ook sprake van univariate informatie wanneer meerdere tests worden gebruikt?
Welke categorieen in het enkelvoudige selectie cq afwijzingsmodel zullen in de praktijk niet zichtbaar zijn?
- Categorie A (ten onrechte afgewezen) en C( terecht afgewezen) zijn niet zichtbaar
- Op grond van de tetsprestatie _> aangenomen -> geen criteriumscore
In welke 4 categorieën kunnen individuen in een afwijzingsmodel worden verdeeld?
B: Terecht aangenomen (positieve treffer)
C: Terecht afgewezen (negatieve treffer)
D: Ten onrechte aangenomen (negatieve misser)
Op welke wijze legt de tabel uit of een test zinvol is als afwijzingsmodel?![]()
Wat houdt verantwoord testen binnen het enkelvoudige selectie c.q. afwijzingsmodel in?
- Zo nauwkeurig mogelijk weten wat de grootte is van categorie A (ten onrechte afwijzen) en C (ten onrechte aannemen)
- Ideaal is dat categorie A (ten onrechte afwijzen) en D (ten onrechte aannemen) niet voorkomen
Hoe wordt het percentage geschikte kandidaten genoemd genoemd zonder selectie, op basis van toeval?
Wat zijn belangrijke begrippen binnen het selctie/afwijzingsmodel?
- Selectieratio: het aantal aangenomen kandidaten (B + D) / (A + B + C + D )
- Succesratio: het percentage toegelaten kandidaten met een voldoende score op het criterium (B / B + D)
- Toevalskans (base rate, antecedent probability) : het percentage geschikte kandidaten dat verkregen zou worden als men geen test zou gebruiken, maar kandidaten op basis van toeval selecteren ( A + B) / (A + B + C + D ). Bij toevals kans = .76 -> bij aselecte aanname 76% van de kandidaten succesvol
Waar wordt de grootte van de succesratio (als indicatie van de effectiviteit van de selectie) door bepaald?
- Validiteit van de test: hoogte correlatie test en criterium -> hoe meer terecht aangenomen en afgewezen -> hoe hoger succesratio
- Toevalskans: enerzijds afhankelijk van de kwaliteit van het aanbod en anderzijds van de strengheid van de beoordeling van de criteriumprestaties. Hoe groter de som van A en B -> hoe groter de breuk B/(B + D) = hoe groter de succesratio
- Selectieratio: Hoe meer personen worden afgewezen -> hoe groter de breuk B/(B + D) = hoe groter de succesratio
Hoe wordt het percentage succesvolle kandidaten genoemd binnen de aangenomen groep?
Deze kan worden afgezet tegenover de base rate om te zien hoe succesvol de test is.
Wanneer is een aftestgrens optimaal?
Van welke 3 factoren is de succesratio afhankelijk?
2. De toevalskans
3. De selectieratio, hoe meer afwijzingen hoe groter de breuk B/(B+D)
7. Waarom heeft het geen zin om te testen als toevalskans vlakbij 1 ligt, zelfs niet meer zeer valide test?
Welke subjectieve waardebepalingen hebben invloed op de mate van succes van de test?
2. De mate van risico die men wil lopen ongeschikte personen aan te nemen.
3. Vaststelling van de selectieratio, wat leidt tot variatie in positieve en negatieve missers.
8. Vermindert of vermeerderd het aantal negatieve missers als de aftestgrens naar rechts gaat?
Bij een selectie kunnen positieve missers (ten onrechte afgewezen) veel schadelijker zijn dan negatieve missers. Geef een voorbeeld van een situatie waarin dit het geval is en een voorbeeld waarin het omgekeerde geldt.
- Positieve missers zijn schadelijk bij beslissingen waarbij belang individuen voorop staat
- Positieve missers zijn schadelijk bij institutionele beslissingen. Bijvoorbeeld bij moeilijk vervulbare vacatures
- Negatieve missers zijn schadelijk bij beslissingen waarbij institutionele belang voorop staat ( bijv selectie F-16 piloten)
Hoe kunnen de onderzochte individuen geclassificeerd worden?
Onterecht afgewezen
Positieve misser
False positive
B
Terecht aangenomen
Positieve treffer
C
Terecht afgewezen
Negatieve treffer
D
Onterecht aangenomen
Negatieve misser
Noem enkele manier waarop het aantal positieve missers (ten onrechte afgewezen) kan worden verkleind. Idem het aantal negatieve missers ( onterecht aangenomen)
- Wijzigen van testbatterij zodat validiteit wordt verhoogd
- Verschuiven van de kritische testscore
- Als de grensscore lager wordt /naar links schuift -> toename aantal positieve treffers maar ook: afname aantal negatieve treffers en een toename van aantal negatieve missers
- Als de grensscore hoger wordt/ naar rechts schuift -> meer positieve missers. Daarnaast: meer negatieve treffers en minder negatieve missers
- M.a.w het schuiven met testgrenzen heeft gecompliceerde gevolgen
9. Op basis van hoe vaak de verschillende categorieën A,B,C,D voorkomen kunnen kengetallen worden berekend. Wat zijn de 7 soorten kengetallen?
- Selectieratio -
- Toevalskans - bovenste 3 belangrijkst.
- Succesratio -
- Sensitiviteit
- Specificiteit
- Positieve Predictieve Waarde
- Negatieve Pred Waarde
Bij een hoge selectieratio waarbij weinig kandidaten kunnen worden afgekeurd, is bij een constante toevalskans een ... validiteit nodig dan wanneer een strenge selectie nodig is.
Wat is de selectieratio (Taylor & Russel, 1939)?
- de selectieratio is het percentage kandidaten dat wordt aangenomen
- de formule luidt: B (pos. treffers) + D (neg. missers)/A + B + C + D
10. Wat is sensitiviteit en wat is specificiteit?
Spec = proportie mensen die niet ziekte/conditie hebben en die ook als zodanig zijn geïdentificeerd ; C / C+D
Volgens Meehl en Rossen is in het geval van een lage base rate (toevalskans) en een test met matige validiteit, de kans op fouten ...
11. Wat is PPW en wat is NPW?
NPW = proportie mensen die negatief testresultaat hebben en die ziekte/conditie niet hebben ; C / A+C
Waarop heeft de standaarddeviatie in de utiliteitsscores (Su) betrekking?
Indien een geringe toename in de criteriumprestatie voor de organisatie van groot belang is, zal de nuttigheid van de test groot zijn (ook met een minder valide test).
Wat is de invloed van de selectieratio op de utiliteit?
negatief worden, omdat het nuttige effect van het testen niet
opweegt tegen het totaal aan testkosten
De normaalcurve van de selectieratio is 0.50.
13. Wat zijn 2 kenmerken van optimaal afkappunt?
- false negatives (A) en false positives (D) = 0
- dan zijn:
14. Optimaal afkappunt bestaat niet, dus je moet kiezen wat het punt gaat zijn en dit is afhankelijk van 3 doelen, welke? (zie aantek blz 14).
>> false negatives = laag >> NPW en sens = HOOG
2. Screenen conditie = bepalen wat de kosten zijn = max uit test halen, wel rekening houden met kosten(geld of maatschappelijk) v mogelijke fouten (false positives/false negatives).
>> Voorbeeld is Corana - snelle verspreiding dus veel testen om dit te voorkomen = uitsluiten conditie.
>> uiteraard valt ook insluiten hieronder.
3. Insluiten conditie = diagnose bevestigen >> false positives is laag >> spec en PPW = HOOG.
Bijv als medische behandeling schadelijk is.
Wat brengt het verschuiven van de aftestgrens op de predictorvariabele?
Het verschuiven van de aftestgrens (verticale lijn) op de predictorvariabele brengt een vermindering van het aantal missers van het een type teweeg, terwijl tegelijk het aantal missers van het andere type wordt vergroot
15. Wanneer is het afkappunt waarbij som van sensitiviteit en specificiteit maximaal is, relevant?
16. Hoe interpreteer je afkappunt 5/6 of afkappunt > 5?
Geef het gedachtegang van Taylor en Russel weer:
- de gedachtegang van Taylor en Russell heeft een belangrijke verbreding gegeven aan de evaluatie van de waarde van de test in selectie-beslissingen
- het is duidelijk dat de absolute waarde van de validiteit van een test op zich weinig betekenis heeft
- ook met andere factoren, zoals toevalskans en selectieratio, moet rekening worden gehouden
17. Leg uit waarom de toevalskans belangrijk is voor het bepalen vh optimale afkappunt. Wat is het belang van toevalskans.
>> als afkappunt (blz 407, fig 9.4) verschoven wordt naar boven of beneden, zie je dat de som A+B en de noemer vd toevalskans verandert.
>> Verhoudingen tussen A B en tussen C en D veranderen nauwelijks
>> dus spec en sens veranderen nauwelijks.
>> verhouding A en C , en B en D veranderen wel >> dat is NPW en PPW >> dus veranderlijk voor prevalentie in een studie.
Leg formule 9.1 uit: ΔU = SUrXUḉ(X’) - C
ΔU = netto utiliteitswinst per onderzochteSU = standaarddeviatie van de utiliteit in de ongeselecteerde populatierXU = correlatie tussen predictor en utiliteit in de ongeselecteerde populatieḉ(X’) = ordinaat (waarde op verticale as, dus een kans) van de normaalverdeling van X bij aftestgrens X' (bij gegeven selectieratioC = gemiddelde kosten van de procedure per onderzochteformule 9.1 is gebaseerd op de lineaire regressie van de utiliteit, U, op de predictor, X, waarbij de helling van de regressielijn wordt bepaald door de coëfficiënt SUrXU
19. Waarom kun je PPW en NPW niet gebruiken bij onbekende prevalentie of als je optimale afkappunt wil bepalen in groep mensen die populatie niet goed vertegenwoordigt?
20. Wanneer zet je de kengetallen Likelihood ratios in?
of
Als PPW en NPW onbekend of niet bruikbaar zijn.
21. Welke 2 Likelihood ratios hebben we?
= de verhouding tussen de kans dat een persoon met ziekte/conditie een pos testresultaat heeft
EN
de kans dat een persoon zonder conditie een pos testresultaat heeft.
formule: sensitiviteit / (1 - specificiteit)
- Negative Likelihood Ratio = LR- = neg aannemelijkheidsverhouding.
= de verhouding tussen de kans dat persoon zonder conditie/ziekte neg testresultaat heeft
EN
de kans dat persoon met ziekte/conditie neg testresultaat heeft.
formule : (1 - sensitiviteit) / specificiteit
Welke afkappunten moet test hebben om goed te screenen op aandoening?
of
LR- tussen 0.1 en 0.2
De vragen op deze pagina komen uit de samenvatting van het volgende studiemateriaal:
- Een unieke studie- en oefentool
- Nooit meer iets twee keer studeren
- Haal de cijfers waar je op hoopt
- 100% zeker alles onthouden
