Reliability: conceptual basis
24 belangrijke vragen over Reliability: conceptual basis
Wat is het doel van onderzoekende wetenschap?
Klassieke Testtheorie (KTT)
Volgens de KTT is betrouwbaarheid afgeleid van:
- Geobserveerde scores (observed scores) Xo.
- Ware scores (true scores) Xt.
- Willekeurige scores (measuremont error scores) Xe.
Wat is de reliability (betrouwbaarheid) volgens CTT (classical test theory)?
- Hogere cijfers + sneller leren
- Niets twee keer studeren
- 100% zeker alles onthouden
Waar hangen psychologische metingen altijd van af?
Wat is het verschil tussen een 'true score' en 'observed score' als het gaat om betrouwbaarheid?
Wat zijn assumpties van CTT (classical test theory)?
- Random measurement error zorgt voor inflatie en deflatie van scores van participanten. Op een goede dag kan je bv. 10 punten meer scoren en op een slechte dag -20. user-select
- Het gemiddelde 'effect of error' tussen participanten is 0.user-select
- Error scores zijn niet gecorreleerd met true scores
Is betrouwbaarheid een ja of nee vraag?
betrouwbaarheid is een continuum: een test is minder of meer betrouwbaar
Vier benaderingen voor betrouwbaarheid
2. Betrouwbaarheid in termen van 'gebrek aan meetfout error'.
3. Betrouwbaarheid in termen van 'correlaties'.
4. Betrouwbaarheid in termen van 'gebrek aan correlatie'.
Betrouwbaarheid in termen van 'proporties van de variantie'
Rxx = St2 /So2
Als Rxx 0 is: betekend het dat iedereen dezelfde ware score heeft, waardoor St2 = 0.
Als Rxx = 1, betekend het dat de variantie van de ware scores gelijk is aan de variantie van de geobserveerde scores. Dus er zijn geen meetfouten.
Interpretatie:
Als Rxx = 0.48, dan 48% van de verschillen in de geobserveerde scores kan worden toegeschreven aan de ware scores. Daar tegenover is 52% van de verschillen die kan worden toegeschreven aan meetfouten.
Betrouwbaarheid in termen van 'gebrek aan meetfout error'
Maar So2 = St2 +Se2 oftewel St2 = So2 - Se2
Als dit vervangen wordt in de voorgaande formule krijg je het volgende:
Rxx = (So2 = Se2) / So2
=
(So2/So2) = (Se2/So2) --> deze formule kan So2/So2 weggestreept worden en 1 van worden gemaakt, waardoor je het volgende krijgt:
Rxx = 1 - (Se2/So2)
Interpretatie:
hoe kleiner (Se2/So2) hoe groter Rxx.
Betrouwbaarheid termen van 'correlaties'
Rot2 is de gekwadrateerde correlatie tussen de geobserveerde scores en de ware scores.
Als je Rot uitschrijft krijg je het volgende:
Rot = St2 / (So * St) = St/So
Dus Rot in het kwadraat (Rot2):
Rot2 = St2 / So2
Interpretatie:
Rot2 = 1.0 : geeft aan dat de verschillen tussen de geobserveerde test scores perfect overeenkomen met de verschillen tussen de ware scores.
Rot2 = 0.0 : geeft aan dat de verschillen tussen de geobserveerde scores en de ware scores totaal tegenstrijdig zijn.
Betrouwbaarheid in termen van 'gebrek aan correlatie'
Roe2 = de gekwadrateerde correlatie tussen de geobserveerde scores en de error scores.
Roe = Se2 / (So * Se) = Se/So
Dit gekwadrateerd maakt:
Roe2 = Se2 / So2
Dus dit maakt Rxx:
Rxx = 1 - Roe2 oftewel = 1 - (Se2/So2)
Interpretatie:
Als Roe = 0, dan is Rxx = 1.0
hoe groter de correlatie tussen de geobserveerde scores en de error scores, des te kleine de Rxx. Dus de betrouwbaarheid is relatief hoog als de geobserveerde scores een lage correlatie hebben met de error scores.
Wat zijn de assumpties van CTT?
- De meetfout correleert met niks, behalve tussen de meetfout en Xo die bepaald de meetfut. De covariantie is ook 0 omdat de correlatie 0 is.
Standaard meet fout (berekend met Rxx)
SEm = standaard meetfout
SEm = So * wortel van (1 - Rxx)
Interpretatie:
Als Rxx = 1, dan is SEm = 0 : dus Rxx groter betekend SEm kleiner.
SEm is nooit groter dan So, dus So groter betekend SEm ook groter.
Welke 4 manieren zijn er om betrouwbaarheid te zien?
- Gebrek aan error variantie --> 1-proportie onverklaarde variantie
- Gekwadrateerde correlatie tussen Xo en Xt
- Gebrek aan gekwadrateerde correlatie tussen Xo en Xt --> 1- rxoxt
Wat is measurement error?
Wat is een handige manier om over betrouwbaarheid te denken?
dus in termen van onze vaardigheid om een signal te ontdekken in de aanwezigheid van een ruisgeluid. Truse scores zijn dan het signal wat je graag wil ontdekken en meetfout is de ruis die het signaal verstoord en het moeilijk maakt om het signaal te ontdekken.
Betrouwbaarheid is dan = signal / (signaal+ruis)
Dus betrouwbaarheid is het duidelijkst bij een sterk signaal en weinig ruis.
Hoe zit dat met de totale variantie?
s² = s²"echt" + s² "fout"
Wat hebben alle 4 manieren gemeen?
Wat is de waarschijnlijk meest gebruikte uitdruk voor betrouwbaarheid?
R(xx) = s²(t) / s² (o)
Rx,x is de betrouwbaarheids coefficient
er komt een .XX waarde uit, die verteld ons dat ongeveer XX% van de verschillen die we tussen respondenten's geobserverde score vinden toe te wijzen zijn aan verschillen in hun echte eigenschap levels.
Wat is de standard error of measurement?
dat is de standard afwijking van error scores, de gemiddelde groote van error scores. Hoe groter de standard error van metingen, hoe groter de gemiddelde verschillen tussen geobserveerde scores en waare scores zijn en hoe minder betrouwbaar te test is.
De se (m) is sterk gelinkt aan de betrouwbaarheid. Met betrouwbaarheid Rx,x kun je de se (m) vinden.
se(m) = s (o) wortel (1-Rx,x)
Als Rx,x = 1 is en se(m) = 0 is dan is betrouwbaarheid perfect.
se(m) kan nooit groter zijn dan s(o).
Wat is het probleem met betrouwbaarheid?
Hoe lost CTT dit op?
ze gaan ervan uit dat twee psychologische tests zo geconstrueerd kunnen worden dat zij parallel zijn.
2 assumpties komen erbij:
1. deelnemers echte score voor een test zijn exact hetzelfde als hun true score op de andere test. De twee tests meten hetyelfde psychologische construct (dit het tau equivalent)
2. de tests hebben dezelfde level aan error variantie.
De geobserveerde scores van die tests hebben hetzelfde gemiddelde en dezelfde standard afwijking.
Wat is domain sampling theory?
ontwikkeld in 1950s
De vragen op deze pagina komen uit de samenvatting van het volgende studiemateriaal:
- Een unieke studie- en oefentool
- Nooit meer iets twee keer studeren
- Haal de cijfers waar je op hoopt
- 100% zeker alles onthouden
![Trustpilot-logo](/images/design_2020/lp/clp-trustpilot-nl.png)