Betrouwbaarheid - Herhaalbaarheid van metingen

27 belangrijke vragen over Betrouwbaarheid - Herhaalbaarheid van metingen

Op wat heeft het begrip 'betrouwbaarheid' betrekking?

Het begrip 'betrouwbaarheid' heeft betrekking op background-colorde mate waarin een test bij herhaalde afnamen onder dezelfde condities dezelfde score oplevert

Waarom zijn metingen van psychologische eigenschappen van een bepaald persoon in principe niet zinvol herhaalbaar?

1. Herinnering
2. Bijleren

Waarom zijn herhaalde metingen van dezelfde eigenschappen bij dezelfde persoon niet zinvol?

- Geheugeneffect: persoon herinnert antwoorden.
- Leereffect: hogere scores door bijleren.
  • Hogere cijfers + sneller leren
  • Niets twee keer studeren
  • 100% zeker alles onthouden
Ontdek Study Smart

Door welke 2 dingen wordt zinvolle herhaalbaarheid van metingen bemoeilijkt?

1. Geheugeneffect, deelnemers herinneren zich vragen van de voorgaande test.
2. Leerprocessen, vaardigheden in het oplossen van vragen verbeteren door oefening.

Welke mensen zijn belangrijk geweest voor de ontwikkeling van de klassieke testtheorie?

  • Spearman: 1904, 1910
  • Gulliksen (1950): uitwerking
  • Lord en Novick (1968): definitieve versie

Wat is de moeilijkheid/nadeel van betrouwbaarheid bij psychologische metingen?

De herhaalbaarheid bij psychologische testen moeten we ons hypothetisch voorstellen.
Op den duur zal dezelfde test bij dezelfde persoon dezelfde uitkomsten opleveren. Door geheugeneffecten en leerprocessen.

Zijn scores van psychologische eigenschappen van een bepaald persoon wel zinvol herhaalbaar?

Nee. Mogelijk herinnert iemand zijn antwoorden van de vorige keer, of gaat men er in de tussentijd over nadenken waardoor hij bijleert, door telkens dezelfde soort opdrachten te maken wordt men er misschien wel beter in, mogelijk is men de tweede of derde keer dat men de test invult wel meer op zijn gemak, of juist meer verveeld etc, etc.

Welke problemen zijn er bei de herhaalbaarheid van metingen?

  • een probleem is dat in de praktijk als gevolg van een testafname doorgaans veranderingen bij een persoon worden veroorzaakt die van invloed kunnen zijn op de uitslag bij een volgende afname
  • bovendien kunnen gelijkblijvende omgevingscondities bij herhaalde afname niet worden gegarandeerd

--> uit de gegeven omschrijving wordt het theoretische karakter van het betrouwbaarheidsbegrip duidelijk

--> in de praktijk wordt de betrouwbaarheid  van een test dan ook op een andere wijze bepaald dan door herhaalde afnamen; de definitie van betrouwbaarheid hoeft als gevolg hiervan echter niet te worden gewijzigd

 

Uit welke 2 componenten bestaat de term betrouwbaarheid?

1. De bedoelde eigenschap die men wil meten.
2. Onbedoelde eigenschappen die systematische invloed hebben.

Het gaat om de mate waarin de meting herhaalbaar is inclusief niet bedoeld effecten.     

Waar houdt de klassieke testtheorie zich mee bezig m.b.t. betrouwbaarheid?

De klassieke testtheorie houdt zich bezig met het verkrijgen van onafhankelijke replicaties.
Dus brengt in kaart wat de relatieve inbreng is van de over herhaalde metingen voorspelbare invloeden op de testprestatie en systematisch werkzame eigenschappen van personen

Welke factoren kunnen, naast de te meten vaardigheid/kennis/inzicht, ook bepalend zijn voor de score die op de test behaald wordt?

1. De testomgeving en de testprocedure. De items van de test, de instructie, de testruimte etc

2. De psychologische eigenschappen van de persoon. Bijvoorbeeld faalangst, stabiliteit van rigiditeit, emotionaliteit, agressiviteit, woordbegrip., motivatie etc

Zijn metingen van psychologische eigenschappen van een bepaald persoon wel zinvol herhaalbaar?

  • een zinvolle herhaalbaarheid van metingen wordt in hoge mate bemoeilijkt door geheugeneffecten en leerprocessen, die zich al bij de tweede afneming van een test onmiddellijk zullen doen gelden
  • in de praktijk is het dus niet of nauwelijks zinvol om een test vaker dan eens aan dezelfde personen voor te leggen om een indruk te krijgen van de herhaalbaarheid of betrouwbaarheid van de testscore
  • herhaalbaarheid van metingen moeten we ons derhalve hypothetisch voorstellen, als een gedachte-experiment

Wanneer zijn de testafnemingen niet meer onafhankelijk van elkaar?

Indien de veranderlijkheid (in resultaten van metingen) het gevolg zijn van de testprocedure die aanleiding heeft gegeven tot voor verandering door oefening.

Wanneer zijn de testprestaties bij diverse testafnames onafhankelijk van elkaar?

Als bij ieder testsessie telkens opnieuw wordt begonnen. De proefpersoon heeft niets geleerd van een eerdere afname en herinnert zich niets.

Op welke voorwaarde zijn volgens het gedachte experiment veranderingen in relevante eigenschappen aanvaardbaar?

De veranderlijkheid is kenmerkend voor de eigenschap zelf en niet het gevolg van de testprocedure. Denk hierbij aan motivatie, emotie of stemming en bijvoorbeeld niet een leereffect waardoor de onafhankelijkheid tussen tests verdwijnt.

Voor praktisch testgebruik gaat men ervan uit dat de standaard meetfout gelijk is voor alle personen. Is dat altijd waar?

Nee. Bij een kennistest bestaande uit meerkeuze items, is de meetfout bij personen die weinig weten groter dan bij personen die veel weten.
ook is de standaard meetfout van psychologische metingen(bijvoorbeeld intelligentie)  in veel gevallen aanzienlijk. Veel groter dan bij bijvoorbeeld fysische metingen (bv lengte).

Wat moeten we verstaan onder het afnemen van tests onder gelijkblijvende condities?

Onder gelijkblijvende condities vallen doorgaans allerlei kenmerken van de testomgeving en testprocedure:

  • de items waaruit de test is samengesteld
  • de instructie
  • de ruimte waarin de test wordt voorgelegd
  • de temperatuur en belichting in deze ruimte
  • het schrijfgerei
  • het tijdstip van afneming

Voorts geldt die eis van gelijkblijvendheid ook voor psychologische eigenschappen van de persoon, die voor de meting relevant zijn.

De term relevant refereert hier aan alle eigenschappen die invloed hebben op de testprestatie.

Hoe komt het dat testscores (in een hypothetisch gedachte-experiment) bij herhaalde afnemingen onder gelijkblijvende condities toch fluctueren?

In feite gaat men ervan uit dat er invloeden op de testprestaties werkzaam zijn, die op een onvoorspelbare wijze varieren over herhaalde afnemingen van de test. Verder kunnen deze invloeden op de testprestatie voor de geteste persoon nadelig maar ook voordelig zijn, zodat zij de score verlagen of verhogen (op een prestatieniveautest).


Over een groot aantal herhaalde metingen bij dezelfde persoon heffen voordelen en nadelen elkaar echter op.

Hoe zie je de grotere meetfout terug in de grafische weergave van de resultaten?

Metingen met een grotere meetfout hebben een grotere verdeling van scores dus een is de grafiek van de scores op de meting ook breder.

Meet een test voor numerieke vaardigheid naast bedoelde eigenschappen ook onbedoelde eigenschappen?

De betrouwbaarheid van de testscore wordt zowel door de bedoelde eigenschap numerieke vaardigheid als door de onbedoelde eigenschap woordbegrip bepaald, want het gaat om de mate waarin de meting herhaalbaar is, dus inclusief alle niet-bedoelde effecten.

Hoe kan het gedachte-experiment van herhaalde metingen worden samengevat?

Herhaalbaarheid van metingen kan worden beoordeeld indien:
  1. Een persoon vele malen dezelfde test onder gelijkblijvende condities kunnen voorleggen
  2. Testprestaties bij verschillende afnames onafhankelijk van elkaar (niets leren of herinneren)
  3. Test situatie is onveranderd
  4. Steeds zijn alle voor de meting relevante eigenschappen van invloed op de testprestatie
  5. in deze situatie is er toch bij verschillende afnames invloed van onvoorspelbare factoren.

Wat zijn de voorwaarden voor onafhankelijke replicaties bij herhaalde metingen?

- Onafhankelijke metingen
- Onveranderde testsituatie
- Alle voor de meting relevante eigenschappen van de persoon van invloed zijn op diens testprestatie

Laat het gedachte-experiment de mogelijkheid open dat personen van afneming tot afneming veranderen op een of meer relevante eigenschappen?

  • men kan bijv. denken aan veranderlijke (instabiele) eigenschappen zoals motivatie, emotionaliteit en stemming
  • de veranderlijkheid mag dus niet het gevolg zijn van de testprocedure, die aanleiding zou geven tot verandering door oefening, bijv. doordat er wordt geleerd
  • is dat inderdaad wel het geval, dan zijn de testafnemingen niet meer onafhankelijk van elkaar
  • een hogere score is dus het gevolg van het eerder hebben deelgenomen

De definitie van betrouwbaarheid is: rxx'=S in het kwadraat (T) / S in het kwadraat (T). Wat is de range van de betrouwbaarheidsscore rxx'?

rxx' ligt tussen 0 en 1

Waarom wordt herhaalbaarheid beschouwd als een hypothetisch voorstelling?

Het is een concept dat niet altijd fysiek kan worden gerealiseerd, maar eerder een theoretisch idee is. Herhaalde metingen kunnen geheugen- en leereffecten hebben.

Wat kan men zich inhoudelijk voorstellen bij factoren die ten grondslag liggen aan toevallige invloeden op het testgedrag?

  • een black-out die de testprestatie van een respondent tijdens een specifieke testsessie nadelig beïnvloedt
  • het tegengestelde effect kan ontstaan doordat iemand een helder moment heeft
  • een plotselinge hoestbui of ander lichamelijk ongemak
  • fluctuaties in het 'arousal'-niveau
  • zich plotseling opdringende gedachten die niets met de test te maken hebben

Alle factoren die ten grondslag liggen aan de toevallige invloeden op het testgedrag hebben echter gemeen dat ze gebonden zijn aan een specifieke testsessie.

Wat is een vuistregel voor de mate van betrouwbaarheid van tests voor groepsgemiddelde en voor individuele diagnostiek?

Voor tests voor groepsgemiddelde: rxx'> 0.7 bij lagere betrouwbaarheid bestaan de testscores voor een groot deel uit meetfouten.

Voor tests voor individuele diagnostiek: rxx'> 0.9 , maar er bestaat geen harde ondergrens. Het gaat er uiteindelijk om of individuele testscores significant van elkaar verschillen of van een aftestgrens (bv onvoldoende/voldoende, afwijzen/aannemen) en daarvoor bied een eenvoudige minimumeis voor de betrouwbaarheid nog geen garantie.

De vragen op deze pagina komen uit de samenvatting van het volgende studiemateriaal:

  • Een unieke studie- en oefentool
  • Nooit meer iets twee keer studeren
  • Haal de cijfers waar je op hoopt
  • 100% zeker alles onthouden
Onthoud sneller, leer beter. Wetenschappelijk bewezen.
Trustpilot-logo