Betrouwbaarheid - Herhaalbaarheid van metingen
27 belangrijke vragen over Betrouwbaarheid - Herhaalbaarheid van metingen
Op wat heeft het begrip 'betrouwbaarheid' betrekking?
Het begrip 'betrouwbaarheid' heeft betrekking op background-colorde mate waarin een test bij herhaalde afnamen onder dezelfde condities dezelfde score oplevert
Waarom zijn metingen van psychologische eigenschappen van een bepaald persoon in principe niet zinvol herhaalbaar?
2. Bijleren
Waarom zijn herhaalde metingen van dezelfde eigenschappen bij dezelfde persoon niet zinvol?
- Leereffect: hogere scores door bijleren.
- Hogere cijfers + sneller leren
- Niets twee keer studeren
- 100% zeker alles onthouden
Door welke 2 dingen wordt zinvolle herhaalbaarheid van metingen bemoeilijkt?
2. Leerprocessen, vaardigheden in het oplossen van vragen verbeteren door oefening.
Welke mensen zijn belangrijk geweest voor de ontwikkeling van de klassieke testtheorie?
- Spearman: 1904, 1910
- Gulliksen (1950): uitwerking
- Lord en Novick (1968): definitieve versie
Wat is de moeilijkheid/nadeel van betrouwbaarheid bij psychologische metingen?
Op den duur zal dezelfde test bij dezelfde persoon dezelfde uitkomsten opleveren. Door geheugeneffecten en leerprocessen.
Zijn scores van psychologische eigenschappen van een bepaald persoon wel zinvol herhaalbaar?
Welke problemen zijn er bei de herhaalbaarheid van metingen?
- een probleem is dat in de praktijk als gevolg van een testafname doorgaans veranderingen bij een persoon worden veroorzaakt die van invloed kunnen zijn op de uitslag bij een volgende afname
- bovendien kunnen gelijkblijvende omgevingscondities bij herhaalde afname niet worden gegarandeerd
--> uit de gegeven omschrijving wordt het theoretische karakter van het betrouwbaarheidsbegrip duidelijk
--> in de praktijk wordt de betrouwbaarheid van een test dan ook op een andere wijze bepaald dan door herhaalde afnamen; de definitie van betrouwbaarheid hoeft als gevolg hiervan echter niet te worden gewijzigd
Uit welke 2 componenten bestaat de term betrouwbaarheid?
2. Onbedoelde eigenschappen die systematische invloed hebben.
Het gaat om de mate waarin de meting herhaalbaar is inclusief niet bedoeld effecten.
Waar houdt de klassieke testtheorie zich mee bezig m.b.t. betrouwbaarheid?
Dus brengt in kaart wat de relatieve inbreng is van de over herhaalde metingen voorspelbare invloeden op de testprestatie en systematisch werkzame eigenschappen van personen
Welke factoren kunnen, naast de te meten vaardigheid/kennis/inzicht, ook bepalend zijn voor de score die op de test behaald wordt?
2. De psychologische eigenschappen van de persoon. Bijvoorbeeld faalangst, stabiliteit van rigiditeit, emotionaliteit, agressiviteit, woordbegrip., motivatie etc
Zijn metingen van psychologische eigenschappen van een bepaald persoon wel zinvol herhaalbaar?
- een zinvolle herhaalbaarheid van metingen wordt in hoge mate bemoeilijkt door geheugeneffecten en leerprocessen, die zich al bij de tweede afneming van een test onmiddellijk zullen doen gelden
- in de praktijk is het dus niet of nauwelijks zinvol om een test vaker dan eens aan dezelfde personen voor te leggen om een indruk te krijgen van de herhaalbaarheid of betrouwbaarheid van de testscore
- herhaalbaarheid van metingen moeten we ons derhalve hypothetisch voorstellen, als een gedachte-experiment
Wanneer zijn de testafnemingen niet meer onafhankelijk van elkaar?
Wanneer zijn de testprestaties bij diverse testafnames onafhankelijk van elkaar?
Op welke voorwaarde zijn volgens het gedachte experiment veranderingen in relevante eigenschappen aanvaardbaar?
Voor praktisch testgebruik gaat men ervan uit dat de standaard meetfout gelijk is voor alle personen. Is dat altijd waar?
ook is de standaard meetfout van psychologische metingen(bijvoorbeeld intelligentie) in veel gevallen aanzienlijk. Veel groter dan bij bijvoorbeeld fysische metingen (bv lengte).
Wat moeten we verstaan onder het afnemen van tests onder gelijkblijvende condities?
Onder gelijkblijvende condities vallen doorgaans allerlei kenmerken van de testomgeving en testprocedure:
- de items waaruit de test is samengesteld
- de instructie
- de ruimte waarin de test wordt voorgelegd
- de temperatuur en belichting in deze ruimte
- het schrijfgerei
- het tijdstip van afneming
Voorts geldt die eis van gelijkblijvendheid ook voor psychologische eigenschappen van de persoon, die voor de meting relevant zijn.
De term relevant refereert hier aan alle eigenschappen die invloed hebben op de testprestatie.
Hoe komt het dat testscores (in een hypothetisch gedachte-experiment) bij herhaalde afnemingen onder gelijkblijvende condities toch fluctueren?
Over een groot aantal herhaalde metingen bij dezelfde persoon heffen voordelen en nadelen elkaar echter op.
Hoe zie je de grotere meetfout terug in de grafische weergave van de resultaten?
Meet een test voor numerieke vaardigheid naast bedoelde eigenschappen ook onbedoelde eigenschappen?
De betrouwbaarheid van de testscore wordt zowel door de bedoelde eigenschap numerieke vaardigheid als door de onbedoelde eigenschap woordbegrip bepaald, want het gaat om de mate waarin de meting herhaalbaar is, dus inclusief alle niet-bedoelde effecten.
Hoe kan het gedachte-experiment van herhaalde metingen worden samengevat?
- Een persoon vele malen dezelfde test onder gelijkblijvende condities kunnen voorleggen
- Testprestaties bij verschillende afnames onafhankelijk van elkaar (niets leren of herinneren)
- Test situatie is onveranderd
- Steeds zijn alle voor de meting relevante eigenschappen van invloed op de testprestatie
- in deze situatie is er toch bij verschillende afnames invloed van onvoorspelbare factoren.
Wat zijn de voorwaarden voor onafhankelijke replicaties bij herhaalde metingen?
- Onveranderde testsituatie
- Alle voor de meting relevante eigenschappen van de persoon van invloed zijn op diens testprestatie
Laat het gedachte-experiment de mogelijkheid open dat personen van afneming tot afneming veranderen op een of meer relevante eigenschappen?
- men kan bijv. denken aan veranderlijke (instabiele) eigenschappen zoals motivatie, emotionaliteit en stemming
- de veranderlijkheid mag dus niet het gevolg zijn van de testprocedure, die aanleiding zou geven tot verandering door oefening, bijv. doordat er wordt geleerd
- is dat inderdaad wel het geval, dan zijn de testafnemingen niet meer onafhankelijk van elkaar
- een hogere score is dus het gevolg van het eerder hebben deelgenomen
De definitie van betrouwbaarheid is: rxx'=S in het kwadraat (T) / S in het kwadraat (T). Wat is de range van de betrouwbaarheidsscore rxx'?
Waarom wordt herhaalbaarheid beschouwd als een hypothetisch voorstelling?
Wat kan men zich inhoudelijk voorstellen bij factoren die ten grondslag liggen aan toevallige invloeden op het testgedrag?
- een black-out die de testprestatie van een respondent tijdens een specifieke testsessie nadelig beïnvloedt
- het tegengestelde effect kan ontstaan doordat iemand een helder moment heeft
- een plotselinge hoestbui of ander lichamelijk ongemak
- fluctuaties in het 'arousal'-niveau
- zich plotseling opdringende gedachten die niets met de test te maken hebben
Alle factoren die ten grondslag liggen aan de toevallige invloeden op het testgedrag hebben echter gemeen dat ze gebonden zijn aan een specifieke testsessie.
Wat is een vuistregel voor de mate van betrouwbaarheid van tests voor groepsgemiddelde en voor individuele diagnostiek?
Voor tests voor individuele diagnostiek: rxx'> 0.9 , maar er bestaat geen harde ondergrens. Het gaat er uiteindelijk om of individuele testscores significant van elkaar verschillen of van een aftestgrens (bv onvoldoende/voldoende, afwijzen/aannemen) en daarvoor bied een eenvoudige minimumeis voor de betrouwbaarheid nog geen garantie.
De vragen op deze pagina komen uit de samenvatting van het volgende studiemateriaal:
- Een unieke studie- en oefentool
- Nooit meer iets twee keer studeren
- Haal de cijfers waar je op hoopt
- 100% zeker alles onthouden