Startpagina / Samenvattingen / Psychological testing a practical approach to design and evaluation / beoordelaars-wg-overeenstemming

Reliability of raters (interbeoordelaarsbetrouwbaarheid)

Q: Wanneer gebruik je Kendall's coefficient of concordance (W) / wat houdt het in? & Wat is de vuistregel over hoe hoog dit moet zijn?

2 of meer beoordelaars rangordenen objecten op ordinale schaal (bv. van 1 tot 5 beoordelen hoe geschikt een kandidaat is). Kendall's W loopt dan van 0 (geen overeenstemming) tot 1 (perfect) Meten: H0: W = 0 Ha: W > 0 Vuistregel: tussen .7 en .9 is goed.

Q: Wanneer gebruik je Cohen's Kappa coefficient / wat houdt het in? & Wat is de vuistregel over hoe hoog dit moet zijn?

2 beoordelaars beoordelen objecten adhv een nominale variabele , bv. reactie kind op moeder bij attachment research (vermijding, veilig, overstuur). Meten: H0: kappa = 0 Ha: kappa > 0 Vuistregel: tussen .4 en .75 is redelijk goed & > .75 is sterke overeenstemming.

Q: Wanneer gebruik je r(wg) / wat houdt het in? & Leg de volgende formule uit: r(wg) = (s(e)^2 - s(x)^2) / s(e)^2 & Wat is de vuistregel over hoe hoog dit moet zijn?

2 of meer beoordelaars beoordelen 1 object of stimulus aan de hand van een intervalschaal , bv. 10 beoordelaars kennen een cijfer (x) van 1 tot 10 toe aan de kwaliteit van een college. r(wg) = (s(e)^2 - s(x)^2) / s(e)^2 s(x)^2 = de variantie van de cijfers s(e)^2 = de theoretische variantie als de overeenstemming tussen de beoordelaars nul is (dus als iedereen iets anders kiest). Deze hangt af van de onder en bovengrens (dus 1 en 10 uit het voorbeeld). Vuistregel: > .7 is wenselijk. Tussen .8 en .85 is redelijk.

4 belangrijke vragen over Reliability of raters (interbeoordelaarsbetrouwbaarheid)

4 methoden van interbeoordelaarsbetrouwbaarheid: Kendall Coefficient of Concordance (Kendall's W); Cohen's Kappa; r(wg); intraclass correlation > Waar hangt de keuze voor de methode vanaf (2)?

Keuze hangt af van:

Aantal beoordelaars
Meetniveau van de beoordelingen

Wanneer gebruik je Kendall's coefficient of concordance (W) / wat houdt het in? & Wat is de vuistregel over hoe hoog dit moet zijn?

2 of meer beoordelaars rangordenen objecten op ordinale schaal (bv. van 1 tot 5 beoordelen hoe geschikt een kandidaat is). Kendall's W loopt dan van 0 (geen overeenstemming) tot 1 (perfect)

Meten:

H0: W = 0
Ha: W > 0
Vuistregel: tussen .7 en .9 is goed.

Wanneer gebruik je Cohen's Kappa coefficient / wat houdt het in? & Wat is de vuistregel over hoe hoog dit moet zijn?

2 beoordelaars beoordelen objecten adhv een nominale variabele, bv. reactie kind op moeder bij attachment research (vermijding, veilig, overstuur).
Meten:

H0: kappa = 0
Ha: kappa > 0
Vuistregel: tussen .4 en .75 is redelijk goed & > .75 is sterke overeenstemming.

Wanneer gebruik je r(wg) / wat houdt het in? & Leg de volgende formule uit:
r(wg) = (s(e)^2 - s(x)^2) / s(e)^2
& Wat is de vuistregel over hoe hoog dit moet zijn?

2 of meer beoordelaars beoordelen 1 object of stimulus aan de hand van een intervalschaal, bv. 10 beoordelaars kennen een cijfer (x) van 1 tot 10 toe aan de kwaliteit van een college.
r(wg) = (s(e)^2 - s(x)^2) / s(e)^2

s(x)^2 = de variantie van de cijfers
s(e)^2 = de theoretische variantie als de overeenstemming tussen de beoordelaars nul is (dus als iedereen iets anders kiest). Deze hangt af van de onder en bovengrens (dus 1 en 10 uit het voorbeeld).

Vuistregel: > .7 is wenselijk. Tussen .8 en .85 is redelijk.

De vragen op deze pagina komen uit de samenvatting van het volgende studiemateriaal:

Psychological testing a practical approach to design and evaluation | 9781412905442 | Theresa J B Kline

Bekijk samenvatting

Een unieke studie- en oefentool
Nooit meer iets twee keer studeren
Haal de cijfers waar je op hoopt
100% zeker alles onthouden

Onthoud sneller, leer beter. Wetenschappelijk bewezen.

Studiemateriaal generieke omslagafbeelding

Reliability of raters (interbeoordelaarsbetrouwbaarheid)

4 belangrijke vragen over Reliability of raters (interbeoordelaarsbetrouwbaarheid)

4 methoden van interbeoordelaarsbetrouwbaarheid: Kendall Coefficient of Concordance (Kendall's W); Cohen's Kappa; r(wg); intraclass correlation > Waar hangt de keuze voor de methode vanaf (2)?

Wanneer gebruik je Kendall's coefficient of concordance (W) / wat houdt het in? & Wat is de vuistregel over hoe hoog dit moet zijn?

Wanneer gebruik je Cohen's Kappa coefficient / wat houdt het in? & Wat is de vuistregel over hoe hoog dit moet zijn?

Wanneer gebruik je r(wg) / wat houdt het in? & Leg de volgende formule uit:r(wg) = (s(e)^2 - s(x)^2) / s(e)^2 & Wat is de vuistregel over hoe hoog dit moet zijn?

Samenvattingen die gerelateerd zijn aan Assessing validity via internal item structure

Psychological testing a practical approach t…

Pedagogiek in beeld : een inleiding in de pe…

Social psychology

Child development

Psychology

Research methods : a process of inquiry

Biological and Cognitive Psychology

Psychological Testing History, Principles, a…

Personality Psychology Domains Of Knowledge …

This is philosophy of mind

Work in the 21st Century: An Introduction to…

Wanneer gebruik je r(wg) / wat houdt het in? & Leg de volgende formule uit:
r(wg) = (s(e)^2 - s(x)^2) / s(e)^2
& Wat is de vuistregel over hoe hoog dit moet zijn?