Afneming van tests en verwerking van testgegevens - Opdrachten

De rol van de klinisch-intuitieve interpretatie hangt af van het belang van het testonderzoek.

Gaat het 'slechts' om het genereren van hypothesen of om het vinden van wegen waarlangs verder onderzoek nuttig zou kunnen zijn, dan mag men best langs klinisch-intuitieve weg de genoemde elementen van de testsituatie in de evaluatie verwerken.

Men dient zich er daarbij wel van bewust te zijn dat de subjectieve impressies en ideeen geen waarheidsgarantie bezitten, ook al wekken ze bij de psycholoog vaak een gevoel van juistheid.

• handscoring
• zelfscoring
• machinale scoring

• k = 32
• A = 3
• XJan = 23
• background-colorXc(Jan) = X - 4,5 = 23 - 4,5 = background-color18,5
• ( k - X = 32 - 23 = 9 : A - 1 = 9 : 3 - 1 = 9 : 2 = 4,5)
• XEls = 24
• background-colorXc(Els) = 24 - 4,5 = background-color19,5

de twee toestanden zijn:

• hij weet met volledige zekerheid wat het goede antwoord is en geeft dat antwoord
• hij heeft geen idee en gist blind met succeskans

drie typen antwoorden:

• goede antwoorden die het gevolg zijn van kennis
• goede antwoorden die het gevolg zijn van blind gissen
• foute antwoorden die het gevolg zijn van gissen

a) na correctie 2,25 zo grote variantie

b) 1,7777 und 1,5625

c) de variantie neemt met een steeds kleinere factor toe bij toevoeging van meer antwoordalternatieven

Xc is een lineaire transformatie van X en dat betekent dat de correlatie tussen Xc en X gelijk is aan 1.

'on-line testing'  (Baker, 1984):

• de leerling of student bepaalt zelf het moment waarop hij de studiestof naar zijn idee voldoende beheerst en vraagt de computer om een toets
• der computer selecteert uit de itembank een studietoets, presenteert deze aan de student, codeert de reacties, levert een eindbeoordeling aan de student en slaat de toetsgegevens centraal op
• de docent komt er in directe zijn niet meer aan te pas
• een gevaar bij deze vorm van toetsen is de beveiliging

• Hofer en Green (1985) noemen twee factoren die het gevolg zijn van het testen per computer en waarbij personen of groepen verschillen kunnen vertonen: testangst en ervaring met computers
• de auteurs veronderstellen dat dergelijke verschillen zullen verdwijnen als respondenten voldoende gelegenheid krijgen om voorafgaand aan de testsessie te oefenen en zo aan het medium te wennen
• verschillen in 'computer skills' kunnen bestaan, die invloed kunnen hebben op de testprestaties
• proefpersonen dienen vooraf voldoende gelegenheid te krijgen om 'computer skills' te oefenen en tests met een duidelijk verbale component behoren eenvoudig van taal te zijn

• adaptief testen = testen op maat
• iedere respondent krijgt een test voorgelegd die op zijn of haar niveau is toegesneden
• door de respondent items voor te leggen die wat moelijkheid betreft bij zijn niveau passen, zal hij sommige wel en andere niet oplossen, en dit biedt juist wel informatie over zijn niveau
• de test zal dan vanuit het gezichtspunt van de respondent gemiddeld moeilijk zijn

• binnen de item-responstheorie kan worden aangetoond dat de meting van een eigenschap van een persoon met een bepaald item de grootste nauwkeurigheid heeft als de moeilijkheid van het item en het niveau van de persoon op de psychologische eigenschap, beide gemeten op dezelfde schaal, samenvallen
• als dit het geval is, dan is de subjectieve kans op een positief antwoord op het item gelijk aan 0.5
• het item heeft voor de respondent dus een middelmatige moeilijkheid, want vanuit de persoon gezien is de kans op een goed antwoord even groot als de kans op een fout antwoord

• een belangrijke eigenschap van metingen in de context van de item-responstheorie is dat zij gecorrigeerd kunnen worden voor het moeilijkheidsniveau van de test
• dat is de reden waarom de meetwaarden van verschillende personen kunnen worden vergeleken ondanks het feit dat zij tests van uiteenlopend moeilijkheidsniveau hebben gemaakt
• daarbij geldt wel als randconditie dat de itembank in zijn geheel voldoet aan de eisen van de item-responstheorie

• de ontwikkeling van een adaptief testsysteem - itembank, software, maar ook de inrichting van speciale testruimtes met aansluiting op het computersysteem - is een kostbare aangelegenheid
• toepassingen in Nederland beperken zich vooralsnog tot het grootschalige toetsen van het CITO
• voorals nog baren zaken als beveiliging van gegevens, zowel van de test als de onderzochte, nog wel de nodige zorgen

Niet ieder bewerkte score heeft een normkarakter:

• onder een norm verstaan we een referentiekader voor de evaluatie van de ruwe scores dat is gebaseerd op de kenmerken van de verdeling van de ruwe scores dat is gebaseerd op de kenmerken van de verdeling van de ruwe scores in een populatie
• deze kenmerken worden geschat op basis van een representatieve steekproef

• niet altijd is het nodig of zelfs gewenst normen te berekenen of te gebruiken
• vaak kan worden volstaan met een eenvoudiger vorm van bewerkte scores
• soms hoeft men slechts de plaats in de rangschikking binnen de onderzochte groep te weten, bijv. in het geval dat de drie besten van een groep van sollicitanten moeten worden uitgezocht
• een ander type bewerkte score is het percentage goede antwoorden
• bij bijv. een lager percentage dan 80 in een taaksimulatie mag men niet zelfstandig werken omdat de kans op fouten te groot is

• als men voor onderzoeksdoeleinden geïnteresseerd is in de samenhang tussen testscores en criteriumscores, is een omzetting in bewerkte scores niet noodzakelijk
• het berekenen van bijv. de correlatie tussen de ruwe testscores en schoolcijfers is afdoende om de vraag naar de samenhang te beantwoorden

hab ich noch nicht verstanden....

• om standaardscores of z-scores te verkrijgen, worden de ruwe scores, X, uitgedrukt in het aantal standaarddeviatie-eenheden dat zij van het gemiddelde verwijderd liggen: s. boek p. 182
• standaardscores behouden, op gemiddelde en standaarddeviatie na, dezelfde verdelingskenmerken als de ruwe scores, X
• een ernstig en veel voorkomend misverstand is dat z-scores automatisch normaal verdeeld zouden zijn
• omzetten in z-scores betekent slechts twee dingen:

- de verdeling van X wordt verschoven 

- de afstand tussen de scores wordt met een constante factor veranderd

dus: een niet-normale verdeling blijft niet-normaal

??

SX = standaarddeviatie

• deze z is in dat geval 3
• uit de z-tabel p. 186 blijkt dat tussen Xgemiddeld en een z van 3 = 49,87 (?) van de normaalverdeling ligt

• genormaliseerde standaardscores worden verkregen uit niet-lineaire transformaties, die de verdeling vqn X zodanig vervormen dat wel een normaalverdeling ontstaat
• dat betekent dat sommige van de oorspronkelijke score-eenheden worden 'uitgerekt' en andere 'ineengedrukt' 
• in vele gevallen is normalisering echter een probleem omdat de werkelijkheid te zeer geweld wordt aangedaan