Startpagina / Samenvattingen / Experimenteel onderzoek / experimenteel-onderzoek-controle

Experimentele designs en validiteit - Experimenten

Q: Wat is het doel van covariaten binnen een quasi-experimenteel onderzoek?

Covariaten zijn (statistische) variabelen waarvan de onderzoeker een onderbouwd vermoeden heeft dat deze verstorende factoren kunnen zijn. Het doel is om hiermee een zuiver experimenteel onderzoek te benaderen wat betreft betrouwbaarheid.

55 belangrijke vragen over Experimentele designs en validiteit - Experimenten

Het verschil tussen een zuiver experiment en een quasi-experiment is:

Het verschil tussen een zuiver experiment en een quasi-experiment is eigenlijk heel eenvoudig. In een zuiver experiment wordt randomisatie toegepast om proefpersonen aan experimentele condities of manipulaties toe te wijzen. In quasi-experimentele experimenten niet. Op papier is dit verschil soms duidelijker dan in de realiteit.

Onderzoekers willen zelden observeren wat er onder bepaalde omstandigheden gebeurt of hoe vaak iets gebeurt. Wat is de prangende vraag van onderzoekers?

WAAROM gebeurt iets?
Je kunt met observeren wel vaststellen dat a naar b leidt, maar niet waarom a naar b leidt - welke factoren hebben er voor gezorgd dat a naar b leidt?

Wat zijn factoren die het lastig maken om menselijk gedrag te bestuderen? (2)

1. Oneindigheid factoren op voor- of achtergrond
2. Natuurlijke neiging tot zien van patronen

Wat is de kern van randomisatie?

De kern van de randomisatie is dat iedere eenheid die geobserveerd wordt, meestal de proefpersoon, in het experiment evenveel kans moet hebben gehad om in een van de experimentele condities terecht te komen.

Wat is het verschil tussen een zuiver experiment en een quasi-experiment?

In een zuiver experiment zijn de deelnemers middels randomisatie toegewezen en heeft iedere deelnemer even veel kans om in elke groep terecht te komen.

Waar draait het bij psychologisch onderzoek vaak om?

Om de 'waarom'-vraag. Toetsen of een theorie over of een bepaald onderliggend mechanisme de veroorzaker van een fenomeen is klopt.

Wat is het doel van covariaten binnen een quasi-experimenteel onderzoek?

Covariaten zijn (statistische) variabelen waarvan de onderzoeker een onderbouwd vermoeden heeft dat deze verstorende factoren kunnen zijn. Het doel is om hiermee een zuiver experimenteel onderzoek te benaderen wat betreft betrouwbaarheid.

Wat is het doel van experimenten?

Om causale relaties empirisch te observeren en evalueren. Hiervoor worden condities of proceduren onder strenge controle gehouden of gemanipuleerd

Wat zijn de kenmerken van een zuiver experiment?

- randomisatie wordt toegepast om proefpersonen aan experimentele condities of manipulaties toe te wijzen.
- van belang is niet hoe een proefpersoon in het experiment terecht is gekomen, maar hoe hij in de experimentele conditie is beland. Een familielid kan dus bij je onderzoek betrokken worden, als hij random aan de condities wordt toegewezen.

Hoewel randomisatie niet garandeert dat iedereen hetzelfde is in alle experimentele condities, maar zolang iedere persoon evenveel kans heeft om in alle condities terecht te komen zou de randomverdeling redelijk in de buurt moeten komen van het gelijk spreiden van proefpersooneigenschappen die de causale inferentie zouden kunnen verstoren.

Wat zijn de kenmerken van een quasi-experimenteel onderzoek?

- er wordt geobserveerd en gemanipuleerd in bestaande groepen en niet gerandomiseerd.
--> de structurele verschillen tussen proefpersoonkenmerken zijn dus niet onder controle te krijgen, dus moet het statische gecontroleerd worden.

hoe? Onderzoekers kunnen variabelen meenemen waarvan ze een theoretisch onderbouwd vermoeden hebben dat dit storende achtergrondskenmerken kunnen zijn (= covariaten). Zo
probeer je de randomisatie te benaderen.

Wat is een within-subjects design (binnenproefpersonen design)?

Bij een within-subjects design is elke deelnemer aan elke experimentele conditie toegewezen. Dit wordt ook wel repeated measures design genoemd.

(Denk aan: zowel met als zonder oefening).

Wat zijn between-subjects designs?

= tussenproefpersonendesigns = iedere proefpersoon wordt aan 1 experimentele conditie blootgesteld. Je krijgt dan groepen mensen die je als groep met elkaar kunt vergelijken.

Wat is een risico bij within-subject designs en hoe kan dit worden opgelost?

Het probleem van een within-subject design kan zijn dat verbeterde of juist verslechterde resultaten gevolg zijn van het volgorde-effect.

Om dit uit te sluiten kun de groepen worden gespitst waarbij een eerst A en dan B doet, terwijl de andere groep eerst B en dan A doet. Dit wordt counterbalancing genoemd.

Wat is Mill's method?

Mill's method verwijst naar het gebruik van een controlegroep, populair gemaakt door filosoof John Stuart Mill.

Hoe wordt een quasi-experimenteel experiment geobserveerd en gemanipuleerd?

In bestaande groepen die niet worden gerandomiseerd. Hierbij is het alleen mogelijk om statistisch te corrigeren voor structurele verschillen tussen proefpersoonkenmerken, door covariaten op te nemen in de statistische analyse

Wat is een between-subjects design?

Hierbij wordt ieder proefpersoon slechts één experimentele conditie blootgesteld. De groepen van proefpersonen worden vergeleken.

Wat kan een nadeel zijn van within-subjectdesigns?

Het volgorde-effect ( de eerste treatment heeft invloed op de 2de). Dit kun je tegengaan door de volgorde van de treatment af te wisselen = counterbalancing.

Volgens Mill's moet een wetenschappelijk onderzoek 2 soorten van bewijs leveren, aangeduid als methods. Welke zijn dit?

1. Method of agreement: een experiment moet aantonen dat als X zich voordoet ook Y zich voordoet. X is in dit geval een sufficient condition. Hiervoor dient de experimentele groep: als X dan Y.

2. Method of difference: als X zich niet voordoet, dan doet Y zich ook niet voor. X is in dit geval een necessary condition voor Y.
Hiervoor dient de controlegroep: als -X dan -Y.

Wat is een within-subjects design?

Alle proefpersonen worden aan alle experimentele en controlecondities blootgesteld. Er wordt ook wel van repeated-measures designs gesproken.

Wat houdt de term 'repeated-measures designs' in?

Omdat bij binnenproefpersonendesigns de reacties van proefpersonen wordt gemeten na het toedienen van ieder treatment, wordt er ook wel van 'repeated-measures designs' gesproken.

Welke vorm van controle wordt 'counterbalancing' genoemd?

In binnenproefpersonendesigns wordt in sommige gevallen de volgorde waar condities in worden aangeboden gevarieerd, zodat er bijvoorbeeld niet alleen respondenten zijn die eerst pizza eten en dan hutspot, maar dat er ook een groep eerst hutspot eet en dan pas pizza.

Wat is precisie controle (bij homogeniseren)?

Bij precisie controle probeert men voor elke proefpersoon in de experimentele groep een proefpersoon te vinden voor de controlegroep, die op de aangegeven variabelen gelijk is aan eerstgenoemde eenheid.

Denk aan: geslacht, leeftijd, opleidingsniveau ed. Na met maken van de match kunnen beide random worden toegewezen aan een van de twee groepen.

Wat kan een probleem zijn bij een within-subjects design en wat is hier een oplossing voor?

Het optreden van volgorde-effecten. Hiervoor kan counterbalancing worden toegepast, waarbij de volgorde waarin condities worden aangeboden worden gevarieerd

Mill vatte de eisen samen in de taal van logica, en stelde dat experimenten twee vormen van bewijs moesten leveren:

method of agreement en method of difference

Wat is globale controle (bij homogeniseren)?

Bij globale controle wordt ernaar gestreefd dat de frequentie van een aantal belangrijke kenmerken in de experimentele groep en controlegroep aan elkaar gelijk zijn.

Denk aan: gelijk aantal mannen als vrouwen, gelijk aantal ouderen als jongeren ed. Dit is algemener dan een precisie controle.

Welke 3 voorwaarden zijn er voor een geldig gerandomiseerd blokontwerp?

1. In beginsel wordt aan elk blok een gelijk aantal proefpersonen toegewezen (bv man / vrouw).

2. Er worden evenveel proefpersonen toegewezen aan de controlegroep als aan de experimentele groep.

3. Toewijzing van de proefpersonen gebeurt op basis van toeval.

Wat houdt Mill's methode in?

Dat er niet alleen moet worden aangetoond dat als X zich voordoet, dat dan ook Y zich voordoet, maar ook dat Y zich niet voordoet als X zich niet voordoet. In het eerste geval is X een voldoende voorwaarde en in het tweede geval een noodzakelijke voorwaarde.

Wat stelt method of difference?

ls tweede stelde Mill middels de method of difference dat als X zich niet voordoet (-X) dat Y zich dan ook niet voor dient te doen (-Y). Dit betekent dat als het vermoede effect Y afwezig is als het vermoede effect X afwezig is dan is X een necessary condition voor Y. In andere woorden, X is dan absoluut onmisbaar om het effect in Y in gang te zetten.

Wat voorkomt het aanhouden van Mill's methode?

Voorkomt de stelling 'onschuldig tot schuldig bewezen.' Een goed onderzoeker test zelf beide claims

Wat is een gerandomiseerd blokontwerp?

Bij een gerandomiseerd blokontwerp worden deelnemers ingedeeld in globale homogene categorieën (bv geslacht, opleidingsniveau ed) en vervolgens random toegewezen aan de controlegroep of de experimentele groep.

Een gerandomiseerd blokontwerp zit tussen een precisie controle en een globale controle in en wordt groepsgewijs matchen genoemd.

Om de causaliteit van sommige vragen te beantwoorden is het daarom soms noodzakelijk om een controlegroep waar een treatment niet optreedt (-X) aan het experiment toe te voegen. Schematisch is een simpel voorbeeld van Mill’s methode:

Experimentele groep: Als X, dan Y
Controlegroep: Als -X, dan -Y.

Wat stelt de 'method of agreement'?

De 'method of agreement' stelt dat een experiment allereerst moet aantonen dat als X zich voordoet, Y zich ook voordoet. Dit betekent dat als er minstens 2 situaties zijn waarin Y zich voordoet, en X is in ieder van die gevallen aanwezig, X een 'sufficient condition' voor Y is. In andere woorden, X is dan voldoende om het effect in Y in gang te zetten.

Een statistisch significant effect zegt niets over de grootte of het belang van het verband. Hoe kan worden nagegaan of een verband wel of niet relevant is?

De sterkte of relevantie van een statistisch significant effect kan worden afgelezen met een regressie analyse (regressiecoëficient beta).

Wat kan gebruikt worden als het om ethische of praktische redenen niet mogelijk is om een controlegroep aan het experiment toe te voegen?

Wellicht kan de wachtlijst als controlegroep gebruikt worden

En belangrijk punt om in het achterhoofd te houden is dat Mill’s method voorkomt dat experimenteel onderzoek de vorm van een rechtbank aanneemt, waarbij een stelling.... vul aan:

‘onschuldig is tot schuldig bewezen’

Welke 2 methode van onderzoek zijn niet geschikt voor uitspraken over causaliteit?

1. Een survey, omdat alle vragen op het zelfde moment verkregen zijn kan er geen uitspraak worden gedaan over de temporale gradiënt.

2. Een longitudinaal onderzoek, weliswaar kan er een uitspraak worden gedaan over de temporale gradiënt (t1 en t2) maar niet of deze verschillen door derde (onbekende) oorzaken zijn veroorzaakt.

Wat probeert men bij precisiecontrole?

Om voor elke proefpersoon in de experimentele groep een proefpersoon te vinden voor de controlegroep, die op de aangegeven variabelen gelijk is aan de eerstgenoemde eenheid. Na het vormen van paren, wordt op toevalsbasis bepaald wie in welke groep terechtkomt. Bij een groot aantal te matchen paren is een grote steekproef nodig.

Wat is globale controle?

= dat de frequentie van een aantal belangrijke variabelen in experimentele en de controlegroep gelijk aan elkaar zijn.

- het is meer algemeen.
- Bij globale controle wordt getracht om ieder kenmerk van individuen gelijk te verdelen over condities en zijn we al tevreden als we losse kenmerken van de proefpersonen in alle condities vertegenwoordigd hebben. Er zitten dan zowel in de experimentele als in de controlegroep net zoveel mannen als vrouwen, net zoveel laagopgeleiden als hoogopgeleiden en net zoveel jongeren als ouderen.

Welke 3 mogelijkheden zijn er om allerlei externe factoren, die naast of in plaats van de experimentele variabele, effect kunnen hebben op de afhankelijke variabele, te controleren?

Randomiseren
Homogeniseren
Matchen

Wat is een exploratief onderzoek?

Een exploratief onderzoek heeft als doel om een indruk te krijgen van verdeling van variabelen, prodictors en covariaten. Het toetsen van verbanden is hierbij niet belangrijk.

De uitkomsten van een exploratief onderzoek kunnen mogelijk dienen om een experimenteel onderzoek op te zetten.

Wat zijn de 2 belangrijkste oorzaken voor het ontbreken van statistische significantie terwijl er wel sprake is van causaliteit?

1. Te kleine steekproef, te weinig power (meestal interactie-effect).
2. Een derde variabele maskeert het verband.

Wat is het nadeel van designs waarin gematcht wordt?

Doordat de gegevens zijn opgebouwd uit soms zeer diverse proefpersonen ontstaat er ruis ten gevolge van de diversiteit dat ervoor kan zorgen dat verfijnde effecten moeilijker te vinden zijn. Diverse proefpersoonkenmerken zijn zelf ook een bron van verstorende variabelen

Vertel wat je weet over gerandomiseerd blokontwerp; de voorwaarden hiervan?

- proefpersonen worden, voor het experiment, ingedeeld in homogene categorieën (man en vrouw). En vervolgens in categorie als leeftijd ingedeeld. Deze groepen heten blokken.
- Met deze blokken willen onderzoekers variabelen onder controle krijgen waarvan zij veronderstellen dat deze invloed hebben op de afhankelijke variabele.
- het is een vorm tussen precisiecontrole en globale controle = groepsgewijs matchen

Voorwaarden:
- aan elk blok worden evenveel proefpersonen toegewezen.
- binnen elk blok evenveel proefpersonen toegewezen aan controle - en experimentele groep.
- proefpersonen worden op basis van toeval in de controle - of de experimentele groep gezet.

Wanneer is er sprake van een volledig gerandomiseerd ontwerp?

Wanneer beide condities even groot zijn en de toewijzing van proefpersonen plaatsvindt op toevalsbasis

Onderzoekers gaan bij vorming van dergelijke blokken uit van de variabelen die zij onder controle willen houden, omdat:

Zij veronderstellen dat er een verband bestaat tussen respectievelijk sekse en leeftijd aan de ene kant en bijvoorbeeld de houding jegens asielzoekers aan de andere kant.

Wat is de definitie van causaliteit?

Dat wil zeggen dat wordt verondersteld dat er sprake is van een of meer onafhankelijke variabelen (predictoren) en een of meer afhankelijke variabelen, waarbij een onafhankelijke variabele effect heeft op de afhankelijke.

Kan je bij een longitudinaal onderzoek uitspraken doen over causaliteit?

Er wordt voldaan aan voorwaarde 2 (voorspeller gaat in tijd vooral aan de afhankelijke var). Je kunt niet echt zeggen dat er aan voorwaarde 3 wordt voldaan, maar causale uitspraken lijken iets meer gefundeerd dan bij survey.
Ook hier is gefundeerde theoretische onderbouwing ernstig van belang.

Wat is nog meer een probleem bij longitudinaal onderzoek?

Dat je het tijdstip van de 2de meting goed moet timen. Lang genoeg om een effect te kunnen meten en kort genoeg om weinig hinder te hebben van verstorende factoren.

De eerste voorwaarde van causaliteit stelt dat er een statistisch significant verband moet zijn. Wat zegt dit over de steekproefgrootte en de grootte van het effect ('effect size')?

Als de steekproef maar groot genoeg is, wordt elke afwijking van 0, hoe klein ook, significant.
Je kijkt naar de 'effect size' om te zien of het verband voldoende sterk of relevant is
Statistische significantie zegt niets over causaal verband; dit verband kan ook omgekeerd zijn of te maken hebben met een derde variabele.

Waarvoor wordt gezorgd door gebruik te maken van het gerandomiseerd blokontwerp? (2)

1) Dat de experimentele- en controlegroep volledig gelijk zijn op de relevante kenmerken
2) Dat de experimentele- en controlegroep gelijk zijn op kenmerken die niet in het onderzoek worden gemeten (door randomisatie)

Kan je bij een survey uitspraken doen over causaliteit?

Nee, omdat alleen aan de 1e voorwaarde kan worden voldaan. Toch wordt dit wel vaak gedaan en het is van belang om te weten dat het gaat om een veronderstelde samenhang, die in de analyse aannemelijk wordt gemaakt.
De veronderstelde causaliteit wordt aannemelijker als er meer onderzoeken in dezelfde richting wijzen en vooral wanneer er een goed gefundeerde theoretische onderbouwing is.

Kan er een causaal verband bestaan tussen twee variabelen terwijl er in de analyse geen sprake is van statistische significantie?

Ja, bijvoorbeeld bij een te kleine steekproef (te weinig power om samenhang te ontdekken) of een derde variabele die het effect makeert. Te kleine steekproeven doen zich met name voor bij interactie-effecten

Waaraan moet men denken als de data via een survey verzameld is?

Dat er vaak gesproken wordt over 'het effect' of 'de invloed', terwijl dit slechts een verondersteld effect is dat hooguit aannemelijk is en aannemelijker wordt als meer onderzoeken in dezelfde richting wijzen en er een goed gefundeerde theoretische onderbouwing is.

Aan welke voorwaarden voor een causale relatie wordt voldaan bij longitudinale methoden?

Er wordt een voorwaarde 1 & 2 voldaan, maar er kan niet worden vastgesteld of aan de 3e voorwaarde is voldaan. Causale uitspraken wel gefundeerder dan bij cross-sectioneel onderzoek. Toch is er wel een goed gefundeerde theorie nodig.

Waarop moet worden gelet bij longitudinaal onderzoek?

Dat het tijdsinterval tussen de metingen goed moet worden gekozen. Het effect van de predictor moet zichtbaar zijn in de afhankelijke variabele.

De vragen op deze pagina komen uit de samenvatting van het volgende studiemateriaal:

Experimenteel onderzoek

Bekijk samenvatting

Een unieke studie- en oefentool
Nooit meer iets twee keer studeren
Haal de cijfers waar je op hoopt
100% zeker alles onthouden

Onthoud sneller, leer beter. Wetenschappelijk bewezen.

Studiemateriaal generieke omslagafbeelding