Startpagina / Samenvattingen / Class notes - Methoden en Technieken II / validiteit-variabelen-experimenteel

Evaluatieonderzoek: onderzoeksdesigns in de praktijk

6 belangrijke vragen over Evaluatieonderzoek: onderzoeksdesigns in de praktijk

Waarom interventies evalueren?

- Overheid moet verantwoording afleggen bij burgers.
- Verbeteringen aanbrengen; interventie aanpassen of nieuwe implementeren
- Verwerven van nieuwe kennis; voor wetenschappers goed om te weten wat wel en niet werkt.
- Beleidswereld wil weten wat de (potentiële) effectiviteit is.

Experimenteel/klassiek experiment

Beste onderzoeksmethode.Kenmerken:
- Er zijn twee groepen, experimentele en controle groep.
- Er is sprake van een voor- en nameting bij zowel de controle groep als experimentele groep om verandering in kaart te brengen.
- Er is sprake van random toewijzing.(hierdoor vallen rivaliserende/alternatieve variabelen weg).

Twee bewegingen binnen evaluatieonderzoek

- Campbell Collaboration - Maryland Scientific Methods Scale: zij streven naar een strengere methodologie en hoge kwaliteit van onderzoeksdesigns. Er moet volgens hen streng gecontroleerd worden op interne validiteit, hiervoor hebben ze een schaal opgesteld die niveaus van interne validiteit evalueert.
- Realistic Evaluation - Pawson & Tilly: zij zijn ervoor om terug te gaan naar de beleidstheorie. Het gaat volgens hen niet óf een interventie werkt, maar onder welke condities werkt het? Ze gebruiken hiervoor het CMO-model (context mechanisms outcomes model). Niet de uitkomst belangrijk, maar juist de context en mechanismen (interveniërende variabelen). Dit is meer kwalitatief onderzoek.

(Maryland) Scientific Methods Scale (SMS-score)

Hoe hoger de score, hoe hoger de interne validiteit. Designs vanaf score 3 zijn methodologisch verantwoord.

Alternatieve/rivaliserende variabelen uitsluiten

- Regressieanalyse
- Matched pairs: je zoekt twee respondenten (uit verschillende groepen) die qua eigenschappen vergelijkbaar zijn. Als je geen gelijke respondenten kunt vinden, moet je een persoon uitsluiten van de analyse. Maar: niet iedereen is met elkaar te vergelijken en heb je wel alle relevante factoren meegenomen?
- Propensity score matching: op basis van allerlei kenmerken probeer je te voorspellen wat voor type gebeurtenis (bijv. straf) iemand gaat mee maken. Hierbij wordt de invloed van allerlei verstorende variabelen uitgesloten.

Voor- en nadelen Campbell Colaboration

Voordelen:
- Je neemt alleen genoegen met 'hard evidence'; als een onderzoek maar goed uitgevoerd is.
- Er wordt concreet en overzichtelijk gemaakt wat we nu precies weten over de effectiviteit.
Nadelen:
- Externe validiteit komt een beetje in het geding; wat is de generaliseerbaarheid?
- Interventie werkt als een black box: we weten de input en output (effect) van de interventie, maar niet precies wat voor processen er in gang zijn gezet door de interventie.
- Doordat er alleen geconcentreerd wordt op de interventie en uitkomst, weet je alsnog niet waarom een interventie wel of niet werkt (dit is wel bij Realistic Evaluation).

De vragen op deze pagina komen uit de samenvatting van het volgende studiemateriaal:

Methoden en Technieken II

Bekijk samenvatting