Startpagina / Samenvattingen / Class notes - 1.4 History and methods of psychology / bias-voorkomen-hypothese

Thema's - Research methods & questionable research practices

21 belangrijke vragen over Thema's - Research methods & questionable research practices

Waarom willen wetenschappers van nature vaak hun hoofdhypothese bevestigen?

Wetenschappers willen van nature vaak hun hoofdhypothese bevestigen, niet falsifiëren. Dit heeft vaak te maken met biases zoals de confirmation bias en de hindsight bias. De impact van deze biases wordt ook nog eens uitvergroot door de druk op wetenschappers om publicaties uit te brengen (= publication bias).

Wat is een groot probleem binnen de psychologische onderzoeksmethodologie?

Vrijwel geen enkel psychologisch onderzoek wordt op puur bevestigende wijze uitgevoerd.
Slechts zelden duiden psychologen voorafgaand aan de dataverzameling aan welke specifieke analyses ze zullen gaan gebruiken. Dit leidt er vaak toe dat wetenschappers als het ware kunnen ‘’spelen’’ met de data om een gewenst resultaat te behalen (bv. cherry picking, post hoc hypotheses, etc.).
Aanpassingen aan de data worden vaak gemaakt met goede intenties. Bovendien is het ‘’martelen’’ van de data tot een gewenst resultaat niet per se verkeerd, zolang dit in het wetenschappelijk rapport benoemd wordt.

Wanneer spreken we van academische vervalsing?

Academische vervalsing begint wanneer gedeeltelijk exploratory onderzoek wordt geanalyseerd alsof het compleet confirmatory onderzoek is.

Wat voor regel is er binnen de wetenschap over het gebruik van datasets?

Binnen de wetenschap is er een regel dat een dataset slechts éénmaal mag worden gebruikt. Dus deze data set mag niet worden gebruikt voor én het vormen van een hypothese, én voor het testen van de hypothese. Dit komt door het feit dat het resultaat dan niet meer falsifieerbaar is; je hypothese is immers altijd in overeenstemming met de data.

Wat is het onderzoeks continuüm?

Zoals wordt weergegeven in de afbeelding, bevinden psychologische studies zich op een continuüm van puur exploratory (met post hoc hypothesen) naar puur confirmatory (met a priori hypothesen). De exacte locatie op het continuüm is afhankelijk van meerdere factoren, zoals de helderheid van de onderzoeksvraag, de hoeveelheid verzamelde data, etc.

Wat houdt 'publicatiebias en 'selectieve rapportage bias' in?

De termen ‘publicatiebias’ en ‘selectieve rapportage bias’ verwijzen naar de differentiële keuze om bepaalde studies te publiceren of bepaalde resultaten te rapporteren.

Wat is studie selectieve uitkomst rapportage bias?

Meerdere uitkomsten van een studie worden geëvalueerd en de uitkomsten die non-significant blijken, zullen minder snel worden gepubliceerd dan significante uitkomsten. Hier gaat het er dus om welke resultaten wel en niet worden genoteerd/gepubliceerd.

Wat is selectieve analyse rapportage bias?

Data wordt op meerdere manieren geanalyseerd en de analyses met de meest indrukwekkende, statistisch significante varianten van de resultaten zullen worden gebruikt. Het gaat hier dus om welke analyses wel of niet worden gebruikt.

Hoe wordt bias voorkomen door middel van studie registratie?

Veel bekende journals vereisen nu een registratie protocol als een voorwaarde voor publicatie. Nog maar weinig klinische trials zijn echter geregistreerd. Daarnaast is registratie niet gebruikelijk voor andere designs, ondanks dat registratie hiervoor eveneens nuttig kan zijn

Hoe wordt bias voorkomen door middel van pre-specificatie?

Vooraf specificeren wat het onderzoeksontwerp/design en analyseplan is en zorgt ervoor dat a priori en post-hoc analyses van elkaar gescheiden blijven.

Hoe wordt bias voorkomen door middel van data, protocol, code en analyse beschikbaarheid?

Voor materialen die digitaal gedeeld kunnen worden, is transparantie van het materiaal, de gegevens en het onderzoeksproces nu eenvoudig.

Hoe wordt bias voorkomen door middel van replicatie?

Een belangrijke kernwaarde van de wetenschap is reproduceerbaarheid. Huidige beloningen voor innovatie wegen zwaarder dan die voor replicatie, dat replicatie in sommige velden nog zeldzamer maakt. Wetenschappelijke journals zijn deze beloningsstructuren aan het aanpassen om publicatie bias te voorkomen.

Hoe wordt bias voorkomen door middel van samenwerkingsprojecten?

Stimulansen voor replicatieonderzoek worden verder versterkt door middel van crowdsourcing en samenwerkingsprojecten om de haalbaarheid en impact van replicatie te vergroten.

Hoe wordt bias voorkomen door middel van pre-publicatie en review praktijken?

Rapportage standaarden worden nauwkeuriger. Zo worden de checklist standaarden voor indiening van een wetenschappelijk artikel soms aangevuld met aanvullende of speciale standaarden die biases tegengaan.

Hoe wordt bias voorkomen door middel van publicatie praktijken?

Journals kunnen praktijken die beloningsstructuren veranderen en bias verminderen aanmoedigen of zelfs vereisen.

Hoe wordt bias voorkomen door middel van post-publicatie review praktijken?

Terugtrekkingen van wetenschappelijke artikelen zijn een zeldzame gebeurtenis, net als volledige her-analyses van gepubliceerde resultaten. Het vergroten van blootstelling aan post publicatie commentaar kan hierin wellicht nuttig zijn om dit soort praktijken te stimuleren.

Hoe wordt bias voorkomen door middel van beloningsstructuren?

De primaire valuta van academische wetenschap is publicatie. Beloningen moeten opnieuw worden uitgelijnd, zodat de nadruk niet wordt gelegd op de kwantiteit van publicaties, maar op de kwaliteit en impact van het werk, evenals een wetenschapper’s track-record voor reproduceerbaarheid.

Een agenda voor puur confirmatory onderzoek: Wagenmakers et al. (2012) Slechte Wetenschap

Problemen: Gebrek aan betrouwbaarheid door het niet vooraf registreren van analyses, het selectief gebruiken van data en het vormen van hypothesen na het zien van de resultaten;
Gevolgen: Misleidende bevindingen en opgeblazen foutmarges;
Oplossing: Onderscheid maken tussen verkennend en bevestigend onderzoek, transparantie en vooraf registreren omarmen.

Wat is exploratory en confirmatory onderzoek?

Exploratory research: hypothese wordt gevonden in de data (wonky). Je bent data aan het verzamelen zonder een bepaalde theorie te proberen te establishen vs. confirmatory research: volledige analyseplan is eerst omschreven voordat de eerste participant wordt getest (steady). Je doel is om bewijs te vinden voor/tegen een vooraf opgetelde hypothese.

Wat is het verschil tussen P-hacking en HARKing?

Belangrijkste onderscheid tussen p-hacking en HARKing heeft betrekking op de hypothese. Bij HARKing is de hypothese gebaseerd op de data en bij p-hacking is de specificaties van de analyse relevant voor een gegeven hypothese zijn gebaseerd op de data. P-hacking zal resulteren in effecten die zwakker worden of zelfs helemaal absent in nieuwe samples van dezelfde populatie en daarom in slechte repliceerbaarheid.

Wat zijn encentive structures?

Incentives moeten opnieuw afgestemd worden en de nadruk leggen op kwaliteit i.p.v. kwantiteit van publicaties.

De vragen op deze pagina komen uit de samenvatting van het volgende studiemateriaal:

1.4 History and methods of psychology

Bekijk samenvatting

Een unieke studie- en oefentool
Nooit meer iets twee keer studeren
Haal de cijfers waar je op hoopt
100% zeker alles onthouden

Onthoud sneller, leer beter. Wetenschappelijk bewezen.

Studiemateriaal generieke omslagafbeelding

Thema's - Research methods & questionable research practices

21 belangrijke vragen over Thema's - Research methods & questionable research practices

Waarom willen wetenschappers van nature vaak hun hoofdhypothese bevestigen?

Wat is een groot probleem binnen de psychologische onderzoeksmethodologie?

Wanneer spreken we van academische vervalsing?

Wat voor regel is er binnen de wetenschap over het gebruik van datasets?

Wat is het onderzoeks continuüm?

Wat houdt 'publicatiebias en 'selectieve rapportage bias' in?

Wat is studie selectieve uitkomst rapportage bias?

Wat is selectieve analyse rapportage bias?

Hoe wordt bias voorkomen door middel van studie registratie?

Hoe wordt bias voorkomen door middel van pre-specificatie?

Hoe wordt bias voorkomen door middel van data, protocol, code en analyse beschikbaarheid?

Hoe wordt bias voorkomen door middel van replicatie?

Hoe wordt bias voorkomen door middel van samenwerkingsprojecten?

Hoe wordt bias voorkomen door middel van pre-publicatie en review praktijken?

Hoe wordt bias voorkomen door middel van publicatie praktijken?

Hoe wordt bias voorkomen door middel van post-publicatie review praktijken?

Hoe wordt bias voorkomen door middel van beloningsstructuren?

Een agenda voor puur confirmatory onderzoek: Wagenmakers et al. (2012) Slechte Wetenschap

Wat is exploratory en confirmatory onderzoek?

Wat is het verschil tussen P-hacking en HARKing?

Wat zijn encentive structures?

Samenvattingen die gerelateerd zijn aan Thema's - Research methods & questionable research practices

Class notes - 1.4 History and methods of psy…

Class notes - 1.2C The Human Body

Class notes - 1.3C Child and adolescent deve…

Class notes - 1.3C Mental health challenges

Class notes - 1.4 Cross cultural psychology

Exploring humans an introduction to the phil…

Psychologie & sociologie : basiscursus

sheets

Leren veranderen

Overheidsfinanciën

Hoofdzaken socialezekerheidsrecht

Handboek van het Nederlandse staatsrecht