
Hjärna & ledarskap
Sambanden som var för bra för att vara sanna
Originaltitel Puzzlingly High Correlations in fMRI Studies of Emotion, Personality, and Social Cognition
- Författare
- Edward Vul, Christine Harris, Piotr Winkielman, Harold Pashler
- År
- 2009
- Lästid
- 7 min
I korthet
Metodkritisk artikel som granskar varför studier av känslor, personlighet och social kognition med magnetkamera ofta redovisar mycket höga samband mellan hjärnaktivitet och psykologiska mått, ibland över 0,8. Författarna visar att sådana samband är högre än vad som är möjligt givet den begränsade tillförlitligheten hos både hjärnmåtten och de psykologiska måtten. De kontaktade därefter författarna till 55 artiklar för att få veta hur sambanden räknats fram. Mer än hälften bekräftade att de först beräknat samband för varje enskild mätpunkt i hjärnan, sedan valt ut de punkter som översteg ett tröskelvärde och slutligen redovisat medelvärdet av just dessa. Författarna visar hur ett sådant beroende urval blåser upp sambanden och ändå ger diagram som ser övertygande ut. De uppmanar till omräkning med metoder som inte har detta fel och menar att problemet är utbrett långt utanför just detta forskningsområde.
Läs originalartikeln →Utökad sammanfattning
Frågan studien ställer
Under några år rapporterade uppmärksammade hjärnavbildningsstudier om känslor, personlighet och socialt beteende samband mellan hjärnaktivitet och enkätsvar som var påfallande starka, ofta över r = 0,8. Vul, Harris, Winkielman och Pashler frågade sig hur det var möjligt. Enligt klassisk testteori kan ett samband mellan två mått aldrig bli starkare än vad måttens tillförlitlighet tillåter, och varken personlighetsenkäter eller hjärnavbildning mäter särskilt exakt. Antingen hade forskningen hittat något enastående, eller så fanns ett fel i hur siffrorna räknats fram. Artikeln, som först cirkulerade under namnet "Voodoo Correlations in Social Neuroscience", försöker reda ut vilket.
Så gjorde de
Artikeln kombinerar tre delar. Först ett teoretiskt resonemang: korrelationen r anger hur starkt två mått samvarierar, från 0 till 1, där 0,1 brukar kallas svag, 0,3 måttlig och 0,5 stark. Ett observerat samband begränsas av måttens reliabilitet, alltså hur lika resultatet blir om mätningen upprepas. Personlighetsskalor ligger enligt författarna sällan över 0,8 och fMRI-mått, alltså mätningar av syresättningen i blodet i små volymer av hjärnan (voxlar), sällan över 0,7. Därefter en litteraturgenomgång som identifierade 54 artiklar med 256 signifikanta samband mellan hjärnaktivitet och egenskapsmått. Slutligen en enkät till artiklarnas författare om hur sambanden räknats fram: om de byggde på en enda toppvoxel eller ett medelvärde, hur voxlarna valts ut och om samma data använts både för urval och för det rapporterade sambandet. Författarna byggde också simuleringar med rent slumpdata för att visa vad olika analysval ger.
Det de fann
Om reliabiliteterna är 0,8 och 0,7 och det sanna sambandet vore perfekt blir det högsta möjliga observerade sambandet omkring 0,74. Ändå fanns i litteraturen gott om samband över 0,75, som r = 0,88 mellan upplevd smärta vid social uteslutning och aktivitet i främre gördelvindlingen hos 13 personer, eller r = 0,96 mellan ängslighet och aktivitet i en synbarksregion. Enkäten gav förklaringen. Nästan alla tillfrågade svarade, och 54 procent uppgav att de först räknat ett separat samband för varje voxel, ofta tusentals, sedan valt ut de voxlar där sambandet passerade en tröskel och slutligen rapporterat medelvärdet för just dessa. Författarna kallar det för the non-independence error, alltså att samma data används både för att välja ut vad som ska mätas och för att mäta det. En simulering med 1 000 experiment på 10 personer och 10 000 voxlar av rent brus gav på det sättet mycket höga samband och övertygande spridningsdiagram. Som pedagogisk parallell räknade författarna fram ett samband på r = -0,87 mellan temperaturen på en väderstation i Alaska och en utvald delmängd av 3 315 aktier. När litteraturens samband färgkodades efter analysmetod låg nästan alla de osannolikt höga i gruppen med icke-oberoende analys, medan de oberoende sambanden samlades kring 0,6, under det teoretiska taket. Dessutom fann författarna att vanliga korrektioner för multipla jämförelser ibland tillämpats fel, så att även signifikansen i vissa fall kan ifrågasättas.
Vad som talar emot
Urvalet av artiklar var inte uttömmande och lutade troligen mot högprofilerade tidskrifter, vilket kan ge en dystrare bild än fältet som helhet. Reliabilitetsskattningarna för fMRI bygger på få studier och varierar kraftigt, så det teoretiska taket är en uppskattning. Metoden säger inte hur mycket varje enskilt samband är uppblåst, bara att det är det; något sant samband kan finnas bakom siffrorna. Enkäten fångade en enda korrelation per artikel, och graden av icke-oberoende varierar. Även de oberoende sambanden är sannolikt överskattade genom publikationsbias, alltså tendensen att bara signifikanta resultat publiceras, med de små stickprov som var vanliga. Artikeln var vid publiceringen omstridd och möttes av flera svar från de kritiserade forskarna.
Vad det betyder för den som leder
Studien handlar om forskningsmetod, men lärdomen räcker längre. Ett samband som ser för bra ut för att vara sant är det ofta, och en snygg graf är inget bevis om urvalet av datapunkter redan gjorts med facit i hand. Samma fel går att göra i en organisation: att sålla fram de enheter eller mätvärden som stödjer en tes och sedan presentera dem som bevis för tesen. Att fråga hur en siffra räknats fram, och om samma underlag använts för både urval och slutsats, är en enkel vana som kostar lite. Hjärnbilder ger dessutom påståenden en särskild tyngd som inte alltid motsvaras av underlaget. Vilka av de siffror ni själva lutar er mot skulle klara frågan om hur de valdes ut?
Läs vidare på sajten
Artiklarna om hjärnbilder som argument och om neuromyter tar upp varför förklaringar med hjärnan i övertygar mer än de borde, och texterna om emotioner i arbetslivet visar vad forskningen faktiskt kan säga med bättre metoder.
Viktigaste insikterna
- 01Många redovisade samband var högre än vad mätmetodernas tillförlitlighet över huvud taget tillåter
- 02Felet uppstår när man först väljer ut de mätpunkter som korrelerar starkast och sedan redovisar medelvärdet av dem
- 03Mer än hälften av de tillfrågade forskarna bekräftade att de använt just detta tillvägagångssätt
- 04Diagrammen ser övertygande ut trots att urvalet är beroende, vilket gör felet svårt att upptäcka utifrån
- 05Författarna menar att problemet finns i hjärnavbildningsforskning av många slag och inte bara inom detta område
Så hittar du originalet
— (2009)
Ingen PDF är uppladdad för den här artikeln. Referatet och de svenska insikterna ovan är skrivna här på sajten — originaltexten ligger hos förlaget och kan kräva åtkomst via bibliotek eller lärosäte.
Mer inom Hjärna & ledarskap