
Personlighetsteori
Urvalsforskningen räknar om sina egna siffror
Originaltitel Revisiting meta-analytic estimates of validity in personnel selection: Addressing systematic overcorrection for restriction of range
- Författare
- Paul R. Sackett; Charlene Zhang; Christopher M. Berry; Filip Lievens
- År
- 2022
- Lästid
- 7 min
I korthet
Genomgång av hur validitetssiffror i urvalsforskningen har räknats fram, med en omräkning av tidigare metaanalytiska slutsatser. Validitet betyder här hur väl ett urvalsverktyg förutsäger hur någon senare presterar i arbetet. Författarna granskar fem vanliga sätt att korrigera för så kallad begränsad spridning, alltså det förhållandet att man bara ser resultatet hos dem som faktiskt anställdes och inte hos alla sökande. Slutsatsen är att samtliga fem metoder ofta överkorrigerar. När korrigeringen görs försiktigare sjunker de flesta validitetsvärdena med 0,10 till 0,20 enheter. Rangordningen mellan verktygen består i stort, men den strukturerade intervjun hamnar överst. Författarna redovisar också skillnader mellan grupper för varje verktyg, så att avvägningen mellan träffsäkerhet och bredd i rekryteringen går att se.
Läs originalartikeln →Utökad sammanfattning
Frågan studien ställer
I decennier har HR lutat sig mot metaanalytiska tabeller som rangordnar urvalsmetoder efter hur väl de förutsäger arbetsprestation. Sackett, Zhang, Berry och Lievens frågade sig om de siffrorna håller. Misstanken gällde en statistisk korrigering som nästan alla sådana sammanvägningar använder, korrigering för restriction of range, alltså det faktum att man bara kan mäta prestation hos dem som blev anställda. Om korrigeringen görs på ett systematiskt för generöst sätt blir hela fältets bild av vad som fungerar för ljus.
Så gjorde de
Den här sammanfattningen bygger på artikelns sammanfattning, inte på fulltexten. Studien är en kritisk omräkning av tidigare metaanalyser, alltså statistiska sammanvägningar av många enskilda studier, om criterion-related validity, sambandet mellan ett urvalsmått och senare arbetsprestation. Författarna gick igenom fem vanliga sätt att skapa och tillämpa så kallade artifact distributions, fördelningar av antaganden om hur mycket urvalet snävat in spridningen bland de anställda. Sådana fördelningar används för att räkna upp de observerade sambanden till vad de skulle ha varit om alla sökande hade anställts. Författarna granskade varje ansats för sig, bedömde vilka fel den för med sig och räknade sedan om de tidigare validitetsskattningarna med försiktigare antaganden. Utfallsmåttet är validitetskoefficienten, en korrelation r som går från 0 till 1, där 0,1 är svag, 0,3 måttlig och 0,5 stark. Till de omräknade siffrorna kopplade de även uppgifter om genomsnittliga skillnader mellan svarta och vita sökande per metod.
Det de fann
Huvudresultatet är att samtliga fem sätt att korrigera för restriction of range enligt författarna har allvarliga brister som ofta leder till betydande överkorrigering. Följden är att validiteten hos många urvalsmetoder har överskattats. När siffrorna räknades om sjönk de genomsnittliga validitetsskattningarna med 0,10 till 0,20 enheter. Rangordningen mellan metoderna höll sig däremot i stort sett intakt: de metoder som låg högt i tidigare översikter ligger fortfarande högt. Den metod som hamnade överst var strukturerade intervjuer, alltså intervjuer där alla kandidater får samma frågor och bedöms efter samma mall. Författarna parade också validiteten med information om gruppskillnader mellan svarta och vita sökande, så att läsaren kan se avvägningen mellan träffsäkerhet och mångfald för varje metod. Slutsatsen formuleras försiktigt: urvalsmetoderna är fortfarande användbara, men sambandet mellan urvalsmått och prestation är avsevärt lägre än man tidigare trott. Exakta omräknade värden per metod redovisas i artikeln men inte i dess sammanfattning.
Vad som talar emot
Utifrån artikelns sammanfattning går det inte att bedöma hur känsliga de nya siffrorna är för författarnas egna antaganden; en omräkning byter en uppsättning antaganden mot en annan, och även de försiktigare antagandena kan diskuteras. Studien tillför inga nya primärdata utan bearbetar samma studier som tidigare metaanalyser, så eventuella brister i underlaget följer med. Att rangordningen står sig betyder samtidigt att den praktiska slutsatsen om vilka metoder som är bäst inte ändras särskilt mycket, vilket kan göra nyheten mindre dramatisk än den först verkar. Gruppskillnaderna som redovisas gäller amerikanska förhållanden, svarta och vita sökande, och kan inte utan vidare översättas till en svensk arbetsmarknad. Andra prediktorer, arbetsuppgifter och bedömningsformer än de som ingick i de ursprungliga metaanalyserna täcks inte.
Vad det betyder för den som leder
Den som köper eller bygger urvalsprocesser bör läsa leverantörers validitetssiffror med viss reservation, särskilt om de hänvisar till äldre metaanalyser. Ett samband som var starkt i tabellen kan i verkligheten vara måttligt. Samtidigt är det ingen anledning att sluta använda strukturerade metoder: rangordningen står sig, och strukturerade intervjuer kommer ut som den mest träffsäkra metoden även efter omräkningen. Det talar för att lägga arbete på att standardisera intervjuer, med gemensamma frågor och bedömningsmallar, snarare än att söka efter ett enskilt test som löser allt. Att validitet och gruppskillnader redovisas sida vid sida påminner också om att valet av metod är en avvägning, inte bara en fråga om träffsäkerhet. Vilka av era urvalsbeslut vilar i dag på siffror ni aldrig sett källan till?
Läs vidare på sajten
Artiklarna om urval och rekrytering fördjupar hur olika metoder brukar jämföras, och texterna om femfaktormodellen beskriver de personlighetsmått som ofta ingår i sådana rangordningar.
Viktigaste insikterna
- 01De flesta validitetsvärdena sjunker med 0,10 till 0,20 enheter när korrigeringen görs försiktigare
- 02Den strukturerade intervjun hamnar överst i den omräknade rangordningen
- 03Begåvningstestets ställning som starkaste enskilda prediktor försvagas tydligt
- 04Rangordningen mellan verktygen består i stort, det är nivån som förändras
- 05Urvalsverktygen är fortfarande användbara, men sambanden är svagare än fältet trott i fyrtio år
Så hittar du originalet
— (2022)
Ingen PDF är uppladdad för den här artikeln. Referatet och de svenska insikterna ovan är skrivna här på sajten — originaltexten ligger hos förlaget och kan kräva åtkomst via bibliotek eller lärosäte.
Mer inom Personlighetsteori