Urvalsforskningen har räknat om sig själv

I snart trettio år har samma tabell gått igen i urvalslitteraturen. Den kommer från Schmidt och Hunter 1998, den sammanfattar vad olika urvalsmetoder förutsäger om arbetsprestation, och överst står begåvningstestet med .51. Den tabellen ligger under mycket av hur många av oss, jag själv inkluderad, har lärt oss att tänka om urval.

År 2022 publicerade Paul Sackett, Charlene Zhang, Christopher Berry och Filip Lievens en artikel som prövar hur de siffrorna räknats fram. Slutsatsen är att korrigeringarna bakom dem systematiskt överskattat sambanden.

Artikeln heter Revisiting meta-analytic estimates of validity in personnel selection: Addressing systematic overcorrection for restriction of range och finns i Journal of Applied Psychology. Den har 329 citeringar och kurvan är fortfarande hög: 26 under publiceringsåret, sedan 70, 86 och 89, och redan 58 under första halvan av innevarande år.

Begreppet är centralt för att förstå vad bråket handlar om, så det förtjänar en förklaring.

När man vill veta hur väl ett test förutsäger arbetsprestation kan man bara mäta prestationen hos dem som faktiskt blev anställda. De är inget slumpmässigt urval av de sökande, de är de som tog sig igenom. Spridningen i den gruppen är därför mindre än i hela ansökarskaran, och när spridningen krymper krymper också korrelationen. Fenomenet kallas range restriction, på svenska ungefär begränsat spridningsomfång.

Att korrigera för detta är i sig rimligt. Man vill ju veta hur testet skulle fungera på alla som söker, inte bara på dem som redan valdes ut.

Här behövs en åtskillnad till. Validitetsstudier görs på två sätt.

I en prediktiv studie testar man de sökande, anställer, och mäter prestationen först senare. Här är beskärningen stor, eftersom testet var med och avgjorde vilka som blev kvar.

I en samtidig studie testar man dem som redan är anställda och mäter deras prestation nu. Här är beskärningen liten, ofta obefintlig, av det enkla skälet att testet inte hade något med anställningsbesluten att göra.

Felet, som Sackett och kollegor beskriver det, är att korrigeringsfaktorerna i huvudsak hämtades från prediktiva studier men sedan tillämpades på hela materialet. Och ungefär åtta av tio studier i metaanalyserna är samtidiga. Merparten av underlaget fick alltså en korrigering beräknad för en situation den inte befann sig i.

Nedan står den gamla skattningen först och den nya efter. Talen är korrelationer, där 0 betyder inget samband alls och 1 betyder perfekt förutsägelse.

• Arbetsprov: .54 blir .33

• Begåvningstest: .51 blir .31

• Strukturerad intervju: .51 blir .42

• Kunskapsprov: .48 blir .40

• Integritetstest: .41 blir .34

• Ostrukturerad intervju: .38 blir .19

• Assessment center: .37 blir .29

• Samvetsgrannhet: .23 blir .26

Två saker faller i ögonen. Nästan allt sjunker, med mellan .10 och .20. Och rangordningen kastas om. Den strukturerade intervjun står nu överst, och Sackett föreslår att den snarare än begåvningstestet borde vara den måttstock andra metoder jämförs mot. Empiriskt nyckelbaserad biodata hamnar på .38 och alltså också över begåvningstestet.

Samvetsgrannheten är det enda som går upp, om än marginellt. Förklaringen är logisk: personlighetstest har oftast studerats i just samtidiga upplägg, och drabbades därför av mindre överkorrigering från början.

Vid sidan av omräkningen finns två resultat som pekar åt samma håll.

Det första gäller att sökande skönmålar. En metaanalys i International Journal of Selection and Assessment jämförde matchade grupper som svarat ärligt respektive med motiv att framstå i god dager. Validiteten sjönk i den senare gruppen, och kvoten hamnade på mellan 64 och 72 procent av den ursprungliga. Störst var tappet för samvetsgrannhet och emotionell stabilitet, alltså precis de drag som oftast används i urval.

Det andra gäller vad vi faktiskt har studerat. En genomgång av forskningen på samvetsgrannhet fann att bara omkring tolv procent av studierna gjorts på verkliga sökande i prediktiv design. Resten bygger på redan anställda. Vi har med andra ord mycket kunskap om hur testet fungerar i den situation där ingenting står på spel, och lite om den situation där allt gör det.

Det här är inte ett avslutat kapitel, och det är en del av varför jag tycker att det är värt att följa.

Sackett och kollegor har själva skrivit ut de tillämpade konsekvenserna i Revisiting the design of selection systems. Deniz Öneş och Chockalingam Viswesvaran svarar i A response to speculations about concurrent validities in selection och menar att begåvningstestens ställning står sig bättre än kritiken gör gällande. In-Sue Oh, Jorge Mendoza och Huy Le ställer i To correct or not to correct for range restriction den mer grundläggande frågan om när korrigering över huvud taget är berättigad. Och Stephen Woods och Fiona Patterson går i en kritisk granskning i Journal of Occupational and Organizational Psychology längre och menar att begåvningstest vid urval till högre yrken både saknar det stöd som antagits och riskerar att förstärka social ojämlikhet.

En bredare översikt över läget finns i Personnel selection: A review of ways to maximize validity, diversity, and the applicant experience.

För något år sedan tipsade jag om ett avsnitt av Kropp & Själ om hur personlighet formas, och skrev då att jag tycker att det är personen själv som avgör om beskrivningen stämmer. Den hållningen är oförändrad, men den här forskningen ger den ett nytt stöd som jag inte hade räknat med.

Det finns nämligen två skilda sätt att använda ett personlighetstest. Som samtalsunderlag, alltså ett språk för att prata om hur någon fungerar och vad som kan bli svårt. Och som beslutsunderlag, alltså något som väger in när man avgör vem som ska få ett jobb.

Det andra användningsområdet vilar helt på de prediktiva siffrorna. Blir de svagare blir också argumentet svagare. Det första användningsområdet vilar inte på dem alls. Ett test kan vara ett utmärkt underlag för ett samtal utan att förutsäga någonting, eftersom värdet ligger i vad samtalet öppnar och inte i vad instrumentet spår.

Det är ungefär den skillnaden jag försökte fånga i Använd testet som en lins, inte ett facit. Att grunden under det ena benet nu skakar men inte under det andra känns som en pusselbit jag inte visste att jag saknade. Mer om modellen som sådan finns i översikten över Big Five, och testet på sajten ligger under tester.

Den säger inte att urvalsmetoder är oanvändbara. Sackett och kollegor är uttryckliga med motsatsen: metoderna är alltjämt användbara, sambanden är bara svagare än vi trott. Skillnaden mellan ett välgjort urval och ett godtyckligt är fortfarande stor.

Den säger inte heller att man ska sluta använda test. Snarare att den strukturerade intervjun förtjänar mer omsorg än den ofta får, eftersom den nu står överst. Samtidigt varierar just den mycket mellan studier, vilket rimligen betyder att hur den genomförs spelar större roll än att den genomförs.

Och en sak till, som sällan nämns. Hela diskussionen handlar om att förutsäga arbetsprestation så som den bedöms av chefer. Det måttet bär sina egna problem, vilket är precis vad Två bedömare, samma underlag, olika svar handlar om. Vi korrigerar alltså noggrant för spridningsproblem i förutsägelsen, samtidigt som det vi förutsäger i sig är brusigt.

Boken Vad som faktiskt förutsäger hur någon kommer att fungera i jobbet står kvar som en bra ingång till hantverket. En del av siffrorna i den, och i det mesta som skrivits om urval före 2022, är däremot värda att läsa med den här omräkningen i bakhuvudet.

Det jag inte har landat i är vad man gör med tjugofem års praxis som byggts på tal som nu är nedskrivna. Slänger man tabellen, eller läser man den som en rangordning snarare än som mått?