Två bedömare, samma underlag, olika svar

Vi har pratat om bias i decennier: systematiska skevheter som drar alla i samma riktning. Den här boken handlar om det andra felet, det som är svårare att se.

Bilden författarna använder är en skyttebana. Bias är när alla skotten ligger snett åt samma håll. Man kan justera siktet. Brus är när skotten ligger spridda utan mönster. Träffbilden är oanvändbar, men det finns inget uppenbart att korrigera. Genomsnittet kan till och med se rätt ut.

Brus finns överallt där människor gör bedömningar. Två läkare som ser samma patient landar i olika diagnoser. Två handläggare som läser samma ärende fattar olika beslut. Två rekryterare som intervjuar samma person ger olika omdömen. Och samma bedömare kan komma till olika slutsatser vid olika tillfällen, beroende på trötthet, humör, väder eller vad som hände i mötet innan.

Författarna delar upp det: nivåbrus (någon är generellt strängare än andra), mönsterbrus (någon reagerar särskilt starkt på vissa slags fall) och tillfällighetsbrus (samma person, olika dag, olika svar).

Det mest citerade exemplet handlar om domare. En israelisk studie fann att andelen beviljade villkorliga frigivningar sjönk under en session och steg igen efter pauserna, vilket tolkades som att mental utmattning och blodsocker påverkar besluten. Bilden av strängare domar före lunch än efter har blivit en klassiker.

Här behöver jag lägga till en sak. Just den studien har blivit ifrågasatt. Kritiker har visat att ärendena inte var ordnade slumpmässigt, hur fallen lades i kön kan förklara en del av mönstret. Effekten är alltså mindre säker än den brukar framställas.

Men huvudpoängen står kvar, och den vilar på mycket bredare material: strafflängder för likartade brott varierar kraftigt mellan domare, försäkringsbedömningar av samma underlag skiljer sig med tiotals procent, och medicinska bedömningar av samma röntgenbild går isär. Brus är inte ett undantag i systemen. Det är normaltillståndet.

Det här är den bok jag oftast återkommer till när vi pratar om bedömningar av människor, för den flyttar frågan från är jag objektiv? till hur ser vår process ut?

Några saker författarna kallar beslutshygien, som går att göra i morgon:

• Bedöm oberoende först. Låt alla i en rekryteringsgrupp skriva ner sin bedömning innan diskussionen. Annars smittar den som talar först.
• Dela upp bedömningen. Bedöm en dimension i taget, inte helhetsintrycket. Helhetsintryck är där bruset gömmer sig.
• Använd samma skala och gärna jämförelser. Att rangordna kandidater mot varandra är ofta mer tillförlitligt än att sätta absoluta poäng.
• Aggregera. Flera oberoende bedömningar som vägs samman slår en enskild expert, även en skicklig sådan.
• Skjut upp intuitionen. Använd den, men sist, efter att underlaget är strukturerat. Inte som ingång.
• Gör en brusrevision. Låt flera bedömare bedöma samma fiktiva fall. Skillnaderna blir en obehaglig men nyttig läsning.

Det sista är det jag rekommenderar mest. Ingen tror på brus i den egna organisationen förrän man mätt det.

Boken är lång och delvis repetitiv. Kärnan finns i de första hundra sidorna och i avsnitten om beslutshygien; mellandelarna kan man ströva igenom. Den är också mer inriktad på system och processer än på människor, och den som söker det mänskliga i beslutsfattande får mer av Kahnemans tidigare Tänka, snabbt och långsamt.

Och en spänning värd att notera: att strukturera bort brus kostar något. Det gör bedömningar mindre lyhörda för det unika i ett enskilt fall. Författarna diskuterar det, men den avvägningen behöver man göra själv, i sin egen verksamhet.

För rekryterande chefer, HR, ledningsgrupper och alla som sitter i beslutsgrupper om andra människor. För den som gör lönerevision, bedömer potential eller utreder ärenden.

• Vad som faktiskt förutsäger hur någon kommer att fungera i jobbet, struktur i urval, den praktiska tillämpningen.
• Fråga hur det är, i stället för att säga hur någon ser ut, om hur mycket tolkning som ligger i det vi tror är observation.
• Hur kulturen skrev in kvinnan i sjukdomen, om kategorierna vi bedömer med.

Köp boken: ny hos Adlibris · begagnad hos Studentapan