Varför kan både femton procent och noll vara sant?

Om du följer diskussionen om AI i arbetslivet har du sett båda siffrorna. Den ena säger att produktiviteten ökar med omkring femton procent. Den andra säger att effekten på löner och arbetstid är noll. Båda kommer från seriösa forskare, och båda stämmer.

Erik Brynjolfsson, Danielle Li och Lindsey Raymond följde 5 172 kundtjänstmedarbetare som stegvis fick tillgång till en generativ AI-assistent. Studien publicerades i Quarterly Journal of Economics.

Produktiviteten, mätt som lösta ärenden per timme, ökade med omkring fjorton till femton procent i genomsnitt. Men genomsnittet döljer det viktiga. Vinsten var koncentrerad till de nya och lägst presterande medarbetarna, som förbättrades med ungefär trettio procent. De mest erfarna såg små eller inga vinster, och i vissa fall en liten kvalitetsförsämring.

En detalj som fastnade hos mig: nyanställda med AI nådde på ungefär två månader den nivå som obehandlade medarbetare nådde först efter sex. Författarnas tolkning är att systemet kodifierar och sprider de skickligaste medarbetarnas tysta kunskap.

Anders Humlum och Emilie Vestergaard undersökte något annat. De kombinerade två enkätvågor med omkring 25 000 arbetstagare per våg, på ungefär 7 000 danska arbetsplatser i elva AI-utsatta yrken, med danska registerdata över löner, arbetade timmar och yrke.

Resultatet var att spridningen gick snabbt, att arbetsgivare aktivt uppmuntrade användning, och att det inte syntes några effekter på löner eller arbetstid. Skattningarna är så precisa att de utesluter effekter över någon enstaka procent. Användarna rapporterade i genomsnitt en tidsbesparing på knappt tre procent av arbetstiden, alltså långt under de femton till femtio procent som uppmäts i kontrollerade experiment.

En annan iakttagelse är värd att ta med: verktygen skapade också nya uppgifter, som att granska och redigera AI-innehåll, för ungefär lika många som de avlastade.

Studierna svarar på olika frågor.

• Uppgift mot arbetsdag. Den första mäter en avgränsad, repetitiv uppgift där kvaliteten går att räkna. Den andra mäter hela arbetsdagen, där tidsvinster kan ätas upp av annat.
• Experiment mot verklighet. Kontrollerade införanden med stöd, utbildning och tydligt syfte ger andra resultat än när ett verktyg görs tillgängligt och var och en får klara sig själv.
• Vem som mäts. Vinsten hos den oerfarne syns inte i ett genomsnitt över alla yrken och nivåer.
• Var vinsten hamnar. Om tidsbesparingen inte omsätts i något annat än fler uppgifter märks den inte i lön eller arbetstid.

Ett tredje fältexperiment pekar i samma riktning. Dell'Acqua och kollegor lät 776 yrkesverksamma vid Procter och Gamble arbeta med verkliga produktutvecklingsuppgifter, ensamma eller i par, med eller utan AI. Individer med AI presterade ungefär som par utan AI, gränserna mellan funktioner suddades ut, och deltagarna rapporterade mer positiva känslor. Även där låg tidsbesparingen omkring tolv till sexton procent.

• Fråga vad tiden ska användas till. Utan svar på det blir tidsvinsten till fler uppgifter, inte till bättre arbete.
• Titta på vem som vinner. Om AI framför allt lyfter de oerfarna påverkar det introduktion, upplärning och hur vi ser på erfarenhet.
• Organisationen förklarar mer än verktyget. Skillnaden mellan studierna handlar mer om sammanhang, stöd och uppföljning än om tekniken.
• Var försiktig med löftessiffror. Den som lovar femtio procents effektivisering hänvisar oftast till laboratorieförhållanden.

• Om vi sparar tre procent av arbetstiden, var tar den vägen hos oss?
• Vad händer med vår upplärning om nya medarbetare når full nivå tre gånger snabbare?
• Vem granskar det AI producerar, och räknar vi in den tiden?

Läs vidare: Vad fältet pratar om just nu och Kunskapen fastnar inte av sig själv.