Når AI gir råd – hvem stoler vi egentlig på?

Denne uken deltar jeg på NOVA Day. Mange av samtalene der handler naturlig nok om hva AI kan gjøre for virksomheter. Det er viktig, men en problemstilling jeg mener får for lite oppmerksomhet, er hvordan mennesker reagerer når systemene begynner å gi råd.

AI fjerner ikke menneskelig bias, men kan heller forsterke den.

En del av forklaringen ligger i hvordan generativ AI faktisk fungerer. Modellene svarer ikke fordi de “vet”. De beregner statistisk hva som er det mest sannsynlige neste ordet basert på store mengder treningsdata og konteksten de får. Det betyr at modellene speiler mønstre i dataene og påvirkes av hvordan vi rammer inn spørsmålet.

Men bias oppstår ikke bare i modellen. Den oppstår også i møtet mellom modell og menneske.

Forskning fra blant annet MIT Sloan, Harvard Business School og Stanford peker på flere mekanismer som kan svekke beslutningskvaliteten når AI brukes i praksis:

Automation bias
Når mennesker legger for stor vekt på anbefalingen fra systemet, fordi den kommer fra en modell og oppleves objektiv.

Algorithm aversion
Når mennesker mister tilliten til modellen etter én synlig feil, og deretter avviser den helt, selv om den over tid kan være bedre enn magefølelsen alene.

Databias
Hvis datagrunnlaget er skjevt, vil også analysene bli det.

Confirmation bias
Vi tolker gjerne AI-svar på en måte som bekrefter det vi allerede tror.

I praksis ser jeg dette tydelig i kommersielle situasjoner. En AI-modell kan analysere salgsdata og foreslå hvilke kunder som bør prioriteres, hvilke tilbud som bør følges opp eller hvilke kontoer som har størst vekstpotensial. Selgeren eller lederen kan gjøre to feil ved enten følge anbefalingen blindt, eller ignorere den helt.

Følges anbefalingen ukritisk, kan skjevheter i data eller modell forsterkes. Hvis den avvises fordi den “føles feil”, mister man samtidig verdien av mønstergjenkjenningen modellen faktisk kan tilføre.

Det er her ledelsesutfordringen ligger.

Den modne organisasjonen ber ikke folk velge mellom teknologi og skjønn. Den bygger prosesser der anbefalinger testes, modellens begrensninger forstås, og analyse kombineres med dømmekraft. Det bygges med andre ord en kultur der mennesker fortsatt stiller spørsmål, også når systemet virker sikkert. Det er først da AI blir beslutningsstøtte i ordets egentlige forstand.

For meg er dette noe av det mest interessante ved AI akkurat nå. Ikke bare hva modellen kan produsere, men hva som skjer med vurderingsevnen vår når svaret kommer raskt, ser overbevisende ut og er pakket inn med høy selvtillit.

I arbeidet med å bygge og teste egne AI-modeller og verktøy merker jeg dette tydelig. Små justeringer i data, kontekst eller instruksjoner kan gi ulike anbefalinger. Det minner meg stadig om at modellen gir forslag og ikke fasitsvar. Testing er en nødvendighet fortløpende.