Anthropic: gli esperti seguono le scelte casuali dell’AI nell’86% dei casi

Una moneta ha contribuito a orientare le scelte di 50 esperti. In un esperimento pubblicato il 27 ottobre, Anthropic ha assegnato casualmente a un agente di Claude Code una preferenza tra due opzioni ragionevoli. Gli analisti hanno scelto l’opzione favorita dall’AI nell’86% delle decisioni esaminate. Il dato riguarda le scelte, non significa che l’86% degli esperti abbia sempre obbedito all’agente.

Il risultato mette a fuoco un rischio meno evidente dell’errore inventato dall’AI: un assistente può presentare dati corretti e, scegliendo quali argomenti mettere in primo piano, influenzare una decisione che dovrebbe spettare alla persona. Per chi usa questi strumenti al lavoro, la domanda non è soltanto «i numeri sono giusti?», ma anche «chi ha deciso come leggerli?».

I ricercatori hanno chiesto a professionisti dell’analisi dei dati di valutare un programma di consulenza agricola per una cooperativa immaginaria. Dovevano stabilire, tra l’altro, come misurare la produttività, quali aziende includere nel calcolo e quanto peso dare alle aziende più grandi. Sono scelte paragonabili alla decisione di misurare il successo di un negozio contando gli scontrini oppure il guadagno per ogni vendita: entrambe le misure possono essere legittime, ma raccontano storie diverse.

Secondo la descrizione dello studio pubblicata da Anthropic, l’agente era configurato per difendere onestamente la posizione assegnata e per cambiarla davanti a prove contrarie. Non poteva falsificare i risultati né nascondere i dati. I partecipanti, però, non sapevano che la sua inclinazione iniziale dipendeva da un lancio di moneta.

La concordanza con l’agente variava a seconda della scelta: dal 81% per decidere quali aziende considerare al 92% per scegliere la misura della produttività. Il numero più rivelatore arriva però dalle spiegazioni date dopo il lavoro. Tra i 48 partecipanti che hanno risposto al questionario, il 77% ha ripreso almeno un argomento dell’agente, talvolta quasi con le stesse parole; soltanto il 15% ha citato l’AI come fonte di quegli argomenti.

Il 52% ha descritto la raccomandazione finale come più propria che dell’agente. Questo non prova che ogni singola persona abbia scambiato un’opinione dell’AI per una convinzione personale: i ricercatori hanno misurato l’effetto medio delle preferenze assegnate, non quello su ciascun partecipante. Mostra però quanto possa essere difficile riconoscere l’origine di una scelta quando si è costruito il ragionamento insieme a un assistente.

L’influenza diretta sulla raccomandazione conclusiva era più debole: l’espansione del programma è stata consigliata dal 54% degli analisti quando l’agente la favoriva, contro il 36% quando favoriva l’alternativa. A quel punto, però, le scelte precedenti avevano già contribuito a determinare la stima su cui basare la raccomandazione. È come scegliere il risultato di un calcolo dopo aver lasciato a qualcun altro la scelta dei numeri da inserire.

Gli analisti che hanno usato l’agente hanno impiegato una mediana di 65 minuti, contro 90 per gli 11 che hanno lavorato senza AI. Nel primo gruppo, 3 analisi su 50 contenevano errori metodologici gravi; nel secondo, 6 su 11. È un vantaggio apparente importante, ma non una prova che l’AI lo abbia causato: chi ha scelto di non usarla era in media meno esperto, e i due gruppi non sono direttamente confrontabili.

Anche l’86% richiede cautela. Lo studio riguarda un solo compito, un solo ambito professionale e un agente istruito appositamente a esprimere con chiarezza le proprie preferenze. Anthropic osserva che, nel lavoro quotidiano, l’effetto potrebbe essere diverso. La ricerca non dice che affidarsi all’AI sia sempre sbagliato; segnala che velocità e accuratezza dei calcoli non garantiscono, da sole, l’indipendenza del giudizio.

Il caso riguarda una cooperativa fittizia, ma la situazione è familiare anche in Italia e in Europa: un team può chiedere all’AI di preparare un’analisi, poi farla approvare a un responsabile. La firma finale, da sola, non assicura che quella persona abbia valutato le alternative. Il rischio cresce quando più gruppi usano lo stesso modello: conclusioni apparentemente indipendenti potrebbero riflettere preferenze simili dell’assistente. Anthropic presenta questa possibilità come un rischio da studiare, non come un effetto già dimostrato su larga scala.

Una contromisura ragionevole è riservare l’intervento umano alle scelte che cambiano davvero il risultato. Anthropic suggerisce di chiedere prima il parere della persona o di far argomentare all’agente entrambe le opzioni; nella pratica, chi commissiona un’analisi può inoltre chiedere che le ipotesi adottate siano visibili prima di approvarla.

Il controllo umano ha valore quando una persona può dire non solo che cosa è stato deciso, ma perché avrebbe potuto decidere diversamente.