Feedback con AI, il valore delle fonti indipendenti

A marzo abbiamo raccontato perché le review annuali non funzionano. Quando un manager valuta un collaboratore, fino al 62% delle differenze tra i punteggi dipende da chi valuta, non da chi viene valutato. Lo hanno dimostrato Scullen, Mount e Goff già nel 2000, su oltre 2mila dirigenti: la performance reale spiegava appena un quarto del quadro. Il resto era il valutatore che raccontava sé stesso attraverso la scheda di valutazione.
Oggi il problema si è solo spostato di piano. Le aziende comprano strumenti di feedback assistiti dall’AI, venduti con la promessa di ridurre, se non eliminare, il bias del valutatore. Questi sistemi però imparano da testi scritti da esseri umani, e il rischio concreto è che quel bias lo ereditino invece di correggerlo, aggiungendoci magari il proprio. C’è poi un secondo aspetto, che riguarda le persone e non i software. Quando un manager vuole capire qual è il suo punto cieco, di solito si rivolge alla persona di cui si fida di più: un collega storico, un mentore, qualcuno che lo stima. I dati suggeriscono che sia la scelta meno adatta.

Il mito del punto cieco

Il modello che tutti citano in questi casi è il Johari Window: quattro quadranti, uno dei quali contiene ciò che gli altri notano di una persona e che lei non vede. Nasce nel 1955 dagli atti di un laboratorio di formazione Ucla, non da una rivista scientifica, ed è diventato uno dei framework più fotografati nelle slide di leadership. Nessuno però lo ha mai validato sul serio, come nota anche Simine Vazire nel paper che nel 2010 ha provato a mettere ordine nella materia.
Vazire lo ha fatto con un esperimento pulito: 165 studenti universitari americani, valutati da amici e da sconosciuti, confrontati con misure oggettive (QI, discussioni di gruppo videoregistrate, un discorso pubblico sotto stress). Il risultato, il modello Soka, indica che ognuno di noi conosce meglio ciò che è poco osservabile, come l’ansia o l’autostima, perché nessun altro ha accesso a quello che pensiamo. Gli altri conoscono meglio ciò che è più valutativo, come intelligenza e creatività, perché lì il giudizio su se stessi è inquinato da un evidente conflitto di interesse.

Un amico non basta

Sull’intelligenza gli amici battono nettamente sia i diretti interessati sia gli sconosciuti, ma solo se sono più di uno. Con un singolo amico il vantaggio si assottiglia fino a sparire.
Per chi gestisce le valutazioni a 360 gradi, quelle in cui una persona riceve un giudizio da capi, colleghi e collaboratori, la conseguenza è chiara: un solo informatore vale poco, e la forza del feedback sta nel numero di fonti indipendenti che convergono. È lo stesso principio dietro l’effetto idiosincratico di Scullen: un giudizio isolato è quasi sempre rumore travestito da verità.

Conoscere non è apprezzare

Il consiglio più gettonato nei corsi di leadership, rivolgersi alla persona di cui ci si fida di più, regge poco alla prova dei dati.
Daniel Leising e colleghi hanno mostrato, già nel 2010, che chi apprezza di più il soggetto valutato lo descrive sistematicamente in modo più positivo. Uno studio successivo (Wessels, Zimmermann, Biesanz e Leising, 2020, oltre 1.300 valutazioni) ha isolato le due variabili, conoscere e apprezzare, e le ha trovate in direzioni opposte. Conoscere meglio aumenta l’accuratezza e riduce la distorsione positiva, mentre apprezzare di più fa l’esatto contrario.
Nella vita reale, però, le due variabili viaggiano quasi sempre insieme. Il collaboratore che stima il proprio capo di solito lo conosce anche bene, e il pacchetto arriva unito: più informazione, ma anche più cortesia. Gli studi non riguardavano aziende, ma è difficile non vederci il motivo per cui tanti 360 gradi pieni di sottoposti che stimano il capo restano cortesi proprio quando servirebbe franchezza.

Il limite degli algoritmi

Gli strumenti più evoluti di performance management affrontano davvero una parte della questione: confrontano le distribuzioni dei voti manager per manager e segnalano chi è sistematicamente severo o generoso. È la risposta tecnica al problema descritto da Scullen, e funziona sullo stile del valutatore.
L’apprezzamento però non è uno stile. Lo stesso manager può essere generosissimo con un collaboratore e spietato con quello della scrivania accanto, e mediare i suoi voti su tutti non basta a coglierlo, perché il bias dipende dalla relazione tra le due persone.
Gli strumenti generativi, poi, riassumono i commenti che ricevono. Se quei commenti arrivano da chi apprezza il valutato, il riassunto sarà una versione più elegante della loro gentilezza. E possono aggiungere distorsioni proprie: nel 2023 un gruppo di ricercatori guidato dall’Ucla ha chiesto a ChatGpt lettere di referenza per candidati con curriculum identici, cambiando solo il nome. Kelly diventava una persona calorosa e simpatica, Joseph un leader naturale.

La domanda giusta

Il punto cieco esiste, i dati lo confermano, ma non lo si trova chiedendo ai propri estimatori più convinti. Serve mettere insieme più fonti indipendenti e scegliere, tra queste, chi conosce davvero la persona, non chi è più generoso con lei.
Per chi progetta sistemi di feedback, umani o assistiti da AI, la lezione è la stessa di marzo, spostata di un livello. Non basta tarare i punteggi sullo stile di chi valuta: bisogna tenere conto anche di quanto quel valutatore apprezza chi sta valutando. Ed è una variabile che nessun algoritmo di normalizzazione, per ora, sa misurare.

Fonti

• Luft, J., Ingham, H. (1955). The Johari Window, a Graphic Model of Interpersonal Awareness. Proceedings of the Western Training Laboratory in Group Development, University of California Los Angeles
• Scullen, S. E., Mount, M. K., Goff, M. (2000). Understanding the Latent Structure of Job performance Ratings. Journal of Applied Psychology, 85(6), 956-970
• Vazire, S. (2010). Who Knows What About a Person? The Self-other Knowledge Asymmetry (Soka) model. Journal of Personality and Social Psychology, 98(2), 281-300
• Leising, D., Erbs, J., Fritz, U. (2010). The Letter of Recommendation Effect in Informant Ratings of Personality. Journal of Personality and Social Psychology, 98(4), 668-682
• Wessels, N. M., Zimmermann, J., Biesanz, J. C., Leising, D. (2020). Differential Associations of Knowing and Liking with Accuracy and Positivity Bias in Person Perception. Journal of Personality and Social Psychology, 118(1), 149-171
• Wan, Y., Pu, G., Sun, J., Garimella, A., Chang, K.-W., Peng, N. (2023). “Kelly is a Warm Person, Joseph is a Role Model”: Gender Biases in Llm-generated Reference Letters. Findings of Emnlp 2023, 3730-3748

—

* Laureato in ingegneria elettronica/sistemi informativi al Politecnico, Pierpaolo Muzzolon trascorre tutta la vita in aziende hi-tech e IT nel marketing e nella comunicazione, oggi è counselor in analisi transazionale, coach e trainer.

© RIPRODUZIONE RISERVATA