Why I Refuse to Build AI Without Guardrails
On the choices nobody finds exciting, but that determine whether AI in insurance will last.
L'anno scorso, un potenziale cliente ci ha chiesto se potessimo costruire un modello che preveda quali clienti sono "difficili." Comportamento elevato in termini di sinistri, molte telefonate, quel genere di cose. L'idea: dedicare meno attenzione a quei clienti. Più tempo per le relazioni redditizie.
Abbiamo detto no.
Non perché sia tecnicamente impossibile. È perfettamente fattibile. Ma perché un modello che classifica i clienti in base a quanto sono "difficili" discriminerà inevitabilmente. Le persone anziane chiamano più spesso. Le persone con redditi più bassi presentano sinistri in modo diverso. Se si alimenta un algoritmo con questi dati senza riconoscerlo esplicitamente, si incorporano pregiudizi che nessuno vede più. È esattamente il tipo di AI di cui si rifiuto di far parte.
La spiegabilità non è una funzionalità
Nel nostro settore, la spiegabilità non è un optional. È un requisito imprescindibile. Quando un consulente chiama chiedendo "perché questo cliente è in cima alla mia lista di priorità?", ci deve essere una risposta. Non "il modello lo dice", ma: la polizza scade tra sei settimane, la densità di polizze è bassa e non ci sono stati contatti da nove mesi.
Per questo non costruiamo modelli a scatola nera. È una scelta deliberata che a volte ci rende più lenti. Una rete neurale produce occasionalmente previsioni migliori di un modello interpretabile. Ma se nessuno può spiegare perché il cliente A ha la priorità sul cliente B, non si ha uno strumento. Si ha un'ipotesi con una dashboard attorno.
Cosa non costruiamo deliberatamente
Non costruiamo punteggi di rischio basati sui codici postali. Non perché la correlazione sia assente -- esiste -- ma perché è un proxy per reddito e background. Non costruiamo modelli che sostituiscono i consulenti. E non costruiamo "punteggi di coinvolgimento" che riducono i clienti a un numero.
Potrebbe sembrare una questione di principio. È soprattutto pratica. Un assicuratore che scopre che il proprio sistema AI svantaggia sistematicamente determinati gruppi non ha un problema di PR. Ha un problema normativo. L'AI Act rende questo legalmente applicabile dal 2026.
Le scelte invisibili
La cosa difficile dell'etica nell'AI è che le scelte più importanti sono invisibili. Quali variabili si includono? Quali si escludono deliberatamente? Come si gestisce il bias nei dati storici? Nessuno vuole sentirne parlare in un pitch commerciale. Ma determina se il proprio sistema reggereà quando il regolatore busserà alla porta tra due anni.
Collaboriamo con Brush-AI per gestire sistematicamente la componente etica. Non come narrazione di marketing, ma come parte del nostro processo di sviluppo. Ogni modulo che costruiamo passa attraverso una revisione etica prima di andare in produzione. Richiede tempo. Non produce demo spettacolari. Ma è il motivo per cui i nostri clienti si fidano di noi con i loro dati clienti.
Sono membro del comitato consultivo KOAT presso SIVI, che si concentra sulla garanzia della qualità delle applicazioni automatizzate nel settore finanziario. Ciò che vedo lì conferma il quadro: il settore si muove velocemente, ma i framework per un uso responsabile sono in ritardo. Chi investe ora in AI spiegabile e trasparente sta costruendo qualcosa che diventa sempre più raro: la fiducia.
E la fiducia è l'unica cosa che non si può automatizzare.