Pourquoi je refuse de construire de l'IA sans garde-fous

L'an dernier, un prospect nous a demande si nous pouvions construire un modele predisant quels clients sont "difficiles". Comportement de sinistralite eleve, beaucoup d'appels telephoniques, ce genre de choses. L'idee : accorder moins d'attention a ces clients. Plus de temps pour les relations rentables.

Nous avons dit non.

Pas parce que c'est techniquement impossible. C'est parfaitement faisable. Mais parce qu'un modele qui classe les clients selon leur niveau de "difficulte" finira inevitablement par discriminer. Les personnes agees appellent plus souvent. Les personnes a revenus plus faibles declarent les sinistres differemment. Si vous injectez cela dans un algorithme sans le reconnaitre explicitement, vous integrez des biais que plus personne ne voit. C'est exactement le type d'IA dont je refuse de faire partie.

L'explicabilite n'est pas une fonctionnalite

Dans notre secteur, l'explicabilite n'est pas un nice-to-have. C'est une exigence absolue. Quand un conseiller appelle pour demander "pourquoi ce client est-il en haut de ma liste de priorites ?", il faut une reponse. Pas "le modele le dit", mais : la police expire dans six semaines, la densite de polices est faible et il n'y a pas eu de contact depuis neuf mois.

C'est pourquoi nous ne construisons pas de modeles de type boite noire. C'est un choix delibere qui nous rend parfois plus lents. Un reseau de neurones livre occasionnellement de meilleures predictions qu'un modele interpretable. Mais si personne ne peut expliquer pourquoi le client A passe avant le client B, vous n'avez pas un outil. Vous avez une supposition entouree d'un dashboard.

Ce que nous refusons deliberement de construire

Nous ne construisons pas de scores de risque bases sur les codes postaux. Pas parce que la correlation est absente -- elle existe -- mais parce qu'elle est un proxy pour le revenu et l'origine. Nous ne construisons pas de modeles qui remplacent les conseillers. Et nous ne construisons pas de "scores d'engagement" qui reduisent les clients a un chiffre.

Cela peut sembler une question de principe. C'est surtout pratique. Un assureur qui decouvre que son systeme d'IA desavantage systematiquement certains groupes n'a pas un probleme de RP. Il a un probleme reglementaire. L'AI Act rend cela juridiquement applicable a partir de 2026.

Les choix invisibles

Le difficile avec l'ethique de l'IA, c'est que les choix les plus importants sont invisibles. Quelles variables incluez-vous ? Lesquelles laissez-vous deliberement de cote ? Comment gerez-vous le biais dans les donnees historiques ? Personne ne veut entendre parler de cela dans un argumentaire commercial. Mais cela determine si votre systeme tiendra encore debout quand le regulateur viendra frapper a la porte dans deux ans.

Nous travaillons avec Brush-AI pour gerer systematiquement la composante ethique. Pas comme un narratif marketing, mais comme une partie de notre processus de developpement. Chaque module que nous construisons passe par une revue ethique avant la mise en production. Cela prend du temps. Cela ne produit pas de demos spectaculaires. Mais c'est la raison pour laquelle nos clients nous confient leurs donnees clients.

Je siege au comite consultatif KOAT chez SIVI, qui se concentre sur l'assurance qualite des applications automatisees dans le secteur financier. Ce que je vois la-bas confirme le tableau : le secteur va vite, mais les cadres pour un usage responsable accusent du retard. Ceux qui investissent maintenant dans une IA explicable et transparente construisent quelque chose qui devient de plus en plus rare : la confiance.

Et la confiance est la seule chose que vous ne pouvez pas automatiser.