Por qué me niego a construir IA sin límites

El año pasado, un cliente potencial nos preguntó si podíamos construir un modelo que predijera qué clientes son "difíciles". Mucha siniestralidad, muchas llamadas, ese tipo de cosas. La idea: dedicar a esos clientes menos atención. Más tiempo para las relaciones rentables.

Dijimos que no.

No porque sea técnicamente imposible. Es perfectamente factible. Sino porque un modelo que clasifica clientes según lo "difíciles" que son acabará inevitablemente discriminando. Las personas mayores llaman más a menudo. Las personas con menores ingresos declaran siniestros de forma distinta. Si metes eso en un algoritmo sin reconocerlo explícitamente, estás incorporando sesgos que ya nadie ve. Ese es exactamente el tipo de IA del que me niego a formar parte.

La explicabilidad no es una feature

En nuestro sector, la explicabilidad no es un nice-to-have. Es una exigencia. Cuando un asesor llama preguntando "¿por qué este cliente está en lo alto de mi lista de prioridades?", tiene que haber una respuesta. No "lo dice el modelo", sino: la póliza vence en seis semanas, la densidad de pólizas es baja y no ha habido contacto en nueve meses.

Por eso no construimos modelos de caja negra. Es una decisión deliberada que a veces nos hace más lentos. Una red neuronal a veces ofrece mejores predicciones que un modelo interpretable. Pero si nadie puede explicar por qué el cliente A tiene prioridad sobre el cliente B, no tienes una herramienta. Tienes una corazonada con un dashboard alrededor.

Lo que deliberadamente no construimos

No construimos scores de riesgo basados en códigos postales. No porque no exista la correlación -- existe -- sino porque es un proxy para los ingresos y el origen. No construimos modelos que reemplacen a los asesores. Y no construimos "engagement scores" que reduzcan a los clientes a un número.

Eso puede sonar a postureo. Es sobre todo pragmático. Una aseguradora que descubre que su sistema de IA perjudica sistemáticamente a determinados grupos no tiene un problema de PR. Tiene un problema regulatorio. La AI Act lo hace legalmente exigible a partir de 2026.

Las decisiones invisibles

Lo difícil de la ética en IA es que las decisiones más importantes son invisibles. ¿Qué variables incluyes? ¿Cuáles dejas fuera deliberadamente? ¿Cómo gestionas el sesgo en los datos históricos? Nadie quiere oír hablar de eso en una presentación comercial. Pero determina si tu sistema seguirá en pie cuando el regulador llame a la puerta dentro de dos años.

Trabajamos con Brush-AI para gestionar de forma sistemática el componente ético. No como un argumento de marketing, sino como parte de nuestro proceso de desarrollo. Cada módulo que construimos pasa por una revisión ética antes de salir a producción. Eso lleva tiempo. No produce demos vistosas. Pero es la razón por la que nuestros clientes nos confían los datos de los suyos.

Formo parte del comité asesor KOAT en SIVI, centrado en el aseguramiento de calidad de aplicaciones automatizadas en el sector financiero. Lo que veo allí confirma la imagen: el sector se mueve rápido, pero los marcos para un uso responsable van por detrás. Los que invierten ahora en IA explicable y transparente están construyendo algo cada vez más escaso: confianza.

Y la confianza es lo único que no se puede automatizar.