Cuando un sistema tradicional falla, suele haber una línea de código que se puede señalar. Cuando un sistema con IA falla, la respuesta tiene aspecto de correcta, está bien escrita y es falsa, o trata distinto a dos personas por razones que nadie programó. Eso cambia qué significa trabajar con responsabilidad: no alcanza con probar que anda, hay que anticipar de qué maneras puede equivocarse y qué le pasa a quien recibe el error.
De dónde vienen los sesgos
Un modelo aprende de datos producidos por personas, y esos datos arrastran las desigualdades, los estereotipos y los vacíos de quienes los generaron. Algunas formas en que aparece en un producto:
- Un clasificador de currículums entrenado con decisiones pasadas que repite los criterios, buenos o malos, de quienes decidieron antes.
- Un sistema que anda bien con el español de una región y peor con otras variantes, o con nombres poco frecuentes en los datos de entrenamiento.
- Respuestas que asumen un género, una edad o una situación económica por defecto.
- Un modelo de puntuación que usa como indicador un dato que, en la práctica, funciona de sustituto de una característica que no debería influir.
No hay un interruptor para eliminar el sesgo. Lo que sí se puede hacer es buscarlo: armar casos de prueba que varíen un solo atributo (el nombre, el género, el barrio) y comparar las respuestas, revisar qué grupos están poco representados en tus datos y mirar los errores por segmento además del promedio general.
Errores plausibles
El error más traicionero de un modelo no es el absurdo, sino el verosímil: una cita que no existe, un artículo de una norma inventado, una cifra con formato impecable. Quien lo recibe no tiene señales de alerta. Por eso el diseño del producto importa tanto como el modelo.
Algunas medidas concretas: mostrar las fuentes cuando el sistema responde a partir de documentos, permitir al usuario verificar con un clic, hacer que el sistema admita cuando no tiene información suficiente, y evitar presentar la respuesta con una autoridad que el sistema no tiene. Si el texto generado va a ser leído por alguien que no es experto en el tema, el riesgo es mayor.
Transparencia con quien usa el sistema
Una persona que interactúa con un asistente debería saber que no está hablando con otra persona, y que el contenido que recibe fue generado automáticamente. Lo mismo vale cuando se usa IA para redactar algo que se envía en nombre de un tercero. No hace falta un cartel alarmante, pero sí una indicación clara y honesta, y un camino para llegar a un humano cuando haga falta.
También es parte de la transparencia contarle al cliente cómo funciona la solución: qué proveedor se usa, qué datos salen del sistema, qué limitaciones tiene.
Cuando hay decisiones sobre personas
Hay una diferencia grande entre un sistema que sugiere un título para un artículo y uno que influye en si alguien consigue un crédito, un empleo, un turno médico o un beneficio. Cuanto más afecta la salida a la vida de una persona, más necesaria es la revisión humana real, es decir, de alguien con autoridad y tiempo para discrepar con el sistema. Una persona que aprueba en bloque lo que el modelo propone sin mirarlo es un trámite, no un control.
Conviene también preguntarse si esa persona afectada puede enterarse de que hubo un sistema automático, entender el motivo de la decisión y pedir que alguien la revise. Si la respuesta es no, hay algo para rediseñar.
Propiedad y licencias
El contenido generado con IA plantea preguntas abiertas: quién es el autor, si el resultado reproduce material con derechos de terceros, qué dicen los términos del proveedor sobre el uso de lo que genera. Las respuestas dependen de la jurisdicción, del contrato y del caso, y siguen evolucionando. Lo prudente es revisar las condiciones del proveedor, no prometerle al cliente exclusividad o titularidad que no podés garantizar, y consultar a un profesional del derecho cuando el contenido generado sea central para el negocio. Lo mismo vale para código generado y para las licencias de las dependencias que sugiere.
Documentar y no prometer de más
Dos hábitos profesionales que cuestan poco. El primero: dejar por escrito las decisiones de diseño. Qué modelo se eligió y por qué, con qué datos se probó, qué riesgos se identificaron, qué se decidió no hacer. Cuando algo salga mal, esa documentación muestra que hubo criterio y permite corregir con rapidez.
El segundo: ajustar lo que prometés a lo que podés sostener. "El sistema acierta en la mayoría de los casos de prueba que armamos" es una frase defendible. "El sistema no se equivoca" no lo es nunca.
Al final del día, el modelo no responde ante nadie. Quien lo integra, lo configura y lo entrega sí. Esa asimetría es lo que hace falta tener presente en cada decisión de diseño.