Saltar al contenido
Bestrateo Consulting

5 min de lectura

Cinco preguntas antes de poner un agente de IA a trabajar en tu empresa

Lo que se publicó en octubre sobre agentes de IA cabe en cinco preguntas que conviene hacerse antes de conectar uno al CRM, al correo o a la facturación.

Un agente de IA no es un asistente que contesta preguntas. Es un sistema que hace cosas: consulta el CRM, prepara un correo, registra un pedido o clasifica facturas, conectado a las herramientas que ya usa la empresa. Por eso, cuando se equivoca, no deja una respuesta mala en una pantalla: deja un pedido mal registrado o un correo enviado a quien no tocaba.

En septiembre conté que la fiabilidad no se arregla cambiando de modelo. Lo que se ha publicado en arXiv la última semana de octubre va un paso más allá y permite convertir esa idea en algo más útil: cinco preguntas que conviene tener contestadas antes de poner un agente a trabajar.

1. ¿Qué pasa cuando falla una conexión?

Un agente depende de todo lo que tiene conectado, y las conexiones fallan: un servicio que no responde, una clave que caduca, un dato que llega con otro formato.

Un equipo de investigación ha montado un sistema para provocar fallos realistas en esas conexiones, sacados de incidencias reales registradas en 1.774 proyectos de código abierto, y ha medido cómo reaccionan distintos agentes. Cuando los fallos eran persistentes, la calidad del trabajo caía mucho. Pasar de un modelo de 20.000 millones de parámetros a uno de 120.000 millones no lo arreglaba. Lo que marcaba la diferencia era cómo gestionaba los errores el programa que rodea al modelo.

En la práctica, la pregunta tiene respuestas muy concretas: si hay reintentos, si alguien recibe un aviso cuando algo falla y qué hace el sistema mientras tanto. Si nadie sabe contestarlas, el primero en enterarse del fallo será un cliente.

2. ¿Dónde revisa una persona, y por qué ahí?

Los agentes que trabajan durante meses van acumulando lo que podríamos llamar memoria: datos de clientes, preferencias, decisiones anteriores. Y esa información se queda vieja.

Un trabajo de octubre propone una idea que me parece de las más aprovechables del mes: si hay que volver a comprobar un dato depende de lo que se va a hacer con él. Proponer un hueco para una reunión con un dato de hace dos semanas no tiene importancia. Emitir una factura con ese mismo dato, sí. Con ese criterio, los autores reportan un coste medio de verificación un 33,9 % menor en uno de sus entornos de prueba.

Llevado a una empresa, significa repartir la revisión humana según lo que cuesta equivocarse, no por igual. Lo rutinario sale solo. Lo que toca dinero o llega al cliente pasa antes por una persona. Revisarlo todo se come el ahorro de tiempo; no revisar nada es apostar.

3. ¿Cuánto cuesta cada tarea y cuántas salen bien?

El único caso industrial de la semana es de DoorDash, que no es precisamente una pyme: un sistema de varios agentes que lee incidencias, consulta datos en vivo y prepara cambios en el código. De 50 casos, 45 acabaron con cambios aprobados por los ingenieros, a una media de 4,79 dólares y 13,8 minutos por tarea.

Lo útil del caso no es el tamaño de la empresa, sino cómo lo miden: porcentaje de aciertos, coste por tarea y tiempo por tarea. Son las tres cifras que hay que tener antes de decidir si una automatización compensa, comparadas con lo que cuesta hoy hacerlo a mano. Si una incidencia le lleva veinte minutos a una persona y el agente la resuelve bien nueve de cada diez veces por unos pocos euros, la decisión es fácil. Si no hay cifras, no hay decisión, hay impresión.

4. ¿Cada cuánto cambian tus documentos?

Muchos asistentes responden a partir de la documentación de la empresa: tarifas, fichas de producto, protocolos. Para eso los documentos se trocean en fragmentos y se indexan. Lo que casi nunca se cuenta es que cada vez que se modifica un documento hay que volver a procesar parte de ese índice, y eso cuesta dinero cada mes.

Un estudio con revisiones reales de artículos de Wikipedia compara tres formas de trocear los textos. Con fragmentos de tamaño fijo hubo que recalcular entre el 57 % y el 68 % del trabajo. Troceando por párrafos y secciones, entre el 38 % y el 56 %. Y la calidad de las respuestas apenas variaba entre métodos: menos de dos puntos de diferencia.

Si la documentación cambia poco, da igual. Si cambia cada semana, es una decisión técnica pequeña que se nota en la factura.

5. ¿Lo has probado con tus casos y en tus idiomas?

Para saber si un asistente responde bien es cada vez más habitual usar otro modelo de IA como juez. Un estudio con más de un millón de puntuaciones en 27 idiomas encuentra que el modelo que hace de juez pesa más que la forma de preguntarle, y que la evaluación es menos estable en idiomas con menos recursos que el inglés.

Otro trabajo de la misma semana añade que las clasificaciones de agentes cambian según el modelo, el programa que lo rodea y la prueba, y que puntuaciones parecidas esconden comportamientos muy distintos.

Para una empresa que atiende en castellano, catalán e inglés, la consecuencia es directa: las clasificaciones publicadas orientan, pero no sustituyen a veinte o treinta casos reales de tu empresa pasados por el sistema en cada idioma, y revisados por alguien que lo domine.


Ninguna de las cinco preguntas va sobre qué modelo elegir. Van sobre qué pasa alrededor: los fallos, las revisiones, los costes, el mantenimiento y las pruebas. Son las que separan una demostración vistosa de algo que el equipo usa cada día sin pensar en ello.

Si tienes un proceso en mente y quieres repasar estas cinco preguntas sobre él, lo hacemos en el diagnóstico.