Antes de salir en vivo, el agente se prueba con casos de prueba: una conversación y lo que tiene que pasar. Corren contra el borrador y pasan o fallan, así que cada cambio se comprueba antes de publicar.
Armarlos
Se arman en Probar → Casos de prueba o por MCP (add_agent_test_cases, run_agent_tests). Mira Versiones y pruebas para cada chequeo.
El mínimo: 5 casos
Recomendamos al menos 5 casos antes de publicar, que cubran:
- Camino feliz: la consulta más común, resuelta de punta a punta. Chequeo: Usa la herramienta y La respuesta incluye el dato real.
- Casos difíciles: un producto que no existe, un dato mal escrito, un cliente que no responde lo que se le pregunta, un sistema que falla (con Herramientas simuladas).
- Derivación: cada motivo de derivación del canvas. Chequeo: Termina en
handoff.
- Lo que no se deriva: algo que el agente tiene que resolver solo. Chequeo: Termina en
continue.
- Fuera de alcance: un tema ajeno al negocio, un pedido de precio especial, un diagnóstico. Chequeo: Se cumple (“No da diagnósticos y ofrece turno”).
Agrega una conversación simulada para cada recorrido largo (una reserva completa, un alta): la IA hace de cliente y charla con el agente de principio a fin.
Obligatorios
Marca como obligatorios los casos que no pueden fallar nunca: inventar un precio, tomar un pedido que tenía que derivar, hablar de algo prohibido. Para publicar, los obligatorios tienen que pasar.
Repetir
La IA no responde siempre igual. Usa Repetir (hasta 5 veces) en los casos críticos para ver qué porcentaje de las veces pasa.
Cuándo está testeado
La tarea Testear el agente a partir del comportamiento esperado se completa sola cuando el agente tiene casos de prueba y pasa al menos el 90 %. Lo ves en Calidad → Casos de prueba.
Cada error que veas en una conversación real conviértelo en un caso: en el Registro del agente, Crear caso arma uno con esa conversación. Así no vuelve a pasar.
Checklist de pruebas
