Avanzado Dificultad: MediaCalidad de IA

Armar un set de pruebas (eval) para tu asistente

Actualizado el 15 de octubre de 2026

Objetivo

Construir un conjunto de casos de prueba con criterios medibles y usarlo para comparar dos versiones de un prompt y decidir con datos.

Paso a paso

1Elegir un asistente o prompt que uses (un asistente de atención, un resumidor, un clasificador) y describir en una frase su propósito y sus reglas.
2Escribir al menos 20 casos: camino normal, casos borde, trampas (intentos de que invente datos o ignore sus reglas) y casos fuera de alcance. Reservar 4 sin mirarlos mientras ajustás el prompt.
3Definir 5 criterios de sí o no para calificar cada respuesta y elegir para cada uno el método más simple y confiable (regla, verificación o revisión humana).
4Correr los casos con dos versiones del prompt y calificar los resultados, mirando el total por criterio y los casos que empeoraron.
5Decidir con una regla fijada de antemano qué versión te quedás, considerando también costo y velocidad, y registrar la decisión.

Resultado esperado

Un set de pruebas versionado, una tabla comparando dos versiones por criterio, la lista de regresiones y una decisión justificada con la regla fijada de antemano.

Desafío adicional

Usar un modelo como juez para uno de los criterios y validarlo contra tu propia calificación de 30 casos, calculando el porcentaje de acuerdo.

AI Project Review

Contá qué hiciste (tu prompt, tu workflow, tu decisión de diseño) y recibí una evaluación automática — opcional, no hace falta para marcar el proyecto como completado.