Evals con Claude: deja de mejorar a ojo
Evals con Claude Code: /claude-api build-eval mide tu app, hillclimb la mejora un cambio cada vez y skill-creator prueba tus skills. Deja de mejorar a ojo.
Cuando cambias el prompt de tu bot o retocas una skill, ¿cómo sabes que ha mejorado? Lo normal es probarlo dos o tres veces y fiarte de la impresión. Las evals cambian eso por un número: unos casos de prueba, una nota y una forma de comparar versiones. Y ahora Claude Code las monta por ti.
Es el día 30 de #30DaysOfClaude, el último del reto. Todos los tips están en el índice de la serie.
Evals con Claude Code para tu app o tu bot
Si tienes una app o un bot hecho sobre la API de Claude, el skill claude-api que viene con Claude Code tiene dos comandos para esto, según el blog de Claude:
/claude-api build-evalmide. Te entrevista sobre lo que quieres medir y busca casos por este orden: conversaciones reales (preguntando antes por los datos sensibles), bugs y tickets, cinco o diez que escribes tú y casos sacados de tu código. Te los enseña todos para que los apruebes, elige la forma más barata de puntuarlos y te da la nota de partida./claude-api hillclimbmejora. Le dices qué quieres (más aciertos, o menos coste sin perderlos) y prueba un cambio cada vez: el prompt, las skills, las descripciones de las herramientas, el modelo o el effort.
/claude-api build-eval ¿Con qué frecuencia manda [nuestro bot de soporte] cada ticket al equipo correcto?
Evals con skill-creator para tus skills
Para tus skills, el plugin oficial skill-creator hace algo parecido. Según la documentación de Claude Code, lanza cada caso de prueba con y sin la skill, en sesiones limpias, puntúa cada resultado y compara la nota, el tiempo y los tokens. También compara dos versiones a ciegas y ajusta la descripción de la skill para que se active cuando debe y no cuando no.
No viene instalado: se añade una vez desde el marketplace oficial, escribiendo esto en Claude Code (en la app de escritorio, desde la pantalla de plugins):
/plugin install skill-creator@claude-plugins-official
Evalúa mi skill [de propuestas] con skill-creator.
El examen que Claude no ha visto
Lo que hace fiables a las dos es la misma regla: una parte de los casos se guarda como examen. Claude mejora mirando los casos de práctica, pero el examen no lo lee nunca. Un cambio solo se queda si mejora también ahí; si solo mejora la práctica, es que se ha aprendido las respuestas de memoria, y lo deshace. Al terminar, la nota que te da es la del examen.
El ejemplo de Anthropic: con un bot de soporte, el hillclimb limpió el prompt, probó modelos más baratos con menos effort y añadió reglas para enviar cada ticket a su sitio. En los 14 tickets que nunca había visto, pasó del 78,6% al 90,5% de aciertos, a una quinta parte del coste.
Tu paso para hoy: elige lo que más usas (tu bot, tu skill favorita) y escribe la pregunta para la que quieres un número. Esa pregunta es el principio de tu primera eval.
¿Cuándo no hacen falta las evals?
- Cuando lo usas tú solo y de vez en cuando. Si una skill te ahorra diez minutos a la semana, tu impresión basta.
- Cuando ya saca casi un 100%. Si la nota de partida ronda el 95% o más, el comando te avisará de que conviene mejorar coste o rapidez, no aciertos.
Con este cierra #30DaysOfClaude: treinta tips para sacarle más a Claude. Gracias por seguirlo. ¿Cuál de los treinta te ha servido más?
Preguntas frecuentes
¿Qué es una eval?
Un conjunto de casos de prueba con una forma de puntuarlos. Te da una nota de cómo funciona tu app, tu bot o tu skill, para comparar versiones con un número en vez de con la impresión.
¿Qué es hillclimb?
Mejorar algo paso a paso contra una eval: Claude propone un cambio, lo mide y se lo queda solo si sube la nota. El comando /claude-api hillclimb lo hace con tu app, un cambio cada vez y con casos guardados aparte para no hacerse trampas.
¿Cómo pruebo si mi skill funciona?
Con el plugin skill-creator: pídele a Claude que evalúe tu skill. Lanza los mismos casos con y sin la skill, puntúa cada resultado y te enseña la diferencia; también ajusta la descripción para que la skill se active cuando debe.