¿Qué hace esta skill?

La Evaluador de Agentes de Código Skill es una herramienta ligera de línea de comandos para comparar agentes de programación como Claude Code, Aider o Codex sobre tu propio repositorio. Define tareas en YAML, ejecuta cada agente en un git worktree aislado y genera un informe comparativo con tasa de acierto, coste, tiempo y consistencia para respaldar decisiones de adopción con datos objetivos.

Comparativa antes de adoptar
Compara varios agentes de programación sobre tu base de código real antes de decidir cuál adoptar.
Medición tras actualización
Mide el rendimiento de un agente después de una actualización de modelo o de herramientas.
Regresión de configuración
Ejecuta comprobaciones de regresión cuando un agente cambia su configuración o su comportamiento.
Decisión de equipo con datos
Respalda la selección de un agente con métricas comparativas de coste, velocidad y fiabilidad.

Ejemplos de uso

🆚 Comparativa básica
Compara Claude Code y Aider sobre la tarea add-retry-logic con 3 ejecuciones cada uno y genera el informe.
📈 Tras actualizar modelo
Mide si Aider sigue rindiendo igual después de la última actualización ejecutando las tareas de tasks/ con 5 runs.
🔄 Regresión de config
Ejecuta las 3 tareas representativas de mi repo contra claude-code para verificar que sigue pasando todos los jueces.
📋 Decisión de equipo
Genera un informe comparativo de Claude Code, Aider y Codex sobre 5 tareas de mi carga real para decidir cuál adoptar.

Características

Tareas definibles en YAML Especifica prompt, archivos implicados, commit base y criterios de evaluación en un archivo por tarea.
Ejecución multi-agente Lanza varios agentes sobre las mismas tareas con un mínimo de 3 ejecuciones para captar variabilidad.
Aislamiento con git worktree Cada ejecución corre en un worktree independiente sin necesidad de Docker, garantizando reproducibilidad.
Informe comparativo tabular Genera una tabla con tasa de acierto, coste, tiempo y consistencia por agente y tarea.
Tres tipos de juez Combina jueces deterministas (pytest, command), por patrón (grep) y LLM para evaluaciones semánticas.

Preguntas frecuentes

No. La herramienta crea un git worktree independiente por ejecución, lo que garantiza aislamiento sin Docker.
Cualquier agente de programación que expona interfaz de línea de comandos: Claude Code, Aider, Codex y similares.
Al menos 3 por agente para captar variabilidad. Empieza con 3-5 tareas representativas de tu carga real.
Tres tipos: determinista (pytest, npm run build), por patrón (grep sobre archivos) y LLM como juez semántico.

Skills relacionadas

Mas skills de la misma categoria:

Evaluador de Agentes de Código — Comparativa de Agentes IA con Claude AI

¿Prefieres escuchar el contenido? Genera la narración de audio con un clic.