1. Regenerar sin reentrenar
ShiftLab añadió --from-results para regenerar results.json, cobertura-error.html e informe.txt desde un JSON histórico. Debía conservar el umbral y los recuentos, sin reentrenar.
2. Revisar con criterios
review_diff.py evaluó el cambio con criterios explícitos. El revisor señaló un fallo concreto: un carácter Unicode inválido podía dejar una salida parcial. El hallazgo se trató como una hipótesis que había que reproducir.
3. Reproducir y corregir
Se reprodujo el fallo. La corrección preparó y codificó los tres contenidos en UTF-8 antes de crear la carpeta de salida, evitando dejar archivos parciales por ese error. Se añadió una prueba de regresión.
4. Verificar e incorporar
Pasaron 61 pruebas de ShiftLab. La segunda revisión quedó sin hallazgos y la ejecución con el JSON histórico confirmó los tres archivos, el mismo umbral y los mismos recuentos. La PR se fusionó en 5d3ad83.
Después: aislar la evaluación
El inventario dinámico y la evaluación iniciados desde orchestrate_project.py ejecutan código del proyecto: descubrir pruebas también puede importarlo.
La PR #27 aisló inventory_base() y evaluate_flow(), incluidas tareas configurables y entregas con varios archivos, en Podman rootless, sin red y con entradas de solo lectura. Las invocaciones directas de otros runners y los agentes quedan fuera de ese alcance.
Las cuotas por evaluación limitan resultados a 32 MiB y 1024 inodos; stdout y stderr, a 4 MiB cada uno. Si falla el aislamiento, el flujo se detiene sin ejecutar el candidato en el anfitrión.
Evidencia local de ese cambio: 10 integraciones reales con Podman correctas y 834 pruebas ordinarias correctas (otras 10 opt-in omitidas). Son evidencias separadas de las 61 de ShiftLab; la CI enlazada también terminó correctamente.
La revisión de ShiftLab no usó este evaluador aislado. La incorporación de cambios sigue bajo decisión humana.