code-review-orchestrator

Un hallazgo reproducido antes de incorporar el cambio.

1. Regenerar sin reentrenar

ShiftLab añadió --from-results para regenerar results.json, cobertura-error.html e informe.txt desde un JSON histórico. Debía conservar el umbral y los recuentos, sin reentrenar.

2. Revisar con criterios

review_diff.py evaluó el cambio con criterios explícitos. El revisor señaló un fallo concreto: un carácter Unicode inválido podía dejar una salida parcial. El hallazgo se trató como una hipótesis que había que reproducir.

3. Reproducir y corregir

Se reprodujo el fallo. La corrección preparó y codificó los tres contenidos en UTF-8 antes de crear la carpeta de salida, evitando dejar archivos parciales por ese error. Se añadió una prueba de regresión.

4. Verificar e incorporar

Pasaron 61 pruebas de ShiftLab. La segunda revisión quedó sin hallazgos y la ejecución con el JSON histórico confirmó los tres archivos, el mismo umbral y los mismos recuentos. La PR se fusionó en 5d3ad83.

Después: aislar la evaluación

El inventario dinámico y la evaluación iniciados desde orchestrate_project.py ejecutan código del proyecto: descubrir pruebas también puede importarlo.

La PR #27 aisló inventory_base() y evaluate_flow(), incluidas tareas configurables y entregas con varios archivos, en Podman rootless, sin red y con entradas de solo lectura. Las invocaciones directas de otros runners y los agentes quedan fuera de ese alcance.

Las cuotas por evaluación limitan resultados a 32 MiB y 1024 inodos; stdout y stderr, a 4 MiB cada uno. Si falla el aislamiento, el flujo se detiene sin ejecutar el candidato en el anfitrión.

Evidencia local de ese cambio: 10 integraciones reales con Podman correctas y 834 pruebas ordinarias correctas (otras 10 opt-in omitidas). Son evidencias separadas de las 61 de ShiftLab; la CI enlazada también terminó correctamente.

La revisión de ShiftLab no usó este evaluador aislado. La incorporación de cambios sigue bajo decisión humana.