|
| 1 | +# Auditoría de alineación DevTrail |
| 2 | + |
| 3 | +## Alcance y método |
| 4 | +- Fuentes revisadas: `README.md`, `docs/README.md`, `docs/adopters/CLI-REFERENCE.md`, `dist/.devtrail/QUICK-REFERENCE.md`, `dist/.devtrail/00-governance/AGENT-RULES.md`, plantillas `TEMPLATE-AILOG.md` y `TEMPLATE-ADR.md`. |
| 5 | +- Análisis del CLI (código Rust en `cli/src`) con verificación de comandos, validaciones y chequeos de cumplimiento. Carpeta `auditoria/` excluida. |
| 6 | + |
| 7 | +## Resumen ejecutivo |
| 8 | +DevTrail entrega lo que promete: el framework provee plantillas y políticas alineadas con ISO/IEC 42001, EU AI Act y NIST AI RMF, y el CLI implementa los comandos y salidas descritos. Único gap relevante: el comando `analyze-complexity` se menciona en reglas para agentes pero no está expuesto en el CLI (solo existe como librería interna). Riesgo bajo/medio por expectativa incumplida; resto coherente. |
| 9 | + |
| 10 | +## Hallazgos del framework |
| 11 | +- Cobertura de 12 tipos de documentos, con nombres y ubicaciones coherentes entre README, Quick Reference y AGENT-RULES. |
| 12 | +- Plantillas incluyen metadatos de riesgo (EU AI Act, ISO 42001 clause, NIST GenAI) y guías explícitas de revisión, observabilidad y calidad (ISO 25010). Se alinean con las instrucciones de uso en README/Quick Reference. |
| 13 | +- Reglas de autonomía y revisión (AGENT-RULES) coinciden con los niveles indicados en README/Quick Reference. No se detectaron inconsistencias en los triggers de documentación. |
| 14 | +- No existen directorios `.agent/`, `.claude/` o `.gemini/` en el repo base; se asume que los crea `devtrail init` al inyectar directivas. |
| 15 | + |
| 16 | +## Hallazgos del CLI |
| 17 | +- Comandos implementados: init, update, update-framework, update-cli, remove, status, repair, validate, compliance, metrics, audit, explore (feature `tui` activada por defecto) y about. Salidas y flags coinciden con la referencia de CLI. |
| 18 | +- Validación: 13 reglas efectivamente codificadas (naming, metadatos obligatorios, dependencias de riesgo/review, campos específicos por tipo, detección de secretos, observabilidad). Soporta `--fix` para inyectar `review_required` y prefijos. |
| 19 | +- Cumplimiento: cheques y scoring para ISO/IEC 42001 (4), EU AI Act (4), NIST AI RMF/600-1 (5) con salidas text/markdown/json y HTML en audit. Evaluación basada en existencia/consistencia, no en calidad de contenido. |
| 20 | +- Métricas y auditoría generan tablas, timelines y trazabilidad a partir de `related`; no hay inferencia automática de dependencias fuera de ese campo. |
| 21 | +- Gap: función `analyze_complexity` existe en código pero no hay comando ni flag asociado; AGENT-RULES la referencian como opción opcional. |
| 22 | + |
| 23 | +## Desviaciones y riesgos |
| 24 | +- `analyze-complexity`: expectativa creada en reglas de agentes pero no invocable por usuarios; puede generar confusión sobre umbrales de documentación. |
| 25 | +- Trazabilidad depende de `related`; sin ese campo la cadena REQ→ADR→AILOG→TES no se reconstruye, lo que puede afectar reportes de auditoría. |
| 26 | +- Las validaciones de cumplimiento verifican presencia de evidencias, no su suficiencia; riesgo de “falsos positivos” si el contenido es débil. |
| 27 | + |
| 28 | +## Recomendaciones |
| 29 | +1) Exponer `analyze-complexity` como comando (`devtrail analyze-complexity --path ... --threshold ...`) o removerlo de AGENT-RULES. |
| 30 | +2) Documentar en README/CLI que la trazabilidad depende de `related` y ofrecer un chequeo adicional para relaciones faltantes. |
| 31 | +3) Considerar validaciones de contenido mínimo (p.ej., campos clave no vacíos en secciones críticas) para reducir riesgo de cumplimiento nominal. |
| 32 | +4) Confirmar generación automática de directorios de skills durante `devtrail init` o añadirlos al dist para alinearse con la sección “Multi-Agent Architecture”. |
0 commit comments