Para garantizar que el Profesor IA no solo sea un asistente explicativo, sino una herramienta de confianza técnica, es indispensable establecer una Guía de Evaluación y Benchmarking rigurosa. En ingeniería civil, un error numérico o una mala interpretación conceptual (como confundir unidades o aplicar una fórmula fuera de su rango de validez) puede comprometer la seguridad de un diseño.
A continuación se detalla la metodología y las pruebas de calidad diseñadas específicamente para este sistema.
1. Dimensiones de Evaluación de Calidad
El benchmarking del Profesor IA se evalúa bajo cuatro pilares fundamentales:
| Dimensión | Definición | Criterio de Éxito |
|---|---|---|
| 1. Precisión Numérica | Exactitud en el cálculo de fórmulas deterministas y resolución de sistemas de ecuaciones. | Margen de error inferior al \pm 1\% frente a soluciones analíticas o software de referencia (SAP2000, EPANET, Civil 3D). |
| 2. Rigor Metodológico | Secuencia lógica en la aplicación de teorías, leyes físicas y equilibrio mecánico. | Declaración explícita de hipótesis, diagramas de cuerpo libre y compatibilidad de deformaciones. |
| 3. Coherencia Normativa | Uso correcto de códigos de diseño e ingeniería aplicados en la región (AISC, ACI, NB, etc.). | Selección adecuada de factores de mayoración, estados límites y restricciones geométricas. |
| 4. Validación de Límites | Detección de errores conceptuales en los datos ingresados por el usuario. | Advertencia automática ante anomalías (ej. número de Froude contradictorio, matrices singulares, flujos negativos). |
2. Matriz de Casos de Prueba (Benchmark Suite)
Cada módulo técnico cuenta con un conjunto de pruebas estándar (Test Suite) con respuestas precalculadas. Si la IA falla en alguna de estas pruebas, el modelo requiere ajuste o refinamiento del prompt.
Módulo: Análisis Matricial (CIV206)
- Caso de Prueba 01: Ensamblaje de la matriz de rigidez para una viga continua de 2 vanos con apoyos simples.
- Input: L_1 = 6\text{ m}, L_2 = 4\text{ m}, EI = \text{constante}.
- Criterio de Validación: La matriz global resultante [K] debe ser simétrica, cuadrada y no singular. La IA debe mostrar los coeficientes de rigidez a flexión (4EI/L, 2EI/L) correctamente ubicados en los grados de libertad rotacionales.
Módulo: Carreteras II (CIV325)
- Caso de Prueba 02: Cálculo de elementos de una curva circular simple.
- Input: Ángulo de deflexión \Delta = 30^\circ, Radio R = 250\text{ m}, Progresiva del P.I. = 12+450.00.
- Criterio de Validación: Cálculo exacto de la tangente (T = R \tan(\Delta/2)), longitud de curva (L_c = \pi R \Delta / 180) y progresivas de P.C. y P.T. con el redondeo métrico a dos decimales.
Módulo: Hidrología (CIV231)
- Caso de Prueba 03: Estimación de caudal pico por el Método Racional.
- Input: Intensidad de lluvia i = 85\text{ mm/h}, Coeficiente de escorrentía C = 0.40, Área de cuenca A = 1.5\text{ km}^2.
- Criterio de Validación: Conversión dimensional correcta de las unidades del área y la intensidad para obtener el caudal en metros cúbicos por segundo (Q = C \cdot i \cdot A / 3.6).
3. Protocolo de Pruebas Automatizadas (LLM-Eval)
Para medir el rendimiento del Profesor IA de forma continua, se implementa un pipeline de pruebas automatizadas compuesto por tres fases:
[Banco de Preguntas Test Suite] ──► [Inferencia de la IA] ──► [Evaluador de Código / Reglas] ──► [Reporte de Precisión]
- Pruebas de Entrada Ciega (Blind Prompts): Se introducen enunciados de exámenes históricos de la UAGRM sin alterar las variables para comprobar si la IA llega al resultado analítico correcto.
- Evaluación de Inyección de Errores: Se introducen deliberadamente datos físicamente imposibles (ej. un coeficiente de Poisson \nu > 0.5 o una pendiente de canal negativa) para verificar si el modelo detecta la inconsistencia y rechaza el cálculo, priorizando la seguridad conceptual.
- Control de Alucinaciones Numéricas: Se utiliza un script de validación secundaria (en Python con librerías como
numpyosympy) que extrae las respuestas numéricas generadas por la IA y las contrasta automáticamente contra los valores umbral permitidos.