Evaluación contra sentencias reales
Usamos sentencias del Supremo de 2010 a 2026 sobre Reales Decretos y Órdenes: preceptos que anuló y preceptos que, recurridos, mantuvo. Reconstruimos cada norma tal como estaba antes de la sentencia, sin las notas del BOE que la delatan.
Paso 2: la revisión con Sonnet
| Anulados por el Supremo | Recurridos y mantenidos | Nunca anulados | |
|---|---|---|---|
| Preceptos | 170 | 128 | 168 |
| La IA dice «nulo» o «dudoso» | 21 % | 12 % | 10 % |
| Probabilidad media de nulidad que le da | 18 | 13 | 11 |
Ante un anulado y uno mantenido, Sonnet da más probabilidad de nulidad al anulado el 62 % de las veces; frente a uno nunca anulado, el 67 %. Ordena mejor que el azar, pero casi nunca se atreve a decir «nulo».
Paso 1: el filtro inicial
Con 170 preceptos anulados y otros tantos nunca anulados de las mismas normas, el primer filtro (Haiku) no los distinguía: señalaba el 49 % de los anulados y el 39 % de los otros. Leyendo las normas enteras, sin límite de sospechas, sube a un 80 % frente a un 56 %, pero frente a preceptos recurridos y mantenidos sigue sin distinguir: encuentra preceptos polémicos, no inválidos.
Límites
- Muestras pequeñas (unos 60 por grupo) y concentradas en pocas normas: las cifras pueden variar unos ±10 puntos.
- «Nunca anulado» no significa «válido»: la mayoría nunca se recurrió.
- Solo sentencias del Supremo; las Órdenes las anula en primera instancia la Audiencia Nacional.
- Solo tenemos el texto completo de 59 sentencias: el buscador del CENDOJ limita el acceso automático, y hemos pedido el resto formalmente.
Fuente de las sentencias: CENDOJ (Consejo General del Poder Judicial); fallos publicados en el BOE.