Metodología: cómo analizamos y cómo puntuamos

Cuatro principios

1. Las pruebas automáticas solo detectan una parte de las barreras. Los estudios publicados sitúan lo que detectan entre un 14 % y un 57 %, según la herramienta y cómo se cuenten: entre el 14 % y el 38 % de las barreras en la comparativa académica de Vigo y otros (2013); alrededor del 40 % con la mejor herramienta en la prueba del Government Digital Service del Reino Unido (2017), y un 57 % del volumen de incidencias en el estudio de Deque (2021), que fabrica herramientas automáticas. Solo pueden demostrar incumplimientos, nunca que algo se cumple.
2. La revisión manual es imprescindible. Completa lo que ninguna prueba automática puede decidir. Su progreso se muestra aparte; cuando alimente la nota, pesará un 40 % y, sin ella, no mostraremos una valoración final.
3. La puntuación no es la conformidad legal. El estado de conformidad sale de la matriz de cumplimiento, criterio a criterio, con revisión humana.
4. Todo queda versionado. Cada análisis guarda la versión del motor, del catálogo de reglas y de la fórmula de puntuación.

Cómo analizamos cada página

• Con un navegador real. Cargamos cada página en Chromium con sus hojas de estilo, imágenes y scripts, como la vería una persona.
• En escritorio y en móvil. Una ventana de 1366 × 768 píxeles y un móvil táctil de 390 × 844. Cada hallazgo se guarda una sola vez, marcado con los dispositivos en los que aparece.
• Con reglas conocidas. Pruebas automáticas basadas en WCAG 2.2, niveles A y AA: las reglas de axe-core, con la de tamaño de los objetivos activada, y comprobaciones propias: reajuste a 320 píxeles, espaciado del texto, recorrido con el tabulador, reproducción automática, redirecciones automáticas e idioma. También aplicamos las reglas de buenas prácticas de axe-core: aparecen como recomendaciones, pero no cuentan en la puntuación.
• Con respeto por tu servidor. El rastreador de SiteNorma lee tu robots.txt y analiza pocas páginas a la vez.
• Sin confundir un bloqueo con un resultado. Si un cortafuegos nos muestra una página de desafío o la web limita nuestras peticiones y no podemos cargarla completa, la marcamos como no analizada y no la puntuamos. Un rechazo causado por nuestro propio ritmo de peticiones no es un incumplimiento de tu web.

Qué detectan y qué no las pruebas automáticas

La revisión manual

La revisión manual es la parte que ninguna herramienta puede hacer por ti: la hace una persona, criterio a criterio, siguiendo una guía. En la plataforma funciona así:

• Una guía por criterio. Cada guía dice qué vas a comprobar, cómo hacerlo, qué debería ocurrir y cómo registrar el resultado. Algunas puede seguirlas cualquier persona («revisión guiada»); otras avisan de que pueden requerir ayuda especializada. Si un aspecto no tiene guía, lo decimos y sigue pendiente de revisión.
• Cuando quieras. No hace falta esperar a corregir los problemas del análisis automático, y un análisis automático sin detecciones nunca cierra una revisión pendiente.
• Cuatro respuestas. «No he encontrado problemas», «He encontrado un problema», «No he podido comprobarlo» y «No aplica». Sin respuesta, el criterio sigue «Pendiente de revisión». Un problema exige describirlo, «No aplica» exige justificarlo y «No he podido comprobarlo» no es una respuesta favorable.
• Qué se guarda. La página, el elemento, el dispositivo, las condiciones (por ejemplo, solo con teclado o con un lector de pantalla), quién la hizo, cuándo y la evidencia, junto con la versión de las instrucciones que se siguieron. Un borrador se puede guardar y retomar; una revisión registrada no se modifica ni se borra, y una nueva se añade a las anteriores.
• Registrada no es superada. «Revisión manual registrada» solo confirma que se ha guardado. Una respuesta favorable vale para lo que se revisó (una página, un elemento, unas condiciones), no para el resto de la web.
• Los problemas se tratan como los demás. Un problema hallado en una revisión se crea como incidencia con el origen «Detectado en revisión manual», enlazada con su guía y con la misma prioridad que las del análisis automático. Lo cierra una revisión posterior que no lo encuentre, no un análisis automático.
• Si la página cambia. Cuando un análisis nuevo detecta que la estructura o el texto de la página han cambiado desde la revisión, el criterio pasa a «Necesita una nueva revisión» y se mantiene la valoración anterior hasta que se repita.
• Tras una corrección. Si el análisis automático no puede decidir si un elemento se ha corregido, se puede repetir la guía concreta y registrar la nueva revisión. Una revisión manual favorable es una de las evidencias con las que se puede archivar el trabajo (ver más abajo).

El progreso de la revisión manual se muestra aparte del análisis automático y del seguimiento del trabajo, y no es un resultado de conformidad. La revisión manual registra resultados y evidencias por criterio. Consulta por separado el resultado automático y el progreso de la revisión: de momento, las revisiones registradas no modifican la puntuación.

La puntuación de accesibilidad

Hoy la puntuación que ves refleja solo las pruebas automáticas. La fórmula prevista combina dos partes: las pruebas automáticas (A) y la revisión manual (M). Cuando la parte manual esté conectada a la nota, sin revisión manual el máximo será 60.

P es la puntuación de accesibilidad prevista: el 60 % sale de las pruebas automáticas y el 40 %, de la revisión manual.

La parte automática (A)

A es igual al número e elevado a menos D entre 25. D suma, para cada regla con fallos confirmados, su peso por la proporción de páginas en las que falla:

• Peso de la regla (w): 10 si la severidad es crítica, 7 si es grave, 3 si es moderada y 1 si es leve.
• Proporción de páginas (p): la parte de las páginas analizadas con ese fallo, en cualquier dispositivo. Las páginas prioritarias y las de la muestra de revisión cuentan doble.
• Solo cuentan las reglas de WCAG de nivel A y AA con fallos confirmados, incluidos los casos «Requiere revisión» que tu equipo haya marcado como «Detección confirmada».
• Las reglas superadas no diluyen la nota, y el número de elementos afectados no cuenta: un solo estilo puede generar 200 fallos iguales.
• Aplazar una corrección, marcarla como aplicada o archivar su trabajo no sube la nota. Solo la sube un análisis que deje de detectar el problema, o descartar una detección con justificación (ver más abajo).

Con D igual a cero, A vale 1. Cuantos más fallos graves y extendidos, más se acerca A a cero, sin llegar nunca a valores negativos.

La parte manual (M)

M es la proporción de criterios que cumplen tras la revisión manual:

• C son los criterios de la norma elegida (55 con la EN 301 549 v4.1.1, 50 con la v3.2.1), menos los marcados «No aplica» con justificación. No se puede marcar «No aplica» si el motor detecta que el criterio aplica: por ejemplo, un vídeo hace aplicables los criterios 1.2.
• Un criterio suma 1 si está marcado «Cumple», su revisión tiene menos de 12 meses y no tiene fallos confirmados abiertos. Si no, suma 0.

Cuándo mostramos una valoración

Hasta que hayas revisado al menos el 80 % de los criterios, verás «Revisión manual pendiente (x/55)» en lugar de una valoración. Después, la puntuación se acompaña de una de estas bandas:

Bandas de la puntuación de accesibilidad

Puntuación	Valoración
De 90 a 100	Excelente
De 75 a 89	Bueno
De 50 a 74	Mejorable
Menos de 50	Deficiente

Un ejemplo

Una tienda tiene tres reglas con fallos confirmados:

Ejemplo de cálculo de D

Regla	Severidad y peso	Páginas con el fallo	Aportación a D
Botones sin nombre accesible	Crítica, 10	50 %	5,0
Campo con varias etiquetas	Moderada, 3	100 %	3,0
Etiqueta de accesibilidad con un tipo obsoleto	Leve, 1	20 %	0,2

• D = 8,2, así que A = e^−8,2/25 ≈ 0,72 y la parte automática aporta 43,2 puntos.
• Hoy, con M aún no conectada a la nota, la puntuación mostrada es 43 (solo la parte automática).
• Cuando la revisión alimente la puntuación: sin revisión manual se mostrará «Revisión manual pendiente (0/55)»; tras revisar 50 de los 55 criterios, con 45 que cumplen, M = 45/55 ≈ 0,82 y la parte manual aportará 32,7 puntos.
• Entonces la puntuación pasará a 76. Como se habrá revisado más del 80 % de los criterios, se mostrará la valoración «Bueno».

Para ver cómo se presentan estas cifras en un informe, consulta el informe de ejemplo, que usa otro caso ilustrativo.

SEO y calidad

S es la puntuación de SEO o de calidad, cada una con su propio cálculo. Igual que en accesibilidad, D suma el peso de cada problema por la proporción de páginas afectadas, con pesos propios de 10, 7, 3 y 1. Tienes la tabla de pesos en SEO y calidad.

Rendimiento

Cuando llegue el módulo de rendimiento, su puntuación será el redondeo de 0,6 por la mediana en móvil más 0,4 por la mediana en escritorio. Los datos de usuarios reales se mostrarán aparte. Próximamente

Decisiones del equipo y comprobación de correcciones

Lo que tu equipo registra sobre cada elemento (una imagen, un botón, un campo) se guarda en tres partes que no se sustituyen entre sí, y siempre por elemento: arreglar uno no cambia los demás.

• Seguimiento del trabajo: pendiente de corregir, en curso, corrección aplicada pendiente de verificar o corrección aplazada. No cambia las cifras ni la nota: un problema aplazado sigue en los resultados.
• Validación de la detección: pendiente de validar, detección confirmada o detección descartada con justificación. Confirmar una detección no la da por corregida.
• Resultado de la última comprobación: sigue detectándose, no detectado en la última comprobación, no se ha podido comprobar o requiere revisión manual.

Cómo afecta un descarte a las cifras y a la nota

• Descartar una detección exige una justificación, la evidencia que la respalda y el permiso de propietario o administrador. Se guardan quién lo decidió y cuándo.
• Un elemento descartado sale de los recuentos y de la nota. Un problema deja de contar en una página solo cuando todos los elementos que tiene ahí están descartados; si el motor encuentra más elementos de los que lista, la página sigue contando.
• La detección original y su historial no se borran. Los descartes se cuentan aparte, se listan con su justificación y se pueden retirar. La puntuación del motor, sin descartes, se muestra junto a la que los aplica.
• Un punto que requiere revisión solo cuenta en la nota cuando una persona confirma un elemento.

Cuándo una comprobación da una corrección por comprobada

Cambiar un estado en SiteNorma no modifica tu web ni inicia ningún análisis. Para comprobar una corrección se abre el resumen previo del análisis, que dice qué páginas se revisarán y cuántas usará, y solo «Iniciar análisis» lo ejecuta. Un análisis solo puede decir que un elemento ya no se detecta si:

• analizó la página, y en todos los dispositivos donde se detectó;
• usó el mismo motor y las mismas reglas que el análisis que lo detectó;
• la prueba encontró en la página elementos de ese tipo que juzgar, y no aparece otro elemento con el mismo problema que podría ser el mismo con otra dirección en el código.

En cualquier otro caso, el resultado es «No se ha podido comprobar» o «Requiere revisión manual» (por ejemplo, un elemento de una ventana emergente) y la corrección sigue pendiente de verificar. Si se encuentra el elemento, siempre sigue detectándose. El trabajo solo se puede archivar con una comprobación comparable que no lo detecte, o con una revisión manual favorable posterior; si el problema vuelve a detectarse, el trabajo se reabre como pendiente. Archivar no certifica que la web cumpla la normativa.

Calibración y versiones

• Las constantes (25 y 30) y los pesos se calibran con un corpus de tiendas online españolas reales. Pueden ajustarse con el tiempo.
• Cada análisis guarda la versión del motor, del catálogo de reglas y de la fórmula. Así puedes comparar análisis sabiendo con qué se hicieron.
• Si una actualización del motor hace aparecer o desaparecer una incidencia, la marcamos como «cambio del motor» y no como un empeoramiento o una corrección tuya.

Lo que la puntuación no es

La puntuación no dice si tu web cumple la ley. Una web puede tener una puntuación alta y no cumplir un criterio importante que ninguna prueba automática detecta. La conformidad se decide criterio a criterio en la matriz de cumplimiento, con revisión humana y evidencias.

Versión de la metodología: borrador 0.1, 25 de septiembre de 2026. Versión de la fórmula de puntuación: 1.2.0 (incluye el tratamiento de los descartes).