Méthodologie : comment nous analysons et comment nous notons

Quatre principes

1. Les tests automatiques ne détectent qu’une partie des barrières. Des études publiées situent la part qu’ils détectent entre 14 % et 57 %, selon l’outil et la façon de compter les barrières : entre 14 % et 38 % des barrières dans la comparaison académique de Vigo et al. (2013) ; environ 40 % avec le meilleur outil dans le test du UK Government Digital Service (2017) ; et 57 % des problèmes en volume dans l’étude de Deque (2021), une entreprise qui fabrique des outils automatiques. Ils ne peuvent prouver que quelque chose échoue, jamais qu’il réussit.
2. La révision manuelle est essentielle. Elle complète ce qu’aucun test automatique ne peut trancher. Sa progression est affichée à part ; lorsqu’elle alimentera le score, elle représentera 40 % et, sans elle, nous n’afficherons pas de note finale.
3. Le score n’est pas une conformité légale. L’état de conformité vient de la matrice de conformité, critère par critère, avec une révision humaine.
4. Tout est versionné. Chaque analyse enregistre la version du moteur, du catalogue de règles et de la formule de notation.

Comment nous analysons chaque page

• Avec un vrai navigateur. Nous chargeons chaque page dans Chromium avec ses feuilles de style, images et scripts, comme une personne la verrait.
• Sur ordinateur et sur mobile. Une fenêtre de 1366 × 768 pixels et un téléphone tactile de 390 × 844. Chaque constatation n’est stockée qu’une fois, avec les appareils sur lesquels elle apparaît.
• Avec des règles connues. Tests automatiques fondés sur les WCAG 2.2, niveaux A et AA : les règles axe-core, avec la règle de taille des cibles activée, plus nos propres contrôles : reflow à 320 pixels, espacement du texte, parcours au clavier, lecture automatique, redirections automatiques et langue. Nous exécutons aussi les règles de bonnes pratiques axe-core : elles apparaissent comme recommandations, mais ne comptent pas dans le score.
• En ménageant votre serveur. L’explorateur SiteNorma lit votre robots.txt et n’analyse que quelques pages à la fois.
• Sans prendre un blocage pour un résultat. Si un pare-feu nous montre une page de défi, ou si le site limite nos requêtes et que nous ne pouvons pas charger toute la page, nous la marquons comme non analysée et ne la notons pas. Un refus dû à notre propre rythme de requêtes n’est pas un défaut de votre site.

Ce que les tests automatiques peuvent et ne peuvent pas détecter

Révision manuelle

La révision manuelle est la partie qu’aucun outil ne peut faire à votre place : une personne la fait, critère par critère, en suivant un guide. Sur la plateforme, cela fonctionne ainsi :

• Un guide par critère. Chaque guide dit ce que vous allez vérifier, comment le faire, ce qui devrait se passer et comment enregistrer le résultat. Certaines peuvent être suivies par tout le monde (« révision guidée ») ; d’autres avertissent qu’elles peuvent nécessiter une aide spécialisée. Si un aspect n’a pas de guide, nous le disons et il reste en attente de révision.
• Quand vous voulez. Il n’est pas nécessaire d’attendre que les problèmes trouvés par l’analyse automatique soient corrigés, et une analyse automatique sans détection ne clôt jamais une révision en attente.
• Quatre réponses. « Je n’ai trouvé aucun problème », « J’ai trouvé un problème », « Je n’ai pas pu le vérifier » et « Non applicable ». Sans réponse, le critère reste « En attente de révision ». Un problème doit être décrit, « Non applicable » doit être justifié, et « Je n’ai pas pu le vérifier » n’est pas une réponse favorable.
• Ce qui est conservé. La page, l’élément, l’appareil, les conditions (par exemple, clavier seul ou avec lecteur d’écran), qui l’a fait, quand et les preuves, avec la version des instructions suivies. Un brouillon peut être enregistré et repris ; une révision enregistrée n’est jamais modifiée ni supprimée, et une nouvelle s’ajoute aux précédentes.
• Enregistrée ne signifie pas réussie. « Révision manuelle enregistrée » confirme seulement qu’elle a été sauvegardée. Une réponse favorable vaut pour ce qui a été révisé (une page, un élément, certaines conditions), pas pour le reste du site.
• Les problèmes sont traités comme les autres. Un problème trouvé lors d’une révision est créé comme une incidence avec l’origine « Détecté en révision manuelle », lié à son guide et avec la même priorité que ceux de l’analyse automatique. Une révision ultérieure qui ne le trouve pas le clôt, pas une analyse automatique.
• Si la page change. Lorsqu’une nouvelle analyse détecte que la structure ou le texte de la page a changé depuis la révision, le critère devient « Nécessite une nouvelle révision » et l’évaluation antérieure reste jusqu’à ce que la révision soit répétée.
• Après une correction. Si l’analyse automatique ne peut pas décider qu’un élément a été corrigé, le guide spécifique peut être répété et la nouvelle révision enregistrée. Une révision manuelle favorable est l’une des preuves qui permettent d’archiver le travail (voir plus bas).

La progression de la révision manuelle est affichée à part de l’analyse automatique et du suivi du travail, et ce n’est pas un résultat de conformité. La révision manuelle enregistre des résultats et des preuves par critère. Consultez le résultat automatique et la progression de la révision séparément : pour l’instant, les révisions enregistrées ne modifient pas le score.

Le score d’accessibilité

Aujourd’hui, le score que vous voyez ne reflète que les tests automatiques. La formule prévue combine deux parties : tests automatiques (A) et révision manuelle (M). Lorsque la partie manuelle sera reliée au score, sans révision manuelle le maximum sera de 60.

P est le score d’accessibilité prévu : 60 % provenant des tests automatiques et 40 % de la révision manuelle.

La partie automatique (A)

A est égal au nombre e élevé à la puissance moins D divisé par 25. D est la somme, pour chaque règle avec des échecs confirmés, du poids de la règle multiplié par la part de pages où elle échoue :

• Poids de la règle (w) : 10 si la gravité est critique, 7 si elle est grave, 3 si elle est modérée et 1 si elle est mineure.
• Part de pages (p) : la proportion de pages analysées avec cet échec, sur n’importe quel appareil. Les pages prioritaires et les pages de l’échantillon de révision comptent double.
• Seules les règles WCAG de niveaux A et AA avec des échecs confirmés comptent, y compris les cas « À revoir » que votre équipe a marqués « Détection confirmée ».
• Les règles qui réussissent ne diluent pas le score, et le nombre d’éléments affectés ne compte pas : un seul style peut produire 200 échecs identiques.
• Reporter une correction, la marquer comme appliquée ou archiver son travail ne fait pas monter le score. Seule une analyse qui cesse de détecter le problème le fait, ou le rejet d’une détection avec justification (voir plus bas).

Lorsque D vaut zéro, A vaut 1. Plus les échecs sont graves et répandus, plus A se rapproche de zéro, sans jamais devenir négatif.

La partie manuelle (M)

M est la part de critères de succès qui réussissent après révision manuelle :

• C est l’ensemble des critères de succès de la norme choisie (55 avec la EN 301 549 v4.1.1, 50 avec la v3.2.1), moins ceux marqués « Non applicable » avec justification. Vous ne pouvez pas marquer un critère « Non applicable » si le moteur détecte qu’il s’applique : par exemple, une vidéo rend applicables les critères sous 1.2.
• Un critère ajoute 1 s’il est marqué « Réussi », si sa révision a moins de 12 mois et s’il n’a pas d’échecs confirmés ouverts. Sinon, il ajoute 0.

Quand nous affichons une note

Tant que vous n’avez pas révisé au moins 80 % des critères, vous verrez « Révision manuelle en attente (x/55) » au lieu d’une note. Ensuite, le score s’accompagne de l’une de ces bandes :

Bandes du score d’accessibilité

Score	Note
90 à 100	Excellent
75 à 89	Bon
50 à 74	À améliorer
Moins de 50	Faible

Un exemple

Une boutique en ligne a trois règles avec des échecs confirmés :

Exemple de calcul de D

Règle	Gravité et poids	Pages avec l’échec	Contribution à D
Boutons sans nom accessible	Critique, 10	50 %	5,0
Champ avec plus d’une étiquette	Modérée, 3	100 %	3,0
Étiquette d’accessibilité avec un type obsolète	Mineure, 1	20 %	0,2

• D = 8,2, donc A = e^−8,2/25 ≈ 0,72 et la partie automatique contribue 43,2 points.
• Aujourd’hui, avec M pas encore relié au score, le chiffre affiché est 43 (partie automatique seule).
• Lorsque la révision alimentera le score : sans révision manuelle, « Révision manuelle en attente (0/55) » sera affiché ; après avoir révisé 50 des 55 critères, dont 45 réussis, M = 45/55 ≈ 0,82 et la partie manuelle contribuera 32,7 points.
• Le score montera alors à 76. Comme plus de 80 % des critères auront été révisés, la note « Bon » sera affichée.

Pour voir comment ces chiffres apparaissent dans un rapport, lisez le rapport d’exemple, qui utilise un autre cas illustratif.

SEO et qualité

S est le score SEO ou le score de qualité, chacun calculé séparément. Comme pour l’accessibilité, D additionne le poids de chaque problème multiplié par la part de pages affectées, avec leurs propres poids de 10, 7, 3 et 1. Vous trouverez le tableau des poids sur la page SEO et qualité.

Performance

Lorsque le module de performance arrivera, son score sera 0,6 fois la médiane sur mobile plus 0,4 fois la médiane sur ordinateur, arrondi. Les données d’utilisateurs réels seront affichées à part. Bientôt

Décisions de l’équipe et vérifications des corrections

Ce que votre équipe enregistre sur chaque élément (une image, un bouton, un champ) est conservé en trois parties qui ne se remplacent pas, toujours par élément : en corriger une ne change pas les autres.

• Suivi du travail : correction en attente, en cours, correction appliquée en attente de vérification ou correction reportée. Cela ne change ni les chiffres ni le score : un problème reporté reste dans les résultats.
• Validation de la détection : validation en attente, détection confirmée ou détection rejetée avec justification. Confirmer une détection ne signifie pas qu’elle est corrigée.
• Résultat de la dernière vérification : toujours détecté, non détecté lors de la dernière vérification, n’a pas pu être vérifié ou nécessite une révision manuelle.

Comment un rejet affecte les chiffres et le score

• Rejeter une détection exige une justification, les preuves et le rôle de propriétaire ou d’administrateur. Qui l’a décidé et quand sont enregistrés.
• Un élément rejeté sort des compteurs et du score. Un problème cesse de compter sur une page seulement lorsque tous ses éléments y sont rejetés ; si le moteur trouve plus d’éléments qu’il n’en liste, la page continue de compter.
• La détection d’origine et son historique ne sont pas supprimés. Les rejets sont comptés à part, listés avec leur justification et peuvent être levés. Le score du moteur, sans rejets, est affiché à côté de celui qui les applique.
• Un élément à revoir ne compte dans le score qu’une fois qu’une personne confirme un élément.

Quand une vérification compte une correction comme vérifiée

Changer un état dans SiteNorma ne modifie pas votre site et ne lance aucune analyse. Pour vérifier une correction, vous ouvrez le résumé avant l’analyse, qui indique quelles pages seront vérifiées et combien elle consommera, et seul « Lancer l’analyse » la démarre. Une analyse ne peut dire qu’un élément n’est plus détecté que si :

• elle a analysé la page, sur chaque appareil où l’élément avait été détecté ;
• elle a utilisé le même moteur et les mêmes règles que l’analyse qui l’avait détecté ;
• le test a trouvé sur la page des éléments de ce type à juger, et qu’aucun autre élément avec le même problème n’apparaît qui pourrait être le même sous une autre adresse dans le code.

Dans tout autre cas, le résultat est « N’a pas pu être vérifié » ou « Nécessite une révision manuelle » (par exemple, un élément dans une fenêtre surgissante) et la correction reste en attente de vérification. Si l’élément est trouvé, il est toujours détecté. Le travail ne peut être archivé qu’après une vérification comparable qui ne le détecte pas, ou une révision manuelle favorable ultérieure ; si le problème est à nouveau détecté, le travail se rouvre comme en attente. Archiver ne certifie pas que le site respecte une réglementation.

Calibration et versions

• Les constantes (25 et 30) et les poids sont calibrés sur un corpus de boutiques en ligne espagnoles réelles. Ils peuvent être ajustés au fil du temps.
• Chaque analyse enregistre la version du moteur, du catalogue de règles et de la formule. Ainsi, vous pouvez comparer des analyses en sachant avec quoi elles ont été faites.
• Si une mise à jour du moteur fait apparaître ou disparaître un problème, nous le marquons comme « changement du moteur », pas comme une régression ni comme une correction de votre part.

Ce que le score n’est pas

Le score ne vous dit pas si votre site respecte la loi. Un site peut avoir un score élevé et pourtant échouer à un critère de succès important qu’aucun test automatique ne détecte. La conformité se décide critère par critère dans la matrice de conformité, avec révision humaine et preuves.

Version de la méthodologie : brouillon 0.1, 25 septembre 2026. Version de la formule de notation : 1.2.0 (inclut le traitement des rejets).