L’explorateur SiteNorma

Comment il s’identifie

L’explorateur s’identifie par son nom, SiteNorma, et par cette page. Lorsqu’il charge une page avec son navigateur —lors d’une analyse, d’un aperçu de site ou d’une vérification de propriété avec la balise meta ou le fichier—, l’user-agent se termine ainsi :

… Safari/537.36 SiteNorma/1.0 (+https://sitenorma.com/rastreador/)

Le début est celui d’un Chrome ordinaire, avec la version du navigateur que nous utilisons. Lors d’une analyse mobile, il indique Android, mais la fin est la même. Pour lire robots.txt et les sitemaps et pour vérifier les liens, nous utilisons cet autre user-agent :

Mozilla/5.0 (compatible; SiteNorma/1.0; +https://sitenorma.com/rastreador/)

L’explorateur s’identifie avec l’user-agent décrit sur cette page. Si vous devez vérifier une requête, contactez notre équipe. Lorsque nous publierons des adresses IP de sortie fixes, nous les listerons ici.

Quand il visite votre site

• Lorsqu’un client SiteNorma analyse un site, en général le sien ou celui d’un client qui lui en a donné l’autorisation.
• Lorsqu’une personne utilise notre audit gratuit sur une page de votre site.
• Lorsque nous vérifions la propriété d’un site (balise meta ou fichier sous /.well-known/).
• Pour vérifier les liens des pages analysées et, à l’avenir, la disponibilité des sites que nos clients surveillent.

Les analyses complètes et récurrentes ne peuvent être lancées que sur des sites dont la propriété a été vérifiée. Sans vérification, quelques pages au plus sont analysées.

Ce qu’il fait et ne fait pas

• Il charge les pages dans un navigateur réel, avec leurs feuilles de style, images et scripts, car sans eux il est impossible de mesurer des éléments comme le contraste.
• Il ferme la bannière de cookies lorsque c’est nécessaire pour analyser le contenu.
• Il n’envoie pas de formulaires, ne se connecte pas, ne résout pas de CAPTCHA ni de défis de sécurité et n’essaie pas de contourner les paywalls. S’il trouve une page de défi, il la marque comme bloquée et passe à la suite.
• Il ne collecte pas les données personnelles de vos utilisateurs.

Il respecte votre robots.txt

Avant d’analyser un site, l’explorateur lit son fichier robots.txt et en suit les règles, conformément à la norme RFC 9309. Si robots.txt n’existe pas (erreur 4xx), nous supposons qu’il n’y a pas de restrictions ; si le serveur échoue (erreur 5xx), nous n’analysons rien.

Pour les règles robots.txt, le nom de l’explorateur est SiteNormaBot. C’est l’un des deux noms que nous cherchons dans vos règles ; l’autre est SiteNorma, celui qui figure dans l’user-agent de nos requêtes, et nous appliquons les règles de l’un ou de l’autre. Le mot « bot » est volontairement absent de l’user-agent, car certains serveurs limitent toute requête qui le contient ; nous nous identifions malgré tout par le nom et par cette page, et nous respectons votre robots.txt. Nous suivons aussi les règles générales du groupe User-agent: *.

À un rythme mesuré

Nous n’analysons que quelques pages à la fois sur chaque domaine et, lors de la vérification des liens, nous faisons au plus une ou deux requêtes simultanées par serveur.

Si votre serveur répond avec l’erreur HTTP 429 (ou avec un 503 et un en-tête Retry-After), nous attendons le délai indiqué, entre 3 et 30 secondes (environ 5 s’il n’en donne aucun), ralentissons nos requêtes vers ce serveur et rechargeons la page une fois. S’il continue de refuser les requêtes après cette attente, nous prolongeons l’attente deux fois, puis cessons de demander les fichiers restants de cette page. Si le serveur nous demande d’attendre plus de 30 secondes, nous ne rechargeons plus ses pages, mais nous poursuivons avec les autres.

Si nous ne parvenons toujours pas à charger la page, nous ne l’analysons pas : elle apparaît comme « non analysée », ne compte pas dans l’estimation et n’est pas traitée comme un défaut de votre site. Nous cessons de demander lorsque trois pages d’affilée ne peuvent pas être chargées : nous ne chargeons plus de pages et nous ne vérifions plus non plus les liens de ce site.

Si vous voulez que SiteNorma analyse votre site à un rythme normal, autorisez ses requêtes sur votre serveur ou votre pare-feu. Vous pouvez les reconnaître grâce à SiteNorma/1.0 dans l’user-agent.

Comment le bloquer

Pour empêcher SiteNorma d’analyser votre site, ajoutez ceci à votre robots.txt :

User-agent: SiteNormaBot
Disallow: /

Vous pouvez aussi ne bloquer que certaines sections :

User-agent: SiteNormaBot
Disallow: /mi-cuenta/
Disallow: /carrito/

Gardez à l’esprit que, si vous bloquez l’explorateur, vous ne pourrez plus analyser votre site avec SiteNorma ni avec notre audit gratuit.

Contact

Si l’explorateur pose des problèmes sur votre site ou si vous pensez qu’il agit de façon incorrecte, écrivez-nous à hi@gassiotllobet.com ou utilisez le formulaire de contact. Nous vous répondrons dès que possible.