El rastreador de SiteNorma

Cómo se identifica

El rastreador se identifica por su nombre, SiteNorma, y por esta página. Cuando carga una página con su navegador —en un análisis, en la vista previa de una web o al comprobar la propiedad con la etiqueta meta o el fichero—, el agente de usuario termina así:

… Safari/537.36 SiteNorma/1.0 (+https://sitenorma.com/rastreador/)

El principio es el de un Chrome corriente, con la versión del navegador que usamos. En el análisis de móvil indica Android, pero el final es el mismo. Para leer robots.txt y los mapas del sitio y para comprobar enlaces usamos este otro agente de usuario:

Mozilla/5.0 (compatible; SiteNorma/1.0; +https://sitenorma.com/rastreador/)

El rastreador se identifica mediante el agente de usuario descrito en esta página. Si necesitas verificar una petición, contacta con nuestro equipo. Cuando publiquemos direcciones IP fijas de salida, las listaremos aquí.

Cuándo visita tu web

• Cuando un cliente de SiteNorma analiza una web, normalmente la suya o la de un cliente que le ha dado permiso.
• Cuando alguien usa nuestra auditoría gratuita con una página de tu web.
• Cuando comprobamos la propiedad de una web (etiqueta meta o fichero bajo /.well-known/).
• Para comprobar los enlaces de las páginas analizadas y, en el futuro, la disponibilidad de las webs que nuestros clientes vigilan.

Los análisis completos y periódicos solo se pueden hacer en webs cuya propiedad se ha verificado. Sin verificar, como mucho se analizan unas pocas páginas.

Qué hace y qué no hace

• Carga las páginas con un navegador real, con sus hojas de estilo, imágenes y scripts, porque sin ellos no se puede medir, por ejemplo, el contraste.
• Cierra el banner de cookies cuando es necesario para analizar el contenido.
• No envía formularios, no inicia sesión, no resuelve CAPTCHAs ni desafíos de seguridad y no intenta saltarse muros de pago. Si encuentra una página de desafío, la marca como bloqueada y sigue.
• No recoge datos personales de tus usuarios.

Respeta tu robots.txt

Antes de analizar una web, el rastreador lee su archivo robots.txt y sigue sus reglas, conforme al estándar RFC 9309. Si robots.txt no existe (error 4xx), entendemos que no hay restricciones; si el servidor falla (error 5xx), no analizamos nada.

Para las reglas de robots.txt, el nombre del rastreador es SiteNormaBot. Es uno de los nombres con los que buscamos tus reglas; el otro es SiteNorma, que es el que aparece en el agente de usuario de las peticiones, y atendemos las reglas de cualquiera de los dos. La palabra «bot» no figura en el agente de usuario a propósito, porque algunos servidores limitan por ese motivo todas las peticiones que la contienen; nos identificamos igualmente por nuestro nombre y por esta página, y seguimos tu robots.txt. También seguimos las reglas generales del grupo User-agent: *.

A poca velocidad

Analizamos pocas páginas a la vez en cada dominio y, al comprobar enlaces, hacemos como máximo una o dos peticiones simultáneas por servidor.

Si tu servidor responde con el error HTTP 429 (o con un 503 con la cabecera Retry-After), esperamos el tiempo que indica, entre 3 y 30 segundos (unos 5 si no indica ninguno), reducimos el ritmo de nuestras peticiones a ese servidor y cargamos la página una vez más. Si sigue rechazando peticiones enviadas después de esa espera, alargamos la espera un par de veces y después dejamos de pedir el resto de archivos de esa página. Si el servidor pide esperar más de 30 segundos, no repetimos la carga de sus páginas, pero seguimos con las demás.

Si aun así no podemos cargar la página, no la analizamos: aparece como «no analizada», no cuenta en la estimación y no se interpreta como un incumplimiento de tu web. Dejamos de insistir cuando tres páginas seguidas no se pueden cargar: no cargamos más páginas y tampoco comprobamos los enlaces de esa web.

Si quieres que SiteNorma analice tu web a un ritmo normal, permite sus peticiones en tu servidor o en tu cortafuegos. Puedes reconocerlas por SiteNorma/1.0 en el agente de usuario.

Cómo bloquearlo

Para impedir que SiteNorma analice tu web, añade esto a tu robots.txt:

User-agent: SiteNormaBot
Disallow: /

También puedes bloquear solo algunas secciones:

User-agent: SiteNormaBot
Disallow: /mi-cuenta/
Disallow: /carrito/

Ten en cuenta que, si bloqueas el rastreador, tampoco podrás analizar tu web con SiteNorma ni con nuestra auditoría gratuita.

Contacto

Si el rastreador causa algún problema en tu web o crees que hace un uso indebido, escríbenos a hi@gassiotllobet.com o usa el formulario de contacto. Te responderemos lo antes posible.