Der SiteNorma-Crawler

SiteNorma nutzt ihn, um Barrierefreiheit, SEO und technische Qualität von Webseiten zu analysieren. Wenn Sie ihn in Ihren Logs gesehen haben, finden Sie hier alles Wissenswerte.

Wie er sich identifiziert

Der Crawler identifiziert sich über seinen Namen SiteNorma und über diese Seite. Wenn er eine Seite mit seinem Browser lädt —bei einer Analyse, einer Seitenvorschau oder einer Eigentumsprüfung mit Meta-Tag oder Datei—, endet der User-Agent so:

… Safari/537.36 SiteNorma/1.0 (+https://sitenorma.com/rastreador/)

Der Anfang entspricht einem gewöhnlichen Chrome mit der Version des Browsers, den wir verwenden. Beim Scan für Mobilgeräte steht Android darin, das Ende ist dasselbe. Zum Lesen von robots.txt und Sitemaps sowie zum Prüfen von Links nutzen wir diesen anderen User-Agent:

Mozilla/5.0 (compatible; SiteNorma/1.0; +https://sitenorma.com/rastreador/)

Der Crawler identifiziert sich mit dem auf dieser Seite beschriebenen User-Agent. Wenn Sie eine Anfrage prüfen müssen, kontaktieren Sie unser Team. Sobald wir feste Ausgangs-IP-Adressen veröffentlichen, listen wir sie hier auf.

Wann er Ihre Website besucht

  • Wenn ein SiteNorma-Kunde eine Website scannt, in der Regel die eigene oder die eines Kunden, der die Erlaubnis gegeben hat.
  • Wenn jemand unsere kostenlose Analyse auf einer Seite Ihrer Website nutzt.
  • Wenn wir das Eigentum einer Website prüfen (Meta-Tag oder Datei unter /.well-known/).
  • Um die Links gescannter Seiten zu prüfen und künftig die Verfügbarkeit der Websites, die unsere Kunden überwachen.

Vollständige und wiederkehrende Scans können nur auf Websites ausgeführt werden, deren Eigentümerschaft verifiziert wurde. Ohne Verifizierung werden höchstens wenige Seiten gescannt.

Was er tut und nicht tut

  • Er lädt Seiten in einem echten Browser mit Stylesheets, Bildern und Skripten, denn ohne sie lassen sich Dinge wie Kontrast nicht messen.
  • Er schließt den Cookie-Banner, wenn das nötig ist, um den Inhalt zu analysieren.
  • Er sendet keine Formulare ab, meldet sich nicht an, löst keine CAPTCHAs oder Sicherheitsprüfungen und versucht nicht, Paywalls zu umgehen. Findet er eine Challenge-Seite, markiert er sie als blockiert und macht weiter.
  • Er erfasst keine personenbezogenen Daten Ihrer Nutzer.

Er respektiert Ihre robots.txt

Bevor er eine Website scannt, liest der Crawler deren robots.txt-Datei und folgt ihren Regeln gemäß RFC 9309. Existiert robots.txt nicht (4xx-Fehler), gehen wir von keinen Einschränkungen aus; schlägt der Server fehl (5xx-Fehler), scannen wir nichts.

Für robots.txt-Regeln heißt der Crawler SiteNormaBot. Das ist einer der beiden Namen, nach denen wir in Ihren Regeln suchen; der andere ist SiteNorma, der im User-Agent unserer Anfragen steht, und wir wenden die Regeln von beiden an. Das Wort „bot“ fehlt im User-Agent absichtlich, weil manche Server jede Anfrage drosseln, die es enthält; wir identifizieren uns dennoch mit Namen und dieser Seite und folgen Ihrer robots.txt. Wir folgen auch den allgemeinen Regeln der Gruppe User-agent: *.

In ruhigem Tempo

Wir scannen nur wenige Seiten gleichzeitig pro Domain und stellen beim Prüfen von Links höchstens eine oder zwei gleichzeitige Anfragen pro Server.

Antwortet Ihr Server mit dem HTTP-Fehler 429 (oder mit 503 und einem Retry-After-Header), warten wir so lange, wie angegeben, zwischen 3 und 30 Sekunden (etwa 5, wenn keiner angegeben ist), verlangsamen unsere Anfragen an diesen Server und laden die Seite einmal erneut. Verweigert er Anfragen nach diesem Warten weiterhin, verlängern wir die Wartezeit ein paar Mal und fordern dann die restlichen Dateien dieser Seite nicht mehr an. Verlangt der Server, mehr als 30 Sekunden zu warten, laden wir seine Seiten nicht erneut, machen aber mit den anderen weiter.

Können wir die Seite weiterhin nicht laden, analysieren wir sie nicht: Sie erscheint als „nicht analysiert“, zählt nicht für die Schätzung und wird nicht als Mangel Ihrer Website behandelt. Wir hören auf anzufragen, wenn drei Seiten hintereinander nicht geladen werden können: Wir laden keine weiteren Seiten und prüfen auch die Links dieser Website nicht mehr.

Wenn SiteNorma Ihre Website in normalem Tempo analysieren soll, erlauben Sie seine Anfragen auf Ihrem Server oder in Ihrer Firewall. Sie erkennen sie an SiteNorma/1.0 im User-Agent.

So blockieren Sie ihn

Damit SiteNorma Ihre Website nicht scannt, fügen Sie Folgendes zu Ihrer robots.txt hinzu:

User-agent: SiteNormaBot
Disallow: /

Sie können auch nur bestimmte Abschnitte blockieren:

User-agent: SiteNormaBot
Disallow: /mi-cuenta/
Disallow: /carrito/

Beachten Sie: Wenn Sie den Crawler blockieren, können Sie Ihre Website weder mit SiteNorma noch mit unserer kostenlosen Analyse scannen.

Kontakt

Wenn der Crawler Probleme auf Ihrer Website verursacht oder Sie glauben, dass er unsachgemäß handelt, schreiben Sie an hi@gassiotllobet.com oder nutzen Sie das Kontaktformular. Wir antworten so bald wie möglich.