Botaufrufe einhegen

[Soso]

ich betreibe eine nicht-kommerzielle Webseite, die monatlich sechsstellige Zugriffszahlen hat. Aber leider nicht annähernd so viele Besucher, die sind eher im niedrigen dreistelligen Bereich.

Ganz grundsätzlich vorweg: Du solltest dir überlegen, was dich eigentlich genau stört. Sechsstellige Zugriffszahlen sollten für sich alleine jedenfalls kein Problem sein.

Ein Problem wäre es hingegen beispielsweise, falls der Server in die Knie geht oder dein Vertrag die Datenmengen nicht abdeckt.

Eine der Ursachen ist die überbordende Abfrage eines Veranstaltungskalenders durch Bots, hauptsächlich durch den GoogleBot. Der öffentlich zugängliche Bereich (mit dem Kalender) kommt ohne JS und Cookies aus, so dass ich die Parameter für den Kalender (Zeitraum, regionale und thematische Filter) im URL an das ausliefernde php-Skript liefere. Und leider variieren die Bots mittlerweile die verschiedenen Möglichkeiten, diese Parameter einzustellen - mit der Folge, dass zahlreiche Varianten abgefragt werden.

Ich könnte beispielsweise - nur bei Anfragen mit über die Standardeinstellung hinausgehenden Parametern - in der .htaccess ein Header set X-Robots-Tag "noindex, nofollow" verwenden.

Eine Seite, die sich selbst mit noindex versieht, landet zwar nicht im Index, wird aber nach wie vor abgerufen. Dein Problem bestünde also zumindest in Teilen nach wie vor.

Manche Suchmaschinen (einschließlich Google) unterstützen Platzhalter in der robots.txt, namentlich das Sternchen (beliebige Zeichen) und das Dollarzeichen (Ende des Pfades), siehe https://developers.google.com/search/reference/robots_txt#auf-pfadwerten-basierende-url-%C3%BCbereinstimmung

Angenommen, deine Kalender-URLs folgen dem Beispiel "/kalender/?monat=januar", kannst du mit der Zeile "Disallow: /kalender/$" sämtliche Seiten innerhalb des Kalenders vom Abruf ausschließen, während seine Hauptseite unbeschadet bleibt.

Du könntest dir zusätzlich überlegen, ob du einen Teil der Parameter in den eigentlichen Pfad übernimmst, etwa /kalender/2020/januar/ statt kalender/?monat=januar&jahr=2020. Du nimmst den Bots damit die Möglichkeit zu variieren und die Seiten landen ohne Aufwand im Index.

Dein Skript stünde weiterhin unter /kalender/index.php, die anhängenden Pfadteile 2020 und januar bekommst du über die Variable PATH_INFO geliefert. Die Option muss eventuell im Server eingeschaltet werden (Apache: AcceptPathInfo). Näheres unter https://www.php.net/manual/de/reserved.variables.server.php (nach PATH_INFO suchen) und http://httpd.apache.org/docs/2.4/mod/core.html#acceptpathinfo