iptables-persistent und fail2ban

[Hannes]

Hallo,

Denn eigentlich möchte ich den Googlebot nicht aussperren. ;-)

Dafür gibt es extra die Option ignoreip. Steht sogar beschrieben in der Default-Config.

Danke, die Einstellung ist mir durchaus bekannt im Gegensatz zu den möglichen IPs des Googlebots.

Vielleicht kannst du mir bitte sagen, ob der auch noch in einem anderen IP-Bereich als 66.249.64.0/20 (66.249.64.0 - 66.249.79.255) unterwegs ist?

mit Sicherheit - und wenn nicht diesen Monat, dann nächsten Monat oder übernächstes Jahr. Google ist zudem auch inkognito unterwegs, um zu prüfen, ob ein Suchmaschinenspammer (vulgo: SEO) den Index mit anderen Sachen beliefert als Otto Normalsurfer. Und davon ganz unabhängig sind Ausnahmeregeln für Google nur ein Rumdoktern an den Symptomen, keine Ursachenbeseitigung.

Kurzum: Der IP-Nummernfilter ist ein Griff ins Klo, damit brauchst du gar nicht erst anfangen.

Grund sind Requests à la: Invalid method in request \x16\x03\x01
Das "passiert" ja AFAIK wenn ein Request mit HTTPS an einen Nicht-HTTPS-VH gerichtet wird. > Ich hab' aber keine Ahnung, wie oder warum der Googlebot permanent auf solche Ideen kommt ...!?

Da musst du aber ansetzen, denn das wäre die Ursache. Klopfe deine Konfiguration ab, hast du möglicherweise den Port 443 für den Webserver offen, aber kein SSL eingeschaltet (-> Port schließen)? Oder hast du SSL auf einem Webserver eingeschaltet, der auch virtuelle Hosts beliefert (-> Port 443 nur für SSL-Host freigeben, oder SSL und Port abschalten)?

Falls du bei dir keine Ursache findest, ist es halt so, dann ist jemand anderes verantwortlich und du brauchst dir keinen Kopf machen. Konfiguriere fail2ban so, dass es auf diese Fehler generell nicht reagiert, oder schmeiße fail2ban ganz raus, ist für so ziemlich alle Webserver eh überbewertet.
Du hast nichts davon, wenn du ständig nach den aktuellen IP-Adressen des Googlebots suchen musst und dir obendrein nicht einmal sicher sein kannst, dass du auch alle erwischt hast. Dann kannst du es dir auch einfacher machen und selbst die Protokolle des Webservers auswerten.

Schönen Tag,
Hannes