einsiedler: Unsicherheit beim User Agent "Go-http-client/1.1"

Hallo liebe Forumer,

seid einiger Zeit habe ich im Log ständig Aufrufe vom User Agent Go-http-client/1.1. Und zwar sind die meistens IPs immer aus Schweden:

192.71.30.89

192.71.142.35

192.71.44.44

192.36.71.133

192.71.225.127

192.71.2.171

192.36.53.165

192.71.10.105

und fragen zum Beispiel:

GET /robots.txt HTTP/1.0

GET /humans.txt HTTP/1.0

GET /ads.txt HTTP/1.0

aber auch mal nach GET /login.php ab

Nun bin ich sehr geneigt mal dies einzudämmen und den User Agent auszusperren mit:

RewriteCond %{HTTP_USER_AGENT} Go-http-client/1.1 [NC,OR]

Nun habe ich aber im NET mitbekommen das dieser User Agent von Google genutzt wird und beim Ranking von websites beteidigt ist, und man ihn nicht sperren solle.

Was soll ich nun tun? Wenn er doch ständig soetwas abfragt (s.o.), macht das auch google? Und das mit einer schwedischen IP?

Was ist da zu tun?

Grüße der misanthrop

  1. GET /robots.txt HTTP/1.0
    GET /humans.txt HTTP/1.0
    GET /ads.txt HTTP/1.0
    

    Absolut harmlos. Google hat veröffentlicht, wwarum es nach diesen Dateien fragt und was drin stehen sollte.

  2. Hallo liebe Forumer,

    meine wichtigste Frage ist: Kann ich den User Agent Go-http-client/1.1. nun "blocken" wie vieles andere auch (es gibt jetzt sogar einen Corona User Agent (Covid-Schutzmasken.de) oder sollte ich es nicht tun weil er was mit google zu tun hat? Das diese Anfragen harmlos sind das weiß ich auch lieber Raketenbalddrian. Die IP`s sind aus Schweden also was soll Googel damit zutun haben?

    Helft mir in der Verunsicherung!

    Der misanthrop

    1. Hallo,

      meine wichtigste Frage ist: Kann ich den User Agent Go-http-client/1.1. nun "blocken" wie vieles andere auch

      natürlich kannst du das tun - aber wozu? Welches Ergebnis oder welchen Nutzen versprichst du dir davon?

      Das diese Anfragen harmlos sind das weiß ich auch lieber Raketenbalddrian.

      Also warum machst du dir dann so viele Gedanken darum? Du kommst mir vor wie jemand, der einen Stacheldrahtzaun nach dem anderen um sein Anwesen zieht, nur weil ab und zu die Nachbarsbuben durch deinen Garten rennen, und du dich um deine Blumenbeete sorgst. Am Ende kommt vor lauter Zaun nicht einmal mehr der Briefträger ans Haus.

      Die IP`s sind aus Schweden also was soll Googel damit zutun haben?

      Google ist ein weltweiter Konzern. Warum sollen die nicht auch IPs aus Schweden benutzen?

      Helft mir in der Verunsicherung!

      Es ist schwer, dir zu helfen, weil das, was du oft beklagst, eigentlich gar keiner Hilfe bedarf. Sei lockerer, vermute nicht gleich hinter jeder Auffälligkeit einen gefährlichen Angriff.

      Live long and pros healthy,
       Martin

      --
      Ich stamme aus Ironien, einem Land am sarkastischen Ozean.
      1. Also warum machst du dir dann so viele Gedanken darum? Du kommst mir vor wie jemand, der einen Stacheldrahtzaun nach dem anderen um sein Anwesen zieht, nur weil ab und zu die Nachbarsbuben durch deinen Garten rennen, und du dich um deine Blumenbeete sorgst. Am Ende kommt vor lauter Zaun nicht einmal mehr der Briefträger ans Haus.

        Ich habe im REAL-LIFE schon so viele Blender und "(menschliche) Krampen" kennengelernt, es reicht mir einfach, mein Beschluß steht fest: Ich schotte mich ab und lebe mein Leben (villeicht) die restlichen 50 Jahre vor mich hin!

        der misanthrop

    2. Die IP`s sind aus Schweden also was soll Googel damit zutun haben?

      Google hat seine Server weltweit verteilt. Auch in Schweden, sogar auf Grönland. Gerne dort, wo es Wasserkraft gibt und schön kalt ist - weil das eine „Öko“ ist und das andere Geld für die Kühlung spart.

      Konzentriere Dich nicht so sehr auf Agenten und woher die kommen - sondern darauf, was die tun.

      (es gibt jetzt sogar einen Corona User Agent (Covid-Schutzmasken.de)

      Weißt Du, die Sache ist die:

      Es gibt Spammer, die ganz genau wissen, dass es eine ganze Reihe von überängstlichen Typen gibt, welche auf Ziegen Logfiles starren und bei jeder Unregelmäßigkeit in Panik verfallen. Die schicken den Spam nicht mehr per Mail (die werden ja gefiltert), sondern als "Useragent-Spam". Und in dem Fall könnte das effektiv sein, weil die überängstlichen sich statistisch häufiger Jahrhundertvorräte an überteuerten und unbrauchbaren Masken - womöglich auch bei solchen Spammern - kaufe, per Vorkasse zahlen und mit nicht vorhersehbaren Ergebnis beim lieben Gott sodann um die tatsächliche Lieferung bitten. Es gibt auch noch Referer-Spam für „Ziegen Logfile-Starrer“.

      Du kannst Dir die Mühe machen, diesen Agent oder die IP zu sperren oder das lassen. Die Resultate sind ähnlich.