Unsicherheit beim User Agent "Go-http-client/1.1"

[einsiedler]

Hallo liebe Forumer,

seid einiger Zeit habe ich im Log ständig Aufrufe vom User Agent Go-http-client/1.1. Und zwar sind die meistens IPs immer aus Schweden:

192.71.30.89

192.71.142.35

192.71.44.44

192.36.71.133

192.71.225.127

192.71.2.171

192.36.53.165

192.71.10.105

und fragen zum Beispiel:

GET /robots.txt HTTP/1.0

GET /humans.txt HTTP/1.0

GET /ads.txt HTTP/1.0

aber auch mal nach GET /login.php ab

Nun bin ich sehr geneigt mal dies einzudämmen und den User Agent auszusperren mit:

RewriteCond %{HTTP_USER_AGENT} Go-http-client/1.1 [NC,OR]

Nun habe ich aber im NET mitbekommen das dieser User Agent von Google genutzt wird und beim Ranking von websites beteidigt ist, und man ihn nicht sperren solle.

Was soll ich nun tun? Wenn er doch ständig soetwas abfragt (s.o.), macht das auch google? Und das mit einer schwedischen IP?

Was ist da zu tun?

Grüße der misanthrop