Seiten per .htaccess für den Googlebot sperren

[Tom]

Hello,

Der hier scheint regelmäßig in meinen Logfiles auf und der "aktuellste", den Microsoft verwendet:
Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)

Danke, der fehlte mir noch. Das ist konkret und hilft mir weiter. :)

Im Moment scheint das Thema zwar erstmal ein politisches Problem zu haben, aber was ist/war denn mit den ganzen chinesischen Firmen, die für Google weltweit recherchiert und klassifiziert haben? Die haben alle unterschiedliche IPs gehabt und trotzdem erschienen die Links auf die Contents dann einige Wochen später immer in Google, obwohl die Google-Bots nie direkt zugegriffen haben.

Und das galt selbst für Domains, die nie bewusst irgendwo veröffentlicht wurden, außer im DNS.

In der letzten Zeit ist da etwas Ruhe eingekehrt. Das wird aber kaum so bleiben.

Liebe Grüße aus dem schönen Oberharz

Tom vom Berg