nicht angemeldet
Hi!
ja, ist besagtes Tool, wo die Einträge einige Wochen aus dem Index
verschwinden und dann später wieder drin sind. Praktisch vergisst
Google die dort gemeldeten Domains, findet die aber wieder, falls
sie noch irgendwo verlinkt sind und trägt sie (nach einer Sperr-
frist) wieder neu in den Index ein.
Hm, aber das _kann_ doch nicht sein bei Deiner robots.txt. Das gibts doch nicht!
Naja, anscheinend doch:
http://www.google.de/search?q=google+ignoriert+robots.txt
http://www.google.de/search?q=google+ignore+robots.txt
Ich würde evtl. die IPs von Google sperren(da ich mir vorstellen könnte dass google sich auch mal einen anderen UA schnappt um dämliche Spammer zu überführen, wobei, bringt wohl eh nix denn die IPs sind ja auch bekannt, dann würden die wohl auch andere IPs brauchen, naja... ich werd das mal genauer erroieren ;-) ):
64.68.80.0 - 64.68.87.255
216.239.32.0 - 216.239.63.255
wären mir bekannt. Sind zwar nicht alles Spider, aber wenn die zu doof sind mit der simplen robots.txt umzugehen dann haben die Google-Mitarbeiter es auch nicht verdient auf Deine Seite zu kommen ;-)
Grüße
Andreas