nicht angemeldet
Hallo,
habe auf einer Testseite bei lycos eine robots.txt eingesetzt:
User-agent: *
Disallow: /admin/
Disallow: /temp/
Disallow: /
User-agent: Google
Disallow: /
Ich weiß, daß ich es Google nciht explizit verbieten muß, nachdem ich es allen verboten habe. Ebenso weiß ich, daß ich nicht 2 Verzeichnisse explizit verbieten muß, wenn ich danach generell alle Verzeichnisse verbiete.
Aber mal davon unabhängig, in meinem Counterscript sehe ich, daß Google munter alle halbe Stunde lustig Seiten indiziert, die ich (ja sogar mehrfach) ausgeschlossen habe.
Ich habe die robots.txt mit inem Texteditor erstellt und im ASCII Format auf den Server in mein (virtuelles) root-verzeichniss gelegt.
Warum hält sich Google nicht daran?
Gruß, Nola