nicht angemeldet
Hallo,
er hat lediglich gesagt, dass google die robots.txt ignoriert, wenn in den meta tags widersprechende angaben enthalten sind - dann beachtet google letztere, obwohl eigentlich die angaben in der robots.txt stärkeres gewicht haben sollten.
Genau. Meine Aussage beruht uebrigens auf eigener Erfahrung.
Ich hatte ein Unterverzeichnis in der robots.txt "gesperrt".
Google ging trotzdem rein, sah, dass ich das META-Tag
<META NAME="ROBOTS" CONTENT="INDEX, FOLLOW">
drin hatte, und indizierte die Seiten.
(Es handelte sich um ein Testverzeichnis, das eine 1:1-Kopie
eines anderen Verzeichnisses war. Deshalb auch die Meta-Tags.
Google und andere Robots hatten dort IMHO wirklich nichts zu
suchen, aber eben, sie halten sich nicht an die robots.txt...)
Der einzige einigermassen wirksame Schutz vor Robots ist IMHO
ein Verzeichnisschutz mit .htaccess u.s.w.
Fuer "menschliche" Besucher kann man ja Benutzername/Kennwort
offen lesbar auf der Seite angeben (oder sogar im Auth-Dialog).
Gruesse,
Thomas