robots.txt oder Meta?

[Thomas Luethi]

Hallo Mitschel,

Ich habe vor einiger Zeit mal die Erfahrung gemacht, dass Google
auch Seiten indexiert hat, die er gemäss robots.txt gar nicht
hätte aufrufen sollen, bei denen aber im HEAD folgendes stand:
<meta name='robots' content='index, follow' />

Das war natürlich ein Widerspruch, aber nach meinem Verständnis
sollte ein Robot zuerst mal die robots.txt beachten und Dinge,
die dort als "verboten" bezeichnet werden, gar nicht erst abrufen.
Google hat sich aber anders verhalten, nämlich im Stil: "Gehen
wir doch trotzdem mal in die verbotene Kammer schauen, vielleicht
hat es dort ja etwas, das ich sehen darf ..."

Fazit: Wenn Du willst, dass die halbwegs anständigen Suchmaschinen
(inkl. Google) eine Seite nicht besuchen/indizieren, kannst Du

• entweder nur eine robots.txt hintun, aber keine Meta-Angaben
    in die Dateien selbst schreiben, und dann hoffen, dass
    Google sich in dem Fall an die robots.txt hält.
• oder, um ganz "sicher" zu sein, in der robots.txt und in
    den Meta-Angaben die gleichen Anweisungen/Verbote aussprechen.
    Natürlich bist Du auch in dem Fall noch auf das anständige
    Verhalten der Robots angewiesen ...

HTH, mfg
Thomas