Hello,
Wenn es nach mir ginge, gehts ja leider nicht, dürften Suchmaschinen nur durch meine ausdrückliche Aufforderung/Erlaubnis, meine Inhalte indexieren.
Und nicht umgekehrt, wie der Zettel am Auto.Und genau diese Erlaubnis hat es ja mal gegeben:
<meta name="robots" content="index,follow">
<meta name="revisit-after" content="7 days">oder so ähnlich hat man früher mal dafür benutzt, was mMn eine eindeutige Aufforderung zur Indizierung darstellt. Aber früher war ja sowieso alles besser ;-)
Eine Aufforderung zur Indizierung? Also wie ein Zettel: "das darfst du klauen". Aber eigentlich unnötig, denn "ohne" diese Zettel(Metatags) wäre aus Suchmaschinensicht ebenfalls die Aufforderung da und genau das ist das Problem, denn dieses Metatags oder robots.txt sollten die Erlaubnis erteilen und wenn nicht vorhanden, dann haben die spider gefälligst draussen zu bleiben oder zumindest keine Cacheseiten meiner Webseite/Content zu publizieren.
Peter