Darum, dass Suchmaschinen nicht indizieren dürften, ohne extra dazu aufgefordert zu werden, oder darum, dass sie die Suchergebnisse cachen dürften?
Öffentlich bereitstellen der Inhalte egal ob durch Cache oder Realtime-Spiegelung. Sei es Bilder, Dokumente, Texte, oder sonstwas.
Interessant finde ich auch die Vorgehensweise, wenn man seinen Inhalt nicht mehr in einer Suchmaschine sehen will, weil der in Real gar nicht mehr existiert. Dann erwartet Google zum beispiel eine Änderung der Metadaten/Robotstexte, wobei gar keinen Zugriff mehr auf den Webspace ist.
Peter