robot.txt

[Der Martin]

Hi,

Abgesehen vom Umstand, dass eine Seite bereits übermittelt ist, wenn sie bei einem Client jenseits des Webservers angezeigt/eingelesen wird, gibt es keine Möglichkeit, einen Client zu bitten, anzuweisen oder gar zu zwingen, Teile des Dokuments zu ignorieren.

aber man kann mit serverseitigen Techniken und User Agent Sniffing versuchen, bekannte Bots als Clients zu erkennen, und denen dann Teile des Dokuments vorenthalten.

Natürlich ist das keine sichere Methode - niemand wird garantieren, dass man Suchmaschinen-Bots immer an ihrem UA erkennt. Aber andererseits ist auch die Masche mit robots.txt nicht sicher, denn wer sagt uns, dass die vielen Bots sich wirklich daran halten?

So long,
 Martin