nicht angemeldet
Hi,
Außerdem ist eine der auszuschließenden Dateien ausschließlich als Mausefalle für die Harvester gedacht, denn es existiert lediglich ein versteckter link zu dieser seite: Da also kein realer User die Seite aufrufen wird
hier irrst Du bzw. vergißt die Besucher, die sich eine Seite komplett herunterladen - und das sind bei interessanten Seiten durchaus nicht wenige. Und nicht alle Offline-Reader halten sich an die robots.txt.
freundliche Grüße
Ingo