nicht angemeldet
Hallo,
danke für alle Antworten.
Mir ist schon klar, dass sich damit die bösen Bots nicht ausschließen lassen, aber ich möchte einfach nur vermeiden, dass die Seiten, die e-Mail-Adressen enthalten von irgendeinem anderen Verzeichnis indexiert werden, wo sie DANN von einem Harvester entdeckt werden könnten.
Zusätzlich dazu habe ich die E-Mail-Adressen in den auszuschließenden Dokumenten in dezimal/hexadezimaler schreibweise kodiert, was -zumindest heute noch- vielen harvestern probleme bereiten sollte.
Außerdem ist eine der auszuschließenden Dateien ausschließlich als Mausefalle für die Harvester gedacht, denn es existiert lediglich ein versteckter link zu dieser seite: Da also kein realer User die Seite aufrufen wird und sich die seriösen Robots an das disallow halten werden, wird sich -im Umkehrschluss- nur ein unseriöser Robot auf diese Seite verlaufen, da sie ja eigentlich in der robots.txt gesperrt ist.
So kann man zumindest mal sehen, "wer" das so rumschnüffelt - was man mit dieser Info anfangen kann, ist 'ne andere Frage.
Vielen Dank und Gruß
H.