nicht angemeldet
ich habe gerade einen Suchmaschineneintrag gecheckt und fand bei Crawler einen Eintrag, der beim angegebenen Suchwort direkt auf das Forumsarchiv verwies.
Da überlegt man sich dann schon, was man so alles zum Besten gibt ;).
Wundert Dich das? Wenn die Seiten als HTML-Files auf irgend 'nem Server rumliegen, sind sie nun mal Bestandteil des WWW und somit jederzeit auffindbar.
Die robots.txt ist m.W. nur eine "Empfehlung" an die Such-Engines, die Seite doch *bite, bitte nicht* zu indexieren. Verhindern kann man es aber wohl nicht...
Gruß,
Stefan