Hallo,
Logischerweise müßte man jetzt die .htaccess so umschreiben, dass nur noch bestimmte Browser rein dürfen. Alle anderen werden ausgesperrt...
...was mehr als bloß schlecht ist. Nur, weil man einen Browser nicht kennt, heißt es nicht, dass der nicht auf die Seite darf, oder? Außerdem: was hindert einen Crawler daran, eine UA-Kennung z.B. vom Internet Explorer zu senden?
Es gibt im Endeffekt keine Möglichkeit, Crawler auszusperren, außer Emailadressen nur noch als Bilder anzubieten (naja, und mit OCR könnte selbst da noch etwas zu machen sein) und nur Kontaktformulare zu verwenden. (was IMHO auch alles andere als schön ist)
Viele Grüße,
Christian