Moin!
Hi,
in robots.txt sperre ich einige meiner Seiten. Die böswilligen bots ignorieren dies offenbar. Alle jene in .htaccess auszuschleßen ist wohl vergebliche Liebesmühe. Gibt es aber umgekehrt eine Liste der "anständigen" Suchmaschinen, die man zulassen könnte?
Damit bräuchtest du auch eine Liste der "anständigen Browser" deiner Besucher, die du zulassen willst.
Was ist dein Problem mit den Bots? Vielleicht löst sich das Problem anders.
- Sven Rautenberg