.htaccess rewrite condition

[Sven Rautenberg]

Moin!

User Agents der Form libwww-perl/... spidern auf meinen Seiten recht fleissig, und ich fürchte, dass sie noch mehr als das tun, und nicht nur Gutes ;-)

Was sie tun, siehst du im Logfile.

Es ist ein Leichtes für Spider mit bösen Absichten, sich einen User-Agent-String eines existierenden Browsers zuzulegen, um damit Sperrungen nach deinem Strickmuster zu umgehen.

Nun hätte ich gerne den W3C Linkchecker gerne zugelassen.
Leider reichen meine Kenntnisse in regex bzw. mod_rewrite dazu nicht aus.

Dann entferne diese IMHO unsinnige Regel wieder.

- Sven Rautenberg