nicht angemeldet
Hallo,
User Agents der Form libwww-perl/... spidern auf meinen Seiten recht fleissig, und ich fürchte, dass sie noch mehr als das tun, und nicht nur Gutes ;-)
Ich hab' sie deshalb in der .htaccess so ausgesperrt:
RewriteCond %{HTTP_USER_AGENT} ^.*libwww-perl.*$ [OR]
... usw.
Nun bin ich drauf gestoßen, dass auch der W3C Link Checker mit diesem user agent kommt:
W3C-checklink/4.3 [4.42] libwww-perl/5.805
und damit von meiner obigen Regel ebenfalls ausgesperrt wird.
Nun hätte ich gerne den W3C Linkchecker gerne zugelassen.
Leider reichen meine Kenntnisse in regex bzw. mod_rewrite dazu nicht aus.
Wär nett, wenn mir jemand helfen könnte, mein Vorhaben zu realisieren.
Gruß Fritz