Bot aussperren?
depp
- sonstiges
moin
momentan sieht meine robots.txt so aus:
User-agent: *
Disallow: /img/
Disallow: *.php3$
Disallow: *.php4$
nun würd ich gerne auch noch alle zugriffe des lästigen Bots namens AskJeeves - Teoma aussperren.
wie müsste hierfür die robots.txt aussehen?
danke
Um alle robots vom crawlen über Deine seite abzuhalten kannst Du folgendes in die robots.txt einfügen:
User-Agent: *
Disallow: /
Um nur den ask-jeeves bot auszusperren mußt Du herausfinden wie der heißt (dürfte in deinem access log stehen), dann ersetzte das Sternchen bei User-Agent durch den Bot.
Viele Grüße
Sasha
hi,
Um nur den ask-jeeves bot auszusperren mußt Du herausfinden wie der heißt (dürfte in deinem access log stehen)
warum in die ferne schweifen ... http://sp.ask.com/docs/about/tech_teoma.html#6
gruß,
wahsaga
um die anderen vorschriften nicht zu untergraben, muss nun also
User-agent: Teoma
Disallow: /
unter den anderen zeilen stehen, oder?
danke