nicht angemeldet
HI @ll!
Hätte mal ne Frage zu Suchmaschinen-Crawlern. Der eine oder andere Webmaster/ForenAdmin würd sich vielleicht/sicherlich freuen aber mich nervt es ein wenig.
Ich kümmere mich um ein "Burning Board 2.3.6" und seit neustem wird das Forum täglich von über 100 Crawlern besucht die da fast 24 Stunden verweilen.
Mein Frage nun: Was wollen die den alle hier, reicht da nicht einer oder zwei nein es sind gleichzeitig 80 - 100 Stück im Forum unterwegs. Leider haben alle Crawler eine unterschiedliche IP "74.6.X.X", gibt es eine möglichkeit den Crawlern zu sagen, einer reicht mir o.ä.??? Die Möglichkeiten mit der "robots.txt" sind mir bekannt weiß aber nicht wie ich das Problem damit lösen kann.
MFG
Peter