nicht angemeldet
Nabend!
ne klar, aber woran scheitert es mit der robots.txt?
Ich nehm' an er moechte gern Crawler auf seiner Seite haben. Nun ist ein Forum aber auch oft eine kleine Crawlerfalle und es sind ihm zuviele. Mit der robots.txt gibt generell nur alle oder keinen.
Es gibt aber moeglichkeiten. Du kannst z.b. nur bestimmte Crawler zulassen oder abweisen. Und wenn Du es ganz verwegen magst und entsprechende Zugriffe hast kannst Du die robots.txt auch dynamisch generieren und mit einem internen Zaehler bestimmen wann Schluss ist.
Bedenke aber: Keine crawler der Welt muss ich dan das Ding halten. Und wenn irgendwelche Spammer Dein forum benutzen um sich Mailadressen zu sammeln (oder was weiss ich) dann nuetzt dir die schoenste robots.txt nichts.
Was fuer Crawler hast Du denn? Hinterlassen die keine Kennung?