nicht angemeldet
den böswilligen bots möchte ich nicht auch noch Tipps geben, wie sie gezielt suchen könnten.
Meines Erachtens interessieren sich Bots eher nicht so für die robots.txt, das machen echte Menschen.
Dein Erachten in allen Ehren aber es ist falsch. Ich habe an einer anderen Stelle nicht umsonst empfohlen, den Dialog mit Google zu suchen
Seit wann ist Google ein "böswilliger Bot"? Und seit wann informiert Google über die Verhaltensweisen böswilliger Bots?
Es ist ja schön, dass du sinngemäß zitierst, aber dann folge doch auch dem Sinn des Zitats. Um Googlebot & Co. geht es mir überhaupt nicht, die lassen sich wunderbar über die robots.txt steuern.
Davon mal abgesehen ist der "Dialog mit Google" einen Scheissdreck wert, sowas existiert schlichtweg nicht. Es gibt eine Reihe Anleitungen, aber ein Dialog findet da nicht statt. Zu einem Dialog gehören mindestens zwei aktive Teilnehmer - und nicht einer, der fragt, und einer, der nur Textbausteine zurückschickt.
Eine ordentlich konfigurierte robots.txt gehört ganz einfach zur Qualitätssicherung eines ordentlichen Webprojekts.
Ich habe nichts Gegenteiliges behauptet.
Matthias Apsel
Tabellenkalk