nicht angemeldet
Hi,
- Ist es ein Unterschied, ob ich keine robots.txt habe,
bzw. keine explizite "Einladung" mit "Allow" gebe?
wenn Du keinen solche Datei hast, aber ein Robot darauf zugreift, dann löst das einen Error 404 aus. Dieser ergibt dann einen Eintrag im Fehlerprotokoll des Webservers.
Und in einem Fehlerprotokoll möchte ich nur Fehler drin haben ... mir diese zu zeigen ist nämlich der Sinn eines Fehlerprotokolls.
Oder anders gesagt: Eine fehlende robots.txt ist in meinen Augen ein Fehler, genau wie ein broken link.
Viele Grüße
Michael