robots.txt, in der Praxis

[Thomas N]

robots.txt

Das Thema ist neu für mich.

1. Gibt es in der Praxis Fälle, wo mit "Allow" ein robot eher das Webangebot
   durchkämt?
2. Ist es ein Unterschied, ob ich keine robots.txt habe, bzw. keine explizite "Einladung" mit "Allow"
   gebe?

Das sind zwei Fragen! ;-)

Mal davon abgesehen, dass sich die robots ja nicht unbedingt an "robots.txt" halten müssen.
Und das es viel zu dem Thema zu sagen gibt.

Mahlzeit
Thomas N