Alles erlauben in robots.txt

[Frank Schönmann]

hi!

Entweder Inhalt: nichts
Oder: lasse die gesamte Datei weg. ;)
Das ist so nicht ganz richtig. Eine explizite Erlaubnis mittels
User-agent: *
Allow: /
ist schon richtig, da man die Default-Einstellung des Robots nicht weiß.

Das wäre vielleicht sinnvoll, wenn es laut Standard[1] in der robots.txt ein Feld namens
"Allow" gäbe. Gibt es aber nicht. Eine leere robots.txt ist genau die korrekte Methode,
einem Robot Zugriff auf alle Teile der Website zu erlauben.

Was passiert, wenn der Robot die Domains mit fehlender robots.txt standardmäßig
ignoriert?

Dann hält er sich nicht an den Standard:

The presence of an empty "/robots.txt" file has no explicit associated semantics, it
  will be treated as if it was not present, i.e. all robots will consider themselves
  welcome.

[1] http://www.robotstxt.org/wc/norobots.html

bye, Frank!