Alles erlauben in robots.txt

[Sveni]

Hallo!

Ich will in meiner robots.txt den Suchmaschinenspidern erlauben, die ganze Webseite zu durchsuchen.

Leider habe ich weder im Forum noch in selfhtml selber gefunden, wie man das *genau* macht.

Was ist richtig:

User-agent: *
Disallow:

oder

User-agent: *
Allow: *

Vielen Dank für eure Antworten.

Sveni

[Ashura]

Hallo Sveni.

Entweder Inhalt: nichts

Oder: lasse die gesamte Datei weg. ;)

Gruß, Ashura

[Marc Reichelt]

Hallo Ashura,

Entweder Inhalt: nichts

Oder: lasse die gesamte Datei weg. ;)

Das ist so nicht ganz richtig. Eine explizite Erlaubnis mittels

User-agent: *
Allow: /

ist schon richtig, da man die Default-Einstellung des Robots nicht weiß.
Was passiert, wenn der Robot die Domains mit fehlender robots.txt standardmäßig ignoriert?
Das dürfte bei den meisten Robots nicht der Fall sein, ist aber möglich.

Bis dann!

Marc Reichelt || http://www.marcreichelt.de/

[Ashura]

Hallo Marc.

Was passiert, wenn der Robot die Domains mit fehlender robots.txt standardmäßig ignoriert?

Gut, das ist möglich. Ich selbst habe diese Datei bisher jedoch noch nie benötigt.

Gruß, Ashura

[Frank Schönmann]

hi!

Entweder Inhalt: nichts
Oder: lasse die gesamte Datei weg. ;)
Das ist so nicht ganz richtig. Eine explizite Erlaubnis mittels
User-agent: *
Allow: /
ist schon richtig, da man die Default-Einstellung des Robots nicht weiß.

Das wäre vielleicht sinnvoll, wenn es laut Standard[1] in der robots.txt ein Feld namens
"Allow" gäbe. Gibt es aber nicht. Eine leere robots.txt ist genau die korrekte Methode,
einem Robot Zugriff auf alle Teile der Website zu erlauben.

Was passiert, wenn der Robot die Domains mit fehlender robots.txt standardmäßig
ignoriert?

Dann hält er sich nicht an den Standard:

The presence of an empty "/robots.txt" file has no explicit associated semantics, it
  will be treated as if it was not present, i.e. all robots will consider themselves
  welcome.

[1] http://www.robotstxt.org/wc/norobots.html

bye, Frank!

[Dennis]

Hi Sveni,

Was ist richtig:

User-agent: *
Disallow:

Das könnte als ungültige Angabe gewertet werden, da bei Disallow nichts steht.

oder

User-agent: *
Allow: *

AFAIK ist * ebenfalls keine gültige Angabe bei Allow oder Disallow.

Wie wäre es mit:

User-agent: *
Allow: /

Gleiches ist für Disallow auf jeden Fall möglich, warum sollte es dann bei Allow nicht auch gehen?

MfG, Dennis.