robots.txt , wildcards und Reihenfolge

[michaa]

Aha, die Reihenfolge spielt also eine Rolle. Und Wildcards funktionieren wie erwartet. Aber zu "Allow" ist ja im Netz verschiedenes zu finden von "überflüssig" über "nicht unterstützt" bis "für Google robots nützlich".

Verwende im Bereich
User-agent: *
ausschliesslich Standard-Syntax, ohne inoffizielle Extras

Setze Allow und andere Erweiterungen nur für benannte Bots ein.

hm, diese Unterscheidung scheint sinnvoll, aber die Sache mit der Reihenfolge scheint mir noch nicht hinreichend geklärt, ganz abgesehen davon dass das Google tool "Allow" für alle User-agents hinzufügt. Kann man zwar löschen, aber es bleiben Fragen.

Weiter unten befindet sich eine robots.txt, wie sie Googles Webmaster-tools auf Anfrage produzieren. Daraus ergibt sich die Frage an
@ suit:

Bist du sicher, das mit der Reihenfolge richtig verstanden zu haben. Das steht nämlich im Widerspruch zu Google:

User-agent: *
Disallow: /test*
Disallow: /kram/
Allow: /

User-agent: Googlebot
Disallow: /kram/
Disallow: /test*
Allow: /