robots.txt , wildcards und Reihenfolge

[Beat]

Aha, die Reihenfolge spielt also eine Rolle. Und Wildcards funktionieren wie erwartet. Aber zu "Allow" ist ja im Netz verschiedenes zu finden von "überflüssig" über "nicht unterstützt" bis "für Google robots nützlich".

Verwende im Bereich
User-agent: *
ausschliesslich Standard-Syntax, ohne inoffizielle Extras

Setze Allow und andere Erweiterungen nur für benannte Bots ein.

mfg Beat