robots.txt - Ist ein Allow zwingend notwendig?

[Beat]

Ich habe eine kurze Diskussion zum Thema robots.txt geführt.

Frage diesbezüglich war, ob man bei Angaben von z.B. 20 Pfaden und Dateien in Form von "Disallow: /Bla/Bla" ... noch zusätzlich ein "Allow: /" am Anfang oder Ende der robots.txt notwendig ist?

Allow gehört nicht zum offiziellen Standard.

Der offizielle Standard aber ist gemessen an dem, wie einzelne robots die Interpretation erweitern, aber reichlich irrelevant.

Rechne einfach nicht damit, dass
  Disallow: /x
  Allow: /x/y
dazu führen wird, dass die zweite Ressource in Suchmaschinen aufgeführt wird. Indexiert wird sie auf jeden Fall irgendwo irgendwann.

mfg Beat