suit: robots.txt - Ist ein Allow zwingend notwendig?

Beitrag lesen

Frage diesbezüglich war, ob man bei Angaben von z.B. 20 Pfaden und Dateien in Form von "Disallow: /Bla/Bla" ... noch zusätzlich ein "Allow: /" am Anfang oder Ende der robots.txt notwendig ist?

Ansicht nicht - auch User-agent: * oder vergleichbares ist nicht erforderlich.

Nachdem es aber sicher viele Crawler gibt die es zwar gut meinen, den Standard aber nicht ordentlich beherrschen kann es nicht schaden.