Frage diesbezüglich war, ob man bei Angaben von z.B. 20 Pfaden und Dateien in Form von "Disallow: /Bla/Bla" ... noch zusätzlich ein "Allow: /" am Anfang oder Ende der robots.txt notwendig ist?
Ansicht nicht - auch User-agent: * oder vergleichbares ist nicht erforderlich.
Nachdem es aber sicher viele Crawler gibt die es zwar gut meinen, den Standard aber nicht ordentlich beherrschen kann es nicht schaden.