nicht angemeldet
Doch, es kann schaden! Einem Spider "ungültige" oder unbekannte Argumente vorzusetzen führt eben nicht zwangsläufig zu dem gewünschten Ergebnis.
Das stimmt, ja.
Je nach Programmierung kann Unbekanntes ignoriert oder Fehlendes ergänzt werden, muss es aber nicht. Es kann ebensogut mit einer Fehlermeldung kommentiert und als ungültig verworfen werden.
Ja - das verhalten beim Robots Exclusion Standard ist hier nicht näher definiert.
Da hier nur die nicht auszulesenden Pfade und Dateien angegeben werden, ist die Angabe von erlaubten Pfaden völlig überflüssig.
Jein, es gibt durchaus Konstrukte, bei denen Allow Sinn hat.
Prinzipiell gebe ich dir recht, in diesem Fall ist es aber eine Ausnahme.
Nachdem sowohl Google alsauch Yahoo! etwas mit Allow anfangen können, ist es - auch wenn es nicht zum Standard gehört - vernachlässigbar. Zusammen haben beide einen Marktanteil von nahezu 100% - hier würde ich also eher auf den "Rest" pfeifen als auf Google zu verzichten.
Dasselbe gilbt für "Sitemap" - hier können Google, Yahoo! und Bing etwas anfangen - das ist schon de facto 100% des Suchmaschinenmarktes in diesen Breiten.
Und jetzt komm mir nicht mit "aber T-Online hat auch 2,5 %" - die verwenden Google :p