robots.txt - Macht das so Sinn?

[Frank Schönmann]

hi!

nachdem ich mir hier die entsprechende Seite reingezogen hab, fand
ich dort den Hinweis "Benutzen Sie so wenig wie möglich 'allow'
und soviel wie es geht 'disallow'.".

Die meisten Bots dürften sowieso annehmen, dass alles erlaubt ist,
was nicht mit "Disallow" verboten wurde. Daher braucht man im
Normalfall überhaupt kein "Allow".

User-agent: *
Disallow:
Disallow: /design/
Disallow: /admin/
Disallow: /error/
Disallow: /gbook/
Disallow: /voting/
Disallow: /wap/

Jepp, das ist so richtig. Allerdings bezweifle ich, dass die leere
"Disallow:"-Zeile irgendeinen Effekt hat auf die meisten oder alle
Bots, die deine Seite besuchen. Aber schaden wird es vermutlich auch
nicht.

bye, Frank!