noindex bringts das?

[Ingo Turski]

Hi,

ich gehe davon aus, dass die robots.txt zuerst geladen wird, ansonsten würde das Konzept ja recht sinnlos sein.

das kommt drauf an ... Wenn Google auf meine Seiten kommt, dann wird in der Tat meist zuerst /robots.txt angefordert. Aber was ist, wenn Google einem Link auf eine Unterseite (auch noch in enem Unterverzeichnis) folgt?
Gerade habe ich mal in den noch überschaubaren Logs der neuen Seite andrealenzing.de nachgeschaut:

60: Googlebot/2.1 (+http://www.google.com/bot.html) *g
      Ref: -
[07:26:40] 404 /robots.txt
[07:26:41]     /
[07*45*57]     /ich.html
[08:13:28]     /koepfe.html
[07*48*44]     /ausstellungen.html
[08*13*14]     /torsi.html

aber danach:

66: Googlebot/2.1 (+http://www.google.com/bot.html) *g
      Ref: -
[07:46:30]     /zeichnung.html
[07*47*05]     /plastik.html
[07:54:28]     /malerei.html
[07*48*45]     /kontakt.html

Das heißt: Google fordert tatsächlich zuerst /robots.txt an, bei wiederholten Besuchen jedoch nicht mehr bzw. (wie ich bei meinen Seiten sehe) nur noch innerhalb eines bestimmten Intervalls.

freundliche Grüße
Ingo