Hi Mathias,

Zudem denke ich nicht, dass der User-Agent »Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.co...« tatsächlich der Googlebot ist. Meines Wissens nennt sich der Googlebot ausschließlich »Googlebot/2.1 (+http://www.googlebot.com/bot.html)«.

er identifiziert sich tatsächlich meistens so. Allerdings verzeichne ich, wenn auch sehr selten, Besuche von Google über die erste UserAgent Kennung bei meinen Seiten. Dies sind definitiv Anfragen von Google, zu erkennen an der Google-IP, der Tatsache, daß er sich stets die robots.txt holt, stets nur ganz bestimmte Dateien aufruft, die absolut keine Einstiegsseiten sind und auch keinen Links direkt folgt.

Interessant in diesem Zusammenhang: wie der ebenso echte Google-Spider "Googlebot/Test", der März/April sehr aktiv war, interessiert sich dieser Googlebot sehr für Javascript-Dateien. Ich vermute stark, daß Google dabei ist, Javascript zu lernen um entweder künftig auch Javascript-"Links" zu folgen oder/und um SEO-Tricks besser zu durchschauen.

freundliche Grüße
Ingo