Pitter: Eigene Googlebot Anweisungen in robots.txt?

Beitrag lesen

Nein, das macht keinen Sinn aber ist auch nicht falsch.

Also zB.:

User-agent: Googlebot
Disallow: /ordner1/
Disallow: /ordner2/
Disallow: /ordner6/
Sitemap: http://example.com/sitemap.xml

User-agent: *
Disallow: /ordner1/
Disallow: /ordner2/
Disallow: /ordner6/
Sitemap: http://example.com/sitemap.xml

Weiß jemand, wieso das so viele Leute so machen? Das "User-agent: *" ist doch auch für den Googlebot gültig! Hat es irgend einen (mir nicht bekannten) tieferen Sinn, wieso der Googlebot immer wieder seine eigenen, exakt gleichen, Anweisungen bekommt?

Danke für jeden Kommentar!

MfG

Hugo Egon Balder