Nein, das macht keinen Sinn aber ist auch nicht falsch.
Also zB.:
User-agent: Googlebot
Disallow: /ordner1/
Disallow: /ordner2/
Disallow: /ordner6/
Sitemap: http://example.com/sitemap.xmlUser-agent: *
Disallow: /ordner1/
Disallow: /ordner2/
Disallow: /ordner6/
Sitemap: http://example.com/sitemap.xmlWeiß jemand, wieso das so viele Leute so machen? Das "User-agent: *" ist doch auch für den Googlebot gültig! Hat es irgend einen (mir nicht bekannten) tieferen Sinn, wieso der Googlebot immer wieder seine eigenen, exakt gleichen, Anweisungen bekommt?
Danke für jeden Kommentar!
MfG
Hugo Egon Balder