nicht angemeldet
Hallo Forum!
Immer wieder fällt mir auf, dass in robot.txt Datein alle Anweisungen, die für alle Crawler bestimmt sind, also mit "User-agent: *" beginnen, davor 1:1 ein zweites Mal für den Googlebot definiert sind.
Also zB.:
User-agent: Googlebot
Disallow: /ordner1/
Disallow: /ordner2/
Disallow: /ordner6/
Sitemap: http://example.com/sitemap.xml
User-agent: *
Disallow: /ordner1/
Disallow: /ordner2/
Disallow: /ordner6/
Sitemap: http://example.com/sitemap.xml
Weiß jemand, wieso das so viele Leute so machen? Das "User-agent: *" ist doch auch für den Googlebot gültig! Hat es irgend einen (mir nicht bekannten) tieferen Sinn, wieso der Googlebot immer wieder seine eigenen, exakt gleichen, Anweisungen bekommt?
Danke für jeden Kommentar!
MfG
Hugo Egon Balder