nicht angemeldet
Eigene Googlebot Anweisungen in robots.txt?
Hallo Forum!
Immer wieder fällt mir auf, dass in robot.txt Datein alle Anweisungen, die für alle Crawler bestimmt sind, also mit "User-agent: *" beginnen, davor 1:1 ein zweites Mal für den Googlebot definiert sind.
Also zB.:
User-agent: Googlebot
Disallow: /ordner1/
Disallow: /ordner2/
Disallow: /ordner6/
Sitemap: http://example.com/sitemap.xml
User-agent: *
Disallow: /ordner1/
Disallow: /ordner2/
Disallow: /ordner6/
Sitemap: http://example.com/sitemap.xml
Weiß jemand, wieso das so viele Leute so machen? Das "User-agent: *" ist doch auch für den Googlebot gültig! Hat es irgend einen (mir nicht bekannten) tieferen Sinn, wieso der Googlebot immer wieder seine eigenen, exakt gleichen, Anweisungen bekommt?
Danke für jeden Kommentar!
MfG
Hugo Egon Balder
-
Nein, das macht keinen Sinn aber ist auch nicht falsch.
Also zB.:
User-agent: Googlebot
Disallow: /ordner1/
Disallow: /ordner2/
Disallow: /ordner6/
Sitemap: http://example.com/sitemap.xmlUser-agent: *
Disallow: /ordner1/
Disallow: /ordner2/
Disallow: /ordner6/
Sitemap: http://example.com/sitemap.xmlWeiß jemand, wieso das so viele Leute so machen? Das "User-agent: *" ist doch auch für den Googlebot gültig! Hat es irgend einen (mir nicht bekannten) tieferen Sinn, wieso der Googlebot immer wieder seine eigenen, exakt gleichen, Anweisungen bekommt?
Danke für jeden Kommentar!
MfG
Hugo Egon Balder
-
Nein, das macht keinen Sinn aber ist auch nicht falsch.
Ebenso wie dein TOFU. Allerdings ist das, laut den Nutzungsregeln, hier eindeutig falsch.
-