nicht angemeldet
Hello,
Kann man da mit einer zentralen Robots.txt etwas machen?
Ja. robots.txt, steht drin:
User-agent: *
Sitemap: /sitemap.xml
Allow: /Jetzt musst Du nur noch dafür sorgen, dass das sitemap.xml automatisch erstellt wird und so kriegen die Bots immer gleich alles mit.
*Ups*
wie müsste die sitemap.xml bei meinem Anwendungsfall aussehen?
Liebe Grüße aus dem schönen Oberharz
Tom vom Berg
