Hi,
Das Konzept von Metatags, oder einer "robots.news.txt" ist gekettet an das Auslesen der Inhalte. Dies ist mit Aktualität im Hinblick auf die riesigen Datenmengen nicht vereinbar.
Du verstehst nicht - oder ich.
Wenn z.B. für robots.txt folgender Inhalt definiert würde: sitemap=<url>
oder wenn ein eintsprechender Eintrag lauten würde: Allow: /sitemap.xml
Dann würde Google (und andere Suchmaschimen) umgehend die Info haben, daß und wo diese neue sitemap zu finden ist.
freundliche Grüße
Ingo