Re:
Das Konzept von Metatags, oder einer "robots.news.txt" ist gekettet an das Auslesen der Inhalte. Dies ist mit Aktualität im Hinblick auf die riesigen Datenmengen nicht vereinbar.
Du verstehst nicht - oder ich.
Wenn z.B. für robots.txt folgender Inhalt definiert würde: sitemap=<url>
oder wenn ein eintsprechender Eintrag lauten würde: Allow: /sitemap.xmlDann würde Google (und andere Suchmaschimen) umgehend die Info haben, daß und wo diese neue sitemap zu finden ist.
Suche in Deinen Logdaten, wie oft google die robots.txt ausliest und Du wirst mich verstehen, wenn Du auch noch bedenkst welche Datenmassen alle (noch zu erstellenden) sitemap.xml-Dateien enthalten werden! In machen Web ändern sich täglich mehrmals Dokumenteninhalte, in der Mehrheit der Webs geschieht dies nicht. Würden alle Webs mehrfach aufgesucht werden schätze ich mit nicht weniger als 80% an sinnlosem, da das Web sich nicht änderte, Traffic.
Genau an diesem Punkt krankt m. E. das Model von Hinterlegten sitemaps im Vergleich zur Anlieferung bei google/Suchmaschinen. Dies zeigt sich im Übrigen auch an Deiner Wortwahl. Bitte refektire doch mal über "umgehend" im Bezug auf "aktuell".
Gruß aus Berlin!
eddi