Hallo!
Ich weiß nicht so genau, ob es dafür eindeutig definierte Regeln gibt, aber ich habe
auf meiner Website die Sache mit den Meta-Tags so geregelt, daß generell nur
die Startseite indiziert wird (meta name ="robots" content="index,follow") und die
Suchmaschine zwar allen Links folgen soll (follow), aber alle anderen Seiten nicht
indizieren soll. Alles andere führt nur zum absoluten Zumüllen von Suchmaschinen.
D.h., ein paar Ausnahmen gibt es schon : Einige Rubriken meiner Website sollen
indiziert werden, weil sie auch gleichzeitig eigene Projekte sind, auf die auch separat
zugegriffen werden kann/soll. Das sind aber nur 4, weshalb also von meiner gesamten
Website 5 Seiten in den Suchmaschinen landen.
Alle zu indizierenden Seiten sollten außerdem keywords haben, damit sie logischer-
weise von den Suchmaschinen bearbeitet werden können, alle nicht zu indizierenden
Seiten brauchen meiner Meinung nach keine keywords.
Gleiches gilt für die description : Indexseiten mit, non-indexseiten ohne.
Was aber generell alle Seiten haben sollten ist natürlich ein Titel, gegebenenfalls
den Autor der Seiten und das Datum, und -- so hab ich's jedenfalls -- den Tag
"allow-search" = "yes", damit die Unterseiten zwar nicht indiziert, aber trotzdem
durchsucht werden.
Und jetzt noch zur Startseite separat : Was meiner Meinung nach zusätzlich rein
sollte, sind die Tags "page-topic" (Themen der Website, z.B. "Reisen") und
"revisit-after" (Intervall, nach dem der Suchrobot die Seite wieder besuchen soll,
z.B. "30 days").
Das war's meinerseits. Hoffe, es hilft dir.
Alles weitere und noch viel mehr wie immer bei : http://www.suchfibel.de
Gruß,
Dirk.