Hallo karl123,
Ich kann da nicht mit übereinstimmen. Einerseits die schon angemerkte div-Suppe, andererseits halte ich aber auch die dort angemerkten Meta-tags teilweise für unwichtig und teilweise für extrem überflüssig.
Insbesondere werden keywords oder description meiner Erfahrung nach kaum bis gar nicht beachtet, dein robots-Eintrag verursacht du nur das übliche Standardverhalten, was höchstens bringt, dass du keinen Bot-Betreiber (z.B. wegen Urheberrechtsverletzungen) mehr verklagen kannst, weil du den Bots das Indizieren ja explizit erlaubst. Und zwingend an revisit-after halten sich wahrscheinlich nur die wenigsten Bots, die Berücksichtigen eher, wie oft die Seite tatsächlich aktualisiert wird und welche Relevanz deine Seite hat.
Jonathan