Hallo,
<meta name="robots" content="index, nofollow">
ich habe mir schon Gedanken darüber gemacht mich stört es immer wenn bei Suchmaschinen alle möglichen Seiten einer HP angezeigt werden und man vor lauter Bäumen den Wald nicht sieht. Ich dachte durch diesen Eintrag erscheint nur ein Link in der Suchmaschine nämlich auf die index.htm.
Wenn Du tatsaechlich der Meinung bist, dass Deine uebrigen Seiten
fuer die Suchmaschinen (und somit fuer die Menschen, die damit nach
Informationen suchen) uninteressant sind und keine zusaetzlichen Informationen
und Keywords enthalten, dann kannst Du es natuerlich schon so machen.
Ich finde das allerdings nicht besonders schlau.
Geruechteweise soll es bei gewissen Suchmaschinen eine Rolle spielen, wieviele
Links von der Seite zu anderen Seiten (intern und extern) zeigen, und auch auf
welche Seiten man Links hat.
Wenn Du den Suchmaschinen "verbietest", Deinen Links zu folgen,
sagst Du ihnen damit: "Ich will eine abgekapselte Einheit sein, der
Rest der Welt ist fuer mich nicht interessant!"
Dann bist Du halt fuer die Suchmaschinen auch weniger interessant.
Die von YoLaTengo erwaehnte Methode mit der robots.txt dient z.B. dazu,
ein bestimmtes Verzeichnis fuer die (anstaendigen) Suchmaschinen-Robots
zu "sperren". In den betreffenden Dateien sollte dann allerdings kein
META-Robots-Tag sein, oder allenfalls
<meta name="robots" content="noindex, nofollow">
Ich habe schon erlebt, dass Google gewisse Seiten _trotz_ der robots.txt
indiziert hat, weil sie folgendes META-Tag drinhatten:
<meta name="robots" content="index, follow">
Gruesse,
Thomas