Suchmaschinen sollen diese HTML-Seite nicht finden

[Jan R.]

Hallo Dennis,

Achso, ja stimmt, Flüchtigkeitsfehler -> nofollow verbietet die Aufnahme der aktuellen Seite, und untersagt das verfolgen der Links, diese Seiten könnn jedoch trotzdem aufgenommen werden.
So stimmts.

Nein ;-)
"nofollow" verbietet nicht die Aufnahme der Seite in den Index, es sagt lediglich, dass Verweise nicht verfolgt werden sollen.

Beispiel Google: enthaelt die robots.txt "Disallow:", die Seite jedoch "index" im Meta-Tag, wird sie, wenn der Googlebot sie findet, indiziert.
Warum auch nicht? In deinem Beispiel oben, wird es ja auch _doppelt_ erlaubt!
So lange hinter Disallow nix steht, wird alles erlaubt und index in der Seite erlaubt es ja auch.

Ja, da fehlt ein Slash. Sollte natuerlich "Disallow: /" heissen, sorry.

Beste Gruesse

Jan