Jan R.: Suchmaschinen sollen diese HTML-Seite nicht finden

Beitrag lesen

Hallo Dennis,

durch die Meta Angabe:
<meta name="robots" content="noindex">

Es liegt aber immer noch beim entsprechenden Robot, ob er das auch interpretiert.

bzw. wenn alle folgenden Seite auch verboten sind:
<meta name="robots" content="nofollow">

Nein. Das sagt lediglich, dass er enthaltenen Verweisen nicht folgen soll. Die verlinkte Seite kann aber immer noch indiziert werden.

Das ganze lässt sich sicherlich auch hübscher über ne rotobs.txt regeln,
aber so tuts es auch.

Beispiel Google: enthaelt die robots.txt "Disallow:", die Seite jedoch "index" im Meta-Tag, wird sie, wenn der Googlebot sie findet, indiziert.

Einen hundertprozentig funktionierenden Ausschluss von Suchmaschinen-Robots gibt es nicht (ausser HTTP-Auth, Seite loeschen etc.).

Beste Gruesse

Jan