Content auf Webseite vor Crawler verstecken

[bubble]

Aber ich merke schon es gibt anscheinend keine Möglichkeit Content vor dem Crawler zu verstecken.

An sich gibt es (zumindest) eine, die für die "netten" Crawler funktioniert. Von Google und Bling weiß ich, dass sie sich im User-Agent-Header-Feld ausweisen. Quasi könnte man serverseitig besagten Content einfach nicht ausgeben lassen.
Ob das nun eine gute Variante wäre, was man beachten muss, usw. weiß ich allerdings nicht.

Bei unbekannten Bots und solchen die sich nicht als Bots ausweisen, hat man dann natürlich keine Chance mehr.

MfG
bubble