Content auf Webseite vor Crawler verstecken

[Metalgurke]

Moin zusammen,

Om nah hoo pez nyeetz, T-Rex!

die Robots kenn ich ja schon ;). Die geht ja auf die komplette URL. Ich wollte aber einen Bereich einer URL eben aussschliessen z.B. ein DIV Block.

IMHO versteht google nur verschiedene URL mit demselben Inhalt als duplicated.

Matthias

wenn ich mich recht erinnere, so crawlt Google nur den "statischen" Quelltext. Also alles was später per Ajax nachgeladen wurde ("dynamischer Quelltext"), ist für den Googlebot nicht relevant. Ich meine auch mal gelesen zu haben, dass Google darüber nachdenkt auch den "dynamischen" Quelltext ebenfalls zu indexieren/crawlen, glaube die Idee wurde aber wieder verworfen.