T-Rex: Content auf Webseite vor Crawler verstecken

Beitrag lesen

An anderer Stelle haben schon einige Leute beweiße gehabt das Google den Ajax Anteil doch erfassen kann.

Ich glaub aber nicht dass der dublicate Content nur mit der URL zu tun hat. Ich meine da schreibe ich einen sehr langen Text, duplizier in auf zwei unterschiedliche URLs und füge beim zweiten nur einen anderen Satz an.

Vor 2 Jahren war ich noch in der Touristik Branche. Da gibt es wie wir alle durch die Werbung wissen sehr viele "ich hab den billigsten Preis" Portale. Die Portalbetreiber haben keinen Bock zu jedem Hotel neuen Content zu schreiben. Deshalb gibt es Anbieter die Hotel Content verkaufen. Da zahlt man eine Gebühr und kann dann das Hotel mit Text oder Eigenschaften verbinden.
Tja und dieses Verfahren stand unter einem ganz schlechten Stern, da Google ankündigte auf so ein verfahren verstärkt zu achten. Mein Chef war damals echt schlecht drauf da sein CMS System diesen "automatischen" Content nicht angeboten hatte. Es war sogar oft der Grund wieso er das CMS nicht verkaufen konnte. Nachdem Google das Publik gemacht hat freute er sich 2 Fach. Zum einen hat er Entwicklungszeit gespart zum anderen hat er ein Verkaufsargument.

Mein Arbeitgeber hingegen sieht die ganze Sache etwas zu streng. Wir verbiegen uns in der Entwicklung an einigen Stellen sehr stark, damit ja kein Satz zwei mal auf irgendeiner Unterseite unseres Portals auftaucht. Das ist wiederum auch zu drastisch. Irgendwann hab ich mal gehört das 80% des Contents gleich sein kann, mehr sollte es aber nicht sein. Ob diese Zahl stimmt sei mal dahin gestellt, ausrechnen werde ich es garantiert auch nicht, aber ein guter Richtwert ist es irgendwie doch... hmm...

Aber ich merke schon es gibt anscheinend keine Möglichkeit Content vor dem Crawler zu verstecken.

Gruß
Crawlnix
T-Rex