TorstenA: Probleme beim Eintrag in Google

Beitrag lesen

Hi Thomas,

Die robots.txt dient auch nur dazu, den Robots
zu sagen, was sie _nicht_ spidern sollten.
Google haelt sich uebrigens nicht daran

Das ist mir neu, denn laut Logfile auf meinem Webspace fragt der Googlebot die robots.txt ab und hält sich dann auch daran, indem er die (per disallow gesperrten) Unterverzeichnisse ignoriert.

Viele Grüße
Torsten