nicht angemeldet
Hallo,
Kann mir jemand von euch mal erklären, was robots sind ?
(Im Web-Jargon) Computer/Programme, die automatisch saemtlichen
Links einer Website folgen und die Inhalte einlesen.
Das koennen z.B. Suchmaschinen-Spider sein, aber z.B. auch Programme,
die von Menschen gestartet wurden, um den ganzen Inhalt
einer Website auf die lokale Festplatte zu kopieren, wie z.B.
http://www.httrack.com/
Solche Programme koennen recht viel Bandbreite beanspruchen
und natuerlich auch sehr viel Traffic verursachen.
Du kannst versuchen, den Robots das Besuchen von gewissen
Verzeichnissen zu verbieten. Ob sie sich daran halten,
steht auf einem andern Blatt...
Weitere Infos z.B. unter:
http://www.dodabo.de/netz/suchmaschinen.php
HTH, mfg
Thomas