nicht angemeldet
Hallo Sven,
Weil Spider sich diese Datei durchaus cachen, und auch dann nicht wiederkommen, wenn die Datei den Zugriff erlauben würde.
Beziehungsweise weil die Bots ja auch nicht ständig vorbeikommen und ja möglicherweise immer dann kommen, wenn der Zugriff gerade verboten wurde. Außerdem kann es natürlich passieren, dass der Bot die gecrawten Infos wieder aus dem Index löscht, wenn er merkt, dass der Zugriff im Nachhinein verboten wurde.
Jonathan