nicht angemeldet
Hallo Marc.
Was passiert, wenn der Robot die Domains mit fehlender robots.txt standardmäßig ignoriert?
Gut, das ist möglich. Ich selbst habe diese Datei bisher jedoch noch nie benötigt.
Gruß, Ashura
--
Selfcode: sh:( fo:| ch:? rl:? br:^ n4:& ie:% mo:| va:) de:[ zu:| fl:( ss:{ ls:# js:|
Selfcode: sh:( fo:| ch:? rl:? br:^ n4:& ie:% mo:| va:) de:[ zu:| fl:( ss:{ ls:# js:|