Robert Gacki: robotx.txt-Prob!

Beitrag lesen

Hallo, wenn ich in einer Robots.txt-Angabe kein Verzeichnis für Allow sondern nur die Disallow-verzeichnisse deffiniert habe, werden dann die anderen Webseite/Ordner vom System ausgelesen oder nicht?

Natürlich werden nicht definierte Verzeichnisse indiziert.

Grüße

Robert