nicht angemeldet
Hallo, wenn ich in einer Robots.txt-Angabe kein Verzeichnis für Allow sondern nur die Disallow-verzeichnisse deffiniert habe, werden dann die anderen Webseite/Ordner vom System ausgelesen oder nicht?
Natürlich werden nicht definierte Verzeichnisse indiziert.
Wobei vielleicht der Vollständigkeit halber zum Thema Allow noch anzumerken wäre, daß die Zeilen in der robots.txt nacheinander abgearbeitet werden und die _erste_ passende Zeile bestimmt, was mit einer URL passiert. Das Allow in einer robots.txt à la
Disallow /
Allow /blabla
hat dementsprechend keinerlei Wirkung, weil sämtliche URLs schon auf / passen und dementsprechend gesperrt werden.
Gruß,
soenk.e