robots.txt

[nfs]

hallo

das reicht für alle Verzeichnisse und Dateien zu indexieren oder?
sollte man noch was schreiben? oder ergänzen

User-agent: *
Disallow:

[Sven Rautenberg]

Moin!

das reicht für alle Verzeichnisse und Dateien zu indexieren oder?
sollte man noch was schreiben? oder ergänzen

User-agent: *
Disallow:

"Schließe alle Seiten von der Indexierung aus." So würde ich das verstehen. Ist die Frage, ob du das auch sagen willst.

- Sven Rautenberg

[Markus]

Hallo,

User-agent: *
Disallow:

erlaubt das Indexieren aller Dateien und Verzeichnisse. Allerdings ist eine solche Angabe wenig Sinnvoll wenn man es vorher nicht eingeschränkt hat. Die robots.txt dient dazu Dinge zu "verbieten" und alles was nicht durch sie eingeschränkt ist, ist erlaubt.

Gruß

Markus

[Sven Rautenberg]

Moin!

User-agent: *
Disallow:

erlaubt das Indexieren aller Dateien und Verzeichnisse.

Wenn ich so einen Effekt wollte, würde ich die Datei einfach komplett leer anlegen.

Allerdings ist eine solche Angabe wenig Sinnvoll wenn man es vorher nicht eingeschränkt hat. Die robots.txt dient dazu Dinge zu "verbieten" und alles was nicht durch sie eingeschränkt ist, ist erlaubt.

Da "alles erlaubt" sowieso Standardverhalten ist, bringt es nichts, Verbote auf diese Weise aufzuheben.

- Sven Rautenberg

[thunderstorm]

Fragt sich nur was es bspw. für einen Sinn macht Verzeichnisse zu indexieren die Images, Datenbank(en), scripts oder ggf. administations Pages enthalten?

Möglicherweise macht eine solche Datei Sinn wie die folgende:

User-agent: *

Disallow: /db/
Disallow: /images/
Disallow: /scripts/
Disallow: /stylesheets/
Disallow: /search/

- - - - - Dateien - - - - -

Disallow: *_ado.asp
Disallow: *.txt