Stefan Karzauninkat: robots.txt

Beitrag lesen

ich war eben auf Deiner Suchfibelsite, danke für den Tip. Was ich aber eigentlich wissen möchte, das ist, ob der Befehl "Allow" als solcher existiert, das heisst, ob ich explizit einzelne Dateien oder Ordner zum indexieren freigeben kann.

Moin,

Meines Wissens nicht. Das geht mit dem vorhandenen oder entfernten Slash /.

Einzelne Dateien kann man mit metas versehen

<META name="robots" content="noindex">
<META name="robots" content="nofollow">

Das wird aber nicht von allen ausgwertet. Wers tut & wer nicht, hier die Liste:

http://www.suchfibel.de/3allgem/3frame6.htm

Sind eher wenige. Ansonsten hilft nur ein cooles Linkverwaltungstool und aufräumen und in Ordner packen. Aber auch robots.txt ist keine Garantie fuers nicht-indexieren. Manche halten sich auch daran nicht.

Gruss, kaz