Stefan Einspender: robots.txt - Unterverzeichnisse sperren

Beitrag lesen

Hallo Steve,

sicherheitshalber frage ich noch einmal nach:

Du könntest natürlich auch eine der zahlreichen vorhandenen Er-
klärungen zur robots.txt lesen ...

Was ich heute gelernt habe - alle URLS oder Dateinamen die einen Teil des "Disallow-Strings" enthalten werden werden nicht indiziert - dann bedeutet ja dies, dass alle meine Files in "home" ausgeschlossen sind oder nicht?

Nein, es sind nur die Verzeichnisse/Dateien blockiert, die auch so
anfangen, in Deinem Fall also alles, was sich innnerhalb von
/home/img/ befindet, /home/datei.html natürlich nicht.
/home/img.html auch nicht, wäre allerdings betroffen, wenn Du
"Disallow /home/img" schreibst.

Das geht wohl nicht oder?
Disallow: /img/

Doch, betrifft allerdings nur das Verzeichnis /img/ und dessen
Unterverzeichnisse, /home/img/ usw. wären davon nicht betroffen.

Ich muss dann wohl ein Verzeichniss für Bilder anlegen!

Wenn es Dir nur darum geht, die Indizierung der Bilder zu ver-
hindern, was ja im Wesentlichen bei Google zum Tragen kommen
soll, dann schaue Dir die robots.txt von Favicon.de an, diese
Schreibweise wird von Google erkannt:
http://www.favicon.de/robots.txt

Speziell für Google hilft auch die Lektüre der dazugehörigen Web-
site weiter, z.Bsp. http://www.google.com/remove.html#images ff.

Viele Grüße,
Stefan

PS: Andere Suchmaschinen, wo eine Indizierung sinnvoll oder nicht
    erwünscht ist, fallen mir spontan überhaupt nicht mehr ein,
    zumindest keine von Relevanz ;-)