Ingo Turski: robots.txt für subdomains?

Beitrag lesen

Hi,

das kann man zwar, aber wenn ich mich recht entsinne, werden robots.txt immer nur im Rootverzeichnis angefordert, also würden welche in Unterverzeichnissen gar nicht beachtet, da sie nicht gespidert werden.

Du übersiehst, daß das Verzeichnis der Subdomain nach außen das Rootverzeichnis ist.
http://hommingberger-gepardenforelle.td-rot-weiss-duesseldorf.de/ gibt z.B. die Datei http://td-rot-weiss-duesseldorf.de/hommingberger-gepardenforelle/index.html aus.

freundliche Grüße
Ingo