robots.txt für subdomains?

[example]

hi!

kann ich für subdomains auch eine robots.txt verwenden? wenn nein, wie kann ich dann den robots erzählen dass das unterverzeichniss zu einer subdomain gehört?

[Ingo Turski]

Hi,

kann ich für subdomains auch eine robots.txt verwenden? wenn nein, wie kann ich dann den robots erzählen dass das unterverzeichniss zu einer subdomain gehört?

Du kannst in jedes Verzeichnis eine robots.txt setzen - also auch in das Verzeichis, das die Subdomain nutzt.

freundliche Grüße
Ingo

[Jens Holzkämper]

Tach,

Du kannst in jedes Verzeichnis eine robots.txt setzen

das kann man zwar, aber wenn ich mich recht entsinne, werden robots.txt immer nur im Rootverzeichnis angefordert, also würden welche in Unterverzeichnissen gar nicht beachtet, da sie nicht gespidert werden. Der Standard spricht auch immer von der /robots.txt, also einer Datei in Root.

also auch in das Verzeichis, das die Subdomain nutzt.

Das funktioniert natürlich, da es ja dann eine Datei /robots.txt ist.

mfg
Woodfighter

[Ingo Turski]

Hi,

das kann man zwar, aber wenn ich mich recht entsinne, werden robots.txt immer nur im Rootverzeichnis angefordert, also würden welche in Unterverzeichnissen gar nicht beachtet, da sie nicht gespidert werden.

Du übersiehst, daß das Verzeichnis der Subdomain nach außen das Rootverzeichnis ist.
http://hommingberger-gepardenforelle.td-rot-weiss-duesseldorf.de/ gibt z.B. die Datei http://td-rot-weiss-duesseldorf.de/hommingberger-gepardenforelle/index.html aus.

freundliche Grüße
Ingo

[Jens Holzkämper]

Tach,

Du übersiehst, daß das Verzeichnis der Subdomain nach außen das Rootverzeichnis ist.

nein, das wollte ich mit meinem letzten Satz ausgedrückt haben, wobei es zugegebenermaßen undeutlich formuliert war.

mfg
Woodfighter

[wahsaga]

hi,

Du übersiehst, daß das Verzeichnis der Subdomain nach außen das Rootverzeichnis ist.
http://hommingberger-gepardenforelle.td-rot-weiss-duesseldorf.de/ gibt z.B. die Datei http://td-rot-weiss-duesseldorf.de/hommingberger-gepardenforelle/index.html aus.
nein, das wollte ich mit meinem letzten Satz ausgedrückt haben, wobei es zugegebenermaßen undeutlich formuliert war.

um euch beide zu ergänzen:

wenn das verzeichnis auch über
http://td-rot-weiss-duesseldorf.de/hommingberger-gepardenforelle/
(absichtlich nicht verlinkt, weiß nicht ob dir, Ingo, das in bezug auf den wettbewerb in den kram passen würde) erreichbar ist, sollte man dann ggf. über eine robots.txt unterhalb der hauptdomain td-rot-weiss-duesseldorf.de dafür sorgen, dass _dieses_ "verzeichnis" nicht durchsucht wird.

hommingberger-gepardenforelle.td-rot-weiss-duesseldorf.de bekommt dann seine eigene robots.txt, die definiert was unterhalb dieser _subdomain_ gecrawlt werden darf und was nicht.

gruß,
wahsaga

[Ingo Turski]

Hi,

http://td-rot-weiss-duesseldorf.de/hommingberger-gepardenforelle/
(absichtlich nicht verlinkt, weiß nicht ob dir, Ingo, das in bezug auf den wettbewerb in den kram passen würde)

danke - richtig getippt. :-)
Obwohl diese Seite nur zu Testzwecken dient und noch einen kleinen Backlink für meine eigentliche Seite liefern soll.

Übrigens, wen's interessiert: Google liebt Links in <noscipt> und indiziert diese auch gerne mit einem Parameter. Demgegenüber interessieren ihn Framesets herzlich wenig, weshalb ich die Subdomain (aber immerhin als passendes Beispiel) mal hier verlinkt hatte. ;-)

freundliche Grüße
Ingo