robots.txt

[Thilo]

Hi Michael

Nun ist es bei mir so, dass ich einen Domainname (bei Strato
;-)) habe, dieser aber allerdings sofort auf so ein Verzeichnis
(z.B. t-online/home/meinName/) umgeleitet wird.

das heißt, daß Deine Seiten wahlweise unter beiden DNS-Namen ansprechbar sind, ja?

Genau!

Kann ich die robots.txt doch verwenden?

Das ist nicht die interessante Frage.
Diese lautet vielmehr: In welchen Fällen wird die Seite von einer Suchmaschinen gelesen werden?

Wenn eine Suchmaschine über Deine Domain kommt und dort (!) eine /robots.txt über den entsprechenden URL ansprechen kann (einen Weiterleitung interessiert die Suchmaschine erst mal nicht, sie ist ja kein Browser), dann wird sie den Inhalt der Robots-Beschreibung lesen.

o.k., wenn nun da keine robots.txt vorhanden ist, wird dann die such maschine in der weiterleitung die robots.txt auswerten?
ich kann z. B. im Browser www.domainNameVonStrato.de/index.htm
angeben, wobei index.htm auf dem t-online/home account liegt.

Kommt die Suchmaschinen allerdings direkt über Deinen T-Online-Account, dann hast Du keine Chance, weil Du dort den Inhalt des site-relativen URL /robots.txt nicht verändern darfst.

ist klar!

gruss

Thilo