Michael Schröpl: robots.txt

Beitrag lesen

HI Alex,

Es kommt auf die Art der Umleitung an:

Wenn der Robot über die virtuelle URL (Strato) zugreifen will,
dann wird er eine robots.txt mit dem DNS-Namen dieser
virtuellen Domain ansprechen.
Falls die Umleitung so funktioniert, daß auch dieser Zugriff auf robots.txt mit umgeleitet wird, sollte es funktionieren. Wenn nicht, dann nicht.

Bei einer Umleitung mittels Meta-Refresh oder Frame wird ja
der Web-Space bei Strato genutzt. Dort ist eine robots.txt
dann einsetzbar und abzulegen.

Eben nicht - weil der an /robots.txt des gesamten Servers ja nicht ran kommt, solange er nur ein Verzeichnis dort hat.

Deshalb wird es bei <meta refresh> nicht funktionieren:

  • Die vordere robots.txt wirkt nicht,
  • die hintere ist nicht zugänglich.

Wird eine Umleitung mittels "Profiumleitung" wie Strato
dies nennt gemacht, läuft die komplette Umleitung über
einen Proxy, so dass der Domainname, auch innerhalb von
Unterverzeichnissen im Browser sichtbar ist.

Und damit würde auch der Zugriff auf die robots.txt umgeleitet.

Einen Besucher bzw. Suchmaschinen-Robot ist es nicht
möglich, zu unterscheiden, wo die Daten liegen.

Probiere einfach aus, ob Du die robots.txt direkt via Browser ansprechen kannst! (Separat mit jedem der beiden DNS-Namen.)
Wenn das geht, dann schafft es die Suchmaschine ebenfalls.

Hier müsste die robots.txt eigentlich im T-Online-Webspace
abgelegt werden, da der Starto-Webspace nicht genutzt wird.

Wird eine Umleitung mittels .htaccess (RedirectPermanent /
http://home.t-online.de/...) gemacht wird, ist eine
robots.txt meines Erachtens nicht einsetzbar.

Wieso soll der Zugriff auf diesen URL nicht ebenfalls umgeschrieben werden können?

Viele Grüße
      Michael