nicht angemeldet
Hallo,
Wenn eine Suchmaschine über Deine Domain kommt und dort (!) eine /robots.txt über den entsprechenden URL ansprechen kann (einen Weiterleitung interessiert die Suchmaschine erst mal nicht, sie ist ja kein Browser), dann wird sie den Inhalt der Robots-Beschreibung lesen.
Es kommt auf die Art der Umleitung an: Bei einer Umleitung mittels Meta-Refresh oder Frame wird ja der Web-Space bei Strato genutzt. Dort ist eine robots.txt dann einsetzbar und abzulegen.
Wird eine Umleitung mittels "Profiumleitung" wie Strato dies nennt gemacht, läuft die komplette Umleitung über einen Proxy, so dass der Domainname, auch innerhalb von Unterverzeichnissen im Browser sichtbar ist. Ich kann auch Dateien in Unterverzeichnissen auf dem T-Online-Webspace direkt über diesen Domiannamen aufrufen. Einen Besucher bzw. Suchmaschinen-Robot ist es nicht möglich, zu unterscheiden, wo die Daten liegen. Hier müsste die robots.txt eigentlich im T-Online-Webspace abgelegt werden, da der Starto-Webspace nicht genutzt wird.
Wird eine Umleitung mittels .htaccess (RedirectPermanent / http://home.t-online.de/...) gemacht wird, ist eine robots.txt meines Erachtens nicht einsetzbar. Denn hier könnte man zwar Daten auf den Strato-Webspace ablegen, auf ihn zugreifen kann man aber nicht, da alle Abfragen auf die T-Online-Adresse verweisen. (Obwohl ich mir hier nicht ganz sicher bin, ob dies mit dem oben angegebenen Eintrag in der .htaccess erreicht wird, oder ob nur Zugriffe das Root-Verzeichnis selbst umgeleitet werden - sorry ;) Hier müßte Michael noch mal ran, der kennt soch damit besser aus...)
Nun ja, wenn dies jedenfalls so ist, tritt dieser "Fall" ein...
Kommt die Suchmaschinen allerdings direkt über Deinen T-Online-Account, dann hast Du keine Chance, weil Du dort den Inhalt des site-relativen URL /robots.txt nicht verändern darfst.
...weil es so ist, als ob man die T-Online-URL direkt aufgerufen hätte.
Eine rotots-Datei innerhalb des T-Online-Accounts dürfte also wertlos sein - eine robots-Datei auf dem Server, der die Weiterleitung macht, wäre dagegen nutzbar, allerdings nur für einen Teil der Zugriffe.
Sehe ich genauso bis auf der oben genannten Einschränkung der Profi-Umleitung...
Viele Grüße...
Alex :)