Michael Schröpl: robots.txt

Beitrag lesen

Hi Thilo.

Nun ist es bei mir so, dass ich einen Domainname (bei Strato
;-)) habe, dieser aber allerdings sofort auf so ein Verzeichnis
(z.B. t-online/home/meinName/) umgeleitet wird.

das heißt, daß Deine Seiten wahlweise unter beiden DNS-Namen ansprechbar sind, ja?

Kann ich die robots.txt doch verwenden?

Das ist nicht die interessante Frage.
Diese lautet vielmehr: In welchen Fällen wird die Seite von einer Suchmaschinen gelesen werden?

Wenn eine Suchmaschine über Deine Domain kommt und dort (!) eine /robots.txt über den entsprechenden URL ansprechen kann (einen Weiterleitung interessiert die Suchmaschine erst mal nicht, sie ist ja kein Browser), dann wird sie den Inhalt der Robots-Beschreibung lesen.

Kommt die Suchmaschinen allerdings direkt über Deinen T-Online-Account, dann hast Du keine Chance, weil Du dort den Inhalt des site-relativen URL /robots.txt nicht verändern darfst.

Eine rotots-Datei innerhalb des T-Online-Accounts dürfte also wertlos sein - eine robots-Datei auf dem Server, der die Weiterleitung macht, wäre dagegen nutzbar, allerdings nur für einen Teil der Zugriffe.

Beantwortet das Deine Frage?

Viele Grüße
      Michael