Hallo liebe Forumsgemeinde,
ich habe folgende Frage: Wie teile ich einem Robot mit, dass er eine URL nicht in seinem Index aufnehmen soll.
z.B.
Sowohl
http://www.beispiel-xyz.com
als auch
http://www.beispiel2-abc.com
verweisen auf meine Homepage. Ich möchte aber dass der Crawler "http://www.beispiel2-abc.com" nicht in seinem Index aufnimmt sondern nur die url ".... xyz.com". Wie stelle ich das an? Die angaben in der robots.txt sind alle relativ.
User-agent: *
Disallow: /xxx/
Disallow: /yyy.html
Kann ich in der robots.txt einfach auch einen absoluten Pfad angeben? Also so:
User-agent: *
Disallow: http://www.beispiel2-abc.com/
Vielen Dank für eure Bemühungen!´!