Cheatah: Auch absolute Pfade in der robots.txt erlaubt?

Beitrag lesen

Hi,

Ich möchte aber dass der Crawler "http://www.beispiel2-abc.com" nicht in seinem Index aufnimmt sondern nur die url ".... xyz.com". Wie stelle ich das an?

indem Du je nach Domain bzw. Host eine andere robots.txt auslieferst.

Cheatah

--
X-Self-Code: sh:( fo:} ch:~ rl:° br:> n4:& ie:% mo:) va:) de:] zu:) fl:{ ss:) ls:~ js:|
X-Self-Code-Url: http://emmanuel.dammerer.at/selfcode.html
X-Will-Answer-Email: No
X-Please-Search-Archive-First: Absolutely Yes