nicht angemeldet
Hi, Andreas
Die Suchmaschinen Namen, die man auch in der robot.txt einträgt, wie werden die übertragen? Kommen die auch aus dem AGENT, oder istr das was anders?
Der Robot sieht nach, ob es in robots.txt eine Regel gibt, die für ihn gilt. Entweder er hält sich daran, oder nicht. Wie der Robot heißt, ist letztlich egal, da er selbst bestimmt, was er sehen will.
http://www.suchfibel.de/_webtools/search/search.pl?Realm=%26Match=0%26Terms=robots.txt
LG Orlando