Thomas Kerk: Suche Hilfe in Bezug auf robots.txt

Hallöchen,

kann mich irgendjemand über die Datei robots.txt aufklären.

Wozu brauch ich sie, was macht sie und wie erzeuge ich sie ???

Danke

Thomas

  1. kann mich irgendjemand über die Datei robots.txt aufklären.

    http://www.teamone.de/selfaktuell/artikel/robots.htm

    Jan

  2. Hi!

    Wozu brauch ich sie, was macht sie und wie erzeuge ich sie ???

    Nachdem Du mit dem anderen Link rausgefunden hast, wozu man die braucht, findest Du hier,
    wie sie funktionieren:

    http://info.webcrawler.com/mak/projects/robots/exclusion.html
    http://info.webcrawler.com/mak/projects/robots/norobots.html

    Bye

  3. kann mich irgendjemand über die Datei robots.txt aufklären.

    Wozu brauch ich sie, was macht sie und wie erzeuge ich sie ???

    http://www.bjoernsworld.de/suchmaschinen/robots-txt