nicht angemeldet
Hallo Achim,
Die robots.txt-Datei dient aber doch in erster Linie dazu, den Roboter von bestimmten Seiten auszuschließen!? Oder?
Ja, schließlich heißt es ja 'robots exclusion standard' - wenn keine robots.txt da ist (und keine 'noindex'-metatags), dann indiziert der robot einfach alles, was da ist - wenn er bei fehlender robots.txt nix machen würde, wäre die Anzahl der Seiten in den Suchmaschienen wohl um einige Größenordnungen kleiner, weil alles vor der Erfindung der robots.txt rausfallen würde.
Ich denke mal, dein Provider hatte bzw. hat einfach Routingprobleme zu einigen Servern - zumindest bei Altavista sind die Seiten nämlich zu finden, und der Robot von Altavista ist der gleiche wie der von Fireball.
Viele Grüße
Stephan