nicht angemeldet
Anmeldung bei Suchdiensten
Hallo,
ich hatte meine Website http://www.beiermann.de in allen großen Suchdiensten erfolgreich eingetragen. Heute habe ich dann zufällig festgestellt, dass sie plötzlich bei Altavista, Yahoo und Fireball nicht mehr aufgeführt wird.
Der Versuch, sie bei Fireball erneut anzumelden, endete mit dem Hinweis, dass der Suchroboter von Fireball die gemeldete Seite zwar besucht hat, aber nicht darauf zugreifen durfte. Als weitere Erklärung erhielt ich folgenden Hinweis: "Ihr Webmaster hat den Server, auf dem Ihre Seite liegt, durch eine "robots.txt"-Datei geschützt, die FIREBALL den Zugang zu Ihrer Seite verwehrt. Bitten Sie Ihren Webmaster, die "robots.txt"-Datei so zu ändern, daß unser Roboter auf Ihre Seite zugreifen darf, und melden Sie sie dann
erneut an."
Mein Provider, mit dem ich mich daraufhin in Verbindung gesetzt habe,
schreib mir folgendes:
"Die Fehlermeldung ist nicht ganz richtig. Denn nicht der Server ist durch eine robot.txt geschützt sondern Altavista und Fireball können nichts mit Webseiten anfangen die keine robot.txt in Ihrem Homeverzeichnis haben. Kurz gesagt heißt das Sie müssen eine robot.txt erstellen mit kompletten Lesezugriff, und in dieser expizit angeben welche Seiten der Roboter untersuchen soll."
Die robots.txt-Datei dient aber doch in erster Linie dazu, den Roboter von bestimmten Seiten auszuschließen!? Oder?
Ich habe es dann gegen mein besseres Wissen doch gemacht. Dennoch erhalte ich die selbe Fehlermeldung. Ich denke, dass etwas auf dem Server geändert wurde. Sicher hängt das damit zusammen, dass der Roboter in bestimmten Zeitabständen eine bereits gemeldete Site erneut aufsucht, um die Aktualität zu prüfen, und nun plötzlich nicht mehr zugreifen darf. Von daher denke ich, dass der Hinweis von Fireball doch nicht so falsch ist.
So, ich hoffe, ich habe euch nicht mit meiner Frage erschlagen und wäre für Hilfe sehr dankbar.
Vielen Dank!
Achim Beiermann
-
Hallo Achim,
Die robots.txt-Datei dient aber doch in erster Linie dazu, den Roboter von bestimmten Seiten auszuschließen!? Oder?
Ja, schließlich heißt es ja 'robots exclusion standard' - wenn keine robots.txt da ist (und keine 'noindex'-metatags), dann indiziert der robot einfach alles, was da ist - wenn er bei fehlender robots.txt nix machen würde, wäre die Anzahl der Seiten in den Suchmaschienen wohl um einige Größenordnungen kleiner, weil alles vor der Erfindung der robots.txt rausfallen würde.
Ich denke mal, dein Provider hatte bzw. hat einfach Routingprobleme zu einigen Servern - zumindest bei Altavista sind die Seiten nämlich zu finden, und der Robot von Altavista ist der gleiche wie der von Fireball.Viele Grüße
Stephan-
Hallo Achim,
Ich denke mal, dein Provider hatte bzw. hat einfach Routingprobleme zu einigen Servern - zumindest bei Altavista sind die Seiten nämlich zu finden, und der Robot von Altavista ist der gleiche wie der von Fireball.
Das ist nicht richtig. Fireball verwendet nur die AV IndexerSoftware, um mit eigens entwickelten Robots einen eigenen Index zu erstellen.
Die robots.txt ist eigentlich korrekt, trotzdem kann es mal Probleme mit der Auffindbarkeit geben. Mehr in der neuen Webmaster FAQ der Suchfibel:
http://www.suchfibel.de/6gefunden/faqplatzierung.htmgruss, kaz
-