nicht angemeldet
Hi,
ergänzend zum allgemeinen Link, den Markus Dir gab:
im Quelltext (Head-Bereich) sieht wie folgt aus:
<Meta Name="Siteinfo" content="www.irgendwas.de/robots.txt">
Nein. Die URL lautet _immer_ http://dein-host/robots.txt, es gibt keine Ausnahme. Und selbst wenn man sie angeben könnte, müsstest Du eine URL nennen, kein "www.irgendwas". Eine URL beginnt mit dem Protokoll.
Die Datei an sich:
robots.txt for http://www.irgendwas.de/
file created: 07.02.2002
Das sind Kommentare, welche mit "#" eingeleitet werden müssen. Die Datei ist syntaktisch falsch.
Allow: /ABC/
Naja, und wie gesagt gibt es kein "allow", sondern nur ein "disallow".
Übrigens heißt es im Singular "der Robot" (ohne "s"), und Du solltest etwas stärker hervorheben, dass die Beachtung der robots.txt optional ist.
Cheatah