Shadowcrow: Robot.txt-Validator?

Beitrag lesen

hi $name,

Bei der Frage, warum eine Suchmaschine etwas nicht findet, denkt man ja auch gleich daran, ob die vorhandene robot.txt korrekt ist. Dabei fällt mir ein: Ich bin neulich über eine Art robot.txt-Validator gestolpert. Hat jemand Erfahrung mit der Qualität dieses oder vergleichbarer Angebote?

nicht wirklich, ich benutze zum validieren die google webmastertools - die sind aber mit vorsicht zu genießen, da google syntaxmäßig ein paar sachen unterstützt die andere suchmaschinen schlicht ignorieren, da sie eigentlich falsch sind.

gruss
shadow

--
Vor dem Parser und auf hoher See sind wir allein in Gottes Hand