Sven Rautenberg: robtos.txt muss man auch bilderordner intergrieren?

Beitrag lesen

Moin!

Die robots.txt sagt dem Roboter nur, ob und welche Ressourcen er indizieren soll.

Genau anders herum ist es richtig: Die robots.txt sagt dem Spider (und nur denen, die danach fragen - niemand wird daran gehindert, unfreundliche Spider zu schreiben, die sich nicht dran halten), auf welche Verzeichnisse er nicht zugreifen und sie somit nicht indizieren soll.

Es ist nicht möglich, in der robots.txt Angaben zu machen, welche Verzeichnisse _doch_ indiziert werden sollen, weil eben nur "Disallow" vorgesehen ist, nicht "Allow".

- Sven Rautenberg

--
"Bei einer Geschichte gibt es immer vier Seiten: Deine Seite, ihre Seite, die Wahrheit und das, was wirklich passiert ist." (Rousseau)