Ingo Turski: robots.txt und oder vs meta name = "robots" - Zusatzfrage

Beitrag lesen

Hi,

Ich habe schon gelesen, daß Suchmaschinen die Verzeichnisse durchschauen.

sofern ein Link auf /verzeichnis/ existiert, wird die Suchmaschine diesem nachgehen und den ausgelieferten Inhalt unter /verzeichnis/ aufnehmen. Wenn der Server keine Seite ausliefert, sondern das Directory-Listing, _dann_ bekommt der Robot weitere Links zu den im Verzeichnis enthaltenen Dateien und kann diesen nachgehen. Mir ist auch bisher nicht aufgefallen, daß Suchmaschinen Anforderungen machten, die nirgends referenziert waren.

freundliche Grüße
Ingo