Hi dailynight,
OK... also mal ehrlich. Suchmaschinen durchsuchen nicht nur URLs sondern auch Verzeichnisse
Das stimmt nicht. Suchmaschinen können per Definition keine Verzeichnisse durchsuchen, weil sie keinen Zugriff auf das Dateisystem haben.
Hm... also das deckt sich nicht mit meiner Erfahrung. Bei uns wurden schon Ordnersrtukturen ausgelesen inkl. aller Inhalte. Haben wir anschließend als doppelten Inhalt in der Suchmaschine gehabt. BTW wir sind uns noch nicht einmal sicher, dass sich Suchmaschinen an die robots.txt halten. Klar, die Inhalte tauchen nicht in der Suchmaschine auf, aber ob sie intern nicht trotzdem gelistet werden....???? Nicht genaues weiß man nicht!
Manche Server lassen sich so konfigurieren, dass sie beim Aufruf bestimmter Ressourcen, den Inhalt des dahinter stehenden Ordners anzeigen (Stichwort mod_autoindex für Apache), dann findet eine Suchmaschine natürlich die Links zu allen weiteren Dateien. Existiert so ein „Directory-Listing” nicht oder werden bestimmte Dateien konfigurationsbedingt nicht darin angezeigt, so haben Suchmaschinen auch keine Chance diese Dateien zu finden.
Gut, das müßte ich dann recherchieren. Kann ich so nicht sagen. Letztlich habe ich den Verzeichnisaufbau mit dem Zugriffsschutz nicht verstanden. Die Suchmaschine war da eher von untergeordneter Bedeutung.
Ausnahme: Wenn irgendeine andere Seite einen direkten Link auf die Zieldatei setzt. Aber das ist ein anderes Kapitel.
Viele Grüße,
~ Dennis.
FAZIT: Das Verzeichnisdurcheinander ist nicht förderlich. Wie Suchmaschinen im Ernstfall reagieren wäre zu prüfen. Ich persönlich würde es sowieso in keinem Fall so handhaben, selbst wenn funktionieren würde, was ich bezweifel ...