nicht angemeldet
Hallo,
Kleine Missverständnis: _Ich_ bin der Benutzer. Gibt es auch für mich irgendeine Möglichkeit die Unterverzeichnisse zu erfahren?
Wenn der Seitenersteller keine Sitemap gemacht hat:
Grundsaetzlich nein.
Moeglichkeiten, um moeglichst viele Unterverzeichnisse zu finden:
* Anklicken aller Links
* Google-Suche ueber die ganze Seite mit "site:example.com", z.B.
http://www.google.com/search?q=site%3Aselfhtml.teamone.de
* Offline-Browser oder Mirroring-Software ueber die Seite
laufen lassen, dann hast Du alle oeffentlich zugaenglichen,
verlinkten Verzeichnisse/Dateien als Kopie auf Deiner Harddisk.
Ist aber nicht sehr sinnvoll und belastet die Ressourcen
(Server, Netzwerk) unnoetig und ist unbeliebt bei Anbietern,
die limitierten Traffic haben bzw. volumenabhaengig bezahlen.
Evtl. gibt es auch spezielle Tools, die nur den Links folgen
und daraus eine Sitemap herstellen, ohne die Dateien nachher
auf Deiner Harddisk zu speichern.
Auch diese Tools muessen aber zumindest alle HTML-Seiten
herunterladen, um sie nach Links zu durchforsten.
Das Ressourcen-Problem ist also dasselbe wie oben.
---
Manche Sites haben eine robots.txt-Datei im Hauptverzeichnis
(www.example.com/robots.txt) - dort sind aber leider nur die
"verbotenen" Verzeichnisse aufgelistet, in welche die
Spider/Robots gerade _nicht_ vordringen sollen.
Gruesse,
Thomas
Bitte keine Mails mit Fachfragen - dafuer gibt es das Forum!
Ich mag es, wenn URLs verlinkt sind (</faq/#Q-19>).
Oft gestellte PHP-Fragen beantwortet die dclp-FAQ bestens: http://www.dclp-faq.de/