Dateiliste & Download anhand dieser

[Testerr]

Hi,

auf dem lokalen System habe ich ein Verzeichnis mit einer festen Ordner- und Datei-Struktur. Vereinfacht könnte diese also so aussehen:
./a.txt
./sub/b.txt
./sub/bb.txt
usw.

Nun sind diese Dateien - jedoch in aktualisierter Form - auf einem HTTP-Server (ohne (S)FTP-Zugang) wiederzufinden. Dort dann also in Form von http://domain.tld/a.txt bzw. http://domain.tld/sub/b.txt usw.

Gerne hätte ich lokal auch die aktuellen Dateien udn würde also gerne "synchronisieren".

Da es sich um .txt und nicht etwa um untereinander verlinkte Web-Dokumente handelt, bringt eine Spiegelung mit wget -m denkbar wenig.

Besser wäre wohl, dass
-zuerst einmal vom lokalen Verzeichnis rekursiv eine Dateiliste erzeugt wird
-und danach die Dateien gem. dieser Liste, mit http://domain.tld vorangestellt heruntergeladen werden und praktischerweise auch noch im richtigen Unter-Verzeichnis landen.
Damit habe ich wohl sehr grob beschrieben, wie sich das programmieren lassen würde; aber i.d.R. gibt es für solche Tätigkeiten bereits Räder, die nicht mühsam neuerfunden werden müssen. Dessen Name herauszufinden, ohne es zu kennen, ist denkbar schwierig, zumal google mir leider nicht die passenden Ergebnisse liefern möchte :-(
Daher frage ich euch: Kennt Ihr ein Tool hierfür, womit sich diese trivialle, aber zeitaufwändige Aufgabe bei manueller Ausführung, schnell erledigen lässt? OS: Linux oder Win, spielt keine Rolle...

Großes Dankeschön!!!

[ChrisB]

Hi,

aber i.d.R. gibt es für solche Tätigkeiten bereits Räder, die nicht mühsam neuerfunden werden müssen. Dessen Name herauszufinden, ohne es zu kennen, ist denkbar schwierig, zumal google mir leider nicht die passenden Ergebnisse liefern möchte :-(

(File) Synchronisation sollte sich als Suchbegriff doch wohl anbieten.
Ich würd' diesen mal bei SourceForge probieren.

MfG ChrisB

[testerr]

(File) Synchronisation sollte sich als Suchbegriff doch wohl anbieten.
Ich würd' diesen mal bei SourceForge probieren.

Ich kann leider nur solche Tools finden, die auf FTP o.ä. Verbindungen bestehen. Die Dateien über HTTP erhalte ich ja nur auf Anfrage und nicht in Form einer Verzeichnis-/Dateiliste...

[basti_p]

Hallo,

ein fertiges Tool kann ich nicht bieten; aber mit http://www.autoitscript.com/autoit3/ sollte sich so etwas (unter Windows) schnell auf die Beine stellen lassen.

Grüße Basti

[Thomas Luethi]

Hallo,

Unter DOS/Windows gibt es ja die sogenannten Stapeldateien (*.BAT).
Dort kannst Du eine Abfolge von [Kommandozeilen-]Befehlen speichern,
die nacheinander abgearbeitet werden sollen.

Soviel ich sehen kann, wären unter Windows (Kommandozeile)
etwa folgende Schritte notwendig:

1. Ins gewünschte Laufwerk wechseln:
   C:
2. Ins gewünschte Verzeichnis wechseln:
   cd \pfad\zum\verzeichnis
3. Dateiliste erzeugen und in Datei speichern, z.B.
   dir /A-D /S /B >dir.txt

Jetzt hast Du eine Datei dir.txt, in der die Dateien schön brav
mit vollem Pfad aufgelistet sind, z.B.
C:\pfad\zum\verzeichnis\a.txt
C:\pfad\zum\verzeichnis\sub\b.txt
C:\pfad\zum\verzeichnis\sub\bb.txt

4. In der Datei den Basis-Pfad (C:\pfad\zum\verzeichnis) suchen
durch die URL-Basis (http://www.example.com/verzeichnis/) ersetzen
sowie alle \ durch / ersetzen.
(Hier fällt mir gerade nichts kurzes ein, es sei denn, Du hast Perl
oder sowas installiert. Aber vielleicht hat sonst jemand eine Idee.)

Jedenfalls sollte am Ende das in der dir.txt stehen:
http://www.example.com/verzeichnis/a.txt
http://www.example.com/verzeichnis/sub/b.txt
http://www.example.com/verzeichnis/sub/bb.txt

5. mit wget die Liste abarbeiten:
wget -i dir.txt

Wenn Du für den 4. Schritt noch eine nette Lösung bekommst,
dann lässt sich das ganze eben in einer BAT-Datei mit
ca. 5 - 6 Zeilen unterbringen.

Weitere Infos gibt es mit
wget -help
help dir

Ich hoffe, das hilft Dir weiter.
Freundliche Grüsse
Thomas

[testerr]

Hi,

erstmal danke für die vielen Infos.

5. mit wget die Liste abarbeiten:
   wget -i dir.txt

Soweit bin ich jetzt, wobei die fehlenden Stellen durch eigene Scripte ersetzt wurden...
Bei wget -i ist das Problem, dass die Verzeichnisstruktur nicht übernommen wird, d.h. was in http://domain.tld/vz/... liegt, soll lokal auch in ./vz/ landen und nicht alles in ./

Danke

[ChrisB]

Hi,

Bei wget -i ist das Problem, dass die Verzeichnisstruktur nicht übernommen wird, d.h. was in http://domain.tld/vz/... liegt, soll lokal auch in ./vz/ landen und nicht alles in ./

http://www.gnu.org/software/wget/manual/html_node/Directory-Options.html#Directory-Options

MfG ChrisB