(ZU DIESEM FORUM) Monats - Archiv - Downloads

[Sven Laukat]

Hallo zusammen,

nachdem ich mir mitlerweile die "alten" Forumarchive '3-1998' bis '4-1999' runtergeladen habe, möchte ich den Vorschlag machen in Zukunft evtl. Monatsweise diese Downloadmöglichkeit zu bieten. Das würde meines Erachtens nach folgende Vorteile mit sich bringen:

1. Die Archivdateien werden offensichtlich immer größer. (Die letzte liegt bei 9MB) Für Leute mit langsamem Internetzugang, auch ich benutze noch ein 28.8er Modem, ist das ein ziehmlich zeitintensiver Download.

2. Man hätte, bei regelmäßigem beziehen der Archivdateien, zu Hause einen Aktuelleren Bestand und müßte lediglich den laufenden Monat online recherchiren.

Natürlich wäre der Aufwand für denjenigen, der den ganzen Kram ZIPt bei dieser Handhabung auch drei mal so groß, als bisher. Vielleicht seht ihr diesen Beitrag einfach als konstruktive Anregung für die Zukunft, für den Fall, daß die Archivdateien noch größer werden sollten.

Wir lesen uns (hoffentlich noch oft :-),

Sven

[Stefan Muenz]

Hallo Sven,

Natürlich wäre der Aufwand für denjenigen, der den ganzen Kram ZIPt bei dieser Handhabung auch drei mal so groß, als bisher.

Genau. Und deshalb mache ich es nicht. Wer den ganzen Schotter unbedingt auf der eigenen Platte braucht, dem kann man auch mal ein paar MB Dauerdownload zumuten finde ich. Und das Gemecker wird in der Summe sowieso niemals kleiner, egal was man verbessert (falls das nicht so bei Murphy steht, gehoert es dorthin <g>). Bis zur naechsten Anfrage dieser Art ;-)

viele Gruesse
  Stefan Muenz

[speedy]

Hallo Stefan,

Genau. Und deshalb mache ich es nicht. Wer den ganzen Schotter unbedingt auf der eigenen Platte braucht, dem kann man auch mal ein paar MB Dauerdownload zumuten finde ich. Und das Gemecker wird in der Summe sowieso niemals kleiner, egal was man verbessert (falls das nicht so bei Murphy steht, gehoert es dorthin <g>).

Ich finde aber das zweite Argument durchaus gerechtfertigt. Natürlich will ich jetzt nicht in herausfordernder Art und Weise von Euch verlangen, daß Ihr die Archivierung flexibilisiert, aber man könnte den Gedanken doch einfach mal zulassen, oder?

Es gibt doch auch Möglichkeiten Dateien serverseitig zu komprimieren (z.B. beim Logfiledownload der Strato is das so), vielleicht lässt sich das ja hier auch basteln.

Ihr "meckert" doch auch immer, daß keiner ins Archiv schaut und dann die ewig währenden Fragen gestellt werden. Das könnte daran liegen, daß es einen ganz schön viel Onlinezeit kostet, das Archiv zu durchsuchen. Auch wenn die Volltextsuche nur mit einem Webserver funzt, könnte ich mir vorstellen das sich vielleicht was ändert, wenn das Archiv besser "promotet" wird und die Archivdaten leichter zugänglich sind.

CU
speedy

PS: Aber wenn alles so bleibt wie‚s ist, ist‚s trotzdem schön hier!

[Oliver García]

Hallo speedy,

Ihr "meckert" doch auch immer, daß keiner ins Archiv schaut und dann die ewig währenden Fragen gestellt werden. Das könnte daran liegen, daß es einen ganz schön viel Onlinezeit kostet, das Archiv zu durchsuchen. Auch wenn die Volltextsuche nur mit einem Webserver funzt, könnte ich mir vorstellen das sich vielleicht was ändert, wenn das Archiv besser "promotet" wird und die Archivdaten leichter zugänglich sind.

Was das Durchsuchen des Archivs angeht, könnte ich eine schnelle, komfortable Offline-Suchmaschine anbieten, die bereits auf das Forum abgestimmt ist und von ein paar Leuten benutzt wird. Ich habe aber Zweifel, ob sie für die "breite Masse" wirklich von Interesse ist. Denn die Suchmaschine (mit Suchindex) allein umfaßt schon 15 MB. Überhaupt denke ich, daß es nur wenige sind, die sich das Forumsarchiv, das immerhin 33 MB ausmacht, tatsächlich heruntergeladen haben.
Ich lasse mich gerne vom Gegenteil überzeugen und mache dann die Self-Archiv-Suchmaschine zugänglich.

Gruß,

Oliver

[speedy]

Ich lasse mich gerne vom Gegenteil überzeugen und mache dann die Self-Archiv-Suchmaschine zugänglich.

Wenn Dich das vom Gegenteil überzeugt: HER DAMIT!
Ich hab schon lange gehofft, daß mal jemand sowas bastelt. Wo kann man das Ding haben *lechtz, gier* ?

CU
speedy

[Michael Schröpl]

Ich hab schon lange gehofft, daß mal jemand sowas bastelt. Wo kann man das Ding haben *lechtz, gier* ?

Der Source Code der Online-Archiv-Suchmaschine steht auf dem Server, Links darauf findest Du im Archiv.
CGI-Anwendung lokal installieren, Index basteln, und los geht's ...

[Andreas Flückiger]

Hallo speedy

Ich hab schon lange gehofft, daß mal jemand sowas bastelt. Wo kann man das Ding haben *lechtz, gier* ?

Ich habe mal ein Script geschrieben, dass die Index-Datei immer auf dem neusten Stand hält. Dabei wird der Index auf dem Teamone-Server heruntergeladen, allerdings nur die Änderungen. Du findest es auf der Seite <../../selfhtml/sfarchiv/2000_1/t10624.htm#a53856>.
Ein Script, dass das Forums-Archiv (die einzelnen HTML-Dateien) herunterlädt, habe ich auch geschrieben. Es ist allerdings noch nicht ausgereift.

Gruss
Andreas

[Andreas Flückiger]

Du findest es auf der Seite <../../selfhtml/sfarchiv/2000_1/t10624.htm#a53856>.

Sorry, der Link sollte <../../../selfhtml/sfarchiv/2000_1/t10624.htm#a53856> heissen.

[Michael Schröpl]

Du findest es auf der Seite <../../selfhtml/sfarchiv/2000_1/t10624.htm#a53856>.

Sorry, der Link sollte <../../../selfhtml/sfarchiv/2000_1/t10624.htm#a53856> heissen.

Da in letzter Zeit mehrere Leser versucht haben, relative Links zu setzen:
Ich empfehle, das nicht zu tun - es ist zu fehleranfällig. (Ich habe vorhin auch einen - externen - Link falsch gesetzt. :-(

Setzt lieber absolute Links, die kann man einfach aus der URL-Zeile des Browsers einfach herauskopieren. Dabei kann man sogar sicherstellen, daß kein Tippfehler drin ist.
Und wenn ihr die Länge begrenzen wollt, dann löscht vorne das "http://www.teamone.de/" heraus.
In Deinem Falle entsteht dann <../../sfarchiv/2000_1/t10624.htm#a53856>, was sogar kürzer ist als Deine Angabe.
(Noch dazu ist der Link so im Archiv immer noch korrekt, falls sich die Position des Forums auf dem Server jemand ändert, die des Archivs aber nicht ... ;-)

[Oliver García]

Hallo Michael,

Da in letzter Zeit mehrere Leser versucht haben, relative Links zu setzen:
Ich empfehle, das nicht zu tun - es ist zu fehleranfällig. (Ich habe vorhin auch einen - externen - Link falsch gesetzt. :-(

Setzt lieber absolute Links, die kann man einfach aus der URL-Zeile des Browsers einfach herauskopieren. Dabei kann man sogar sicherstellen, daß kein Tippfehler drin ist.
Und wenn ihr die Länge begrenzen wollt, dann löscht vorne das "http://www.teamone.de/" heraus.
In Deinem Falle entsteht dann <../../sfarchiv/2000_1/t10624.htm#a53856>, was sogar kürzer ist als Deine Angabe.
(Noch dazu ist der Link so im Archiv immer noch korrekt, falls sich die Position des Forums auf dem Server jemand ändert, die des Archivs aber nicht ... ;-)

Problem: im heruntergeladenen Archiv funktionieren die Verweise dann aber nicht mehr. Ich plädiere deshalb für relative Angaben. Es sei denn, das Schwanzabschneider-Skript wird entsprechend angepaßt, um absolut in relativ umzuwandeln...

Wenn es in jüngster Zeit zu Problemen kam, dann liegt es wahrscheinlich an der Umstellung der Verzeichnisstruktur (jetzt reichen 2 mal ".." nicht aus, es müssen drei sein). Das ist Gewöhnungssache.

Gruß,

Oliver

[Patrick]

Hallo Oliver!

<../../sfarchiv/2000_1/t10624.htm#a53856>, was sogar kürzer ist als Deine Angabe.
(Noch dazu ist der Link so im Archiv immer noch korrekt, falls sich die Position des Forums auf dem Server jemand ändert, die des Archivs aber nicht ... ;-)

Problem: im heruntergeladenen Archiv funktionieren die Verweise dann aber nicht mehr. Ich plädiere deshalb für relative Angaben. Es sei denn, das Schwanzabschneider-Skript wird entsprechend angepaßt, um absolut in relativ umzuwandeln...

Funktioniert, wie bei mir <g>, wenn man selfhtml direkt unter C:\ hat. Aber das ist keine Lösung, da kann man niemanden vorschreiben, wo sein selfhtml zu sein hat.

Für das Ändern von absoluten in relativen Angaben, muss erstmal eine Struktur geschaffen werden, an welche man festhält. Noch ist SELFHTML so was wie im Umbruch (redesign, etc...).

Bis danndann
PAF (patrickausfrankfurt), SELFSPEZIAL

[Calocybe]

Hi!

Ein Script, dass das Forums-Archiv (die einzelnen HTML-Dateien) herunterlädt, habe ich auch geschrieben. Es ist allerdings noch nicht ausgereift.

Macht nichts, das gibt's eh schon.
Code follows. Aufruf:
  perl sfa_fetch.pl 1999_4 2000_1
Holt die Dateien der Quartale, die hinter dem Filename angegeben sind und legt sie in gleichnamigen
Unterverzeichnissen (relativ zu $dstroot) ab.

Bye, Calocybe

#!I:/bin/perl/bin/perl.exe -w

require LWP::Simple;

$srcroot = "http://www.teamone.de/selfhtml/sfarchiv/";
$dstroot = "./";
$indexfile = "index.htm";

$ store_url($url, $file);

Does the same as LWP::Simple::getstore should do, but the latter doesn't work for some reason.

sub store_url {
    my $content;
    my $filename;

$content = LWP::Simple::get(shift());
    return 0 unless defined($content);

$filename = shift();
    if (!open(CONTENT, ">$filename")) {
        print STDERR "Unable to write $filename! (Reason: $!)\n";
        return 0;
    }
    binmode CONTENT;
    print CONTENT $content;
    close CONTENT;

return 1;
}

FetchThreads($quarter, @threadlinks);

$quarter: name of the directory that contains all links listed in @threadlinks

@threadlinks: Those lines of a index.htm that contain links to threads

sub FetchThreads {
    my $quarter = shift;
    my ($linkline, $threadname);
    my $response;

while ($linkline = shift()) {
        if (!($linkline =~ /<a.+?href="(t\d+.htm)">/i)) { next }
        $threadname = $1;

if (-f $dstroot.$quarter.'/'.$threadname) {
            ### print "Thread $threadname already here. Skipped.\n";
        } else {
            print "Fetching thread $threadname... ";
            print((store_url($srcroot.$quarter.'/'.$threadname, $dstroot.$quarter.'/'.$threadname)) ?
                "Ok.\n" : "FAILED!\n");
        }
    }
}

main(@folderlist);

@folderlist: list of directories (relative to the SFA root) each of which contains the threads of a certain span

#              of time, usually a quarter of a year

sub main {
    my $index_htm;
    my $quarter;

while ($quarter = shift()) {
        $quarter =~ s//$//;

mkdir($dstroot.$quarter, 0755) unless (-d $dstroot.$quarter);
        unless (-d $dstroot.$quarter) {
            print STDERR "Directory $dstroot$quarter does not exist and being unable to create it!\n";
            next;
        }

print "Getting index file for quarter $quarter... ";
        $index_htm = LWP::Simple::get($srcroot.$quarter.'/'.$indexfile);

if (defined($index_htm)) {
            print "Got.\n";
            if (!open(INDEX, ">$dstroot$quarter/$indexfile")) {
                print STDERR "Could not write index file for $dstroot$quarter! (Reason: $!)\n";
                next;
            }
            binmode INDEX;      # avoid converting 0Ah to 0D0Ah, thus having 0Dh twice
            print INDEX $index_htm;
            close INDEX;

FetchThreads($quarter, grep(/<a.+?href="t\d+.htm">/i, split(/\n/, $index_htm)));
        } else {
            print STDERR "Unable to get directory index $srcroot$quarter/$indexfile!\n";
            next;
        }
    }
}

(scalar(@ARGV) > 0) ? main(@ARGV) : die("ERROR: Too few arguments to sfa_fetch.pl!\n");

[Michael Schröpl]

Natürlich wäre der Aufwand für denjenigen, der den ganzen Kram ZIPt bei dieser Handhabung auch drei mal so groß, als bisher.
Vielleicht seht ihr diesen Beitrag einfach als konstruktive Anregung für die Zukunft, für den Fall, daß die Archivdateien noch größer werden sollten.

Das ist m. E. der Ansatzpunkt.

Stefan, wie kompliziert und kritisch ist denn eigentlich so ein Vorgang, einen Haufen Daten zu einem Archiv zusammenzufassen? Muß das wirklich per Hand erfolgen, oder wäre das vielleicht auch eine Aufgabe für ein (jeweils am Monatsersten via cron gestartetes) Skript irgendwelcher Art? (Schreib doch mal die einzelnen Schritte mit, wenn Du das Quartal I/2000 "releasest" ...
Ein auf dem teamone-Server laufendes ZIP-Programm aufzutreiben dürfte nicht das Problem sein - und die Benutzeroberfläche, welche bisher von einem manuell gepflegten HTML-Dokument realisiert wird, müßte sich (via SSI) auf über ein Dokument lösen lassen, welches eine generische Installationsanweisung enthält und via directory browsing den Inhalt des Verzeichnisses aller dieser Archivdateien einblendet.

Hm ... ;-)

[Stefan Muenz]

Hallo Michael

Hm ... ;-)

Gell, das hast du jetzt selber gemerkt <g>. Zu spaet, du hast das Posting abgeschickt. Initiativstrafe ist hiermit erteilt ;-)
Aber warte vielleicht noch damit, bis das Script auch eine Chance hat zu funktionieren ;-)

viele Gruesse
  Stefan Muenz