Datenarchivierung wie?

[cr]

Hallo,

ich stelle mir gerade die Frage wie man im digitalen Zeitalter aktuell seine wichtigsten Daten sichern sollte?

Folgende Fragen konkret sind mir in denn Kopf gekommen:

-> Datensicherung auf DVD / Blue ray?

-> Archivable Datenträger (z.b. Verbatim DVD Gold Archival) bzw vlt gibts auch blueray alternativen?

-> Daten verschlüsslt mit Truecrpyt auf dem Datenträger ablegen

-> Wo und vorallem wie sollen die Datenträger gelagert werden? In einer Hülle, lieber offen, in Papier,...? Tresor?

-> oder ein NAS mit Raid 1?

freue mich auf viele Meinungen und Erfahrungen.

[Klawischnigg]

Hi there,

ich stelle mir gerade die Frage wie man im digitalen Zeitalter aktuell seine wichtigsten Daten sichern sollte?

Sichern oder archivieren? Zum Sichern ist eigentlich das Kopieren auf eine zweite Festplatte die beste und schnellste Methode, wobei eigentlich egal ist, ob das manuell oder mit einem Raid automatisch erledigt wird (zumindest in Bezug auf die Sicherheit, nicht in Bezug auf den Aufwand;)

Was das Archivieren betrifft schaut die Sache schon komplizierter aus. Allen urprünglich euphorischen Behauptungen zum Trotz halten Daten auf CDs oder DVDs selten länger als zehn Jahre. Ausserdem wird sich bei archivierten Daten früher oder später immer das Problem der Hardwareverfügbarkeit ergeben - selbst wenn meine 51/4"-Disketten aus den Achtzigerjahren noch lesbar wären, müsste ich schon ziemliche Verrenkungen machen, um noch ein Laufwerk dafür finden, von meinen 8"-Disketten ganz zu schweigen (CPM-Rechner;)...

[Der Martin]

Hallo,

Sichern oder archivieren?

Archivierung ist ja auch nur eine besondere Form der Sicherung - nämlich ohne zyklisches Wiederverwenden der Medien.

Zum Sichern ist eigentlich das Kopieren auf eine zweite Festplatte die beste und schnellste Methode

ACK.

Was das Archivieren betrifft schaut die Sache schon komplizierter aus.

Kommt auf die Datenmenge an, die regelmäßig anfällt. Für das durchschnittliche Datenaufkommen eines typischen Bürorechners dürfte eine 1TB-Platte auch lange zum Archivieren taugen: Bei rund 1GB, die täglich anfallen, reicht sie für fast drei Jahre. Wenn sie voll ist, kommt die nächste dran.

Allen urprünglich euphorischen Behauptungen zum Trotz halten Daten auf CDs oder DVDs selten länger als zehn Jahre.

Zehn Jahre? Das halte ich schon für utopisch. CD-Rs sind nach meinen Erfahrungen bei haushalts- oder bürotypischer Lagerung (z.B. in einem Schrank bei Raumtemperatur) selten länger als etwa drei Jahre zu gebrauchen, CD-RWs halten auch schon mal fünf bis zehn Jahre. Bei DVD-Medien fehlt mir noch die Erfahrung.

Ausserdem wird sich bei archivierten Daten früher oder später immer das Problem der Hardwareverfügbarkeit ergeben - selbst wenn meine 51/4"-Disketten aus den Achtzigerjahren noch lesbar wären, müsste ich schon ziemliche Verrenkungen machen, um noch ein Laufwerk dafür finden, von meinen 8"-Disketten ganz zu schweigen (CPM-Rechner;)...

Oh, ein 5¼"-Laufwerk habe ich in einem PC noch, auch wenn ich es nur noch sehr, sehr selten nutze. Aber wenn du noch 8"-Disketten hast ... hast du dann auch noch ein dazu passendes Laufwerk? Ich suche schon seit Jahren aus Nostalgie eins. Muss nicht mehr unbedingt funktionstüchtig sein (wär natürlich großartig), ich würde es nur als Anschauungsobjekt einsetzen.

So long,
 Martin

[Klawischnigg]

Hi there,

Oh, ein 5¼"-Laufwerk habe ich in einem PC noch, auch wenn ich es nur noch sehr, sehr selten nutze. Aber wenn du noch 8"-Disketten hast ... hast du dann auch noch ein dazu passendes Laufwerk? Ich suche schon seit Jahren aus Nostalgie eins. Muss nicht mehr unbedingt funktionstüchtig sein (wär natürlich großartig), ich würde es nur als Anschauungsobjekt einsetzen.

Leider hab ich da nix mehr. 5¼"-Laufwerk hab ich natürlich noch einige herumliegen (keine Ahnung, ob die noch funktionieren, verbaut sind sie nirgends), aber die 8"-Trümmer hab ich schon vor Jahren weggeworfen. Das waren ein NEC-Teil (keine Ahnung, wie der Rechner hiess, aber 8080 war im Namen drinnen (no na!)) und irgendein Sharp, wo nicht klar war, ob der Monitor im Rechner war oder der Monitor der Rechner war - auf alle Fälle ging ein beinahe armdickes Kabel zur Floppy-Station. Mir tuts ja jetzt selbst leid, aber das war damals eine Zeit häufigerer Bürowechsel, und ich war es einfach leid, diesen Elektronikschrott ständig mitzuschleppen...;)

[Alexander (HH)]

Moin Moin!

ich stelle mir gerade die Frage wie man im digitalen Zeitalter aktuell seine wichtigsten Daten sichern sollte?

Folgende Fragen konkret sind mir in denn Kopf gekommen:

-> Datensicherung auf DVD / Blue ray?

Kapazität weit unter Festplatte. Wie hoch ist wohl der DVD-Stapel, um ein 3 TByte-Array zu sichern? Wie hoch wird der Stapel werden, um in ein paar Jahren 30 TByte zu sichern? Wie lange dauert es, die Medien zu beschreiben? Wie oft willst Du das machen? Wie oft wirst Du es tatsächlich machen?

Lebensdauer: Je nach Kristallkugel des Herstellers 10 bis 100 Jahre bei optimalen Lagerbedingungen. Real deutlich weniger, bei CD-Rs habe ich schon die ersten Ausfälle gehabt.

-> Archivable Datenträger (z.b. Verbatim DVD Gold Archival) bzw vlt gibts auch blueray alternativen?

Mehr Geld für eine etwas stabilere Chemie, aber das gleiche Problem.

Andere Medien ziehst Du nicht in Betracht?

Tapes halte ich mittlerweile für ein echtes Problem, die professionellen sind sauteuer und werden sehr schnell ausgewechselt, die für Amateure sind nicht wirklich zuverlässig.

Festplatten sind stoßempfindlich und mögen keine starken Magnetfelder, aber ansonsten recht sicher. Sobald sie per SMART oder durch Laufgeräusche Fehler melden, sollte man sie schleunigst tauschen. Ansonsten braucht man teure Datenretter. Die können allerdings auch noch bei recht massiven Schäden Daten wiederherstellen. Dauerlaufende Platten können nach dem Abschalten manchmal Anlaufprobleme haben, weil die Schmierung nicht perfekt ist. Dauergelagerte Platten können wegen Verharzung der Lager ähnliche Probleme bekommen. Es scheint wohl notwendig zu sein, gelagerte Platten wenigstens einmal im Jahr laufen zu lassen, damit die Lager nicht verharzen.

Mit Flash-Medien fehlen die Jahrzehnte Erfahrung, die man mit Festplatten hat. Recovery ist wohl noch ein echtes Problem, zur Zuverlässigkeit kann ich nicht viel sagen, außer dass ich schon einige ausgefallene USB-Sticks gesehen habe. Wie SSDs sich verhalten, weiß ich nicht.

-> Daten verschlüsslt mit Truecrpyt auf dem Datenträger ablegen

Und wie entschlüsselst Du sie in 30 Jahren, wenn kein Rechner mehr die dann antike Truecrypt-Version laufen lassen kann? Wo bekommst Du die antike Truecrypt-Version und den Schlüssel her? Und nicht zuletzt: Wie sicherst Du den Schlüssel? Wenn der kaputt ist, kannst Du die verschlüsselten Daten komplett vergessen.

-> Wo und vorallem wie sollen die Datenträger gelagert werden? In einer Hülle, lieber offen, in Papier,...? Tresor?

In Stein gemeißelt und auf säurefreies Papier geschrieben. Jedenfalls für Langzeit-Archivierung.

In Stein gemeißelte ägyptische Hieroglyphen sind nach mehreren Jahrtausenden noch lesbar, allein den Schlüssel (die Bedeutung der Zeichen) haben wir Menschen für einige Jahrhunderte verbummelt gehabt.

Mittelalterliche Papiere sind noch recht problemlos lesbar.

-> oder ein NAS mit Raid 1?

Die beste Strategie scheint im Moment zu sein, die Daten regelmäßig auf die jeweils aktuellen Standard-Datenträger umzukopieren und für Redundanz und Backup zu sorgen. Offene Standards helfen ungemein, die Daten lesbar zu halten.

Hast Du schon einmal versucht, von einer 8-Zoll-Diskette aus Großrechner-Zeiten Daten zu lesen? Oder auch nur ein altes Word- oder Wordperfect-Dokument aus DOS-Zeiten von einer 5,25-Zoll-Diskette? Oder ein Bild, dass eine Commodore 1541 in eine 5,25-Zoll-Diskette gemeißelt hat? Problem 1 ist, ein passendes Laufwerk samt Interface aufzutreiben, um die Daten überhaupt zu lesen. Problem 2 ist, aus dem Bytestrom irgendeinen Sinn heraus zu lesen. Daran scheitert es gerade bei alter Software sehr oft, selbst wenn das Medium an sich noch lesbar ist.

20 Jahre alte HTML-Dokumente kann ich immer noch lesen, so lange sie auf einem lesbarem Medium liegen. Auch GIF, JPEG, Windows-BMP, Postscript und LaTeX sind kein Problem.

Redundanz:

JBOD   = Platten stumpf aneinander gereiht -- kein Geschwindigkeitsvorteil, keine Redundanz, kein Kapazitätsverlust
RAID 0 = Stripes -- sehr schnell, KEINE Redundanz, kein Kapazitätsverlust
RAID 1 = Mirror -- schnell, aber 50% Kapazitätsverlust
RAID 5 = Parity-Set -- langsamer als RAID 1, minimal 3 Platten nötig, aber maximal 33% Kapazitätsverlust. Je mehr Platten, desto weniger Kapazitätsverlust. Typischerweise nutzt man 3 bis 5 Platten
RAID 6 = RAID 5 + zusätzliche Paritätsinfos -- verträgt zwei beliebige ausgefallene Platten, minimal vier Platten, maximal 50% Kapazitätsverlust
RAID 10 = RAID 0 gebaut aus 2x RAID 1 - schnell, verträgt zwei ausgefallene Platten, sofern sie nicht im selben RAID-1 liegen. 50% Kapazitätsverlust

Ich sehe für Daten für mich ein RAID-5 als Optimum an, der Geschwindigkeitsverlust ist bei aktueller Hardware im nicht professionellen Einsatz kein Problem. Man kommt mit relativ billigen Platten aus, die nicht extrem hochgezüchtet und damit fehleranfällig sein müssen.

Zum RAID gehört auch die Frage nach dem RAID-Controller, dazu habe ich dieses Jahr schonmal was geschrieben, siehe Archiv.

Ich bevorzuge Software-RAIDs trotz rechnerischer Geschwindigkeitseinbußen, weil ich so weder von einem bestimmten RAID-Controller noch von einer bestimmten Platten-Schnittstelle abhängig bin. Diese Entscheidung hat mir mindestens zweimal erspart, ein RAID neu aus dem Backup rekonstruieren zu müssen.

Backup:

Ich sichere mit rsync + Hardlinks auf eine externe E-SATA-Platte, die knapp 2/3 so groß wie mein Daten-RAID ist. In Zukunft werde ich die Platte noch einmal gegen eine größere austauschen müssen, wenn das Daten-RAID sich füllt. Damit kann ich 10 Tage in die Vergangenheit gehen, das reicht mir.

Wenn man das Backup etwas ernster nimmt, sollte man das Backup-Medium räumlich vom Server trennen. Banktresore bieten sich da an. Dann nutzt man typischwerweise ein rotierendes Backup, bei dem man vier Sets von Backup-Medien im Einsatz hat, davon liegen drei im Banktresor und das vierte Set ist aktiv. Jede Woche rotiert man einmal durch, dann wandert das aktuelle Set in den Banktresor und das älteste Set wird mit neuen Backups überschrieben. (Auch dazu habe ich mal was geschrieben, siehe Archiv.) Damit kommt man 28 Tage in die Vergangenheit, maximal 7 Tage ohne zur Bank zu rennen.

Im Worst Case wird das aktuelle Set auf dem Weg zur Bank zerstört, dann verliert man die letzten 7 Tage, kann aber den Stand von vor 8 bis 28 Tagen rekonstruieren.

Da kann man durch einen zwischengeschalteten Backup-Server auch noch für zusätzliche Sicherheit sorgen, man lagert die letzten 7 Tage eben zusätzlich noch auf einem RAID auf dem Backup-Server. Ganz nebenbei erspart das viel Theater mit lahmen Tapes.

In den Sets nutzt man typischerweise 5 bis 7 Bänder, eines (das Sonntags-Band) für ein Vollbackup, die restlichen für (werk-)tägliche inkrementelle Backups.

Natürlich kann man stattdessen auch eine oder mehrere Festplatten benutzen, USB 3.0, E-SATA und Firewire 800 bieten sich da an. Und natürlich die Kombination mit rsync + hardlinks.

Mit mehreren Festplatten im Rotationsverfahren bekommt man auch keine Anlaufprobleme bei den Festplatten, weil sie weder ewig lagern noch dauernd laufen.

Echte Langzeit-Archivierung ist das alles aber nicht, denn die Daten bleiben ja veränderbar.

Alexander

[Frager]

Man kommt mit relativ billigen Platten aus, die nicht extrem hochgezüchtet und damit fehleranfällig sein müssen.

Nach welchen Kriterien wählst du denn Festplatten aus, um möglichst zuverlässige zu erhalten?

[Alexander (HH)]

Moin Moin!

Man kommt mit relativ billigen Platten aus, die nicht extrem hochgezüchtet und damit fehleranfällig sein müssen.

Nach welchen Kriterien wählst du denn Festplatten aus, um möglichst zuverlässige zu erhalten?

Wer sagt denn, das ich besonders zuverlässige Platten kaufe? ;-)

Ich kaufe eben nicht State-of-the-Art, mit der jeweils neuesten, maximal ausgereizten Technik und maximaler Kapazität, sondern die nächstältere Generation, die auch schon eine Weile auf dem Markt ist. Besonders fehleranfällige Platten sind da bereits bekannt und teilweise auch schon wieder vom Markt verschwunden. Außerdem erspart mir das den "newest and greatest"-Preisaufschlag, und auch Inkompatibilitäten aufgrund veränderter Technik (LBA, LBA-48, 4K-Sektoren, ...).

Als ich vor etlichen Jahren meinen ersten ernsthaften Homeserver aufgebaut habe, habe ich mir einen Satz aus fünf identischen 400 GByte-IDE-Platten gekauft, zu dem Zeitpunkt waren 500 GByte IDE das Maximum. Ich habe das billigste Modell vom billigsten Händler gekauft, vier Platten verbaut und die fünfte als Cold Spare ins Regal gelegt. Diese Platten sind über mehr als fünf Jahre absolut problemlos gelaufen, bis ich den Server letztes Jahr ausgemustert habe. Die Cold Spare, die ich zum Schluß gelegentlich mal für ein "schnelles Backup zwischendurch" mißbraucht habe, und die kaum auf 100 Betriebsstunden kam, dient jetzt bei meinem Vater in einem alten Rechner. Die anderen vier Platten warten noch auf einen neuen Job.

Mein aktueller Server hat ab Werk vier SATA-Wechselrahmen und kam mit 2x 1 TByte von WD bestückt. Dazu habe ich eine relativ alte 1 TByte Hitachi gepackt, die bisher dem alten Server als Backup in einem USB-Gehäuse diente, und schließlich noch eine neue externe Seagate 1 TByte aus ihrem Plastiksarg befreit (die war billiger als die billigste "nackte" 1 TByte-Platte) und in einen Wechselrahmen transplantiert. Als Backup dient eine 2 TByte Hitachi in einem separat gekauften E-SATA-Gehäuse.

Wenn ich so eine Konstruktion meinem Chef für den Einsatz in der Firma vorschlagen würde, würde der mich wahrscheinlich zum Drogentest schicken. Oder mir die Füße küssen. ;-)

Aber im Ernst: Vier Platten von drei verschiedenen Herstellern und mit unterschiedlichem Alter sorgen für sehr unterschiedliche Ausfallwahrscheinlichkeiten. Insgesamt dürfte das Risiko etwas höher sein als bei einem 4er-Satz nagelneuer Platten, aber die Wahrscheinlichkeit für einen simultanen Ausfall zweier Platten dürfte geringer sein als bei einem 4er-Satz.

Auf den Platten gibt es zwei verschiedene, völlig unabhängige RAIDs (dank Software-RAID, mit Hardware-RAIDs ist das meistens nicht möglich). Boot/Root liegt auf einem RAID-1 aus vier Platten, überlebt also sogar den Ausfall von drei Platten. Boot/Root ist nicht sonderlich groß, der Verschnitt stört also nicht sonderlich. Die Daten-Partition liegt auf einem RAID-5, überlebt also einen Plattenausfall. Fällt eine Platte aus, setze ich irgendeine neue SATA-Platte mit 1 TByte ein, lege die drei notwendigen Partitionen an (Boot/Root, Swap, Daten) und starte die Array-Rekonstruktion. Zwei oder drei Stunden später ist das Array dann wiederhergestellt.

Den Ausfall merke ich an einer Benachrichtigungsmail, roten LEDs auf der Server-Front, und schlimmstenfalls an einer Totalverweigerung des Servers.

Sollte der gesamte Server ausfallen, habe ich immer noch die Backup-Platte, auf der der gesamte Server-Inhalt gesichert wird. Zusammen mit einer Installations-DVD (im Regal, kann ich mir notfalls von rund 100 Servern im Netz runterladen und neu brennen) kann ich die Daten auf komplett neuer Hardware wiederherstellen. Das dauert nach meinen Erfahrungen mit der Datenmigration vom alten auf den neuen Server etwa einen Tag.

Selbst das Szenario ist noch akzeptabel. Noch ist der neue Server sogar noch neu zu kaufen, ich hätte also die Möglichkeit, den Server auf identischer Hardware neu aufzubauen. Das erspart etwas Feinuning nach dem Restore vom Backup.

Wie Du siehst, ist die Zuverlässigkeit einer einzelnen Festplatte für mich nicht sonderlich relevant. Wenn mir natürlich alle zwei Monate eine Festplatte abrauchen würde, wäre ich reichlich genervt. Passiert das einmal alle zwei oder drei Jahre, ist das nicht weiter schlimm. In den letzten sechs Jahren hatte ich mehrere kleine und einen größeren Zwischenfall, die kleineren wegen mangelhafter SCSI-Adapter, den größeren wegen einem defekten IDE-Controller. Kein einziger Zwischenfall war auf eine defekte Platte zurückzuführen.

Alexander

[Frager]

Wer sagt denn, das ich besonders zuverlässige Platten kaufe? ;-)

Ach so, okay. Klang tatsächlich so. :D

Danke für deine aufschlussreichen Erläuterungen.

[Encoder]

-> Daten verschlüsslt mit Truecrpyt auf dem Datenträger ablegen

Das hilft gegen ungewünschte Einblicke, aber wenn der Datenträger abraucht macht das nicht vor verschlüsselten Dateien halt, die da auch drauf liegen.