periodisch automatisierte Backups von diversen Webseiten

[MF]

Hallo,

auf einem isolierten (Windows-)Rechner sollen rund um die Uhr Backups von diversen Webservern abgelegt werden, vor allem mal von den Daten, die natürlich größtenteils in Datenbanken untergebracht sind. Es wäre also mitunter Ziel, dass die Backups nicht auf dem gleichen Server landen wie die Originaldaten, sondern zentral auf einem angestrebten Backup-Rechner.

(Z.B. so: Eine Art Cronjob startet periodisch das Backup-Skript, dieses wiederum startet auf den einzelnen Webservern den MySQLDumper und die einzelnen Backups werden via FTP auf den Backup-Server geholt. Der MySQLDumper müsste dann allerdings so eingerichtet werden, dass er automatisiert aufgerufen werden kann, folglich ohne .htaccess-Schutz, nicht ideal.)

Gibt es dazu bereits vorgefertigte Lösungen, die sich für die eigene Serverumgebung konfigurieren lassen?

Gruß MF

[Horst]

Hi,

meine Backups der DBs, die bei meinem Provder liegen, mache ich komplett per HTTP (.htaccess ist hier möglich).

Prinzip: Auf dem Webserver liegt ein CGI-Script, was die Daten aus den einzelnen Tabellen holt und als Text/plain zum UserAgent (UA, zu mir schickt).

Jede Tabelle wird in eine TextDatei vom folgenden Format umgewandelt, die Struktur eines Records:
[primary_key_1]
col_1 = val_1
col_2 = val_2

usw. Eine solche Datei lässt sich gut parsen (bei mir mit Perl). Flat-Files (CSV) oder XML geht natürlich auch. Das CGI-Script kriegt im Request einen Parameter mitgegeben und schickt mir, je nach Parameter die entsprechende Tabelle.

Auf der Backup-Maschine, also bei mir ist der UA ein recht einfaches Script, was die Backups der Tabellen rotierend über die Woche speichert. Somit habe ich 7 Backups für jede Tabelle, am Tag 0 (Sonntag) wird das letzte (Backup.0) wieder überschrieben.

Hotte

[MF]

Hi Horst,

meine Backups der DBs, die bei meinem Provder liegen, mache ich komplett per HTTP (.htaccess ist hier möglich).

Prinzip: Auf dem Webserver liegt ein CGI-Script, was die Daten aus den einzelnen Tabellen holt und als Text/plain zum UserAgent (UA, zu mir schickt).

Jede Tabelle wird in eine TextDatei vom folgenden Format umgewandelt, die Struktur eines Records:
[primary_key_1]
col_1 = val_1
col_2 = val_2

usw. Eine solche Datei lässt sich gut parsen (bei mir mit Perl). Flat-Files (CSV) oder XML geht natürlich auch. Das CGI-Script kriegt im Request einen Parameter mitgegeben und schickt mir, je nach Parameter die entsprechende Tabelle.

Auf der Backup-Maschine, also bei mir ist der UA ein recht einfaches Script, was die Backups der Tabellen rotierend über die Woche speichert. Somit habe ich 7 Backups für jede Tabelle, am Tag 0 (Sonntag) wird das letzte (Backup.0) wieder überschrieben.

Hotte

Manuell gestartete Backups über HTTP mache ich momentan auch noch, aber die Datenbanken wachsen und wachsen und in absehbarer Zeit wird bei Shared Hosts die maximale Ausführzeit für so ein Skript überschritten sein.
Es sollte also ein flexibles Web-Backup-System wie der MySQLDumper in die Architektur integriert sein und was natürlich besonders gut wäre, wäre die verschlüsselte Übertragung der Daten, wenn schon nicht HTTPS (was die einzelnen Webserver ja dann alle bereitstellen müssten), dann vielleicht über ein Routenverteilungsverfahren.

Gruß MF

[Tom]

Hello,

Prinzip: Auf dem Webserver liegt ein CGI-Script, was die Daten aus den einzelnen Tabellen holt und als Text/plain zum UserAgent (UA, zu mir schickt).

Wir die Datenbank und alles was dazu gehört für die Dauer der Sicherung gesperrt?
Sonst ist das Murks, oder Du musst auch dioe Transaktion-Logs sichern. Aber solche wirdt Du normalerweise gar nicht haben auf einem 08/15-Webserver.

Es gibt nur eine mögliche Sicherung:
Server vom Netz nehmen (Disable Login)
Alle Buffer aller Dienste flushen und Dienste (Server) runterfahren oder in einen speziellen Standby-Modus, in dem sie keine Datenverändreungen mehr zulassen.

Alle Daten per hostinternem Copy in eine andere Partition kopieren.

Das dauert dann vielleicht ca. 3 Minuten.

Alle Server wieder hochfahren.
Login wieder freigeben.

Die Daten auf der anderen Partition in einen Tarball verpacken, zippen und zum Abholen bereitstellen.

Daran Denken, dass man auch die /etc/passwd und die /etc/group mit sichert wegen der UIDs und GIDs, sollte sich da etwas ändern. Und man sollte den Tarball mit "preserve Rights" bauen.

Dass es soetwas fertig gibt, wage ich zu bezweifeln.
Ein geübter Shellscript-Schreiber hat das aber in der gleichen Zeit zusammengebaut, die er für die Konfiguration einer "Monster-Software" benötigen würde, die dann auch kostet.

Ein harzliches Glückauf

Tom vom Berg

[Horst]

Hello,

Prinzip: Auf dem Webserver liegt ein CGI-Script, was die Daten aus den einzelnen Tabellen holt und als Text/plain zum UserAgent (UA, zu mir schickt).

Wir die Datenbank und alles was dazu gehört für die Dauer der Sicherung gesperrt?
Sonst ist das Murks, oder Du musst auch dioe Transaktion-Logs sichern. Aber solche wirdt Du normalerweise gar nicht haben auf einem 08/15-Webserver.

Tja, lieber Tom. So isses. Wir alle SELFHTMLer sind mittlerweile Profis geworden, programmieren CGIs, Webanwendungen mit DB-Anbindung, schreiben HTML längst über den privaten Rahmen, der mit SELFHTML gegeben ist, hinaus und missbrauchen dieses Forum für Fragen, die im Berufsleben auftauchen........

Daher wachsen die Datenbanken über den Bedarf eines Gästebuches, es ist von Transaktionen die Rede, die im Volks-Bankenbereich angesiedelt sind und alles muss absolut sicher sein. Gehen solche Dinge nicht über den "Sinn eines Forums zu SELFHTML" hinaus?

Viele Grüße,
Horst Haselhuhn

[Tom]

Hello Rolf,

Daher wachsen die Datenbanken über den Bedarf eines Gästebuches, es ist von Transaktionen die Rede, die im Volks-Bankenbereich angesiedelt sind und alles muss absolut sicher sein. Gehen solche Dinge nicht über den "Sinn eines Forums zu SELFHTML" hinaus?

Das ist keinesfalls zuviel verlangt, sich Gedanken über die Zusammenhänge zu machen, bevor sie über die Grenzen von Spielzeuganwendungen hinausgehen.

Und ich habe mir mal so die VIP-Liste angeschaut. Hier sind durchaus genügend Verantwortliche aus Firmen mit reichlich Umsatz. Und auch eine kleine Firma oder ein beginnendes hoffnungsfrohes Projekt können es sich nicht leisten, bereits in der Planungsphase so gravierende Fehler zu machen, wie Du sie vorschlägst, nämlich Ignoranz, Denkfaulheit und "Es wird schon gut gehen"-Mentalität.

Ein harzliches Glückauf

Tom vom Berg

[Horst]

hehehe,

Und ich habe mir mal so die VIP-Liste angeschaut. Hier sind durchaus genügend Verantwortliche aus Firmen mit reichlich Umsatz. Und auch eine kleine Firma oder ein beginnendes hoffnungsfrohes Projekt können es sich nicht leisten, bereits in der Planungsphase so gravierende Fehler zu machen, wie Du sie vorschlägst, nämlich Ignoranz, Denkfaulheit und "Es wird schon gut gehen"-Mentalität.

in keinster Weise habe ich sowas vorgeschlagen.

Hotte

[Tom]

Hello,

in keinster Weise habe ich sowas vorgeschlagen.

Ok, dann erklär es bitte nochmal mit anderen Worten und etwas ausführlicher, wie Du Dir die Daten- und  Systemsicherung vorstellst oder wie Du sie im Moment betreibst.
Da sind dann aber auch die kliensten Details wichtig, sonst ärgert man sich später.

Ein harzliches Glückauf

Tom vom Berg