Dateianzahl Windows Server 2012

[Jo]

Hallo, ich muss für ein Bildarchiv mit ca. 500.000 .pngs aufbauen und das ganze muss auf einem Windows 2012 Server laufen. Das ganze wird dann dynamisch weiter wachsen. Gibt es da Probleme mit der maximalen Anzahl von Bildern und Ordner unter Windows und dem scheinbar neuen Dateisystem ReFS?

Danke für Eure Erfahrungen Jo

[robertroth]

Liebe Mitdenker, liebe Wissende, liebe Neugierige,

ich muss für ein Bildarchiv mit ca. 500.000 .pngs aufbauen und das ganze muss auf einem Windows 2012 Server laufen. Das ganze wird dann dynamisch weiter wachsen. Gibt es da Probleme mit der maximalen Anzahl von Bildern und Ordner unter Windows und dem scheinbar neuen Dateisystem ReFS?

Wenn es der Server schafft, weil er genug RAM hat, dann wird es auf jeden Fall Probleme mit den Clients (dem GUI) geben. Ich habe auf einem WIN7-PC mit 8GB einen Bilderdownload von einem Linux-Webserver laufen lassen (120.000 Dateien, meistens JPEG). Das Dateisystem schafft das, aber das GUI macht schlapp, wenn man in das entsprechende Verzeichnis klickt. Der Rechner 'steht' dann für etliche Minuten - Der Prozessor schwitzt auf Hochleistung.

Und das war nun auf einer Maschine!. Es kommt dann noch die Netzwerklast hinzu.

Also entweder von vornherein hierarchisch aufteilen, oder aber ein Abfragetool aufbauen, dass den GUIs niemals das vollständige Verzeichnis bereitstellt.

Spirituelle Grüße
Euer Robert
[e-mail]

[Felix Riesterer]

Lieber robertroth,

vielleicht sollte man die Vorschau-Funktion im Explorer abstellen, damit keine berechneten Thumbnails sondern generische Dateityp-Thumbnails angezeigt werden. Das sollte die Client-Kiste etwas entspannen.

Liebe Grüße,

Felix Riesterer.

[robertroth]

Liebe Mitdenker, liebe Wissende, liebe Neugierige,

Lieber robertroth,

vielleicht sollte man die Vorschau-Funktion im Explorer abstellen, damit keine berechneten Thumbnails sondern generische Dateityp-Thumbnails angezeigt werden. Das sollte die Client-Kiste etwas entspannen.

Netter Versuch, aber auch nur als simple Liste wird das GUI ins Stocken kommen, da es das ganze Verzeichnis einliest, um die Dateinamen dann sortiert anzuzeigen.

Ich weiß leider nicht, was da im Hintergrund noch alles abläuft. Meine Aussage beruht nur auf den Erfahrungen mit den ca. 120.000 Bilddateien aus einem unserer Foren.

Spirituelle Grüße
Euer Robert
[e-mail]

[Sven88]

Gibt es da Probleme mit der maximalen Anzahl von Bildern und Ordner unter Windows und dem scheinbar neuen Dateisystem ReFS?

Also über die maximale Anzahl der Dateien sollte man sich keine Sorgen machen, bei dem neuen Dateisystem liegt die maximale Anzahl von Dateien und Ordnern auf einem Volume bei 2^64, das sind also 18.446.744.073.709.551.616 (18 Trillionen, 446 Billiarden, 744 Billionen, 73 Milliarden, 709 Millionen, 551 Tausend, 616 ;-) Ob das wohl reicht? Weitere Infos zu dem Dateisystem für alle die es genauer wissen wollen: Linkbeschreibung

Gruß Sven

[robertroth]

Liebe Mitdenker, liebe Wissende, liebe Neugierige,

Gibt es da Probleme mit der maximalen Anzahl von Bildern und Ordner unter Windows und dem scheinbar neuen Dateisystem ReFS?

Also über die maximale Anzahl der Dateien sollte man sich keine Sorgen machen, bei dem neuen Dateisystem liegt die maximale Anzahl von Dateien und Ordnern auf einem Volume bei 2^64, das sind also 18.446.744.073.709.551.616 (18 Trillionen, 446 Billiarden, 744 Billionen, 73 Milliarden, 709 Millionen, 551 Tausend, 616 ;-) Ob das wohl reicht? Weitere Infos zu dem Dateisystem für alle die es genauer wissen wollen: Linkbeschreibung

Und wie werden die Verzeichnisse verwaltet?
Dafür wird RAM benötigt oder aber die HDDs rattern die ganze Zeit, um eine einzelne Datei zu finden!

Wenn man alledings ein herkömmliches GUI benutzt zur Anzeige der Dateien, dann benötigt das auf jeden Fall RAM zur Referenzierung, Sortierung und zum Rendern der Anzeige.

Ich finde es daher äußerst fragwürdig, einfach nur zu schreiben, man müsse sich keine Sorgen machen. Man darf das Filesystem im Sinne der Fragestellung nicht einfach isoliert betrachten.

Hast Du selber bereits Erfahrungen mit Filesystemen, GUIs, Netzwerken und einer hohen Anzahl von Dateien (> 100.000) in einem Verzeichnis? Hast Du schon eigene Erfahrungen mit dem neuen ReFS und den geforderten Größenordnungen?

Spirituelle Grüße
Euer Robert
[e-mail]

[Camping_RIDER]

Aloha ;)

Und wie werden die Verzeichnisse verwaltet?
Dafür wird RAM benötigt oder aber die HDDs rattern die ganze Zeit, um eine einzelne Datei zu finden!

Wenn man alledings ein herkömmliches GUI benutzt zur Anzeige der Dateien, dann benötigt das auf jeden Fall RAM zur Referenzierung, Sortierung und zum Rendern der Anzeige.

Ich finde es daher äußerst fragwürdig, einfach nur zu schreiben, man müsse sich keine Sorgen machen. Man darf das Filesystem im Sinne der Fragestellung nicht einfach isoliert betrachten.

Das stimmt so auch nur bedingt. Wenn es um ein BildARCHIV geht, halte ich die Annahme, alle Dateien seien innerhalb eines Verzeichnisses und dieses würde mit einer Standard-GUI geöffnet, auch nicht für legitim.

Fakt ist einfach, dass wir vom TO zu wenig Details wissen, um eine detaillierte Beurteilung abzugeben. Auf die gestellte Frage halte ich die Antwort von Sven für durchaus ausreichend und legitim, alles was darüber hinausgeht, ist reine Spekulation, weil wir zu wenig über die Implementierung wissen.

Wobei du natürlich Recht behältst, falls der TO wirklich vorhat, alles in ein Verzeichnis zu packen und ungefiltert im GUI zu öffnen. Das wäre dann aber keine sonderlich durchdachte Lösung. Deshalb halte ich das dann doch für unwahrscheinlich...

Ich zumindest würde ein Verzeichnis voller Bilddateien nicht unbedingt als ARCHIV bezeichnen wollen, zu einem Archiv gehört für mich ein Archivierungssystem. Auch im realen Leben kommen Archive nicht damit aus, alle zu archivierenden Gegenstände einfach in einem Gebäude zu stapeln - denn auch da bekommt der Archivar ein Problem, wenn er den gesamten Bestand auflisten soll. Archivzugriffe und -Systeme kommen ohne Filterung, Ordnung und Klassifizierung nicht aus.

Grüße,

RIDER