100 Millionen Verzeichnisse

[Mike]

Hallo, vielleicht eine bekloppte Frage, aber wichtig für mich.

Gibt es eine Obergrenze für Verzeichnisse und wo ist der Unterschied für einen Rechner ob es sich um eine leere Datei handelt oder ein Verzeichnis/Ordner?

Mal ein ganz krasse Beispiel. Was würde passieren wenn ich Abermillionen von leeren Verzeichnissen erstellen würde.
Mal unabhänging von irgendwelchen Serverrestriktionen oder Speicherplatz. Vorrangig auf einem Windowssystem.

Zuerst dachte ich, müsste doch egal sein. Dann dachte ich aber vielleicht wird jedes Verzeichnis in irgendeiner RAM-Baustelle
registriert, was dann bestimmt nicht gut wäre.

Also wird bei jedem zusätzlichen Verzeichnis/Ordner irgendwie die CPU oder Zwischenspeicher oder Irgendwas beansprucht auf einem Server
oder einem Windowssystem?

vg.
Mike

[King^Lully]

Gibt es eine Obergrenze für Verzeichnisse und wo ist der Unterschied für einen Rechner ob es sich um eine leere Datei handelt oder ein Verzeichnis/Ordner?

Selbstverständlich sind viele FS hauptsächlich aus Performancegründen so implementiert, dass es Obergrenzen gibt.

Ein Ordner ist ein Zeiger auf einen anderen Ordner. Eine Datei ist ein Zeiger auf eine Datei.   :)

Also wird bei jedem zusätzlichen Verzeichnis/Ordner irgendwie die CPU oder Zwischenspeicher oder Irgendwas beansprucht auf einem Server
oder einem Windowssystem?

Klar wird die CPU belastet, ziehe mal einen Ordner mit 100.000 Dateien in den Windows-Explorer.

Ansonsten: Wikipedia und nach FS suchen, da stehen meist die Obergrenzen-

[Steel]

Klar wird die CPU belastet, ziehe mal einen Ordner mit 100.000 Dateien in den Windows-Explorer.

Wenn man damit irgendwas macht. Hab ich den TE falsch verstanden? Ich hab gedacht er fragt ob der PC streikt oder so, wenn man ein Verzeichnis zuviel anlegt, weil dann die CPU das RAM nicht mehr kann. (quasi mit 200 MB RAM darfste 1000 Verzeichnisse haben, mit 500 dann 2000)

[King^Lully]

Klar wird die CPU belastet, ziehe mal einen Ordner mit 100.000 Dateien in den Windows-Explorer.

Wenn man damit irgendwas macht. Hab ich den TE falsch verstanden?

Schwer zu sagen, es ist ja immer ein Herumstochern.   ;)

Irgendwie hat der wohl die Vorstellung, dass eine umfangreiche Dateistruktur die CPU belastet.

Was ja auch nicht ganz verkehrt ist, wenn das FS abgefragt wird. Aber ansonsten ja wohl (hoffentlich) nicht.

[Mike]

Hi Steel,

Wenn man damit irgendwas macht. Hab ich den TE falsch verstanden? Ich hab gedacht er fragt ob der PC streikt oder so, wenn man ein Verzeichnis zuviel anlegt, weil dann die CPU das RAM nicht mehr kann. (quasi mit 200 MB RAM darfste 1000 Verzeichnisse haben, mit 500 dann 2000)

du hast mich richtig verstanden. Und King, das es bei so einem Batchvorgang Probleme gibt ist mir natürlich klar, aber ich meinte nur leere, armselig verlassene, hilflose kleine Verzeichnisse, die vor sich hin schlummern, bis ich sie wecke.

vg.
Mike

[King^Lully]

du hast mich richtig verstanden.

Ich wollte tatsächlich auch erst "Festplatte!!" antworten!!

SCNR! LG! Gute Nacht!
Lully

[Mike]

Hi King,

Ich wollte tatsächlich auch erst "Festplatte!!" antworten!!

SCNR! LG! Gute Nacht!
Lully

Wie jetzt? Ist mir die Antwort irgendwie entgangen? Wollt Ihr damit sagen es macht überhaupt nichts aus solange Platz auf der Festplatte ist?

vg.
Mike

[Steel]

Das bezog sich auf meine andere Antwort. :D (2 Dumme ein Gedanke, quasi)

Ja. Jedes Verzeichnis belegt platz auf der Festplatte. Das interessiert das Betriebssystem nen Scheiss. Solange bis Du damit was anstellt. Angenommen du hast alle Verzeichnisse (100% Festplattenplatz) im root, und zeigst Dir das an. Dann duerfte es etwas Geroedel geben.

Wenn Du immer ein Verzeichnis in einem anderen hast dann ist das fuer Das Betreibssystem doch nichts anderes als haettest Du nur 2 Verzeichnisse. es macht hat das naechste auf und schaut rein. wie der King schon sagt: Zeiger. Und die sind normalerweise nicht im Betriebssystem sondern auf der Platte.

Mag sein dass 100 Mio verzeichnisse bei Windoof irgendwann Anzeigeprobleme bereiten, wenn Du dir alle gleichzeitig anschaust (in einem Fenster bitte). Denke aber nicht.

[Mike]

Hi Steel,

wenn das so ist wäre das klasse. Allein, einige Zweifel bleiben.
Aber einige besorgte Punkte kann ich dann wohl abhaken?

1. Kein Verweis in der Registry (würde ja dann enorm aufblähen)?

2. Die Indexierungdatei bläht sich auch nicht auf?

3. Also nirgendwo wirkliche Verweise oder Hinweise zu den neuen Ordnern?

Jetzt muss ich mal ein Szenario entwerfen. Verzeichniss A enthält
100.000.000 Verzeichnisse verschachtelt, querbeet, unsortiert.

In vielen dieser Subverweise liegen kleine 2kb. grosse .txt Dateien.
Dann starte ich mal eine Suche nach einer Datei oder Dateiinhalt
im Verzeichnis A. Das wäre dann aber wahrscheinlich der Frozen-KO, oder?

Danke für deine Mühe
Mike

[Steel]

Dann starte ich mal eine Suche nach einer Datei oder Dateiinhalt
im Verzeichnis A. Das wäre dann aber wahrscheinlich der Frozen-KO, oder?

Ui!

Na, ob er gleich alles von sich streckt weiss ich nicht... Aber ne Menge Zeit solltest Du mitbringen. Solange du mit dem Dateisystem nichts machst, sollten das Betriebssystem und die Hardware ziemlich unbeeindruckt sein. Wenn du nur einzelne Teile anfasst, sollte auch das glatt ueber die Buehne gehen.

Solange Du den Compi nicht zwingst irgendwie das ganze Ding im Speicher zu haben sehe ich da keine Probleme.

Probier es aus und berichte hier.

[Mike]

Probier es aus und berichte hier.

Ok, werde es mal probieren. Ergebnis folgt Morgen, falls der PC dann noch läuft;-)

Danke
Mike

[lightfly]

Guten Tag

NTFS unterliegt sehr wohl Beschränkungen:

http://www.microsoft.com/technet/prodtechnol/windows2000serv/reskit/prork/prdf_fls_pxjh.mspx?mfr=true

also deine 100 Millionen würden wohl gehen, was in der Praxis allerdings Bullshit ist. Vernünftige Menschen nehmen irgendwann mal eine Datenbank. Dieses Irgendwann ist vermutlich < 100'000.

gruss

[lightfly]

PS: Hatte mal den GC vom PHP falsch konfiguriert, was darin resultierte das sich über einen kurzen Zeitraum knapp 250'000 Ordner in einem einzigen Verzeichnis angesammelt hatten. Das System lief noch, allerding hat "del" fast 24h und 5 anläufe gebraucht um den ganzen schrott wieder zu löschen. (Und das bei deaktiviertem Antivirus im abgesicherten Modeus). Also das kann nicht gesund sein....

[Orlando]

[…] 250'000 Ordner in einem einzigen Verzeichnis angesammelt hatten. Das System lief noch, allerding hat "del" fast 24h und 5 anläufe gebraucht um den ganzen schrott wieder zu löschen.

Mit [del] verschiebst du Dateien oder Verzeichnisse vorerst nur in den Papierkorb, der in seiner Windows-Inkarnation beim Befüllen und Leeren dermaßen langsam ist, dass er beim Zusehen eher wie ein Papyruskorb anmutet. Handgeflochten. [shift]-[del], also das direkte Löschen wäre vermutlich um einiges flotter gewesen.

Unter OS X ist der Papierkorb angenehm schnell. Die größte Löschaktion mit ca. 200.000 Objekten hat AFAIR ungefähr eine Minute gedauert.

Roland

[Reiner]

Unter OS X ist der Papierkorb angenehm schnell. Die größte Löschaktion mit ca. 200.000 Objekten hat AFAIR ungefähr eine Minute gedauert.

Die Geschwindigkeit hat doch mehrere Ursachen:
Erstens von der Geschwindigkeit des Rechners und der Platte und dann: Was macht der Rechner überhaupt.

Ich finde auch eine Minute nicht wirklich schnell.
Notwendig wäre ja kein physikalisches Verschieben (wie Windows das wohl macht).

Ich teste das gleich mal auf meiner Möhre unter Linux.

Gruß
Reiner

P.S.: Nochwas, waren die 200.000 Dateien in einem Verzeichnis oder geschachtelt und wie dann, also wieviel Ebenen usw.

[Orlando]

Unter OS X ist der Papierkorb angenehm schnell. Die größte Löschaktion mit ca. 200.000 Objekten hat AFAIR ungefähr eine Minute gedauert.

Ich finde auch eine Minute nicht wirklich schnell.
Ich teste das gleich mal auf meiner Möhre unter Linux.

Pass auf, dass du dir nicht die Rübe formatierst.

P.S.: Nochwas, waren die 200.000 Dateien in einem Verzeichnis oder geschachtelt und wie dann, also wieviel Ebenen usw.

Es war ein bunter Haufen aus weit verzweigten SVN-Repositorys.

Roland

[Steel]

Hi,

Festplatte...

[Reiner]

Hi,

Hi,

Festplatte...

Wurstplatte...

Oder doch besser Inode?!

Gruß
Reiner

[rob]

Hi!

Gibt es eine Obergrenze für Verzeichnisse

Ja, gibt es. Diese Obergrenze ist aber abhängig von der verwendeten Festplatte und dem verwendeten Dateisystem bzw. den Einstellungen des Dateisystems.

und wo ist der Unterschied für einen Rechner ob es sich um eine leere Datei handelt oder ein Verzeichnis/Ordner?

Wie Verzeichnisse und Dateien angelegt sind, ist auch wieder abhängig vom Dateisystem.

Mal ein ganz krasse Beispiel. Was würde passieren wenn ich Abermillionen von leeren Verzeichnissen erstellen würde.

Was sollte dann passieren?

Mal unabhänging von irgendwelchen Serverrestriktionen oder Speicherplatz. Vorrangig auf einem Windowssystem.

Dem Betriebssystem ist das alles ziemlich egal.
Schau dir mal an, was ein Dateisystem eigentlich ist.
Unter Windows kommen hauptsächlich FAT32 und NTFS zum Einsatz.

Zuerst dachte ich, müsste doch egal sein. Dann dachte ich aber vielleicht wird jedes Verzeichnis in irgendeiner RAM-Baustelle
registriert, was dann bestimmt nicht gut wäre.

Nein. Wenn jede Datei oder jedes Verzeichnis in den RAM geladen werden würde, hätte man schnell ein Problem.
Angenommen man hat einen Newsserver bei sich laufen. Dann kommt man verdammt schnell auf verdammt viele, kleine Dateien.

Also wird bei jedem zusätzlichen Verzeichnis/Ordner irgendwie die CPU oder Zwischenspeicher oder Irgendwas beansprucht auf einem Server
oder einem Windowssystem?

Nein.

Schöner Gruß,
rob