Registrierung
leer
leer
newposts
Users
search
FAQ
Login
Start

Hallo Gast, und Willkommen im Forum. Sie müssen sich einloggen oder registrieren, um alle Funktionen nutzen zu können.


PN's Forum \ Computer \ Software \ Betriebssysteme \ Linux \ die Probleme mit sehr großen Partitionen (>32TB)


 Poison Nuke  *

#1 Verfasst am 24.09.2011, um 21:10:52



es werden wohl nur sehr wenige überhaupt bisher damit in Berührung kommen aber bevor hier viele verzweifelt versuchen eine sehr große Partition zu formatieren, hier mal die Zusammenfassung der letzten Tage, wo ich versucht habe eine 51TB große Partition zu formatieren.



xfs
ist eigentlich der interessanteste Kandidat, weil sehr schnell und robust und skaliert recht gut.

Nachteile:
- xfs_check und xfs_repair benötigen EXTREM viel Arbeitsspeicher. Also bei 51TB war nach wenigen Sekunden 16GB RAM komplett gefüllt und der Swap auch. Da beides essentiell ist um das Dateisystem später zu vergrößern scheidet es vollkommen aus, weil später soll das zugrunde liegende LVM mal 1PB groß sein. So wie es scheint bräuchte ich dafür wohl 1TB RAM oder so


ext4
ext3 scheidet ja so oder so aus, kann nur 16TB max und hat noch viele andere Einschränkungen.
Aber auch ext4, das theoretisch 1024PB unterstützt, ist aktuell nicht verwendbar, da die nötigen Werkzeuge zum Formatieren usw (e2fsprogs) nur als 32bit Version vorliegen und damit auf 16TB große Partitionen beschränkt sind.
Die 64bit Version der e2fsprogs gibt es ab Version 1.42, welche allerdings derzeit noch WIP ist und damit in der Testphase.

Zudem ext allgemein nicht wirklich vergrößerbar ist, da bei der Formatierung bereits die Anzahl der inodes statisch festgelegt wird. Man kann zwar das Dateisystem später von 51TB auf sagen wir 1024TB vergrößern, aber kann es nicht komplett befüllen da nicht genug inodes da sind um die Dateien zu adressieren.
Es gibt zwar die Möglichkeit bei der Formatierung eine entspreche Option zu definieren, nur da hat wohl einer mit 32bit gearbeitet und nicht mit 64bit ...so sieht der Versuch aus genug Inodes für 1PetaByte zu reservieren:

Quellcode
mkfs.ext4 -E resize=275000000000 /dev/mapper/storage-storage
mke2fs 1.42-WIP (02-Jul-2011)

Warnung: Der fs_type huge ist in mke2fs.conf nicht definiert

Gleitkomma-Ausnahme


Wie lange ein fsck.ext4 und resize2fs bei 51TB und später ein paar hundert TB dauert will ich zudem lieber auch nicht wissen. Stellenweise heißt es bei voller Belegung mit mittel großen Dateien dauert ein fsck pro TB ein Tag


jfs2
skaliert angeblich auf 4 Petabyte (würde also gerade so ausreichen für die nächsten Jahre) und quota funktioniert hier auch, hat allerdings derzeit noch einige Bugs die es auf 32TB limitieren. Partitionen mit mehr als 32TB lassen sich nicht mit JFS formatieren.

es gibt zwar einen Patch dafür:
http://sourceforge.net/tracker/?func=detail&aid=...8802&atid=712756

muss jedoch manuell kompiliert werden, was normalerweise für produktive Systeme nicht in Frage kommt weil damit keine Updates mehr funktionieren.



tja, jetzt such ich mal weiter was noch in Frage kommt...



greetz
Poison Nuke

bearbeitet von Poison Nuke, am 30.09.2011, um: 02:59:21


Aonas

#2 Verfasst am 25.09.2011, um 10:21:02



zfs soll noch toll sein. -> nexenta



 Poison Nuke  *

#3 Verfasst am 25.09.2011, um 11:13:59



hm, zfs gibt es aber nicht für normales Linux bisher. Wird also nix

ich hab mal einen Bugreport für den 32TB Bug von JFS gemacht, vllt gibt es demnächst ein Update für die Tools dafür.
und vllt mach ich noch einen Bugreport für den Gleitkommaüberlauf auf, weil irgendwie wäre mit ext4 fast doch lieber, auch wenn der fsck unter Umständen ewig dauern könnte, nur bei jfs hab ich Null Erfahrung.


greetz
Poison Nuke

 Poison Nuke  *

#4 Verfasst am 30.09.2011, um 03:04:02



ok mal den RAM vergrößert und mit XFS weiter probiert.

Bei 51TB Partitionsgröße brauchte der xfs_check für sich ca. 14-15GB RAM. Also hätten die 16GB vorher wohl gerade so gereicht, wenn da nicht schon ein paar GB durch das restliche System belegt gewesen wären.


D.h. pro 1TB XFS Partition werden wohl so vermutlich 300MB RAM belegt. Bei der geplanten 1PB Partition wird der check am Ende vermutlich um die 300GB RAM benötigen. Das Mainboard kann aber nur 288GB
naja, aber dafür scheint es das einzige Dateisystem zu sein das überhaupt funktioniert bei dieser Größe und der Quota braucht vorallem keinen Quotacheck. Bei so einer großen Partition wäre ein Quotacheck ein KO schlechthin.


greetz
Poison Nuke

bearbeitet von Poison Nuke, am 30.09.2011, um: 03:05:41

PN's Forum \ Computer \ Software \ Betriebssysteme \ Linux \ die Probleme mit sehr großen Partitionen (>32TB)


- Zurück zur Homepage - Eigene Beiträge - Neue Beiträge - Wer ist online? - Impressum - Datenschutz - Statistiken -



Board coded and provided by: Poison Nuke
Copyright 2007-2014, Robert Menger