Gentoo Forums
Gentoo Forums
Gentoo Forums
Quick Search: in
Welches Dateisystem?
View unanswered posts
View posts from last 24 hours
View posts from last 7 days

Goto page 1, 2  Next  
Reply to topic    Gentoo Forums Forum Index Deutsches Forum (German)
View previous topic :: View next topic  
Author Message
schachti
Advocate
Advocate


Joined: 28 Jul 2003
Posts: 3765
Location: Gifhorn, Germany

PostPosted: Mon Feb 14, 2005 4:33 pm    Post subject: Welches Dateisystem? Reply with quote

Welches Dateisystem ist am besten, wenn nur einige wenige große Dateien gespeichert werden sollen, die das Dateisystem zu so gut wie 100% füllen, und wenn das Dateisystem anschließend nur noch readonly gemountet werden soll?

Konkreter Fall: Ich erzeuge eine Containerdatei, die ich über das Loop-Device mounten will. Die Containerdatei ist fast so groß wie eine DVD (ca. 4.3 GB) und soll nur Dateien der Größe 500-800 MB enthalten...

Welches Dateisystem hat in dem Fall den geringsten Overhead / verschwendet am wenigsten Speicherplatz? Von der Performance her sollte ext2 nicht schlecht sein, oder?
Back to top
View user's profile Send private message
c07
Veteran
Veteran


Joined: 25 Oct 2002
Posts: 1091

PostPosted: Mon Feb 14, 2005 5:07 pm    Post subject: Re: Welches Dateisystem? Reply with quote

ext2/3 ist da eher schlecht, weil es jeden Block einzeln verwaltet. Große Dateien verwalten Extent-basierte Dateisysteme sehr viel effektiver. Der Verwaltungsbedarf der anderen dürfte ziemlich identisch mit dem sein, was ein leeres Dateisystem braucht. Das kannst du ja leicht durchtesten (wird wohl vor allem von der Journalgröße abhängen, die du hier aufs Minimum setzen kannst).
Back to top
View user's profile Send private message
schachti
Advocate
Advocate


Joined: 28 Jul 2003
Posts: 3765
Location: Gifhorn, Germany

PostPosted: Mon Feb 14, 2005 5:17 pm    Post subject: Reply with quote

Hmm, was sind denn "Extent-basierte Dateisysteme"? JFS, XFS, ReiserFS?
Back to top
View user's profile Send private message
c07
Veteran
Veteran


Joined: 25 Oct 2002
Posts: 1091

PostPosted: Mon Feb 14, 2005 7:44 pm    Post subject: Reply with quote

Ja, eigentlich alle neueren.

Rein vom Platzverbrauch wär übrigens ein Dateisystem, das auf read-only designt ist, noch wesentlich besser. Aber die können AFAIK alle nur maximal 4 GB verwalten (mit Komprimierung würdest du aber wohl unter 4 GB kommen).
Back to top
View user's profile Send private message
flammenflitzer
Advocate
Advocate


Joined: 25 Nov 2003
Posts: 3541
Location: Berlin

PostPosted: Mon Feb 14, 2005 8:21 pm    Post subject: Reply with quote

Ich denke, man sollte auch nicht außer acht lassen, welchen Möglichkeiten zur Datenrettung/-wiederherstellung das Filesystem
bietet (Auch, wenn man es nur read only mountet). Ich habe fast alles durchprobiert und habe jetzt nur noch ext3 im Gebrauch.
Back to top
View user's profile Send private message
the-pugnacity
Apprentice
Apprentice


Joined: 20 Dec 2004
Posts: 236
Location: Germany//Berlin

PostPosted: Mon Feb 14, 2005 8:38 pm    Post subject: Reply with quote

ich schwöre ja inzwischen auf xfs
gründe: gute performance die log dateien kann man auf ne andere platte auslagern bringt noch mehr performance und sicherheit.... und der kewlnessfaktor is auch noch ok 8) hat schließlich auch nicht jeder
_________________
Gentoo 2.6.12-gentoo // Pentium4 2800 || Aopen XC Cube || TwinMOS 1024 MB PC 3200 || 250GB Hitachi 7k250 || Aopen Aeolus FX5900XT || MX500
Back to top
View user's profile Send private message
schachti
Advocate
Advocate


Joined: 28 Jul 2003
Posts: 3765
Location: Gifhorn, Germany

PostPosted: Mon Feb 14, 2005 9:02 pm    Post subject: Reply with quote

Naja, ich will wirklich nur was in eine Containerdatei packen, die dann auf DVD gebrannt wird - da wird es definitiv nie nie wieder einen Schreibzugriff drauf geben. :wink:

Ich habe übrigens gemerkt, daß man ext2 auch recht gut optimieren kann mittels

Code:

mke2fs -m 0 -O sparse_super -T largefile4 <BLOCKDEVICE>


Zum Thema XFS: Hatte ich auch, hat mir mein komplettes System zerstört. Ich hatte gerade viele Sachen gleichzeitig laufen (einen emerge, Kernel kompilieren, einen umfangreicheren Datentransfer zwischen zwei Platten, etc.), als plötzlich das Netzteil durchgeknallt ist. Und da XFS extremst cached, waren einfach so viele Dateien beschädigt, daß an jeder Ecke vom System was kaputt war (Binärdateien, Config-Files, Daten, einfach alles). Auf http://www.gentoo.org/doc/en/handbook/handbook-x86.xml?part=1&chap=4 steht nicht umsonst:

Quote:

XFS is a filesystem with metadata journaling which comes with a robust feature-set and is optimized for scalability. We only recommend using this filesystem on Linux systems with high-end SCSI and/or fibre channel storage and an uninterruptible power supply. Because XFS aggressively caches in-transit data in RAM, improperly designed programs (those that don't take proper precautions when writing files to disk and there are quite a few of them) can lose a good deal of data if the system goes down unexpectedly.


Ich habe am eigenen Leib erfahren, was damit gemeint ist, und setze XFS nicht mehr ein (ja, es war echt schnell, aber Geschwindigkeit ist nicht alles).
Back to top
View user's profile Send private message
the-pugnacity
Apprentice
Apprentice


Joined: 20 Dec 2004
Posts: 236
Location: Germany//Berlin

PostPosted: Mon Feb 14, 2005 9:13 pm    Post subject: Reply with quote

ok das wußte ich nicht naja wird schon schief gehen....:D notfalls backup raus kramen....:D aber wo ist es???
und squashfs??? keine ahnung ob ich es richtig geschrieben habe
_________________
Gentoo 2.6.12-gentoo // Pentium4 2800 || Aopen XC Cube || TwinMOS 1024 MB PC 3200 || 250GB Hitachi 7k250 || Aopen Aeolus FX5900XT || MX500
Back to top
View user's profile Send private message
NightDragon
Veteran
Veteran


Joined: 21 Aug 2004
Posts: 1156
Location: Vienna (Austria)

PostPosted: Mon Feb 14, 2005 9:47 pm    Post subject: Reply with quote

Macht mir jetzt keine Angst.
Ich hab hier XFS als Raid 1 am laufen.
Bisher problemlos. Aber so bekommt man ja panik!
_________________
You are the problem too all my solutions ;)
Back to top
View user's profile Send private message
schachti
Advocate
Advocate


Joined: 28 Jul 2003
Posts: 3765
Location: Gifhorn, Germany

PostPosted: Mon Feb 14, 2005 9:58 pm    Post subject: Reply with quote

Ich will niemandem Angst machen - aber man sollte wissen, was man sich mit XFS in's Haus holt. Ich würde keine wichtigen Daten auf einer entsprechend formatierten Partition speichern, wenn ich kein Backup habe (ok, ich würde auf gar keiner Partition wichtige Daten speichern, ohne ein Backup zu haben - aber eben erst recht nicht auf einer mit XFS formatierten Partition). Das liegt halt nicht daran, daß XFS fehlerhaft wäre - das ist einfach prinzipbedingt, XFS nutzt ganz extremes Caching und schreibt die Daten erst so spät wie irgendwie nur möglich auf die Festplatte - aber im Falle eines Stromausfalls, eines Hardwaredefekts oder einer Kernel Panic ist das eben viel zu spät.
Back to top
View user's profile Send private message
NightDragon
Veteran
Veteran


Joined: 21 Aug 2004
Posts: 1156
Location: Vienna (Austria)

PostPosted: Mon Feb 14, 2005 10:12 pm    Post subject: Reply with quote

*g* Naja... also das späte Caching müsste man aber umgehen können.-
Und sicher das da das Dateisystem die Schuld ist und nicht der Treiber?
_________________
You are the problem too all my solutions ;)
Back to top
View user's profile Send private message
schachti
Advocate
Advocate


Joined: 28 Jul 2003
Posts: 3765
Location: Gifhorn, Germany

PostPosted: Mon Feb 14, 2005 10:25 pm    Post subject: Reply with quote

Jo, das Dateisystem ist absichtlich so konstruiert. Gerade bei Dateien, die oft bearbeitet werden, ist das ein riesiger Vorteil. Gerade bei temporären Datei bringt das viel - die werden von XFS gar nicht mehr auf Platte geschrieben und anschließend gelöscht, das spielt sich nur im XFS-Cache ab.

Google mal nach technischen Aufsätzen, es gibt da teilweise sehr ausführliche und tiefgehende Beschreibungen von XFS...
Back to top
View user's profile Send private message
theche
Guru
Guru


Joined: 26 Feb 2004
Posts: 512

PostPosted: Mon Feb 14, 2005 10:27 pm    Post subject: Reply with quote

mit sync kann man das schreiben auf die platte erzwingen, meine ich. kannst ja n cronjob machen, der alle 30 sec sync ausführt ;)
_________________
Stellt euch vor, es geht, und keiner bekommt's hin! --theche, der gefragt worden ist, was sein nick bedeuten soll...
Back to top
View user's profile Send private message
c07
Veteran
Veteran


Joined: 25 Oct 2002
Posts: 1091

PostPosted: Mon Feb 14, 2005 11:28 pm    Post subject: Reply with quote

schachti wrote:
Ich habe übrigens gemerkt, daß man ext2 auch recht gut optimieren kann mittels
Code:
mke2fs -m 0 -O sparse_super -T largefile4 <BLOCKDEVICE>

Wobei das -m0 für jedes Dateisystem sinnvoll ist, auf dem nicht /var und/oder /tmp liegt. Und das -Osparse_super ist seit Langem Standard. Trotzdem bleiben pro 4 KB Nutzdaten noch mehr als 35 Bit Verwaltung im günstigsten Fall (alle Dateien knapp 4 MB groß).

squashfs kann auch nur 4 GB, was aber eben mit Komprimierung reichen könnte.

theche wrote:
kannst ja n cronjob machen, der alle 30 sec sync ausführt :wink:

30 Sekunden ist eh der Standard. Kann man außerdem in /proc/sys/fs/xfs/xfssyncd_centisecs ändern, siehe /usr/src/linux/Documentation/filesystems/xfs.txt . Spätestens wenn man das Maximum (2 Stunden) nimmt, ist eine USV wirklich angebracht.
Back to top
View user's profile Send private message
schachti
Advocate
Advocate


Joined: 28 Jul 2003
Posts: 3765
Location: Gifhorn, Germany

PostPosted: Tue Feb 15, 2005 7:00 am    Post subject: Reply with quote

c07 wrote:

Trotzdem bleiben pro 4 KB Nutzdaten noch mehr als 35 Bit Verwaltung im günstigsten Fall (alle Dateien knapp 4 MB groß).


Naja, das ist knapp unter 1% und macht bei 4 GB dann ca. 35 MB aus - ich denke, das ist zwar nicht schön, aber hinnehmbar (zumal bei Dateien zwischen 500 und 700 MB auch immer ein gewisser Verschnitt übrig bleibt, weil nach Murphy eben nie gerade so viele Dateien der richtigen Größe existieren, daß sie sich genau zu einer gewünschten Größe (in meinem Fall 4.7 GiB) summieren.

c07 wrote:

squashfs kann auch nur 4 GB, was aber eben mit Komprimierung reichen könnte.


Da das ganze auf DVD soll, möchte ich das Speichervolumen natürlich ausschöpfen. Außerdem denke ich, daß squashfs performancemäßig einige Klassen tiefer spielt als ext2 (natürlich prinzipbedingt), und gerade wenn man die Daten mit dm-crypt noch verschlüsseln möchte, sieht es in der Kombination natürlich schlecht aus (Entschlüsselung braucht 'ne Menge Rechenleistung, Dekomprimierung ist auch nicht ohne etc.).

c07 wrote:

Spätestens wenn man das Maximum (2 Stunden) nimmt, ist eine USV wirklich angebracht.


2 Stunden? Das nenne ich ausgeprägte Risikobereitschaft - vor einer Kernel Panic, einem Hardwarefehler oder der berühmten Putzfrau (Kind|Frau|Katze|Hund|...), die am Freitag Nachmittag gegen den Reset-Knopf kommt, hilft die USV nämlich gar nicht.
Back to top
View user's profile Send private message
NightDragon
Veteran
Veteran


Joined: 21 Aug 2004
Posts: 1156
Location: Vienna (Austria)

PostPosted: Tue Feb 15, 2005 11:47 am    Post subject: Reply with quote

Hm. Also c07 hat wieder mal mein wissen erweitert *g*.
(Ja auch die anderen, aber seine Antworten beruhigen auch ;) )

Na gut. man kanns ja ändern. was will man mehr ;)
_________________
You are the problem too all my solutions ;)
Back to top
View user's profile Send private message
Flying_Horse
n00b
n00b


Joined: 22 Aug 2004
Posts: 33
Location: Wohmbrechts, Germany

PostPosted: Tue Feb 15, 2005 3:40 pm    Post subject: Reply with quote

Hallo NightDragon (und alle anderen möglichen XFS-User)

nachdem ich damals mit ReiserFS von SuSE auf die Schn... gefallen bin hab ich etliche Filesysteme getestet und bin bei XFS hängengeblieben. Seitdem ist eigenlich alles, was ich mit Linux aufsetze (vom Laptop bis zum Webserver) mit XFS und natürlich LVM ausgestattet. In den (drei ?) Jahren, seit ich das mache, hatte ich einen Ausfall wegen kaputten Sektoren auf der Festplatte. Da reagiert XFS ausgesprochen empfindlich drauf. Dank RAID5 war das aber kein Problem. Sonst keinerlei Ausfälle, auch bei Testinstallationen mit eher häufigem Ausschalten ohne ordentlich runterzufahren.
Zurück zum OP: da XFS sehr performant ist und bestens mit grossen Dateien zurechtkommt halte ich es für durchaus geeignet. Das intensive Caching bringt, entsprechenden Speicher vorausgesetzt, Performance und da ja eh readonly gemountet wird, spielt die Anfälligkeit von XFS gegen Stromausfall keine Rolle. Ich würde also XFS auf jeden Fall in die engere Wahl ziehen.

Gruss, Klaus
_________________
Manche Leute haben einen Horizont mit Radius Null - und das nennen sie dann ihren Standpunkt
(Es ist Einstein-Jahr :-) )
Back to top
View user's profile Send private message
NightDragon
Veteran
Veteran


Joined: 21 Aug 2004
Posts: 1156
Location: Vienna (Austria)

PostPosted: Tue Feb 15, 2005 3:59 pm    Post subject: Reply with quote

Also reiserfs hatte ich auch einmal Probleme.
Und ich habe auch schon öfters ghört das reiserf hi und da mal aufgibt.

Hm. Ich setze es aber weiterhin als Root-System ein. Ich glaube vor 3 Jahren war ReiserFS ziemlich fehlerhaft. Das hat sich aber soweit ich weiß gelegt.

Also normalerweise ist meine aufteilung so:

boot - ext2
root - reiserfs
raid-systeme - xfs

Also alle Systeme haben schon mehrfach den härtetest durch. bis jetzt alles super fein.
Danke jedoch für deinen Erfahrungsbericht *g* das beruhigt.
_________________
You are the problem too all my solutions ;)
Back to top
View user's profile Send private message
l3u
Advocate
Advocate


Joined: 26 Jan 2005
Posts: 2616
Location: Konradsreuth (Germany)

PostPosted: Tue Feb 15, 2005 4:26 pm    Post subject: Reply with quote

Wozu eigentlich heutzutage noch ne extra boot-Partition anlegen?
Back to top
View user's profile Send private message
NightDragon
Veteran
Veteran


Joined: 21 Aug 2004
Posts: 1156
Location: Vienna (Austria)

PostPosted: Tue Feb 15, 2005 4:53 pm    Post subject: Reply with quote

Ich z. Bsp.: machs deswegen, weil ich liebe die Kernel und die Boot-Partion gesondert vom root-Teil habe.
Boot wird als readonly bei mir gemounted und nur zu Updatezwecken der Kernel rw gemountet.

In falle des falles ist damit die Kernel sicher.
_________________
You are the problem too all my solutions ;)
Back to top
View user's profile Send private message
l3u
Advocate
Advocate


Joined: 26 Jan 2005
Posts: 2616
Location: Konradsreuth (Germany)

PostPosted: Tue Feb 15, 2005 6:17 pm    Post subject: Reply with quote

Hmmm ... mag ja sein, aber was ist denn "Fall der Fälle"? Nen kaputten Kernel kann man doch einfach neu kompilieren! Muß man halt dann über ein Rescue-System machen. Aber ist's net so, daß das eher von früher herrührt, wo Bootloader nicht mehr funktioniert haben, wenn man eine bestimmte Festplattengröße überschritten hat? Und man deshalb eine boot-Partition angelegt hat? Und man das heute eigentlich gar nicht mehr braucht?
Back to top
View user's profile Send private message
NightDragon
Veteran
Veteran


Joined: 21 Aug 2004
Posts: 1156
Location: Vienna (Austria)

PostPosted: Tue Feb 15, 2005 10:13 pm    Post subject: Reply with quote

Stimmt.
Dort gabs die Zylindergrenze bei 1024 glaub ich.

Na aber es gibt noch einen Punkt. Wenn z. bsp.: Man ein Dateisystem für root verwendet, das nur von der Kernel, und nicht vom Bootloader angesprochen werden kann.
Dann braucht man auch ne eigene Partition, von der aus die Kernel bootet, mit Modulen integriert, die dann das Root-System bereit stellen.
Z. bsp.: Ein SATA-Laufwerk, das auf einen anderen Controller wie den des Onboards liegt.
_________________
You are the problem too all my solutions ;)
Back to top
View user's profile Send private message
platinumviper
l33t
l33t


Joined: 12 Feb 2004
Posts: 661
Location: Munich, Germany

PostPosted: Wed Feb 16, 2005 12:39 am    Post subject: Reply with quote

NightDragon wrote:
Man ein Dateisystem für root verwendet, das nur von der Kernel, und nicht vom Bootloader angesprochen werden kann.

U.a. deshalb verwende ich lilo, das liest direkt die Sektoren, in denen der Kernel liegt. Nach dem Kompilieren des Kernels muss lilo deshalb aufgerufen werden, aber danach wird man bei make install ja ohnehin gefragt. GRUB hab' ich bisher zweimal gebraucht, einmal für Debian GNU/Hurd, das zweite mal für Solaris 7. Inzwischen hat lilo keine Probleme mehr mit Solaris, Hurd (wird nächstes Jahr fertig (TM):twisted: ) werde ich gelegentlich mal wieder testen.

platinumviper
_________________
No money back garantee. In case of problems, don't call us, we call you.
Back to top
View user's profile Send private message
NightDragon
Veteran
Veteran


Joined: 21 Aug 2004
Posts: 1156
Location: Vienna (Austria)

PostPosted: Wed Feb 16, 2005 3:37 am    Post subject: Reply with quote

Hm. Man sollte echt fast ne Umfrage zum Dateisystem machen.

Naja... Ich hab grub einfach Lieber... einfach so. Ohne besonderen Grund.
_________________
You are the problem too all my solutions ;)
Back to top
View user's profile Send private message
DarKRaveR
Guru
Guru


Joined: 11 Oct 2003
Posts: 500
Location: Old Europe/G-Many

PostPosted: Wed Feb 16, 2005 8:06 am    Post subject: Reply with quote

platinumviper wrote:
NightDragon wrote:
Man ein Dateisystem für root verwendet, das nur von der Kernel, und nicht vom Bootloader angesprochen werden kann.

U.a. deshalb verwende ich lilo, das liest direkt die Sektoren, in denen der Kernel liegt. Nach dem Kompilieren des Kernels muss lilo deshalb aufgerufen werden, aber danach wird man bei make install ja ohnehin gefragt. GRUB hab' ich bisher zweimal gebraucht, einmal für Debian GNU/Hurd, das zweite mal für Solaris 7. Inzwischen hat lilo keine Probleme mehr mit Solaris, Hurd (wird nächstes Jahr fertig (TM):twisted: ) werde ich gelegentlich mal wieder testen.

platinumviper


Das mit den Sektoren tut Grub auch ohne weiteres, das ist weniger das problem, aber spätestens wenn das root FS (bzw. das device auf dem dann auch der kernel liegt) nicht via INT13 ext. ansprechbar ist hat lilo verloren. Spätestens dann kommt man um eine Boot Partition wohl kaum drumherum ....

Richtig schön ist es allerdings, wenn man lilo auf nem device Installieren will und dummerweise die nötigen IOCTLS nicht vom Treiber unterstützt werden, weil es leider ein Treiber vom HErsteller ist ... Da gestaltet sich die Benutzung von LILO mehr als schwierig 8O .

Zum eigentlich Thema: Es ist Geschmackssache, such Dir Dein Filesys so aus, daß es zu Deinen Anforderungen passt ...

Ich persönlich benutze xfs, hatte zwar auch schon crashes, aber hergott, ja, wenn die blöcke auf der hdd abrauchen, da kann kein filesystem mehr viel ausrichten ....

Warum XFS?
1. Freezable
2. Dump Tool
3. DMAPI
4. Von Anfang an nativer Support für ACLs/EA/Quota

Contras wurden ja schon genannt.....
Back to top
View user's profile Send private message
Display posts from previous:   
Reply to topic    Gentoo Forums Forum Index Deutsches Forum (German) All times are GMT
Goto page 1, 2  Next
Page 1 of 2

 
Jump to:  
You cannot post new topics in this forum
You cannot reply to topics in this forum
You cannot edit your posts in this forum
You cannot delete your posts in this forum
You cannot vote in polls in this forum