[TIP] migliorare le performance di SGI XFS Filesystem

!equilibrium

/EDIT: con xfsprogs-2.9 e le recenti versioni del kernel linux (2.6.23+) i miei tips non sono più necessari perchè sono diventati il default (ciò dimostra che le mie argomentazioni erano valide) in fase di formattazione. L'unica feature che è cambiata è l'agcount, che a seguito di una modifica del driver XFS nei recenti kernel linux, è un valore fisso e si adegua in modo ottimale in base alla dimensione della partizione. Infine consiglio caldamente l'attivazione del lazy-count di XFS come unico "tip" in quanto non è ancora il default, ed aggiunge un sostanziale aumento di performance in scrittura.

MITI E LEGGENDE RIGUARDANTI XFS:

[-] XFS è veloce a leggere/scrivere file di grosse dimensioni ma non è idoneo a gestire file di piccole dimensioni.
Falso, dal kernel 2.6.20+ il filesystem XFS scala in modo lineare sia per file di piccole dimensioni che file di grosse dimensioni (leggi: è veloce a leggere/scrivere file di dimensioni piccole ne più ne meno come quando legge i file di dimensioni grosse).

[-] XFS perde i dati e si corrompe facilmente tant'è che la stessa SGI raccomanda l'uso di un UPS con il suo filesystem.
Falso, nelle FAQ della SGI (e anche qui) è spiegato bene che XFS, come tutti i filesystem in generale, soffre di perdite di dati nel caso in cui avviene una brusca interruzione dell'alimentazione elettrica con la feature Write Cache hardware degli hard disk PATA/SATA abilitata. Senza un adeguato sistema di UPS la Write Cache dell'HD viene azzerata prima che i dati siano stati realmente scritti sul dispositivo, generando la perdita di dati e/o la corruzione del filesystem XFS. Questo problema non è un bug di XFS e riguarda *qualunque* filesystem, così come non esistono filesystem che reagiscono meglio in caso di shutdown forzato del pc o che sono esenti per natura dal suddetto problema (chi sostiene questi principi poco o nulla sa sui filesystem e sta palesemente mentendo al solo scopo di proporre un determinato filesystem come migliore degli altri). Di default gli HDs hanno la Write Cache abilitata, basta disattivarla per non incappare nel problema (sui dischi PATA ciò determina una evidente perdita di performance dovuta ai limiti dello standard PATA).

[-] OSYNCISDSYNC migliora le performance di XFS
Falso. A discapito di quanti sostengono che il montaggio di partizioni XFS con l'opzione osyncisdsync garantisca performance maggiori, l'effetto che si ottiene e' esattamente uguale a quello standard. Va fatta una premessa pero', l'opzione osyncisdsync serve solo per permettere le operazioni di scrittura di tipo O_SYNC (osyncisdsync = scritture sincrone tramite direct I/O, il default di XFS sono le scritture asincrone, async), senza, il filesystem li tradurrebbe in chiamate asincrone. Il miglioramento di 'performance' e' rilevabile solo e soltanto a livello di applicazione se questa e' in grado di sfruttare appieno O_SYNC (direct I/O), ma non ci sara' mai un miglioramento 'generale' a livello di scrittura/lettura. Allo stato attuale delle cose, non esistono nel mondo opensource molte applicazioni che fanno uso in modo nativo di direct I/O (so di sendmail e basta, se qualcuno ne conosce altri me lo faccio sapere), lo e' invece nel caso di IBM AIX dove tutto il sistema operativo e le varie applicazioni, compreso il filesystem (JFS) sfruttano appieno O_SYNC tramite direct I/O. Dal kernel 2.6.20 tale opzione e' abilata di default e ne viene deprecat l'uso via mount

letture correlate a O_SYNC per chi ne vuole sapere di piu':
- IBM AIX
- Daniel Robbins - Advanced Filesystem Implementor-s guide

Strumenti utili di benchmarsk:
Bonnie originale di Tim Bray
Bonnie di Kurt Garloff
Bonnie++ di Russell Coker
IOzone (raccomandato)

Documentazione utile
SGI - Official XFS Filesystem Structure
_________________
Arch Tester for Gentoo/FreeBSD
Equilibrium's Universe

all my contents are released under the Creative Commons Licence by-nc-nd 2.5

!equilibrium · Posted: Mon Oct 31, 2005 12:28 pm Post subject:

p.s.: questo è solo un primo anticipo, poi aggiungerò altri tweak, li sto testando e quando avrò dei dati concreti aggiornerò questo thread

_________________
Arch Tester for Gentoo/FreeBSD
Equilibrium's Universe

all my contents are released under the Creative Commons Licence by-nc-nd 2.5

Cazzantonio · Posted: Mon Oct 31, 2005 12:45 pm Post subject:

Una cosa... come si aumenta la stabilità di xfs rispetto ai reboot?
Io ho sperimentato perdite di dati ingenti (beh, non ingenti in quantità ma in qualità... in pratica tutti i file aperti al momento del reset) in caso di kernel panick (dovuto agli ati-drivers) e di conseguente reset.
Non è molto sicuro usare xfs mi pare...

[MOD]L'ho aggiunto alla sezione TIPS e lo sposto nel subforum Off Topic[/MOD]
_________________
Any mans death diminishes me, because I am involved in Mankinde; and therefore never send to know for whom the bell tolls; It tolls for thee.
-John Donne

!equilibrium · Posted: Mon Oct 31, 2005 1:01 pm Post subject:

Cazzantonio · Posted: Mon Oct 31, 2005 1:18 pm Post subject:

!equilibrium · Posted: Mon Oct 31, 2005 2:13 pm Post subject:

ho aggiunto i punti (5) e (6), utili per chi ha server di produzione e RAID (sia hardware che software)
_________________
Arch Tester for Gentoo/FreeBSD
Equilibrium's Universe

all my contents are released under the Creative Commons Licence by-nc-nd 2.5

!equilibrium · Posted: Mon Oct 31, 2005 2:21 pm Post subject:

fedeliallalinea · Posted: Mon Oct 31, 2005 4:05 pm Post subject:

!equilibrium · Posted: Mon Oct 31, 2005 4:28 pm Post subject:

.:deadhead:. · Posted: Tue Nov 01, 2005 3:07 pm Post subject:

Evviva evviva son tornati gli hackers! Mi mancavano questi tips tecnici a-la-Fonderia: li adoro! Per DarkAngel Hip Hip Hurra!!!!!!
_________________
Proudly member of the Gentoo Documentation Project: the Italian Conspiracy !

GNU/Duncan · Posted: Thu Nov 03, 2005 8:11 am Post subject:

Ottimo, è un po' che cercavo qualcosa che riassumesse un po' di info per il FS XFS

!equilibrium · Posted: Wed Nov 16, 2005 4:30 pm Post subject:

ho fatto una modifica alla sezione [4] per spremere il massimo dal FS. utilissima soprattutto sui notebook (mi ha allungo di circa 15 minuti la durata della batteria)

Cazzantonio · Posted: Wed Nov 16, 2005 6:23 pm Post subject:

resta il problema che se ti dimentichi il portatile, finisce la batteria e ti si spenge di botto il pc non hai idea se al prossimo riavvio i dati ci saranno tutti... oppure se hai un kernel panick o un freeze qualsiasi...
Mi spiegate voi come fate? Io XFS lo metterei volentieri ma questo problema mi sembra un po' troppo grave per soprassedere... Se voi lo usate significa che avete trovato il modo di ovviare a questa cosa no?
_________________
Any mans death diminishes me, because I am involved in Mankinde; and therefore never send to know for whom the bell tolls; It tolls for thee.
-John Donne

!equilibrium · Posted: Wed Nov 16, 2005 7:04 pm Post subject:

Cazzantonio · Posted: Wed Nov 16, 2005 7:22 pm Post subject:

hai ragione scusa... non intendevo lanciare un flame anzi... volevo proprio sapere quello che mi hai detto perché ho intenzione di mettere xfs sulla root del portatile.
Io mi sono trovato molto bene con xfs... lo usavo sulla partizione delle home solo che, in seguito ad alcuni kernel panick causati dai driver ati (se non fosse per loro non avrei mai sperimentato un kernel panick) mi sono spariti diversi file... come ad esempio i bookmark se avevo firefox aperto etc...
Il fatto è che mi pare di aver capito che xfs deve essere usato con cognizione di causa... che accade ad esempio (non lo so... chiedo) col p2p? se un programma sta scrivendo un file bello grosso (e ne avrà per parecchio) e poi il disco viene spento improvvisamente il file sparisce?
Io ho avuto esperienze di corruzione di fs in reiserfs (da cui per pura fortuna ho ritrovato tutto), con xfs (dove l'fs rimaneva stabile, solo perdevi qualche file qua è la'... vedi l'episodio dei bookmark) e mai con ext3 per cui mi ero convinto che l'unico fs sicuro fosse quest'ultimo.

In pratica quello che mi dici è che con xfs rischio solo di perdere i file aperti in quel momento. Bene. Ma se lo uso su una partizione di root qual'è il rischio? Non ho idea di quali e quanti file siano aperti contemporaneamente e a rischio perdita... inoltre con un portatile il rischio è ovviamente più alto che con un fisso (affidare la stabilità di un sistema ad uno script che spenge il pc è azzardato... se hai un gruppo di continuità il discorso è ben diverso...)
Se mi dici che rischio solo fstab nel caso usi hal (e non lo uso) allora vado tranquillo e migro la mia root su xfs, altrimenti devo un po' capire a cosa vado incontro
_________________
Any mans death diminishes me, because I am involved in Mankinde; and therefore never send to know for whom the bell tolls; It tolls for thee.
-John Donne

!equilibrium · Posted: Wed Nov 16, 2005 8:03 pm Post subject:

fedeliallalinea · Posted: Thu Nov 17, 2005 7:54 am Post subject:

Ma per il problema dei dati persi che si trovano in ram non e' sufficiente lanciare qualche volta un bel sync ogni tanto (o addirittura metterlo nella crontab)?
_________________
Questions are guaranteed in life; Answers aren't.

.:deadhead:. · Posted: Thu Nov 17, 2005 9:16 am Post subject:

Questo credo che ti possa servire cazzantonio :-D

Era tra i tips ufficiali
https://forums.gentoo.org/viewtopic.php?t=178164

Complimenti ancora a DarkAngel: quel nodiratime manco c'è nel man di mount... Azz questo ci insegna che non di solo mount vive il sysadmin... Ma vale anche per altri FS o è prerogativa di xfs?
_________________
Proudly member of the Gentoo Documentation Project: the Italian Conspiracy !

Cazzantonio · Posted: Thu Nov 17, 2005 11:03 am Post subject:

!equilibrium · Posted: Mon Nov 21, 2005 3:10 pm Post subject:

Cazzantonio · Posted: Mon Nov 21, 2005 4:22 pm Post subject:

A proposito della deframmentazione come ci si deve comportare? Come e quanto spesso va eseguita?
Non ho mai eseguito deframmentazione su un sistema linux e mi chiedo come funzioni questa cosa? Anche gli altri filesystem soffrono la frammentazione?
_________________
Any mans death diminishes me, because I am involved in Mankinde; and therefore never send to know for whom the bell tolls; It tolls for thee.
-John Donne

!equilibrium · Posted: Mon Nov 21, 2005 4:27 pm Post subject:

Luca89 · Posted: Mon Nov 21, 2005 4:29 pm Post subject:

Per quanto ne so, su linux, l'unico filesystem che subisce la frammentazione è ext2, tutti gli altri dovrebbero andare tranquilli.
_________________
Running Fast!

!equilibrium · Posted: Mon Nov 21, 2005 5:35 pm Post subject:

Cazzantonio · Posted: Mon Nov 21, 2005 6:27 pm Post subject:

via mi sa che metterò xfs sulla root... backuppo e via :wink:

Per le home aspetterò di vedere come va con la root.... per ora rimango con ext3

[EDIT]Pensavo..... per risolvere il prolema (possibile) degli shutdown improvvisi non potrebbe essere utile ridurre il numero e la grandezza dei buffers?
Ridurli ridurrebbe la latenza delle informazioni nella ram anche se peggiorerebbe la resa del filesystem....[/EDIT]
_________________
Any mans death diminishes me, because I am involved in Mankinde; and therefore never send to know for whom the bell tolls; It tolls for thee.
-John Donne