| View previous topic :: View next topic |
| Author |
Message |
fat_penguin
Apprentice
Joined: 25 Jul 2004
Posts: 294
Location: sud side of Switzerland
|
 Posted: Sat Feb 19, 2005 12:02 pm Post subject: [HOW TO]RAID 1 software |
 |
|
Questo breve testo vuol dare una veloce ma completa guida all'istallazione di gentoo su un RAID 1 software.
Ho preso spunto da alcune istruzioni trovate sul web e ho provato sulla mia pelle tutto cio che è scritto.
Oltre alla messa in funzione di un RAID vedremo i comandi di base per la gestione di questi array di dischi.
Utilizzeremo il paccheto sys-apps/mdadm (http://cgi.cse.unsw.edu.au/~neilb/mdadm) al posto del "vecchio" sys-fs/raidtools, che è meno amichevole da usare (IMHO).
Tutte le istruzioni riportate si riferiscono ad un sistema con due dischi IDE/ATA impostati come hda e hdb e ad una configurazione delle partizioni in "/", "/boot" e "swap". E' preferibile inoltre che io due hdd siano il piu simili possibile in ordine di grandezza.
Partiamo con il livecd di gentoo seguiamo la guida di istallazione fino alla parte "4. Preparazione dei dischi".
A questo punto lanciamo il seguente comando per attivare il supporto al software raid:
e creiamo i nodi "md" che rappresentano i dispositivi RAID:
| Code: |
mknod /dev/md0 b 9 0
mknod /dev/md1 b 9 1
mknod /dev/md2 b 9 2
|
si assume quindi che da ora in poi "/dev/md0 = /boot" , "/dev/md1 = swap" e "/dev/md2 = /".
Per chiarezza diciamo pure che
| Quote: | /dev/md0 = /dev/hda1 + /dev/hdb1
/dev/md1 = /dev/hda2 + /dev/hdb2
/dev/md2 = /dev/hda3 + /dev/hdb3
|
Andiamo ora a partizionare i due hard disks in modo che le tre partizioni che creeremo siano uguali su entrambi.
E' molto importante che le partizione siano del tipo "Linux raid autodetect", con cfdisk il codice per questo tipo è "FD". Impostiamo inoltre le partizioni di boot come "boottabili".
Per facilitare questa operazione di consiglia di partizionare il primo hard disk e di lanciare il seguente comando:
| Code: | | sfdisk -d /dev/hda | sfdisk /dev/hdb |
in modo che il partizionamento del primo venga "clonato" sul secondo. Nel caso non dovesse funzionare procedete pure manualmente su entrambe i dispositivi.
Eccoci ora alle creazione vera e propria del RAID. Lanciamo i seguenti comandi:
| Code: |
mdadm --create /dev/md0 --level=1 --raid-devices=2 /dev/hda1 /dev/hdb1
mdadm --create /dev/md1 --level=1 --raid-devices=2 /dev/hda2 /dev/hdb2
mdadm --create /dev/md2 --level=1 --raid-devices=2 /dev/hda3 /dev/hdb3
|
ora il sistema iniziera' la creazione degli array. Possiamo monitorare lo stato d'avanzamento di questa operazione con:
una volta portata a termine la "costruzione" dei dispositivi RAID dovremmo ottenere un output del genere al comando precedente:
| Quote: |
Personalities : [raid1]
md1 : active raid1 hdb2[1] hda2[0]
1951808 blocks [2/2] [UU]
md2 : active raid1 hdb3[1] hda3[0]
13671232 blocks [2/2] [UU]
md0 : active raid1 hdb1[1] hda1[0]
96256 blocks [2/2] [UU]
unused devices: <none>
|
A questo punto non ci resta che formattare le partizioni! Ad esempio con:
| Code: |
mke2fs /dev/md0
mke2fs -j /dev/md2
mkswap /dev/md1
|
Attiviamo ora la swap
e procediamo con il mount delle partizioni
| Code: |
mount /dev/md2 /mnt/gentoo
mkdir /mnt/gentoo/boot
mount /dev/md0 /mnt/gentoo/boot
|
Proseguiamo ora con la guida ufficiale di gentoo dal punto "5. Copia dei file di installazione di Gentoo" fino al punto "10. Configurazione del Bootloader" ricordandoci che durante la compilazione del kernel va attivato il supporto al RAID:
| Quote: |
Device Drivers --->
Multi-device support (RAID and LVM) --->
[*] Multiple devices driver support (RAID and LVM)
<*> RAID support
< > Linear (append) mode
< > RAID-0 (striping) mode
<*> RAID-1 (mirroring) mode
.....
<*> Device mapper support
|
e di settare /etc/fstab correttamente. Ad esempio:
| Code: |
...
/dev/md0 /boot ext2 noauto,noatime 1 1
/dev/md2 / ext3 noatime 0 0
/dev/md1 none swap sw 0 0
...
|
Due parole sull'istallazione del boot loader.
Per permettere il boot del sistema da entrambi i dischi, in caso di rottura di uno dei due, grub (in questo caso) va istallato nel Master Boot Record dei due hard disks.
Ecco come procedere dopo l'emerge di grub.
Avviare la shell di grub con il comando:
e procedere come segue:
| Code: |
grub> root (hd0,0)
grub> setup (hd0)
grub> root (hd1,0)
grub> setup (hd1)
grub> quit
|
Ora va configurato il file di /boot/grub/grub.conf. Vi posto il mio:
| Quote: |
# Boot automatically after 30 secs.
timeout 30
# By default, boot the first entry.
default 0
# Fallback to the second entry.
fallback 1
# For booting with disc 0 kernel
title GNU/Linux (hd0,0)
kernel (hd0,0)/kernel-2.6.10 root=/dev/md2
# For booting with disc 1 kernel, if (hd0,0)/bzImage is unreadable
title GNU/Linux (hd1,0)
kernel (hd1,0)/kernel-2.6.10 root=/dev/md2
|
Prima di terminare l'istallazione di Gentoo e di procedere con il reboot non dimenticate di istallare il pacchetto sys-apps/mdadm :
Se tutto è andato secondo i piani al reboot vi troverete a lavorare su un sistema RAID 1 software!
Ora qualche cenno sulla gestione.
Il comando "mdadm" permette la completa amministrazione degli array.
Facciamo qualche esempio pratico. Ammettiamo di accorgerci che il secondo hard disk (hdb) si stia rompendo e che quindi vogliamo sostituirlo con uno nuovo.
Ecco il dafarsi:
| Code: |
mdadm /dev/md0 --fail /dev/hdb1 --remove /dev/hdb1
mdadm /dev/md1 --fail /dev/hdb2 --remove /dev/hdb2
mdadm /dev/md2 --fail /dev/hdb3 --remove /dev/hdb3
|
in /proc/mdstat avremo qualcosa di simile ora:
| Quote: |
Personalities : [raid1]
md1 : active raid1 hda2[0]
1951808 blocks [2/1] [U_]
md2 : active raid1 hda3[0]
13671232 blocks [2/1] [U_]
md0 : active raid1 hda1[0]
96256 blocks [2/1] [U_]
unused devices: <none>
|
ora spegniamo il pc, sostituiamo il disco guasto, riavviamo e...
Ripartizioniamo l'hard disk:
| Code: |
sfdisk -d /dev/hda | sfdisk /dev/hdb
|
ricreiamo il RAID:
| Code: |
mdadm /dev/md0 --add /dev/hdb1
mdadm /dev/md1 --add /dev/hdb2
mdadm /dev/md2 --add /dev/hdb3
|
controlliamo la ricostruzione dell'array con un "cat /proc/mdstat"
| Quote: |
Personalities : [raid1]
md1 : active raid1 hdb2[2] hda2[0]
1951808 blocks [2/1] [U_]
[=>...................] recovery = 6.2% (123008/1951808) finish=2.4min speed=12300K/sec
md2 : active raid1 hdb3[2] hda3[0]
13671232 blocks [2/1] [U_]
resync=DELAYED
md0 : active raid1 hdb1[1] hda1[0]
96256 blocks [2/2] [UU]
unused devices: <none>
|
ricordiamoci inoltre di istallare grub nel MBR del nuovo hdd:
| Code: |
grub> root (hd1,0)
grub> setup (hd1)
|
... e siamo di nuovo a cavallo!
E' chiaro che ho esposto solo una parte di quello che puo essere fatto con il software RAID di linux e col pacchetto "mdadm". Oltre alle operazioni di base è possibile configurare il monitoraggio dello stato del RAID per avvisare l'amministratore in caso di eventuali problemi.
Note:
mdadm puo essere usato anche via file di configurazione /etc/mdadm.conf in modo da rendere piu "coerente" la gestione.
Fonti d'ispirazione:
http://www.linuxdevcenter.com/pub/a/linux/2002/12/05/RAID.html
http://www.gentoo.org/doc/en/gentoo-x86-tipsntricks.xml#software-raid
http://www.fonderiadigitale.it/gentoo/seminari/2004/Webb.it_Padova/
Spero di non aver detto qualche castroneria... Buon lavoro!
byebye
fat_penguin
Last edited by fat_penguin on Sat Feb 19, 2005 3:49 pm; edited 1 time in total |
|
| Back to top |
|
 |
.:deadhead:.
Advocate
Joined: 25 Nov 2003
Posts: 2963
Location: Milano, Italy
|
| Posted: Sat Feb 19, 2005 1:20 pm Post subject: |
|
|
Complimenti. Per caso hai guardato anche l'howto di FonderiaDigitale, presentato al webbit di padova nel 2004?
Qualunque sia la risposta, potresti linkarlo in fondo, visto che finora era IMHO l'unico howto aggiornato che parlava di sw raid e mdadm su gentoo in maniera completa ed esaustiva 
_________________
Proudly member of the Gentoo Documentation Project: the Italian Conspiracy ! |
|
| Back to top |
|
|
fat_penguin
Apprentice
Joined: 25 Jul 2004
Posts: 294
Location: sud side of Switzerland
|
| Posted: Sat Feb 19, 2005 1:32 pm Post subject: |
|
|
Inserisco volentieri il link... me lo passi?
fat_penguin |
|
| Back to top |
|
|
FonderiaDigitale
Veteran
Joined: 06 Nov 2003
Posts: 1710
Location: Rome, Italy
|
|
| Back to top |
|
|
fedeliallalinea
Administrator
Joined: 08 Mar 2003
Posts: 31348
Location: here
|
| Posted: Sat Feb 19, 2005 2:49 pm Post subject: |
|
|
Inserito nei post utilissimi sezione howto
_________________
Questions are guaranteed in life; Answers aren't. |
|
| Back to top |
|
|
mnl
n00b
Joined: 15 Feb 2005
Posts: 27
|
| Posted: Sat Feb 26, 2005 4:27 pm Post subject: |
|
|
Volevo aggiungere un paio di cose all'(utilissimo!) documento.
1. Ho avuto dei problemi nel creare raid software con due dischi SATA e il kernel 2.4.28-gentoo-r7 . La macchina si piantava al boot nell'atto di configurare il primo disco in modalita' UDMA. Nonostante quattro ricompilazioni del kernel ho ceduto e ho dovuto installare il 2.6.10-gentoo-r6 con il quale tutto e' andato a posto
2. Se qualcosa va male e bisogna tornare al livecd, per ristabilire gli array e rilavorarci si deve usare mdadm con --assemble e non piu' con --create (o almeno io ho usato con successo --assemble) in questo modo:
| Code: | mknod /dev/md0 b 9 0
mknod /dev/md1 b 9 1
mknod /dev/md2 b 9 2
# al posto di hdaX e hdbX si usino le proprie periferiche (SATA = sda/sdb)
mdadm --assemble /dev/md0 /dev/hdb1 /dev/hda1
mdadm --assemble /dev/md1 /dev/hdb2 /dev/hda2
mdadm --assemble /dev/md2 /dev/hdb3 /dev/hda3
mount /dev/md2 /mnt/gentoo/
mount /dev/md0 /mnt/gentoo/boot/
swapon /dev/md1
mount -t proc none /mnt/gentoo/proc
|
Saluti a tutti e grazie infinite per l'aiuto.
_________________
Gxis la. |
|
| Back to top |
|
|
Ciccio Bueo
l33t
Joined: 19 Oct 2004
Posts: 834
Location: Treviso
|
| Posted: Sat Feb 26, 2005 5:41 pm Post subject: |
|
|
volevo chiedervi se c'è un incremento delle prestazioni considerevole oppure no...  |
|
| Back to top |
|
|
fat_penguin
Apprentice
Joined: 25 Jul 2004
Posts: 294
Location: sud side of Switzerland
|
| Posted: Sat Feb 26, 2005 5:46 pm Post subject: |
|
|
tutto dipende dalla configurazione. Raid 1 serve alla ridondanza. Se lo metti in Raid 0 le prestazioni in scrittura migliorano senz'altro... ma non hai piu la ridondanza..
Una via di mezzo potrebbe essere il Raid 5 ...
byebye
fat_penguin |
|
| Back to top |
|
|
mnl
n00b
Joined: 15 Feb 2005
Posts: 27
|
| Posted: Sat Feb 26, 2005 5:50 pm Post subject: |
|
|
| Ciccio Bueo wrote: | | volevo chiedervi se c'è un incremento delle prestazioni considerevole oppure no... |
Come giustamente detto, RAID1 serve a non uccidersi quando un disco ti esplode, non ad aumentare le prestazioni (che _in teoria_ restano eguali, in pratica molto probabilmente degradano leggermente).
RAID5 e' anche una buona idea se hai 3 dischi. Se ne hai 4, piuttosto che un raid5 con spare oggigiorno credo sia meglio un raid0+1, e allora si' che le prestazioni aumentano.
Ciao a tutti
_________________
Gxis la. |
|
| Back to top |
|
|
Ciccio Bueo
l33t
Joined: 19 Oct 2004
Posts: 834
Location: Treviso
|
| Posted: Sat Feb 26, 2005 6:05 pm Post subject: |
|
|
io pensavo ad un raid 0 violento... 
rischio massimo... ma quanto più veloce vado? forse con il raid 0 software non aumentano in maniera valida le prestazioni.... |
|
| Back to top |
|
|
fat_penguin
Apprentice
Joined: 25 Jul 2004
Posts: 294
Location: sud side of Switzerland
|
| Posted: Sat Feb 26, 2005 6:08 pm Post subject: |
|
|
Sembra che al giorno d'oggi il RAID software sia piu performante del RAID hardware...
Non ti resta che provare...
byebye
fat_penguin |
|
| Back to top |
|
|
Gyrus
Apprentice
Joined: 02 May 2004
Posts: 273
Location: Italy-Arezzo
|
| Posted: Sun Feb 27, 2005 10:59 am Post subject: |
|
|
Scusate la domanda,
ma quando ho finito con la configurazione RAID1, ed ho 2 dischi uguali in mirror:
1- se uno si guasta , l'altro (buono) continua a mandare avanti il sistema senza interruzioni si servizio ?
2- e nel momento in cui sostituisco HD guasto, quest'ultimo viene in automatico ripristinato come mirror
ho devo fare qualcosa io (riavvio, riconfigurazione ecc...)?
Gyrus |
|
| Back to top |
|
|
mnl
n00b
Joined: 15 Feb 2005
Posts: 27
|
| Posted: Sun Feb 27, 2005 11:03 am Post subject: |
|
|
| Gyrus wrote: | | Scusate la domanda, |
Nessuna scusa necessaria 
| Quote: | ma quando ho finito con la configurazione RAID1, ed ho 2 dischi uguali in mirror:
1- se uno si guasta , l'altro (buono) continua a mandare avanti il sistema senza interruzioni si servizio ? |
Precisamente, questo e' il suo scopo.
| Quote: | 2- e nel momento in cui sostituisco HD guasto, quest'ultimo viene in automatico ripristinato come mirror
ho devo fare qualcosa io (riavvio, riconfigurazione ecc...)? |
ponendo per assunto che tu stia parlando di raid software con mdadm, e che il disco nuovo abbia una dimensione maggiore o uguale a quello gia' presente, devi fare le seguenti cose:
1- togli il disco marcio
2- ne metti uno buon
3- lo partizioni come necessario (con i tipi giusti di partizione)
4- rimuovi con mdadm il disco marcio dall'array
5- aggiungi con mdadm il disco buono dall'array
6- aspetti che la ricostruzione termini
7- (se necessario) aggiungi con grub l'MBR al disco nuovo.
Credo che la parte principale di queste cose sia spiegata gia' nel primo messaggio della fila, prova a dare un'occhiata.
Ciao!
_________________
Gxis la. |
|
| Back to top |
|
|
Gyrus
Apprentice
Joined: 02 May 2004
Posts: 273
Location: Italy-Arezzo
|
| Posted: Sun Feb 27, 2005 11:25 am Post subject: |
|
|
Perfetto !!
E' tutto chiaro (adesso).
La prossima settimana devo mettere su un server di Backup, con RAID1 software,
piallando un Linux (compatibile Red-Had) che mi da un sacco di problemi, che
sostituisco con una Gentoo + RAID1 + Bacula.
Grazie
Gyrus. |
|
| Back to top |
|
|
.:deadhead:.
Advocate
Joined: 25 Nov 2003
Posts: 2963
Location: Milano, Italy
|
| Posted: Sun Feb 27, 2005 12:01 pm Post subject: |
|
|
alcune piccole precisazioni | mnl wrote: |
1- togli il disco marcio
2- ne metti uno buon
3- lo partizioni come necessario (con i tipi giusti di partizione)
4- rimuovi con mdadm il disco marcio dall'array
5- aggiungi con mdadm il disco buono dall'array
6- aspetti che la ricostruzione termini |
se un disco si guasta:
1- rimuovi con mdadm il disco marcio dall'array
2- spegni la macchina!!!
3- togli il disco marcio
4- ne metti uno buon
5- lo partizioni come necessario (con i tipi giusti di partizione) [l'ideale è partizionarlo in maniera identica]
5- aggiungi con mdadm il disco buono dall'array
6- aspetti che la ricostruzione termini
nel caso tu abbia a che fare con un server con dischi hot-swap salta solo il punto 2.
_________________
Proudly member of the Gentoo Documentation Project: the Italian Conspiracy ! |
|
| Back to top |
|
|
mnl
n00b
Joined: 15 Feb 2005
Posts: 27
|
| Posted: Sun Feb 27, 2005 12:35 pm Post subject: |
|
|
| .:deadhead:. wrote: | | alcune piccole precisazioni |
Molto ben accette, grazie!
_________________
Gxis la. |
|
| Back to top |
|
|
FonderiaDigitale
Veteran
Joined: 06 Nov 2003
Posts: 1710
Location: Rome, Italy
|
| Posted: Sun Feb 27, 2005 12:59 pm Post subject: |
|
|
| fat_penguin wrote: | Sembra che al giorno d'oggi il RAID software sia piu performante del RAID hardware...
Non ti resta che provare...
byebye
fat_penguin |
se per raid hardware intendi i vari promise, allora ti do ragione: quelli non sono veri controller raid. si appoggiano per la maggior parte al software (drivers)
_________________
Come disse un amico, i sistemisti sono un po' come gli artigiani per l'informatica
|
|
| Back to top |
|
|
fat_penguin
Apprentice
Joined: 25 Jul 2004
Posts: 294
Location: sud side of Switzerland
|
| Posted: Sun Feb 27, 2005 1:20 pm Post subject: |
|
|
| FonderiaDigitale wrote: | | fat_penguin wrote: | Sembra che al giorno d'oggi il RAID software sia piu performante del RAID hardware...
Non ti resta che provare...
byebye
fat_penguin |
se per raid hardware intendi i vari promise, allora ti do ragione: quelli non sono veri controller raid. si appoggiano per la maggior parte al software (drivers) |
... parlo anche di RAID "seri" tipo MegaRaid...
Certo andrebbero fatti dei test seri ed attendibili... ma cosi ad occhio mi sembra che per la ricostruzione degli array ci metta di meno un raid software ( a parità di dischi e controller scsi).
Ci tengo a sottolineare: andrebbe verificato! ...chi lo sa.. se mi resta un po di tempo...
byebye
fat_penguin |
|
| Back to top |
|
|
SilverXXX
l33t
Joined: 18 Sep 2004
Posts: 885
|
| Posted: Mon Feb 28, 2005 10:52 am Post subject: |
|
|
Vorrei chiedere il permesso a fat penguin di riportare la guida su un altro forum, dato che si sta parlando di raid e sono sorti dei problemi sull'installazione. Se me lo chiedono posso postare un link al thread o la guida?
_________________
about:mozilla |
|
| Back to top |
|
|
fat_penguin
Apprentice
Joined: 25 Jul 2004
Posts: 294
Location: sud side of Switzerland
|
| Posted: Mon Feb 28, 2005 10:55 am Post subject: |
|
|
| SilverXXX wrote: | | Vorrei chiedere il permesso a fat penguin di riportare la guida su un altro forum, dato che si sta parlando di raid e sono sorti dei problemi sull'installazione. Se me lo chiedono posso postare un link al thread o la guida? |
Per mantere una sola guida aggiornata sarebbe bene che dai il seguente link:
http://wiki.gentoo-italia.net/index.php/RAID_Software:_mirroring
Cmq se preferisci il copia incolla.. la conoscenza è di tutti...
byebye
fat_penguin |
|
| Back to top |
|
|
SilverXXX
l33t
Joined: 18 Sep 2004
Posts: 885
|
| Posted: Mon Feb 28, 2005 1:47 pm Post subject: |
|
|
Inanzitutto, grazie. Volevo anche chiederti poi se era possibile fare un raid1, con un hd già contenente i dati, senza perdere tutto. Penso sia possibile creare un raid con il disco nuovo (chiamiamolo hdb) da solo, passarci i dati del disco vecchio (hda), poi formattarlo e fare il raid. Cosa ne pensi? Cis ono problemi se sono sullo stesso canale ide?
_________________
about:mozilla |
|
| Back to top |
|
|
mnl
n00b
Joined: 15 Feb 2005
Posts: 27
|
| Posted: Mon Feb 28, 2005 1:57 pm Post subject: |
|
|
| SilverXXX wrote: | | Inanzitutto, grazie. Volevo anche chiederti poi se era possibile fare un raid1, con un hd già contenente i dati, senza perdere tutto. |
Hmmm... a naso, visto che per avere un raid software devi assegnare un certo tipo alla partizione (linux raid autodetect), ho paura che la devi formattare per poi copiarci sopra il contenuto.
| Quote: | | Ci sono problemi se sono sullo stesso canale ide? |
In teoria no ma e' ampiamente sconsigliato.
Ciao!
_________________
Gxis la. |
|
| Back to top |
|
|
fat_penguin
Apprentice
Joined: 25 Jul 2004
Posts: 294
Location: sud side of Switzerland
|
| Posted: Mon Feb 28, 2005 2:02 pm Post subject: |
|
|
| SilverXXX wrote: | | Inanzitutto, grazie. Volevo anche chiederti poi se era possibile fare un raid1, con un hd già contenente i dati, senza perdere tutto. Penso sia possibile creare un raid con il disco nuovo (chiamiamolo hdb) da solo, passarci i dati del disco vecchio (hda), poi formattarlo e fare il raid. Cosa ne pensi? Cis ono problemi se sono sullo stesso canale ide? |
Per la questione dello stesso canale IDE non ci sono problemi tecnici... pero' sarebbe meglio lavorare su due bus.
Per l'alta questione penso che sulla guida di fonderiadigitale ci sia qualcosa al riguardo. Dacci un occhio. Appena ho tempo faccio delle prove e le posto..
http://www.fonderiadigitale.it/gentoo/seminari/2004/Webb.it_Padova/
byebye
fat_penguin |
|
| Back to top |
|
|
.:chrome:.
Advocate
Joined: 19 Feb 2005
Posts: 4588
Location: Brescia, Italy
|
| Posted: Mon Feb 28, 2005 2:08 pm Post subject: |
|
|
| mnl wrote: | | Hmmm... a naso, visto che per avere un raid software devi assegnare un certo tipo alla partizione (linux raid autodetect), ho paura che la devi formattare per poi copiarci sopra il contenuto. |
no. non è detto. il raid-autodetect serve per consentire al raid-subsystem di riconoscere automaticamente il raid senza necessità di mappare tutto quanto in raidtab.
io una volta l'ho fatto un raid senza formattare né cambiare il filesystem id, ma così su due piedui non ricordo bene cosa avevo fatto.
andando a naso dovresti creare un raidtab ad hoc, e poi usare raidstart e raidhotadd, saltando mkraid. però ti ripeto... non mi ricordo bene cosa avevo fatto.
se vuoi fare una prova interessante, anziché raid, usa device-mapper, con il modulo dm-mirror. fa lo stesso servizio, e teoricamente dovrebbe farlo meglio. io non l'ho mai provato, però era una cosa che volevo fare |
|
| Back to top |
|
|
SilverXXX
l33t
Joined: 18 Sep 2004
Posts: 885
|
| Posted: Mon Feb 28, 2005 2:42 pm Post subject: |
|
|
Trovato. Era nel pdf di fonderiadigitale. Eppure lo avevo già letto..... 
vabbè, può capitare a tutti di sbagliare.
_________________
about:mozilla |
|
| Back to top |
|
|
|
Forum italiano (Italian) 
