| View previous topic :: View next topic |
| Author |
Message |
.:chrome:.
Advocate
Joined: 19 Feb 2005
Posts: 4588
Location: Brescia, Italy
|
 Posted: Sun Jun 25, 2006 5:03 pm Post subject: |
 |
|
@codadilupo:
2) non ho capito |
|
| Back to top |
|
 |
comio
Advocate
Joined: 03 Jul 2003
Posts: 2191
Location: Taranto
|
| Posted: Sun Jun 25, 2006 5:10 pm Post subject: |
|
|
| k.gothmog wrote: | @codadilupo:
2) non ho capito |
intende dire che non è normale avere 500Mega di directory /usr/portage...
Magari dovrebbero pensare a tecniche di compresione (tipo squashfs) oppure a gzippare le directory. Non credo che ci sarebbero troppi problemi a gzippare le singole directory in /usr/portage/.
Lo so che ci sono mille post... ma sono work-around.
ciao
_________________
RTFM!!!!
e
http://www.comio.it
 |
|
| Back to top |
|
|
federico
Advocate
Joined: 18 Feb 2003
Posts: 3272
Location: Italy, Milano
|
| Posted: Sun Jun 25, 2006 5:15 pm Post subject: |
|
|
| codadilupo wrote: |
2) portage ristretto (posso buttare disco in file di testo ???)
2) se portage stesse sui server, e emerge mi scaricasse di volta in in volta gl'ebuild necessari, aumenterebbero le chiamate |
Io sono un fautore di questo modo di gestire i file, e tanto per iniziare penso che il sistema attuale di gestione degli ebuild sia fatto male.
Nella mia ottica si potrebbe avere sulla macchina un database di tutti i pacchetti che e' possibile installare, magari fatto con sqlite in modo che non ho necessita' di avere un serversql sul pc. La macchina synca il database modificando solo quello che e' relamente variato e lasciando perdere il resto, e questo database dovrebbe contenere le informaziioni base sui pacchetti (descrizione, versione, dimensione, grado di stabilita e cose del genere)
Quando decido di emergere un pacchetto il mio pc legge il database, interroga un server che contiene tutti gli ebuild e scarica l'ebuild che mi serve(e relative dipendenze), fa il digest e emerge.
Ottimizzato al massimo no ?
Federico
_________________
Sideralis www.sideralis.org
Pic http://blackman.amicofigo.com/gallery
Arduino http://www.arduino.cc
Chi aveva potuto aveva spaccato
2000 pezzi buttati là
Molti saluti,qualche domanda
Semplice come musica punk |
|
| Back to top |
|
|
knefas
l33t
Joined: 21 Dec 2003
Posts: 828
|
| Posted: Sun Jun 25, 2006 5:29 pm Post subject: |
|
|
| Qualcuno ha provato (su un sistema testing, ovvio) se Paludis sia interessante/risolva questi problemi? |
|
| Back to top |
|
|
comio
Advocate
Joined: 03 Jul 2003
Posts: 2191
Location: Taranto
|
| Posted: Sun Jun 25, 2006 5:45 pm Post subject: |
|
|
| Quote: |
Io sono un fautore di questo modo di gestire i file, e tanto per iniziare penso che il sistema attuale di gestione degli ebuild sia fatto male.
Nella mia ottica si potrebbe avere sulla macchina un database di tutti i pacchetti che e' possibile installare, magari fatto con sqlite in modo che non ho necessita' di avere un serversql sul pc. La macchina synca il database modificando solo quello che e' relamente variato e lasciando perdere il resto, e questo database dovrebbe contenere le informaziioni base sui pacchetti (descrizione, versione, dimensione, grado di stabilita e cose del genere)
Quando decido di emergere un pacchetto il mio pc legge il database, interroga un server che contiene tutti gli ebuild e scarica l'ebuild che mi serve(e relative dipendenze), fa il digest e emerge.
Ottimizzato al massimo no ?
Federico |
Io credo invece che avere gli ebuild il locale non sia male. Perché permette di avere visione di quello che si può installare. In ogni caso, avere gli ebuild in remoto sarebbe un problema per ogni emerge, dato che avresti n-mila interrogazioni con i server remoti... e dato che la banda si paga, non mi pare una cosa ottimizzata.
Preferisco invece avere la possibilità di zippare le directory (facoltative). Emerge/Portage non dovrebbe fare altro che unzippare analizzare i file e quindi cancellare la directory alla fine.
Mi sembra una soluzione più semplice di un fs compresso (che richiede il kernel compilato ad hoc). Ovviamente bisogna affiancare il tutto da un buon sistema di indicizzazione per evitare colli di bottiglia tremendi (in fondo la compressione risparmia spazio ma non tempo).
Ovviamente IMHO.
Ciao
_________________
RTFM!!!!
e
http://www.comio.it
|
|
| Back to top |
|
|
comio
Advocate
Joined: 03 Jul 2003
Posts: 2191
Location: Taranto
|
| Posted: Sun Jun 25, 2006 6:10 pm Post subject: |
|
|
| comio wrote: |
intende dire che non è normale avere 500Mega di directory /usr/portage...
Magari dovrebbero pensare a tecniche di compresione (tipo squashfs) oppure a gzippare le directory. Non credo che ci sarebbero troppi problemi a gzippare le singole directory in /usr/portage/.
|
Per la cronaca, targzippando per directory ottengo 37Mega in tutto (contro i 500 non compressi)...
ciao
_________________
RTFM!!!!
e
http://www.comio.it
|
|
| Back to top |
|
|
.:deadhead:.
Advocate
Joined: 25 Nov 2003
Posts: 2963
Location: Milano, Italy
|
| Posted: Sun Jun 25, 2006 6:17 pm Post subject: |
|
|
Io ho implementato con soddisfazione questa soluzione: evito il rsync di parti dell'albero, filtrandole. Questo riesce bene specie su macchine server, dove sai che di X e dei vari WM non avrai bisogno. Questo alleggerisce il rsync e la creazione di cache nonchè la ricerca su di esso.
_________________
Proudly member of the Gentoo Documentation Project: the Italian Conspiracy !  |
|
| Back to top |
|
|
federico
Advocate
Joined: 18 Feb 2003
Posts: 3272
Location: Italy, Milano
|
| Posted: Sun Jun 25, 2006 6:24 pm Post subject: |
|
|
| .:deadhead:. wrote: | | Io ho implementato con soddisfazione questa soluzione: evito il rsync di parti dell'albero, filtrandole. Questo riesce bene specie su macchine server, dove sai che di X e dei vari WM non avrai bisogno. Questo alleggerisce il rsync e la creazione di cache nonchè la ricerca su di esso. |
Noi non vogliamo rinunciare a nulla
Comio hai ragione se solleviamo un problema di banda, se fosse possibile uno zip automatico il problema di SPAZIO su disco sarebbe risolto, ma non sarebbe comunque risolto il problema di tempo e indicizzazione, che verrebbe piuttosto allungato (A me comunque occupano 700 mega, non 500, gli ebuild).
_________________
Sideralis www.sideralis.org
Pic http://blackman.amicofigo.com/gallery
Arduino http://www.arduino.cc
Chi aveva potuto aveva spaccato
2000 pezzi buttati là
Molti saluti,qualche domanda
Semplice come musica punk |
|
| Back to top |
|
|
!equilibrium
Bodhisattva
Joined: 06 Jun 2004
Posts: 2109
Location: MI/BG/LC
|
| Posted: Sun Jun 25, 2006 6:48 pm Post subject: |
|
|
| comio wrote: | | Per la cronaca, targzippando per directory ottengo 37Mega in tutto (contro i 500 non compressi)... |
uhmmm io ho 160Mb (ad arrotondare per eccesso!!) non compressi, filesystem puro:
| Code: | du -sbh /usr/portage/
152M /usr/portage/
|
ed è così su tutte le macchine, sui server arrivo a malapena a 60MB perchè faccio come fa @deadhead, cioè filtro le dir di portage che non userò mai in produzione (ovvero tutto X, games, WM ecc ecc); sinceramente non credo che al giorno d'oggi, 150/160Mb di spazio siano un problema.
_________________
Arch Tester for Gentoo/FreeBSD
Equilibrium's Universe
all my contents are released under the Creative Commons Licence by-nc-nd 2.5 |
|
| Back to top |
|
|
comio
Advocate
Joined: 03 Jul 2003
Posts: 2191
Location: Taranto
|
| Posted: Sun Jun 25, 2006 6:56 pm Post subject: |
|
|
| !equilibrium wrote: | | comio wrote: | | Per la cronaca, targzippando per directory ottengo 37Mega in tutto (contro i 500 non compressi)... |
uhmmm io ho 160Mb (ad arrotondare per eccesso!!) non compressi, filesystem puro:
| Code: | du -sbh /usr/portage/
152M /usr/portage/
|
ed è così su tutte le macchine, sui server arrivo a malapena a 60MB perchè faccio come fa @deadhead, cioè filtro le dir di portage che non userò mai in produzione (ovvero tutto X, games, WM ecc ecc); sinceramente non credo che al giorno d'oggi, 150/160Mb di spazio siano un problema. |
Io uso xfs che non è molto gentile con i file piccoli... 
ciao
_________________
RTFM!!!!
e
http://www.comio.it
|
|
| Back to top |
|
|
!equilibrium
Bodhisattva
Joined: 06 Jun 2004
Posts: 2109
Location: MI/BG/LC
|
| Posted: Sun Jun 25, 2006 7:00 pm Post subject: |
|
|
| comio wrote: | | Io uso xfs che non è molto gentile con i file piccoli... |
ehmmm io uso solo XFS, fai il conto tu... eppure....
p.s.: e si che non è difficile formattare con cluster da 512bit, e la cosa comunque è filesystem indipendente, lo stesso (lieve differenza di +/-10%) risultato si otterrebbe anche con ext2/3 e reiserfs3, mentre per reiserfs4 i clusters da 512bit sono di default.
_________________
Arch Tester for Gentoo/FreeBSD
Equilibrium's Universe
all my contents are released under the Creative Commons Licence by-nc-nd 2.5 |
|
| Back to top |
|
|
!equilibrium
Bodhisattva
Joined: 06 Jun 2004
Posts: 2109
Location: MI/BG/LC
|
| Posted: Sun Jun 25, 2006 7:32 pm Post subject: |
|
|
| federico wrote: | Nella mia ottica si potrebbe avere sulla macchina un database di tutti i pacchetti che e' possibile installare, magari fatto con sqlite in modo che non ho necessita' di avere un serversql sul pc. La macchina synca il database modificando solo quello che e' relamente variato e lasciando perdere il resto, e questo database dovrebbe contenere le informaziioni base sui pacchetti (descrizione, versione, dimensione, grado di stabilita e cose del genere)
Quando decido di emergere un pacchetto il mio pc legge il database, interroga un server che contiene tutti gli ebuild e scarica l'ebuild che mi serve(e relative dipendenze), fa il digest e emerge. |
ehmmmm arrivi un po in ritardo:
http://thread.gmane.org/gmane.linux.gentoo.server/3352
http://thread.gmane.org/gmane.linux.gentoo.server/3373
ci stanno già lavorando.
_________________
Arch Tester for Gentoo/FreeBSD
Equilibrium's Universe
all my contents are released under the Creative Commons Licence by-nc-nd 2.5 |
|
| Back to top |
|
|
federico
Advocate
Joined: 18 Feb 2003
Posts: 3272
Location: Italy, Milano
|
| Posted: Sun Jun 25, 2006 7:39 pm Post subject: |
|
|
| !equilibrium wrote: | | comio wrote: | | Per la cronaca, targzippando per directory ottengo 37Mega in tutto (contro i 500 non compressi)... |
uhmmm io ho 160Mb (ad arrotondare per eccesso!!) non compressi, filesystem puro:
| Code: | du -sbh /usr/portage/
152M /usr/portage/
|
|
Ma io ne ho 700 di mega...
_________________
Sideralis www.sideralis.org
Pic http://blackman.amicofigo.com/gallery
Arduino http://www.arduino.cc
Chi aveva potuto aveva spaccato
2000 pezzi buttati là
Molti saluti,qualche domanda
Semplice come musica punk |
|
| Back to top |
|
|
!equilibrium
Bodhisattva
Joined: 06 Jun 2004
Posts: 2109
Location: MI/BG/LC
|
| Posted: Sun Jun 25, 2006 7:41 pm Post subject: |
|
|
| federico wrote: | | Ma io ne ho 700 di mega... |
l'ho spiegato sopra (e in altri thread del forum) basta formattare correttamente il filesystem con clusters da 512bit e risparmi un sacco di spazio sul portage. ne guadagna in velocità anche il processo di sync.
_________________
Arch Tester for Gentoo/FreeBSD
Equilibrium's Universe
all my contents are released under the Creative Commons Licence by-nc-nd 2.5 |
|
| Back to top |
|
|
Dr.Dran
l33t
Joined: 08 Oct 2004
Posts: 766
Location: Imola - Italy
|
| Posted: Sun Jun 25, 2006 7:49 pm Post subject: |
|
|
Ciauz eh eh eh
Dopo un pò di tempo mi faccio vivo eh eh eh
Bene non capisco questa diffidenza nel voler accettare che il filesystem possa gestire cluster piccoli da 512byte, insomma strano, e' una cosa che ho sperimentato circa un annetto fa e su cui ho fatto dei test con iozone e debbo dire che le performance non calano in termini sensibili, anzi di guadagno ho che posso inserire + files anche piccoli e perdo meno spazio allocabile... Insomma non e' difficile capirlo.
P.S. !equilibrium tieni duro, hai un'altro utente che ha la tua stessa configurazione e che e' felice di avere in 150 megabyte Portage (ovviameente completo senza potare directory o altro eh eh eh)
P.P.S. Per chi non l'avesse capito ho XFS pure io e debbo dire che sia sulla mia workstation che sul mio laptop che sul serverino si comporta egregiamente ed è stabile. Ho provato per esempio a utilizzare reiserfs3 con cluster da 512byte, ma copiando un file di 4 Mbyte andava in segfault...mmm non mi sembra bello
_________________
:: [Dr.Dran] Details ::
- Linux User # 286282
- IT FreeLance Consultant
- President of ImoLUG [Imola & Faenza Linux User Group]
Last edited by Dr.Dran on Sun Jun 25, 2006 7:52 pm; edited 1 time in total |
|
| Back to top |
|
|
federico
Advocate
Joined: 18 Feb 2003
Posts: 3272
Location: Italy, Milano
|
| Posted: Sun Jun 25, 2006 7:52 pm Post subject: |
|
|
| !equilibrium wrote: | | federico wrote: | | Ma io ne ho 700 di mega... |
l'ho spiegato sopra (e in altri thread del forum) basta formattare correttamente il filesystem con clusters da 512bit e risparmi un sacco di spazio sul portage. ne guadagna in velocità anche il processo di sync. |
A bhe ora proprio e' tardi per farlo, certo che se sul manuale ci fosse qualcosa a riguardo...
_________________
Sideralis www.sideralis.org
Pic http://blackman.amicofigo.com/gallery
Arduino http://www.arduino.cc
Chi aveva potuto aveva spaccato
2000 pezzi buttati là
Molti saluti,qualche domanda
Semplice come musica punk |
|
| Back to top |
|
|
Dr.Dran
l33t
Joined: 08 Oct 2004
Posts: 766
Location: Imola - Italy
|
| Posted: Sun Jun 25, 2006 8:00 pm Post subject: |
|
|
| federico wrote: | | A bhe ora proprio e' tardi per farlo, certo che se sul manuale ci fosse qualcosa a riguardo... |
Beh e chi lo dice.... Stage4 e poi via si ripartiziona e poi si ributta su tutto il sistema.... problemi = 0
P.S: In questo modo uno si abitua pure a fare i backup eh eh eh quindi si unisce l'utila (backup) al dilettevole (sperimentazione)
_________________
:: [Dr.Dran] Details ::
- Linux User # 286282
- IT FreeLance Consultant
- President of ImoLUG [Imola & Faenza Linux User Group] |
|
| Back to top |
|
|
darkmanPPT
Veteran
Joined: 13 Apr 2006
Posts: 1069
Location: vi/bo
|
| Posted: Sun Jun 25, 2006 8:28 pm Post subject: |
|
|
uao...
non mi ero mai accorto di queste cose.
a me portage mi pareva una gran bella cosa!
....  si vede che non son un gran linuxiano....
_________________
Darkman |
|
| Back to top |
|
|
emix
Veteran
Joined: 30 Nov 2003
Posts: 1014
|
| Posted: Sun Jun 25, 2006 8:35 pm Post subject: |
|
|
| federico wrote: | | Ma io ne ho 700 di mega... |
Be', ma voi contate pure i distfiles? |
|
| Back to top |
|
|
emix
Veteran
Joined: 30 Nov 2003
Posts: 1014
|
| Posted: Sun Jun 25, 2006 8:41 pm Post subject: |
|
|
| federico wrote: | | Quando decido di emergere un pacchetto il mio pc legge il database, interroga un server che contiene tutti gli ebuild e scarica l'ebuild che mi serve(e relative dipendenze), fa il digest e emerge. |
In questo modo però si dovrebbero tenere a disposizione tutte le versioni degli ebuild (anche quelli obsoleti) nel caso in cui il database locale dei pacchetti non sia sincronizzato con il server. |
|
| Back to top |
|
|
comio
Advocate
Joined: 03 Jul 2003
Posts: 2191
Location: Taranto
|
| Posted: Sun Jun 25, 2006 8:51 pm Post subject: |
|
|
| emix wrote: | | federico wrote: | | Ma io ne ho 700 di mega... |
Be', ma voi contate pure i distfiles? |
no. E' tutta questione di cluster. Io uso cluster da 4k (impostazione di default), mentre altri usano cluster da 512... in media, si ha un risparmio di 3 volte circa.
ciao
luigi
_________________
RTFM!!!!
e
http://www.comio.it
|
|
| Back to top |
|
|
emix
Veteran
Joined: 30 Nov 2003
Posts: 1014
|
| Posted: Sun Jun 25, 2006 8:55 pm Post subject: |
|
|
| comio wrote: | | no. E' tutta questione di cluster. |
Siccome ho visto che usavate questo comando:
| Code: | du -sbh /usr/portage/
152M /usr/portage/ |
E siccome quel comando va a pescare anche nella directory dei distfiles  |
|
| Back to top |
|
|
comio
Advocate
Joined: 03 Jul 2003
Posts: 2191
Location: Taranto
|
| Posted: Sun Jun 25, 2006 8:57 pm Post subject: |
|
|
| emix wrote: | | comio wrote: | | no. E' tutta questione di cluster. |
Siccome ho visto che usavate questo comando:
| Code: | du -sbh /usr/portage/
152M /usr/portage/ |
E siccome quel comando va a pescare anche nella directory dei distfiles |
basta pulirla
_________________
RTFM!!!!
e
http://www.comio.it
|
|
| Back to top |
|
|
Dr.Dran
l33t
Joined: 08 Oct 2004
Posts: 766
Location: Imola - Italy
|
| Posted: Sun Jun 25, 2006 8:58 pm Post subject: |
|
|
| emix wrote: | | federico wrote: | | Ma io ne ho 700 di mega... |
Be', ma voi contate pure i distfiles? |
Beh non saprei, forse li ha compreso i distfiles, però tieni conto che il portage su filesystem con blocchi di 4K la dimensione media di portage va da 450 a 500 megabyte a seconda del filesystem utilizzato... boh, però sinceramente non saprei come mai ha un repositorio così grande
_________________
:: [Dr.Dran] Details ::
- Linux User # 286282
- IT FreeLance Consultant
- President of ImoLUG [Imola & Faenza Linux User Group] |
|
| Back to top |
|
|
emix
Veteran
Joined: 30 Nov 2003
Posts: 1014
|
| Posted: Sun Jun 25, 2006 9:06 pm Post subject: |
|
|
| comio wrote: | | basta pulirla |
A fini statistici il mio "tree" occupa 513MB, con reiserfs e con le impostazioni standard. |
|
| Back to top |
|
|
|
Forum italiano (Italian) 
