| View previous topic :: View next topic |
| Author |
Message |
magowiz
Veteran
Joined: 17 Feb 2005
Posts: 1029
Location: Italy/Milan/Bresso
|
 Posted: Sun Dec 17, 2006 12:49 pm Post subject: portage lentissimo |
 |
|
| Ciao a tutti, quando faccio emerge -uDp world, il portage ci mette un sacco di tempo a calcolare le dipendenze, da cosa può dipendere? |
|
| Back to top |
|
 |
Luca89
Advocate
Joined: 27 Apr 2005
Posts: 2107
Location: Agrigento (Italy)
|
| Posted: Sun Dec 17, 2006 1:03 pm Post subject: |
|
|
Solitamente le cause sono queste:
- Tanti pacchetti installati
- Tanti pacchetti inseriti su /etc/portage/package.keywords
- Hard-disk o filesystem lento ad accedere ai file
_________________
Running Fast! |
|
| Back to top |
|
|
GiRa
l33t
Joined: 07 Apr 2005
Posts: 717
|
| Posted: Sun Dec 17, 2006 4:48 pm Post subject: |
|
|
| Prova a dare un emerge --metadata e poi ritenta, se va più veloce è una questione di cache di portage. |
|
| Back to top |
|
|
topper_harley
Guru
Joined: 05 Apr 2006
Posts: 363
Location: Treviso / Udine (Italy)
|
| Posted: Mon Dec 18, 2006 6:20 am Post subject: |
|
|
| Luca89 wrote: | Solitamente le cause sono queste:
- Tanti pacchetti installati
- Tanti pacchetti inseriti su /etc/portage/package.keywords
- Hard-disk o filesystem lento ad accedere ai file
|
I primi due problemi sono risolvibili utilizzando lo il tool di ecatmur:
| Code: | [D] app-portage/udept
Available versions: ~0.5.96.2 ~0.5.99.0.2.95 ~0.5.99.0.2.95[1] ~0.5.99.0.2.95-r1
Installed versions: 0.5.99.0.2.95-r1(11:55:17 02/11/2006)(bash-completion)
Homepage: http://catmur.co.uk/gentoo/udept
Description: A Portage analysis toolkit
|
Questo tool permette di trovare i pacchetti rindondanti nel file world, ovvero quei pacchetti che verrebbero comunque installati perchè dipendenze di altri...
Per esempio non è necessario avere in world "metacity" quando si ha già "gnome".
Inoltre permette di scovare nelle directory /etc/portage/package.* le entry inutili: ad esempio pacchetti non più installati, pacchetti smascherati che non hanno un corrispondente mascherato ecc.
Questo tool è molto buono ma non perfetto equalche errore lo fa sempre, generalmente lo utilizzo con "pretend" e dopo vado a modificare manualmente il file world e i /etc/portage/package.*
per vedere tutte le varie opzioni.
_________________
http://topperh.ath.cx
Jabber: topper_harley@jabber.org
ICQ: 224179391
MSN: Topper_Harley80@gmail.com
Last FM |
|
| Back to top |
|
|
mose
Guru
Joined: 04 Jun 2005
Posts: 313
Location: Piacenza
|
| Posted: Fri Dec 29, 2006 9:23 pm Post subject: |
|
|
| personalmente ho sperimentato una grande degenerazione nelle performance dei filesystem reiserfs col tempo (si parla di 1-2 anni di utilizzo continuo), con un progressivo aumento dei tempi del sync... non so se questo problema sia effettivamente dovuto al filesystem o alla crescita del gentoo portage |
|
| Back to top |
|
|
Kernel78
Moderator
Joined: 24 Jun 2005
Posts: 3654
|
| Posted: Fri Dec 29, 2006 10:12 pm Post subject: |
|
|
| mose wrote: | | personalmente ho sperimentato una grande degenerazione nelle performance dei filesystem reiserfs col tempo (si parla di 1-2 anni di utilizzo continuo), con un progressivo aumento dei tempi del sync... non so se questo problema sia effettivamente dovuto al filesystem o alla crescita del gentoo portage |
Ma è una tua sensazione o hai avuto modo di prendere atto di dati oggettivi ?
Aumentando il numero di pacchetti è ovvio che aumenti anche il tempo di sync ma se tu ha constatato un aumento dei tempi del 500% a fronte di un aumento dei pacchetti del 30% è ovvio che ci sono anche altri fattori ... d'altronde se ti sembra più lento potresti semplicemente sbagliarti ...
Un'affermazione come la tua quando non è supportata da dati oggettivi non può essere valutata.
_________________
Le tre grandi virtù di un programmatore: pigrizia, impazienza e arroganza. (Larry Wall).
Prima di postare un file togli i commenti con | Code: | | grep -vE '(^[[:space:]]*($|(#|!|;|//)))' |
|
|
| Back to top |
|
|
mose
Guru
Joined: 04 Jun 2005
Posts: 313
Location: Piacenza
|
| Posted: Sat Dec 30, 2006 12:07 am Post subject: |
|
|
Sono d'accordo con te che se non "possiamo misurare qualcosa allora non la conosciamo", e purtroppo non posso darti dei dati oggettivi.
Personalmente ho la sensazione che ext3 sia meno performante su una fresh install rispetto a reiserfs, ma che le prestazioni degradino molto meno.
La mia comunque rimane una sensazione ma, se pu� essere di consolazione, non sono l'unico ad averla avuta.
Ecco qualche link:
https://forums.gentoo.org/viewtopic-t-384292-postdays-0-postorder-asc-start-25.html
e soprattutto
https://forums.gentoo.org/viewtopic-t-422984-highlight-reiserfs+fragmentation.html
dove 6thpink dice
| Quote: | | Reiser3.x is known to fragment like mad. |
In effetti io ho notato un notevole decadimento nelle prestazioni, soprattutto per il sync di portage, su una macchina a circa 1 anno e mezzo dall'installazione. Quanto dipende dalle performance del fs e quanto dalla crescita dei pacchetti purtroppo non lo posso dire, ma sarebbe interessante se qualcuno più esperto di me facesse dei benchmark a proposito. |
|
| Back to top |
|
|
Kernel78
Moderator
Joined: 24 Jun 2005
Posts: 3654
|
| Posted: Sat Dec 30, 2006 10:55 am Post subject: |
|
|
| mose wrote: | | In effetti io ho notato un notevole decadimento nelle prestazioni, soprattutto per il sync di portage, su una macchina a circa 1 anno e mezzo dall'installazione. Quanto dipende dalle performance del fs e quanto dalla crescita dei pacchetti purtroppo non lo posso dire, ma sarebbe interessante se qualcuno più esperto di me facesse dei benchmark a proposito. |
Quindi qualcuno più esperto di te dovrebbe installare una macchina con reiserfs e lanciare salvandosi il risultato, usare la macchina per almeno un anno e poi rilanciare per valutare se ci sono differenze ? Poi vuoi che ti faccia anche da maggiordomo ? 
Non ti sembra di chiedere tantino ? Inoltre non sappiamo nemmeno con che opzioni hai formattato, se magari è l'hd che ti sta lasciando e fa degradare le prestazioni, se hai installato e lasciato attivi un sacco di servizi che sfruttano l'hd rallentandolo ...
Continuano ad esserci troppi parametri sconosciuti e il periodo di test è troppo lungo ... potresti formattare tutto e reinstallare, calcolare quanto ci mette un emerge --sync e dopo un anno dirci se effettivamente cambia qualcosa 
_________________
Le tre grandi virtù di un programmatore: pigrizia, impazienza e arroganza. (Larry Wall).
Prima di postare un file togli i commenti con | Code: | | grep -vE '(^[[:space:]]*($|(#|!|;|//)))' |
|
|
| Back to top |
|
|
.:chrome:.
Advocate
Joined: 19 Feb 2005
Posts: 4588
Location: Brescia, Italy
|
| Posted: Sat Dec 30, 2006 11:54 am Post subject: |
|
|
| Kernel78 wrote: | | mose wrote: | | personalmente ho sperimentato una grande degenerazione nelle performance dei filesystem reiserfs col tempo (si parla di 1-2 anni di utilizzo continuo), con un progressivo aumento dei tempi del sync... non so se questo problema sia effettivamente dovuto al filesystem o alla crescita del gentoo portage |
Ma è una tua sensazione o hai avuto modo di prendere atto di dati oggettivi ? |
è noto che ReiserFS è soggetto ad un pesante degrado di prestazioni |
|
| Back to top |
|
|
mose
Guru
Joined: 04 Jun 2005
Posts: 313
Location: Piacenza
|
| Posted: Sat Dec 30, 2006 12:20 pm Post subject: |
|
|
Mi consola che anche chrome la pensi come me, probabilmente supportato da dei dati che io non ho avuto modo di trovare.
Per Kernel78: il fatto che sotto il tuo nome ci sia scritto "Veteran" e sotto il mio "Noob" non credo ti autorizzi a trattare in modo così "spocchioso" i tuoi interlocutori...
Comunque per più esperto di me intendevo dire qualcuno che lavora allo sviluppo del filesystem, e che è tenuto a fare dei benchmark per valutarne le prestazioni e il loro degrado... non un utente che come te si fregia del titolo Veteran come se fosse un lasciapassare per l'onniscenza.
Saluti |
|
| Back to top |
|
|
.:chrome:.
Advocate
Joined: 19 Feb 2005
Posts: 4588
Location: Brescia, Italy
|
| Posted: Sat Dec 30, 2006 12:51 pm Post subject: |
|
|
| mose wrote: | | Per Kernel78: il fatto che sotto il tuo nome ci sia scritto "Veteran" e sotto il mio "Noob" non credo ti autorizzi a trattare in modo così "spocchioso" i tuoi interlocutori... |
solitamente non è sua abitudine farlo. sono sicuro che non l'ha fatto con intenzione |
|
| Back to top |
|
|
djinnZ
Advocate
Joined: 02 Nov 2006
Posts: 4831
Location: somewhere in L.O.S.
|
| Posted: Sat Dec 30, 2006 2:28 pm Post subject: |
|
|
Last edited by djinnZ on Mon Feb 23, 2009 8:21 pm; edited 1 time in total |
|
| Back to top |
|
|
rb34
Guru
Joined: 03 Oct 2004
Posts: 361
Location: Rome, italy
|
| Posted: Sat Dec 30, 2006 9:49 pm Post subject: |
|
|
Io adotto la seguente strategia: partizione esclusiva per portage, solo portage tree senza distfiles.
Occupazione attuale: 323Mb. La metto in reiserfs, quando vedo che comincia a rallentare troppo la formatto, tanto il sync ricrea tutto.
Da non azzerare troppo spesso, sennò il meccanismo di sync va a farsi benedire.
_________________
rb |
|
| Back to top |
|
|
.:chrome:.
Advocate
Joined: 19 Feb 2005
Posts: 4588
Location: Brescia, Italy
|
| Posted: Sat Dec 30, 2006 10:41 pm Post subject: |
|
|
| rb34 wrote: | Io adotto la seguente strategia: partizione esclusiva per portage, solo portage tree senza distfiles.
Occupazione attuale: 323Mb. La metto in reiserfs, quando vedo che comincia a rallentare troppo la formatto, tanto il sync ricrea tutto.
Da non azzerare troppo spesso, sennò il meccanismo di sync va a farsi benedire. |
mi pare un po' eccessivo. oltretutto non risolve il problema principale: la lentezza è dovuta all'accesso al disco... stavo meditando di fare una cosa del genere usando una memoria veloce, ma ora come ora non ho molto tempo per fare esperimenti |
|
| Back to top |
|
|
rb34
Guru
Joined: 03 Oct 2004
Posts: 361
Location: Rome, italy
|
| Posted: Sat Dec 30, 2006 11:03 pm Post subject: |
|
|
| .:chrome:. wrote: | | rb34 wrote: | Io adotto la seguente strategia: partizione esclusiva per portage, solo portage tree senza distfiles.
|
mi pare un po' eccessivo. oltretutto non risolve il problema principale: la lentezza è dovuta all'accesso al disco... stavo meditando di fare una cosa del genere usando una memoria veloce, ma ora come ora non ho molto tempo per fare esperimenti |
Sì, certamente la lentezza è dovuta all'elevato spostamento delle testine richiesto da emerge, però passando da ext3 evidentemente frammentata a una partizione pulita in raiser ho visto un miglioramento a occhio nudo, ed è durato per un po'. Per chi ha un server sempre acceso in effetti un bel portage in memoria non sarebbe male
_________________
rb |
|
| Back to top |
|
|
.:chrome:.
Advocate
Joined: 19 Feb 2005
Posts: 4588
Location: Brescia, Italy
|
| Posted: Sat Dec 30, 2006 11:16 pm Post subject: |
|
|
| rb34 wrote: | | Sì, certamente la lentezza è dovuta all'elevato spostamento delle testine richiesto da emerge, però passando da ext3 evidentemente frammentata a una partizione pulita in raiser ho visto un miglioramento a occhio nudo, ed è durato per un po'. Per chi ha un server sempre acceso in effetti un bel portage in memoria non sarebbe male |
in memoria no, o perdi tutto... ma magari su una memoria flash veloce... ormai ne fanno di velocissime, molto più dei dischi rigidi |
|
| Back to top |
|
|
rb34
Guru
Joined: 03 Oct 2004
Posts: 361
Location: Rome, italy
|
| Posted: Sun Dec 31, 2006 12:33 am Post subject: |
|
|
| .:chrome:. wrote: |
in memoria no, o perdi tutto... ma magari su una memoria flash veloce... ormai ne fanno di velocissime, molto più dei dischi rigidi |
Mah, se uno avesse tanta ram si potrebbe caricare il portage tree in memoria al boot e salvarlo allo shutdown... sempre che uno abbia un server teoricamente su h24
_________________
rb |
|
| Back to top |
|
|
GiRa
l33t
Joined: 07 Apr 2005
Posts: 717
|
| Posted: Sun Dec 31, 2006 11:11 am Post subject: |
|
|
A sto punto uno usa l'how-to per usare squashfs e union fs, le prestazioni aumentano di un ordine di grandezza e lo spazio occupato scende di uno.
L'unico overhead è che bisogna (opzionalmente) dare un comando in più dopo il sync.
Io uso questo metodo sul portatile, sul pc fisso e sui server rimango con il metodo ufficiale. Uso ext3. |
|
| Back to top |
|
|
Luca89
Advocate
Joined: 27 Apr 2005
Posts: 2107
Location: Agrigento (Italy)
|
| Posted: Sun Dec 31, 2006 10:49 pm Post subject: |
|
|
Io uso XFS con un blocksize minimo, occupa poco spazio e gira abbastanza velocemente. Inoltre ho tolto da portage tutte le categorie che non mi servono (varia roba per server e per desktop enviroment che non uso).
_________________
Running Fast! |
|
| Back to top |
|
|
topper_harley
Guru
Joined: 05 Apr 2006
Posts: 363
Location: Treviso / Udine (Italy)
|
| Posted: Tue Jan 02, 2007 1:01 pm Post subject: |
|
|
| Luca89 wrote: | | Io uso XFS con un blocksize minimo, occupa poco spazio e gira abbastanza velocemente. Inoltre ho tolto da portage tutte le categorie che non mi servono (varia roba per server e per desktop enviroment che non uso). |
Cosa intendi per "tolto da portage"?
_________________
http://topperh.ath.cx
Jabber: topper_harley@jabber.org
ICQ: 224179391
MSN: Topper_Harley80@gmail.com
Last FM
Last edited by topper_harley on Tue Jan 02, 2007 1:24 pm; edited 1 time in total |
|
| Back to top |
|
|
Luca89
Advocate
Joined: 27 Apr 2005
Posts: 2107
Location: Agrigento (Italy)
|
| Posted: Tue Jan 02, 2007 1:22 pm Post subject: |
|
|
| topper_harley wrote: | | Cosa intenfdi per "tolto da portage"? |
Le ho eliminate da /usr/portage e poi ho fatto un file da dare in pasto a rsync che esclude quelle directory così non me le scarica più.
C'è un howto nel forum. Solo che al posto di
| Code: | | RSYNC_EXCLUDEFROM='/etc/portage/exclude_sync' |
ora si deve usare:
| Code: | | PORTAGE_RSYNC_EXTRA_OPTS="--exclude-from=/etc/portage/package.excludes" |
_________________
Running Fast! |
|
| Back to top |
|
|
xdarma
l33t
Joined: 08 Dec 2003
Posts: 720
Location: tra veneto e friuli (italy)
|
| Posted: Tue Jan 02, 2007 2:19 pm Post subject: |
|
|
| mose wrote: | | personalmente ho sperimentato una grande degenerazione nelle performance dei filesystem reiserfs col tempo (si parla di 1-2 anni di utilizzo continuo), con un progressivo aumento dei tempi del sync... non so se questo problema sia effettivamente dovuto al filesystem o alla crescita del gentoo portage |
Potrebbe essere un problema di frammentazione soprattutto se usi l'opzione "notail" in /etc/fstab.
Per misurare la frammentazione della partizione ReiserFS:
Script:Measuring fragmentation on Reiserfs (and other fs)
Facci sapere il risultato altrimenti non abbiamo materiale per litig... ehm, chiarire. ;-)
Casomai dai un occhio a TIP Speeding up portage nel solito wiki.
_________________
proud user of faKeDE-4.7.3 -> back to windowmaker -> moved to LXQt |
|
| Back to top |
|
|
mose
Guru
Joined: 04 Jun 2005
Posts: 313
Location: Piacenza
|
| Posted: Tue Jan 02, 2007 8:11 pm Post subject: |
|
|
| Quote: | Per misurare la frammentazione della partizione ReiserFS:
Script:Measuring fragmentation on Reiserfs (and other fs)
Facci sapere il risultato altrimenti non abbiamo materiale per litig... ehm, chiarire. |
Ti ringrazio per la segnalazione!
Purtroppo non posso darti i risultati, perchè ho appena riformattato tutto e rimesso su il sistema da uno stage4... (ormai lo faccio abbastanza "periodicamente") |
|
| Back to top |
|
|
GiRa
l33t
Joined: 07 Apr 2005
Posts: 717
|
| Posted: Wed Jan 03, 2007 9:20 am Post subject: |
|
|
| mose wrote: | | rimesso su il sistema da uno stage4... (ormai lo faccio abbastanza "periodicamente") |
E il tuo hostname è winnoveotto? |
|
| Back to top |
|
|
|
Forum italiano (Italian)
