[OT] Distcc: ne vale la pena?

[canduc17]

Ciao a tutti.
Seguendo le 2 guide

http://www.gentoo.org/doc/it/distcc.xml
http://www.gentoo.org/doc/it/cross-compiling-distcc.xml

ed il topic

https://forums.gentoo.org/viewtopic-t-711941-highlight-distcc.html

sono riuscito a configurare distcc con cross-compilazione.
A vedere distccom-gui tutto sembra funzionare bene e col mio desktop (Intel Core 2 Duo, arch i686) aiuto nella compilazione il mio portatile (Intel Core 2 Duo, arch x86_64) nella rete locale di casa mia.

Per curiosità ho fatto un po' di test, compilando gli stessi pacchetti con e senza distcc e questi sono i risultati:

• emerge media-video/vlc
  
  • senza distcc --> 15 min 05 sec
    
  • con distcc ----> 20 min 10 sec
  
  
• emerge media-gfx/inkscape
  
  • senza distcc --> 15 min 02 sec
    
  • con distcc ----> 11 min 16 sec
  
  
• emerge x11-libs/qt
  
  • senza distcc --> 13 min 17 sec
    
  • con distcc ----> 12 min 06 sec
  
  
• emerge net-libs/xulrunner
  
  • senza distcc --> 28 min 38 sec
    
  • con distcc ----> 26 min 37 sec
  
  
• emerge $(qlist -IC python)
  
  • senza distcc --> 33 min 54 sec
    
  • con distcc ----> 34 min 14 sec

Per ottenere questi risultati ho eseguito comandi del tipo:

[cloc3]

stai utilizzando due computer identici, tranne che per l'architettura?
in genere, distcc è consigliabile nei casi di asimmetria, per trasportare sulla macchina lenta le prestazioni di quella superiore.
i ritardi di trasmissione sulla rete, altrimenti, hanno un effetto importante.

in ogni caso, quando utilizzavo distcc (adesso, in genere, preferisco limitarmi all'uso della compilazione da remoto), qualche vantaggio lo vedevo.
hai verificato che distcc utilizzi entrambe le macchine, e non solo una di esse?

per misurare i tempi, perchè non usi genlop?

[canduc17]

[mrfree]

Potresti fare un po' di tuning di distcc per sfruttarne al meglio le potenzialità. Per esempio nel file di configurazione degli host puoi indicare quanti job vuoi che vengano fatti girare su ogni macchina che partecipa alla compilazione, in aggiunta ti consiglio di esplorare il pump-mode introdotto nella versione 3 di distcc che sposta ulteriore carico di lavoro sulle macchine remote.

Naturalmente per una migliore riuscita della compilazione parallela dovresti combinarla con le nuove feature di portage riguardanti l'emerge parallelo (leggi il man, in particolare l'opzione --jobs) una volta configurato il tutto dai un bel:

[Peach]

ciao io uso distcc per portare su delle embedded i pacchetti necessari e direi che e' abbastanza fondamentale.
Da quello che so io, tra architetture diverse (x86 e x86_64) occorrerebbe usare il crosscompiling oltre a distcc (c'e' la guida su gentoo.org)
Seconda cosa... stai usando un valore adeguato in MAKEOPTS? ricorda che e' il numero di cpu+1, in questo caso, il numero di tutte le cpu/core coinvolte nella compilazione

ciao
_________________
Gentoo user since 2004.
"It's all fun and games, until someone loses an eye" - mom

[canduc17]

@ mrfree:
Grazie mille, erano proprio informazioni del genere che cercavo...cose che non ci sono nelle guide ufficiali perchè un po' approfondite.
Indagherò e vi farò sapere.

@ Peach:

[Peach]

sinceramente strano... a meno che entrambe le macchine siano concorrentemente impegnate a compilare, direi che e' strano.
mi viene da pensare ad un collo di bottiglia nella rete o nel processing delle queues di compilazione.
_________________
Gentoo user since 2004.
"It's all fun and games, until someone loses an eye" - mom

[canduc17]

Ho provato i suggerimenti di mrfree: quello che ho cambiato è stato il file /etc/distcc/hosts, dove ho aggiunto il parametro cpp per il "distcc pump mode", la compressione LZO ed il limite di job massimo per macchina (che ho impostato a 6). Questo l'ho fatto sia sul server che sul client.

• /etc/distcc/hosts client (portatile):

  Code:

  localhost/6,cpp,lzo 192.168.0.2/6,cpp,lzo

• /etc/distcc/hosts server (desktop):

  Code:

  localhost/6,cpp,lzo 192.168.0.5/6,cpp,lzo

Inoltre ho modificato il lancio di emerge, utilizzando il comando pump e il flag -j, per lanciare più build in contemporanea (il numero dei job contemporanei non lo imposto, in modo che lo scelga lui). Quest'ultima opzione però mi pare di capire che non serva se installo un pacchetto alla volta, ma solo se "emerge" coinvelge più pacchetti.

I risultati sugli stessi pacchetti, sono i seguenti (copio pari pari quelli sopra per fare un confronto):

• emerge media-video/vlc
  
  • senza distcc --> 15 min 05 sec
    
  • con distcc ----> 20 min 10 sec
    
  • pump emerge -j vlc ----> 15 min 00 sec
  
  
• emerge media-gfx/inkscape
  
  • senza distcc --> 15 min 02 sec
    
  • con distcc ----> 11 min 16 sec
    
  • pump emerge -j inkscape ----> 19 min 41 sec
  
  
• emerge x11-libs/qt
  
  • senza distcc --> 13 min 17 sec
    
  • con distcc ----> 12 min 06 sec
    
  • pump emerge -j qt ----> 13 min 35 sec
  
  
• emerge net-libs/xulrunner
  
  • senza distcc --> 28 min 38 sec
    
  • con distcc ----> 26 min 37 sec
    
  • pump emerge -j qt ----> 29 min 5 sec
  
  
• emerge $(qlist -IC python)
  
  • senza distcc --> 33 min 54 sec
    
  • con distcc ----> 34 min 14 sec
    
  • pump emerge -j $(qlist -IC python) ----> 24 min 42 sec

C'è un piccolo problema di fondo però: la compilazione distribuita non funziona più! Vengono passati job all'altra macchina (molti meno rispetto a prima del tuning, in realtà), ma vengono costantemente bloccati ed a fine compilazione ottengo messaggi tipo questo:

[Kernel78]

piccolo OT
per avere i tempi di esecuzione di un comando puoi benissimo usare time

[canduc17]