Opteron e architettura NUMA

[ChemMir]

Ciao a tutti,
ho una macchina NUMA, con 4 socket G34 e 4 Opteron 6168. 12 core per CPU --> 48 core in totale, con 64 Gb di RAM e ci faccio number-crunching.

L'architettura NUMA dovrebbe essere con 8 nodi NUMA, ogni nodo con 8 Gb di RAM e 6 core.
Sto usando due tipi di calcolo parallelo indipendenti: OpenMP e OpenMPI.
Il primo fa uso di shared processors & memory, mentre il secondo è più versatile ed ogn ipropcesso ha la sua memoria.
Ottengo dei tempi di calcolo estremamente variabili.

Ho migliorato i tempi di calcolo impostando:
echo 1024 > /proc/sys/vm/nr_hugepages

Mentre usando OpenMP non so cosa si possa migliorare (suggerimenti sono ben accetti!!), usando mpirun e OpenMPI c'è ampio spazio di migliroamento. In certi casi a seconda dei comandi che do' raddoppio-triplico o tempi di calcolo...

C'è qualche anima pia che mi saprebbe dare una dritta su come usare

numactl

mpirun

per la mia architettura con 8 nodi NUMA e 48 core?

P.S.: aggiungo che ho provato a leggere in rete ma non ho capito come usare le opzioni numactl e mpirun....
_________________
Tyan Tiger K8W (S2875) - dual Opteron 248 - Sil3114 SATA RAID - 2 Gb RAM - Radeon 9200SE-T

[ChemMir]

Mi rendo conto che questo è un argomento assai tecnico e forse OT, ma c'è almeno qualcuno che potrebbe indicarmi su quale altro forum chiedere?
Uso Gentoo, ed ho visto che i lkernel influenza pure lui la velocità di calcolo...

Qui fra opzioni del kernel, opzioni OpenMPI e opzioni NUMA (numactl) mi sto perdendo....
Ho provato anche

mpirun --mca mpi_paffinity_alone 1
mpirun --mca_mpi_maffinity libnuma --mca mpi_paffinity_alone 1

Qualcosa migliora, anzi decisamente velocizza il tutto, ma mi piacerebbe capire quali opzioni devo usare e perchè....

Grazie!
_________________
Tyan Tiger K8W (S2875) - dual Opteron 248 - Sil3114 SATA RAID - 2 Gb RAM - Radeon 9200SE-T

[ago]

edita il precedente messaggio non scriverne uno nuovo se nessuno ha risposto. Abbi pazienza, se qualcuno sa e avrà tempo, risponderà.