Portage und emerge ungewohnt langsam

alfcyber · n00b Joined: 07 Feb 2005 Posts: 37

Hallo Forum,
wie der Titel schon verrät, ist mein Laptop die letzten Monate beim emerge update world unerträglich langsam geworden.
Es ist ein betagtes Gerät (amd a4 prozessor, aber mit SSD) und mir auch klar, dass dies nicht wie ein moderneres Gerät performed.
Aber es kommt mir unnatürlich langsam vor, z.B. ein emerge -uvDN world dauert bis zu 50min. bis es startet und dabei nur
ca 90 Pakete updaten will. Aufgefallen ist mir dies so nach u. nach seit dem Umstieg von gcc6 auf 7 (u. jetzt 8 ). Die Pakete werden
hier bei jedem Sprung etwas größer u. wie genlop verrät auch die Zeit sie zu bauen bei jedem Versionssprung größer.
Warum ich ins Forum schreibe? Eine suche nach einem entsprechenden Thema ergab leider keine Ergebnisse. Es gibt einige Jahre alte Threads
im englischem Forum (damals beklagte man sich über 2 Minuten Wartezeit bis emerge Abhängigkeiten beim update auflöst).
Ich bin kein Anfänger, kann mir aber im Moment nicht helfen u. wollte mal fragen, ob andere auch solche Dinge (vllt. auf älteren Geräten) feststellen mußten.
(zunächst vermutet man vllt. dass die SSD überfüllt ist (noch unter 75%, also nein, ein fsck, fstrim u. emaint world wurde schon versucht). Wie gesagt sind die Probleme nur
mit emerge, eix z.b. funktioniert super flott auf dem Gerät. Es sind 1084 Pakete installiert (vielleicht liegt es daran?). Das Portage tmp Verzeichnis liegt wie im Wiki für SSDs vorgeschlagen im RAM (tmpfs)
Auch beim kompilieren einzelner Pakete ist das configurieren manchmal wahnsinnig langsam, aber komischerweise nicht bei jedem Paket. Kann mir jemand bestätigen, dass dies normal ist oder hat jemand einen Hinweis wo man noch nachschauen könnte?
_________________
;)play_the_game

mike155 · Posted: Mon Jun 03, 2019 7:18 pm Post subject:

Wenn ich es richtig verstehe, dauert ein

alfcyber · n00b Joined: 07 Feb 2005 Posts: 37

Hallo, danke für die Hilfe :: (Bitte nicht von MAKEOPS verwirren lassen es ist ohne distcc und mit -j4 exakt das gleiche)
zusätzlicher Hinweis nach einem strace emerge fällt auf, dass sehr häufig ein ENOTTY nach fstat ausgegeben wird

alf@think2 ~ $

misterjack · Veteran Joined: 03 Oct 2004 Posts: 1657

https://forums.gentoo.org/viewtopic-t-103561.html #13 bitte beachten, so ist das nicht wirklich lesbar
_________________
„Meine Meinung steht fest! Bitte verwirren Sie mich nicht mit Tatsachen.“

Josef.95 · Advocate Joined: 03 Sep 2007 Posts: 4693 Location: Germany

mike155 · Posted: Tue Jun 04, 2019 10:40 am Post subject:

Hallo alfcyber,

danke für Deine Daten!

Bitte packe Deine Ausgaben in "code"-Blöcke - sie sind dann wesentlich einfacher zu lesen. Du kannst Deinen Post auch noch nachträglich editieren und die "code"-Blöcke einfügen.
Ich stimme Josef.95 zu. Ein Teil der 55 Minuten entsteht dadurch, dass Du Confilicts hast.

Bei Gentoo sollte man regelmäßig (mindestens ein Mal im Monat, nach einem 'emerge --sync' oder 'eix-sync') folgende Wartungsarbeiten ausführen:

Code:

emerge --update --deep --newuse -av @world
emerge -a @preserved-rebuild
revdep-rebuild
emerge -a --depclean

Dabei sollte man darauf achten, dass alle Anweisungen sauber durchlaufen und dass keine Konfilkte oder Blocker (wie in Deinem Fall) angezeigt werden. Alle Probleme, Konflikte oder Blocker sollten sofort behoben werden.

Wie lange dauert ein "emerge --update --deep --newuse -av @world", nachdem Du diese Wartungsarbeiten durchgeführt hast?
Wenn ich es richtig sehe, ist es ein Notebook? Gibt es in den System-Logs Meldungen zu Überhitzungen und Thermal Throtteling? Hast Du die CPU-Temperatur mal mit 'sensors' überwacht, während "emerge läuft"?

Bei längeren emerge-Jobs auf meinem Notebook reduziere ich die maximale CPU-Frequenz etwas:

Code:

cpupower frequency-info
cpupower frequency-set --max 2200MHz # ca. 20% unter der Nominal-Frequenz
cpupower frequency-info

Das reduziert die CPU-Temperatur und die Lautstärke des CPU-Lüfters und - falls Du Thermal Throtteling hast, auch dieses.
Du verwendest recht komplizierte CFLAGS, vermutlich wegen distcc. Stimmen die CFLAGS noch? Die empfohlenen CFLAGS können sich zwischen GCC Versionen ändern - und dann sind CFLAGS, die bei einer GCC Version gut waren, auf einmal nicht mehr so gut.

Ich frage mich, ob Du Dir mit Deinen CFLAGS, distcc und ccache einen Gefallen tust. Ich würde (das ist jetzt meine persönliche Meinung) distcc und ccache deinstallieren, und auf

Code:

CFLAGS="-march=native -O2 -pipe"
CXXFLAGS="${CFLAGS}"
MAKEOPTS="-j4"

wechseln - so mache ich das bei meinem Notebook. Große Pakete wie GCC, Libreoffice und Firefox baue ich auf meinem Desktop, erstelle ein Binärpaket und installiere dann das Binärpaket auf mein Notebook.

Mike

alfcyber · n00b Joined: 07 Feb 2005 Posts: 37

Hallo danke schon mal für die Hinweise, sorry wegen Forumregel 13 (hatte ich vergessen)

Ich habe die angezeigten conflicts aufgelöst, derzeit läuft noch emerge update (es ackert noch), ich werde wieder berichten.
Zu den CPU Flags, die ich mir selbst jetzt das erstemal genauer angeschaut habe (denn sie wurden via script von der wiki Seite generiert), stimme ich auch voll zu,
sie passten vermutlich zum gcc7 und haben sich zum gcc8.3 verändert (vor allem fehlen komplett die simd Optimierungen, die ohne Zweifel auf einer A4 apu vorhanden sind..., ja ok,
das könnte mit dazu beitragen, allerdings ist es mir ohne genauere Kenntnis der inneren Funktionsweise von Portage, nicht klar, ob simd Optimierungen zu Vorteilen, bzw. Kontra Nachteile führen würden. (Ein installierter Blender läuft z.b. einwandfrei).
Ich werde aber die Vorschläge beherzigen u. alles wichtige mit Flag nativ neu kompilieren. (Die Conflikte alleine verlangsamen den emerge mMn nicht).
An der Cpu Temparatur und des damit evtl. verbundenen Drosselung liegt es mMn auch nicht (der a4 taktet max. auf 1.5Ghz der Lüfter ist sozusagen unhörbar u. der Akku hält
extrem lange, das ist das Gute an diesem Laptop). Der Takt kann via Applett beobachtet werden u. ist beim kompilieren ständig am oberen Limit.
Zudem hab ich jetzt auch defrag prüfen lassen, ob eine Fragmentierung vorliegt -> nein keine.
Ich hoffe, dass das System stabil bleibt bei gemischten cflags.
Eine Frage hätte ich dann noch, es gab mal eine gentoo news, dass standardmäßig auf pic umgestellt wird, ich glaube ab dem gcc6.4. Diese news kann ich auf keinen meiner Rechner mehr finden. War das nur einbildung?
_________________
;)play_the_game

mike155 · Posted: Tue Jun 04, 2019 6:52 pm Post subject:

Die Average Merge time vom GCC

Josef.95 · Advocate Joined: 03 Sep 2007 Posts: 4693 Location: Germany

alfcyber · n00b Joined: 07 Feb 2005 Posts: 37

Hallo danke an alle, die sich am Beitrag beteiligen,
die wichtigen Pakete wie glibc, utils, make, libtool, python, gcc ect habe ich neu gebaut. Das emerge hatte nach dem Auflösen der Konflikte und dem Neubau einmal eine
User Zeit von ca. 3 min. ausgegeben ein anderes mal ca. 6 min u. ein weiteresmal ca. 5 min. Es hat also etwas gebracht. Ich weiß nicht, ob man diese Zeiten für dieses
System als normal bezeichnen u. damit den Thread als gelöst markieren könnte (eher nicht? zumal kein einziges Update ansteht/anstand). Falls jemand ein ähnliches System hat,
könnte er sich dazu äußern?
Zu den GCC Bauzeiten täuscht die avrg. Time, denn der gcc4 wurde viele Jahre gepflegt u. konnte wesentlich schneller kompiliert werden. Ein aktueller GCC8.3 dauert länger als 3 Stunden zu
bauen. Es ist quasi so, dass ein genlop Aufruf beim Kompilieren zur Bauzeit fast immer : Any time now anzeigt (also es länger dauert als jemals zuvor).
Dies könnte nun nach den Umstellungen auf die neueren GCC Versionen "evtl. normal" sein? Zudem könnte die Umstellung auf PIE (also nicht pic, ist aber im Sinne ähnlich) auch mitbegründet
sein. Auf Stack Overflow scheint dieses Thema sehr populär zu sein (zwar nicht unbedingt gentoo bezogen) aber sehr interessant. Die Meinungen über den Sinn gehen auseinander...
Warum gab es für gentoo (end)User keine Option das alte Schema zu behalten? Auch der Umstieg auf min GCC6.4 wurde zwangsweise mit maskierungen vorgegeben. Wobei mMn nach c++14 das System nicht verlangsamt.
Ich poste hier noch die Ergebnisse von hdparm u. smartctl (der Wert von hdparm ist für mich nachvollziehbar, weil ich ein weiteres pc system mit ähnlicher Ausstattung habe (der Portage dort ist aber schneller u. benötigt nur ca. eine Minute um "nichts" updaten zu wollen), bei smartctl ist mir nichts aufgefallen:

mike155 · Posted: Wed Jun 05, 2019 11:18 pm Post subject:

Eine Reduktion der Ausführungszeit von 55 Minuten auf 5 Minuten ist doch ein toller Erfolg! Ich vermute, dass es die Blocker waren, die Du aufgelöst hast - die können viel Zeit kosten.

Eine Ausführungszeit von 5 Minuten auf Deinem Rechner klingt realistisch. Du kannst versuchen, die Zeit weiter zu verkürzen, indem Du weitere Konfigurationsdateien wie /var/lib/portage/world und /etc/portage/* aufräumst. Meines Erachtens hast Du auch zu viele USE Flags in /etc/portage/make.conf spezifiziert - hier könntest Du auch optimieren. "hal" gibt es schon lange nicht mehr, und manche der USE Flags sollte man besser paketbezogen in /etc/portage/package.use definieren.

Die Ausgaben von Deiner Festplatte sehen in Ordnung aus.

franzf · Advocate Joined: 29 Mar 2005 Posts: 4565

alfcyber · n00b Joined: 07 Feb 2005 Posts: 37

Hallo,
vielen Dank für die Beiträge. Demnach (nach dem Beitrag über diesem), könnte der Thread also als gelöst markiert werden. Ich habe ihn mir nochmal durchgelesen und möchte deshalb etwas
richtig stellen. Leider hatte ich aus zeitmangel nur flüchtig die CFLAGS angeschaut und versehentlich die gelesen, die im Thread zum GCC ausgegeben waren. In der make.conf waren natürlich
cflags mit simd optimierung angegeben. Eine jetzt intensivere Nachschau hat ergeben, dass sich die nativ flags aber von gcc 8.2 auf 8.3 tatsächlich verändert haben.
Es sind aber -mno... Flags, also Features, die der GCC hinzubekommen hat u. auf diese CPU scheinbar nicht wirken. (Die aber evlt. standardmäßig aktiviert sein könnten.)
(Danke also für diesen wichtigen Hinweis, wenn zukünftig mit distcc kompiliert werden soll.). Das neue kompilieren der wichtigen Pakekte kann somit keine Wirkung gehabt haben.
_________________
;)play_the_game