Hilfe meine Prozesse spielen verrückt :-( !! [solved]

Mr.T · n00b Joined: 07 Apr 2004 Posts: 11

Ich benötige dringend eure Hilfe - da ich mir diesen Fehler nicht erklären kann und nicht weiß nach was ich suchen soll.

Und ich gebe demjenigen der das Rätsel löst 50 EURO - und das ist mein voller Ernst.

Vorgeschichte, ich betreibe seit ca 8 Monaten einen stark frequentierten Webserver mit Gentoo. Der Server lief immer Einwandfrei ohne die geringste Störung. Das Problem - auf dem Server lief Sendmail.

Ich wollte schon seit einiger Zeit Postfix auf das System spielen und habe das auch letzten Mittwoch gemacht. ( Postfixinstallation nach Virtual Mailhosting System Guide + amavisd-new und clamav ). Dazu noch das Logrotate angepasst.

Hat auch gut geklappt leider ist Postfix dann am Wochenende kommentarlos abgestürtzt. Ich nehme an es lag an den RBL Listen die ich drinn stehen hatte. -> RBL Listen entfernt -> dann ging es erstmal.

Ich hab zusätzlich einen Server Monitoring Dienst ( serverguard24.de ) aufgeschaltet damit ich einen weiteren Ausfall schnell erkennen kann.
Das war am Montag. Der Ausfall ließ nicht lang auf sich warten und war sehr gravierend.

Problem : Am Mittwoch Morgen ging es los, gegen 06:20 Uhr bekam der Server die ersten Ausfallerscheinungen ( laut serverguard24.de ) ich habe den Fehler erst gegen 6:40 bemerkt.
Die Ausfallerscheinungen sahen dann so aus HTTP Port 80 -> Timeout FTP Port 21 -> Timeout -> SMTP, POP3 das gleiche.

Zu meinen erstaunen funktionierte SSH noch und ich konnte auf den Server. Ich stellte fest das die betroffenen Dienste alle liefen, die Prozessorauslastung war auch eher gering. Aber die Prozessanzahl war 5 mal so hoch wie normal. Jeder betroffene Dienst hatte viel zu viele Prozesse offen.

Ich habe versucht dienste zu Stoppen per /etc/init.d/dienst stop -> keine Reaktion - die Dienste liefen weiter.

Zu meiner Verwunderung stellte ich dann fest das ich über SSL auf den Apache verbinden konnte.

Ein Neustart des gesamten Servers löste das Problem.
Zumindestens kurzzeitig denn 21:03 am gleichen Tag ging das Spiel von vorn los. Das war gestern und ich stehe nun hier und bin ziemlich ratlos.
Beim 2. mal hat serverwatch übrigens den smtp nicht angemeckert, weiß nicht ob er wirklich noch lief.

Habe erstmal amavisd, und clamd gestopt und aus der Postfixconfig entfernt. Ich glaube aber nicht wirklich das es das war.

Aber was sonst ? Ein Angriff ? Ein Fehler ? Evtl sogar Serverguard mit den häufigen Anfragen ?

Hier alle Informationen die ich sammeln konnte :
Versionen
klogd 1.4.1
Linux version 2.4.23_pre8-gss-r2
gcc version 3.2.3
Gentoo Linux 1.4 3.2.3-r3
Apache/1.3.29
postfix-2.1.3
amavisd-new-20030616_p8
clamav-0.75
cyrus-sasl-2.1.18-r2
courier-imap-3.0.7
iptables-1.2.11-r2
proftpd-1.2.9-r2
webmin-1.160
sysstats version 0.9.6

Hier die Systatgrafiken :
Hier die Tagesstatistik der Prozesse
http://bilder.miss-leika.de/fehler/process-0.6.0_day.png

Die Wochenstatistik der Prozesse
http://bilder.miss-leika.de/fehler/process-0.6.0_week.png

Zum Vergleich CPU
http://bilder.miss-leika.de/fehler/cpu-0.13.0_day.png

Netzwerk LO
http://bilder.miss-leika.de/fehler/network-0.12.0_day_lo.png

Netzwerk eth0
http://bilder.miss-leika.de/fehler/network-0.12.0_day_eth0.png

Die Logfiles ( einige Passagen unkentlich gemacht ) :

Die Serverguard Warnmeldungen :

fiebre · n00b Joined: 30 Jan 2004 Posts: 17

Hiho,

nur eine Vermutung. Aber in deine logs tauch ziehmlich oft die IP von einem T-kom Dialup auf 80.145.45.191.

Ich denke mal das jemand deinen MailServer + POP server gut mit DoS attacken zugemacht hat. So sieht es zumindest aus. Die Last ist deutlich angestiegen und auch der Traffic auf dem Interface.

Der Kernel hat die eigenschaft das er irgendwann wenn die last zuhoch ist die prozeße tötet, um wieder arbeiten zu können.

Ein Lösungsvorschlag wäre für alle dienste die offen sind die anzahl der Gleichzeitigen Connections zu limitieren. Somit ist dem jenigen der dich mit anfragen zumüllt zumindest die möglichkeit genommen das zu tun und damit die Maschiene zum stillstand zu bringen.

Andere möglichekit wäre mit snort und iptables ein prevention zu basteln wo zuviel anfragen einfach in der firewall dann gedroppt werden.

Aber das wäre wohl doch etwas zu overdoze.

so long

fiebre
_________________
somewhere im my head is space that needs to be filled...

Mr.T · n00b Joined: 07 Apr 2004 Posts: 11

Danke für deine Hilfe.

Die T-Com Adresse stammt von mir selber.
Wir haben hier nen Imap Server der über ne DSL Leitung und Fetchmail mails vom Mailserver holt.

Das machen wir aber eigentlich schon lange so.
Ich werde trotzdem mal die Frequenz drosseln.

CU
Torsten

hecatomb · Guru Joined: 02 Sep 2004 Posts: 525

Es ist schwer direkt etwas zu identifizieren. Deshalb ist es denke ich am besten einzelne Dienste abzuschalten und dann zu beobachten, welcher Dienst das System so blockt. Schätzungsweise ist das aber bei einem "Server in Betrieb" nur schwer machbar ;-)

Möglich wäre auch, dass das System selbst von Attacken heimgesucht wird. Hast du mit iptables Filterregeln entworfen, die nur die Dienste zulassen, die du auch benutzen willst? Wenn nicht wäre das mein erster Schritt!

Timo · n00b Joined: 30 Sep 2002 Posts: 23

im Zweifelsfalle würde ich auch mal einen Speichertest machen - die Logs sehen zwar nicht nach Speicherproblemen aus, aber ich hatte ein ähnliches Phänomän mit defektem Speicher (Prozesse wurden zuhauf gestartet). memtest86 reicht aus.

Mr.T · n00b Joined: 07 Apr 2004 Posts: 11

Hmm die Systemmap is eigentlich da :

Gekko · l33t Joined: 29 Oct 2002 Posts: 773

Timo · n00b Joined: 30 Sep 2002 Posts: 23

Mr.T · n00b Joined: 07 Apr 2004 Posts: 11

@ Gekko - ne aufmunterung ist immer willkommen :-)

ne aber im Ernst
http://www.reuters.de/newsPackageArticle.jhtml?type=topNews&storyID=589444&section=news

@ Timo - na ja der Server läuft ja in genau dieser Konstellation schon recht lange. Das einzige was halt neu ist war Sendmail mit den diversen Komponenten.

CU
Torsten

Mr.T · n00b Joined: 07 Apr 2004 Posts: 11

Ich habe den Fehler nun zufällig selbst gefunden.
Ich möchte euch die Lösung jedoch mitteilen um anderen zu helfen.

Ich habe die Gemeinsamkeit der verschiedenen Fehler gefunden.

Jeden Schritt jede Systemänderung der letzten 14 Tage hat das Problem verschlimmert.

Das Problem selbst ist jedoch recht einfach - es war der Mysql Server .
Dieser ist Standartmäßig auf max. 100 Verbindungen gleichzeitig gestellt.

Das jedoch wusste ich nicht.

Da unsere Seite komplett auf ein Perlscript aufbaut und dieses das Sessionhandling via Mysql ausführt sah es scheinbar so aus als würde der Apache nicht mehr reagieren - in Wirklichkeit hat nur das Syript nicht mehr reagiert da seine Verbindung zur DB wegen Überlastung gehalten wurde.

Und da ging das Chaos los.

1. Wir haben letze Woche das Script etwas verbessert. Es konnte nun
größere Daten verarbeiten. Resultat - einige SQL Verbindungen mehr
die auch noch länger auf waren.

2. Mein Proftpd - authentifiziert via MySQL - weitere Verbindungen.

3. Mein Sendmail arbeitete mit den herkömmlichen Dateien.
Der neu aufgesetzte Postfix ( virtual Mail Host Guide ) jedoch geht über
die MySQL Datenbank ( smtp - noch mehr Verbindungen )
4. Mein alter wu-imap authendifizierte via PAM - der neue Courier jedoch
über pam_mysql -> noch mehr Verbindungen

5. Und was die Lage zugespitzt hat war mein Servermonitoring via
Serverguard24 - dieser spricht das Script auf der Webseite , den FTP ,
und SMTP an und öffnet dabei natürlich automatisch SQL Verbindungen.
und das alle 5 Minuten.

Was passierte dann. Es reicht eine kurze Überschreitung der max_connections und das Chaos bricht los. Da der MySQL Server nicht abbricht wenn er überlastet ist sondern die Verbindugen hält bis wieder Platz ist staut sich das ganze auf.

Alle Dienste die mit MySQL in Verbindung stehen können nämlich Anfragen annehmen und machen auch dafür nen Child auf. Aber Sie können nicht antworten da MySQL die Verbindung hält. Wenn die Antort kommt ist schon lange ein Timeout da.

Wenn das passiert registriert das Serverguard24 und veranlasst Wiederholungsprüfungen von unterschiedlichen IP´s und das im 30 sec Takt. Dadurch stauten sich noch mehr Requests auf. Wenn Besucher auf die Seite gehen und nix sehen auser nem Ladebalken - was machen Sie - aktualisieren klicken - noch mehr Request

und so weiter und so weiter

So zu sagen - ne hausgemachte ddos Atacke.

Warum ging der Apache auf Port 443 und nicht auf Port 80 ? :-)

Ganz einfach - falsche Fährte - Weil alle Anfragen an Port 80 auf meine index.cgi gehen und die am MySQL hängt - auf Port 443 ist aber nur ne statische Testseite.

Danke für eure Hilfe.

CU
Torsten

pablo_supertux · Posted: Fri Sep 24, 2004 7:19 am Post subject:

Mr.T · n00b Joined: 07 Apr 2004 Posts: 11

Ja doch - ich :-)

- weiß nur noch net wer Sie mir gibt.

Hätte ja mal nen Gentoo-Stammtisch zum Bier eingeladen - aber hier im östlichen Teil der Republik gibt es leider keine Gentoo Gruppe :-(

CU
Torsten