| View previous topic :: View next topic |
| Author |
Message |
m.b.j.
Guru
Joined: 12 Sep 2003
Posts: 407
Location: Germany (Essen)
|
 Posted: Sat Apr 07, 2007 9:05 pm Post subject: Mysteriöser Server Reboot? |
 |
|
Hallo Community.
Ich hab länger keine Probleme mehr gehabt und auch nicht mehr im Forum geholfen.
Aber ich hoffe Ihr freut euch über das erste und nehmt mit das 2. nicht übel 
Heute aber hatte ich Probleme mit einem userer Server (nat. Gentoo) Ich würde euch nun gerne um euere Meinung bitten. Damit ich noch nochmal alles schildern muss, hier die anonymisierte Mail an meinen Hoster, die sich mit dem Thema befasst.
| Quote: |
Am 07.04.07 um 18:18 habe ich die Kontrolle über meinen Server mit der
IP-Addresse xx.xx.xx.xx verlohren!
Da ich standartmäßig einen root-tail auf meinen Laptopt mitlaufen lasse
konnte ich noch folgende Meldung im Syslog sehen:
Apr 7 18:17:17 seon shutdown[16727]: shutting down for system reboot
Apr 7 18:17:17 seon init: Switching to runlevel: 6
Dieser Reboot wurde NICHT von mir persönlich initialisiert! Ich schloss
zunächst auf ein Amok laufendes Script.
Der Server konnte zu diesem Zeitpunkt nicht vollständig selber
hochfahren. Er war nicht darauf konfiguriert, und hatte zu diesem
Zeitpunkt 330 Tage uptime.
Ein Anruf bei Ihnen genügte um einen Termin für einen Serverzugang zu
erhalten.
Um 19:15 hatte ich Zugang zum Serverraum und sah meinen Server mit einem
Kernel-Panik stehen. Das war klar, da der Server automatisch von einem
nicht funktionierenden Kernel gebootet wird. Ich bootete vom backup
Kernel und konfigurierte das Netzwerk.
Nebenbei fragte ich einen Ihrer Mitarbeiter ( warscheinlich Sie der
diese E-Mail ließt), ob jemand Zugang zu unserem Rechner hatte. Dies
wurde VERNEINT. "Ich bin gerade erst gekommen"
Danach testete ich den Reboot und sah die Maschine komplett
durchstarten. Alles klar.
Wieder in der Zentrale durchsuchte ich nun die Logs um den genauen Grund
des misteriösen Reboots festzustellen!
Ich überprüfte mein System auf root logins:
| Code: |
seon ~ # last | head -n 30
root pts/3 p50860aed.dip0.t Sat Apr 7 22:34 still logged
in
root pts/3 p50860aed.dip0.t Sat Apr 7 22:25 - 22:25 (00:00)
root pts/3 p50860aed.dip0.t Sat Apr 7 22:24 - 22:24 (00:00)
root pts/1 p50860aed.dip0.t Sat Apr 7 21:49 still logged
in
root pts/0 p50860aed.dip0.t Sat Apr 7 21:40 still logged
in
root pts/1 p5086cd85.dip.t- Sat Apr 7 19:54 - 20:29 (00:34)
root pts/0 p5086cd85.dip.t- Sat Apr 7 19:52 - 20:29 (00:36)
root tty1 Sat Apr 7 19:23 - 19:23 (00:00)
root tty1 Sat Apr 7 19:23 - 19:23 (00:00)
reboot system boot 2.6.14-hardened- Sat Apr 7 19:22 (03:12)
root tty1 Sat Apr 7 19:18 - down (00:03)
root tty1 Sat Apr 7 19:18 - 19:18 (00:00)
root tty2 Sat Apr 7 19:17 - 19:17 (00:00)
root tty2 Sat Apr 7 19:17 - 19:17 (00:00)
reboot system boot 2.6.14-hardened- Sat Apr 7 19:16 (00:05)
amtshaus pts/1 p50860aed.dip0.t Sat Apr 7 16:19 - down (01:57)
amtshaus pts/1 p50860aed.dip0.t Sat Apr 7 16:16 - 16:18 (00:01)
root pts/0 p50860aed.dip0.t Sat Apr 7 14:06 - down (04:11)
root pts/0 p50860aed.dip0.t Sat Apr 7 12:23 - 13:32 (01:09)
eh pts/0 p50861f7b.dip0.t Sat Apr 7 00:14 - 00:22 (00:07)
root pts/0 p50861f7b.dip0.t Sat Apr 7 00:13 - 00:13 (00:00)
eh pts/0 p50861f7b.dip0.t Sat Apr 7 00:07 - 00:13 (00:05)
root pts/2 p50861f7b.dip0.t Sat Apr 7 00:05 - 00:07 (00:01)
eh pts/2 p50861f7b.dip0.t Sat Apr 7 00:05 - 00:05 (00:00)
root pts/4 p50861f7b.dip0.t Fri Apr 6 20:21 - 20:34 (00:12)
seonic pts/2 p57ba1a16.dip0.t Fri Apr 6 19:53 - 20:26 (00:33)
root pts/2 p50861f7b.dip0.t Fri Apr 6 19:03 - 19:04 (00:00)
root pts/2 p50861f7b.dip0.t Fri Apr 6 17:21 - 17:33 (00:11)
root pts/1 p50861f7b.dip0.t Fri Apr 6 17:01 - 01:15 (08:14)
eh pts/1 p50861f7b.dip0.t Fri Apr 6 16:29 - 16:31 (00:01)
|
Die einzige aktive Root Session wurde um 14:06 geöffnet und mit dem
reboot geschlossen. (Der Root tail).
Eine fehl bediehnung meinerseitz ist damit ausgeschlossen.
exec eintrag root tail: (grsec.log)
Apr 7 14:06:17 seon grsec: From 80.134.10.237: exec of /usr/bin/tail
(tail -f /var/log/lighttpd/access.log /var/log/mail.log /var/log/dovecot.log /var/log/syslog /var/vpn/et/log/main/current /var/lo) by /bin/bash[bash:16047] uid/euid:0/0 gid/egid:0/0, parent /bin/bash[bash:16044] uid/euid:0/0 gid/egid:0/0
Ich suchte weiter:
Nun musste ich folgenden Eintrag im kern.log lesen:
Apr 7 18:17:11 seon input: AT Translated Set 2 keyboard on isa0060/serio0
6 Sekunden danach (grsec.log)
Apr 7 18:17:17 seon grsec: exec of /sbin/shutdown (/sbin/shutdown -r now ) by /sbin/init[init:16727] uid/euid:0/0 gid/egid:0/0, parent /sbin/init[init:1] uid/euid:0/0 gid/egid:0/0
Jemand hat BEVOR die Maschine rebootete ein AT Keyboard in meinen Server
gesteckt. Allein ein Zugriff auf unsere Hardware OHNE unser Wissen ist
in unseren Augen nicht korrekt und schädigt das Vertrauen das wir Ihnen
gegenüber haben.
Das die Maschine 6 Sekunden später einen Reboot initierte und zwar mit
dem Kommando "shutdown -r now", ist allerdings ein PROBLEM!
Auszug aus /etc/inittab:
# What to do at the "Three Finger Salute".
ca:12345:ctrlaltdel:/sbin/shutdown -r now
Bitte beachten sie auch das zu diesem Zeitpunkt keine aktive root -
session geöffnet war: (Bis auf den root-tail auf meinen Laptop.)
Für mich ist die Sache nun klar. Jemand hat unseren Server mit dem
Affen-griff gekillt. Ich möchte Ihnen keine Böswilligkeit unterstellten.
Sicher war es ein Unfall. (Falschen Server resettet ???).
Aber warum wurden wir nicht informiert? - Naja ich hab es sehr schnell
bemerkt und ca 1.2 Minuten später auf der
Telefonnummer xxxx / xxxxxxx angerufen. Vielleicht hatten sie
garkeine Zeit zum reagieren?
Wir müssen uns voll auf sie verlassen können. Bitte klähren Sie uns
daher über folgende Punkte auf:
1. Wie konnte es dazu kommen konnte das Ohne unser Wissen überhaupt ein
Keyboard an unseren Server angeschlossen wurde?
2. Wieso wurde jemand STRG-ALT-ENF gedrückt?
3. Wieso wurden wir nicht informiert?
4. Wieso wurde auf unsere Nachfrage verneint das jemand im Serverraum
war? |
Meine Fragen an euch:
- Gibt es noch andere vorstellbare Gründe ?
( Hab noch mdadm und smarmontools laufen)
- Ist meine "Beweisführung" korrekt ?
- Ist euch sowas auch schonmal passiert?
P.S. Bitte Grammatikfehler überlesen, ich war und bin noch was geladen
- Edit: Formatierung (code) und Log Zeilen
_________________
root@mbj # echo "sys-pizza/calzone -tunfish" >> /etc/paludis/use.conf
root@mbj # paludis -i calzone --dl-blocks discard |
|
| Back to top |
|
 |
dertobi123
Retired Dev
Joined: 19 Nov 2002
Posts: 2679
Location: Oberhausen, Germany
|
| Posted: Sat Apr 07, 2007 9:46 pm Post subject: |
|
|
Was soll man sagen ... sowas "passiert" halt. Wenn man sich solche "Probleme" nicht leisten kann (finanziell) muss man mehr Geld investieren und ein eigenes verschliessbares Rack oder einen Cage mieten. Ansonsten sinds halt immer noch Menschen, Fehler sollten nicht passieren - passieren aber.
Ich finde es hingegen eher grob fahrlässig ein System mit solcher Uptime derart "ungepflegt" laufen zu lassen, der nächste Reboot kommt bestimmt - willst du bei einer Remote-Lücke im Kernel lange am System basteln oder schnell das Sicherheitsupdate einspielen und neustarten? Wenn ich viele Änderungen an einem System vornehme ist das mit entsprechenden Neustarts verbunden, wenn ich ein System mit möglichst langer Uptime fahren will, lasse ich die Finger von Kernkomponenten - alles andere sorgt im Fehlerfall (einen Neustart kanns auch nach Stromausfall und Versagen der USV geben ...) für Probleme, die man in genau dem Moment eigentlich nicht haben will 
Davon ab ist der Tonfall deiner Mail an deinen Hoster ein wenig "too much" - das geht auch freundlicher (in beiderseitigem Interesse).
Just my 0.02 . |
|
| Back to top |
|
|
m.b.j.
Guru
Joined: 12 Sep 2003
Posts: 407
Location: Germany (Essen)
|
| Posted: Sat Apr 07, 2007 10:05 pm Post subject: |
|
|
Ungepflegt würde ich das System nicht nennen, bis auf den Kernel 2.16.14 . Hab aber gleichzeitig auf 2.6.18 aktualisiert. (hardened_sources)
Möglichst lange Uptime war nie mein Ziel. Ich hab das Kernel - Update nur immer vormir hergeschoben. Wollte das nicht remote machen.
Danke für die konstruktive Kritik!
Ich werde das zum Anlass nehmen meinen Tonfall zu korrigieren.
_________________
root@mbj # echo "sys-pizza/calzone -tunfish" >> /etc/paludis/use.conf
root@mbj # paludis -i calzone --dl-blocks discard |
|
| Back to top |
|
|
m.b.j.
Guru
Joined: 12 Sep 2003
Posts: 407
Location: Germany (Essen)
|
| Posted: Sat Apr 07, 2007 10:11 pm Post subject: |
|
|
Damit keine Missverständnisse entstehen, das Update habe ich gerade remote vorgenommen.
_________________
root@mbj # echo "sys-pizza/calzone -tunfish" >> /etc/paludis/use.conf
root@mbj # paludis -i calzone --dl-blocks discard |
|
| Back to top |
|
|
dertobi123
Retired Dev
Joined: 19 Nov 2002
Posts: 2679
Location: Oberhausen, Germany
|
| Posted: Sat Apr 07, 2007 10:19 pm Post subject: |
|
|
| Mit "ungepflegt" meinte ich keineswegs den gesamten Systemzustand, sondern die Tatsache, dass das System nach dem ungewollten Neustart mit einem Kernel-Panic hängen blieb - was dir ganz bewusst gewesen scheint: "Das war klar, da der Server automatisch von einem nicht funktionierenden Kernel gebootet wird." |
|
| Back to top |
|
|
m.b.j.
Guru
Joined: 12 Sep 2003
Posts: 407
Location: Germany (Essen)
|
| Posted: Sat Apr 07, 2007 10:26 pm Post subject: |
|
|
| dertobi123 wrote: | | Mit "ungepflegt" meinte ich keineswegs den gesamten Systemzustand, sondern die Tatsache, dass das System nach dem ungewollten Neustart mit einem Kernel-Panic hängen blieb - was dir ganz bewusst gewesen scheint: "Das war klar, da der Server automatisch von einem nicht funktionierenden Kernel gebootet wird." |
Ok, danke für die Klarstellung. Gibt es eigentlich einen Möglichkeit einen Reboot durchzuspielen, ohne wirklich zu rebooten? Ich stelle mir eine Art "Fake - Boot" vor. Ob das allerdings einfach zu realisieren ist wage ich zu bezweifeln, da der "Fake - Boot - Kernel" direkten Hardwarezugriff braucht um eventuelle Probleme während des "richtigen" Bootens im Vorraus zu erkennen.
Aber ich muss Kernel-Updates wohl in Zukunft einfach gut planen um sie fehlerfrei durchzuführen.
_________________
root@mbj # echo "sys-pizza/calzone -tunfish" >> /etc/paludis/use.conf
root@mbj # paludis -i calzone --dl-blocks discard |
|
| Back to top |
|
|
Finswimmer
Bodhisattva
Joined: 02 Sep 2004
Posts: 5467
Location: Langen (Hessen), Germany
|
| Posted: Sun Apr 08, 2007 8:07 am Post subject: |
|
|
Ich kenn nur bei initng einen Soft Reboot, damit startest du alle INIT Scripte neu und kannst testen, was geht und was nicht.
Für nen Kernel kenn ich so einen Trockenlauf nicht.
Müsste eigtl auch ein Programm sein, in dessen Umgebung das läuft, da der Kernel sonst sofort die Kontrolle über die HW nimmt.
Tobi
_________________
Bitte auf Rechtschreibung, korrekte Formatierung und Höflichkeit achten!
Danke |
|
| Back to top |
|
|
ConiKost
Developer
Joined: 11 Jan 2005
Posts: 1371
|
| Posted: Wed Apr 11, 2007 6:55 am Post subject: |
|
|
| Mich würde interessieren, was der Anbieter dazu per Mail geantwortet hat... |
|
| Back to top |
|
|
m.b.j.
Guru
Joined: 12 Sep 2003
Posts: 407
Location: Germany (Essen)
|
| Posted: Wed Apr 11, 2007 7:23 am Post subject: |
|
|
Noch nix.
Wenn ich keine Antwort bekomme werde ich wohl kündigen.
_________________
root@mbj # echo "sys-pizza/calzone -tunfish" >> /etc/paludis/use.conf
root@mbj # paludis -i calzone --dl-blocks discard |
|
| Back to top |
|
|
meyerm
Veteran
Joined: 27 Jun 2002
Posts: 1311
Location: Munich / Germany
|
| Posted: Wed Apr 11, 2007 2:43 pm Post subject: |
|
|
| m.b.j. wrote: | | Wenn ich keine Antwort bekomme werde ich wohl kündigen. |
Da bin ich echt mal gespannt... Darf man fragen, um welchen Hoster es sich handelt?
Grüße,
M |
|
| Back to top |
|
|
m.b.j.
Guru
Joined: 12 Sep 2003
Posts: 407
Location: Germany (Essen)
|
| Posted: Wed Apr 11, 2007 4:02 pm Post subject: |
|
|
Schick ich dir als pm, hab keinen Bock irgendwie wegen "schlechter Nachrede" irgendwas rechtsanwaltmäßiges zu kassieren.
_________________
root@mbj # echo "sys-pizza/calzone -tunfish" >> /etc/paludis/use.conf
root@mbj # paludis -i calzone --dl-blocks discard |
|
| Back to top |
|
|
meyerm
Veteran
Joined: 27 Jun 2002
Posts: 1311
Location: Munich / Germany
|
| Posted: Wed Apr 11, 2007 4:24 pm Post subject: |
|
|
| m.b.j. wrote: | | Schick ich dir als pm, hab keinen Bock irgendwie wegen "schlechter Nachrede" irgendwas rechtsanwaltmäßiges zu kassieren. |
Stimmt natürlich - ich bin meist nicht so streitlustig als dass ich so etwas mit Anwälten regeln lassen würde und bedenke solche Konsequenzen leider nicht. Aber Du hast Recht, lieber vorsichtig sein  . |
|
| Back to top |
|
|
Anarcho
Advocate
Joined: 06 Jun 2004
Posts: 2970
Location: Germany
|
| Posted: Thu Apr 12, 2007 7:35 am Post subject: |
|
|
Mit "kexec" kannst du im laufenden Betrieb nen neuen Kernel laden lassen und somit etwas in der Art eines Soft-Reboot durchführen.
http://gentoo-wiki.com/TIP_kexec
_________________
...it's only Rock'n'Roll, but I like it! |
|
| Back to top |
|
|
Salathe
n00b
Joined: 02 Jan 2006
Posts: 57
Location: Switzerland
|
| Posted: Thu Apr 12, 2007 8:58 am Post subject: |
|
|
Moin Moin
Hast du mal daran gedacht, den Reboot per Ctrl+Alt+Del zu deaktivieren?
Da wo ich arbeite haben wir es auf allen Systemen deaktiviert, nachdem ein Windowsadmin versucht hat, sich mit Ctrl+Alt+Del an einer KVM-Switchbox-Terminal anzumelden, bei dem der Monitor im Stromsparmodus war. |
|
| Back to top |
|
|
m.b.j.
Guru
Joined: 12 Sep 2003
Posts: 407
Location: Germany (Essen)
|
| Posted: Thu Apr 12, 2007 9:06 am Post subject: |
|
|
Ich lasse es ja gerade aus dem Grund an, damit der Server im Fall des Falles damit resettet werden kann!
Ok, geht natürlich auch über den Reset Knopf, aber bei CTRL-ALT-DEL wird wenigstens versucht das Ding noch ordendlich zu beenden.
Was mich ärgert ist ja nicht das es passiert ist. Sondern das ich nicht informiert wurde und das niemand weiß wie es passiert ist.
Ein Problem wird dann erst kritisch wenn man versucht es zu vertuchen, oder wenn niehmand davon erfährt.
_________________
root@mbj # echo "sys-pizza/calzone -tunfish" >> /etc/paludis/use.conf
root@mbj # paludis -i calzone --dl-blocks discard |
|
| Back to top |
|
|
xraver
Veteran
Joined: 20 Aug 2003
Posts: 1083
Location: Halberstadt
|
| Posted: Thu Apr 12, 2007 9:23 am Post subject: |
|
|
| m.b.j. wrote: | Ich lasse es ja gerade aus dem Grund an, damit der Server im Fall des Falles damit resettet werden kann!
Ok, geht natürlich auch über den Reset Knopf, aber bei CTRL-ALT-DEL wird wenigstens versucht das Ding noch ordendlich zu beenden.
|
Per ACPI kann man auch den POWER-Knopf dazu bewegen das der Rechner "sauber" runter gefahren wird.
_________________
-------
Sollten Ihnen Rechtschreibfehler oder grammatische Fehler aufgefallen sein, dann wurden diese extra für Sie platziert. Sie dürfen diese natürlich behalten . |
|
| Back to top |
|
|
hoschi
Advocate
Joined: 19 Jul 2003
Posts: 2517
Location: Ulm, Germany, Europe
|
| Posted: Thu Apr 12, 2007 1:23 pm Post subject: |
|
|
Ich bin ja ehrlich gesagt in Rechtschreibung nicht sonderlich gut, aber ueber dein Rechtschreibzentrum hast du schon nach zwei Zeilen die Kontrolle verloren (verlohren, standartmaessig...)
_________________
Just you and me strogg! |
|
| Back to top |
|
|
m.b.j.
Guru
Joined: 12 Sep 2003
Posts: 407
Location: Germany (Essen)
|
| Posted: Thu Apr 12, 2007 5:42 pm Post subject: |
|
|
Passiert.
_________________
root@mbj # echo "sys-pizza/calzone -tunfish" >> /etc/paludis/use.conf
root@mbj # paludis -i calzone --dl-blocks discard |
|
| Back to top |
|
|
Finswimmer
Bodhisattva
Joined: 02 Sep 2004
Posts: 5467
Location: Langen (Hessen), Germany
|
| Posted: Thu Apr 12, 2007 7:24 pm Post subject: |
|
|
Schalt strg + alt + entf ab.
Und aktiviere stattdessen die SysRQ Keys -> damit kannst du den Rechner auch sauber runterfahren.
Tobi
_________________
Bitte auf Rechtschreibung, korrekte Formatierung und Höflichkeit achten!
Danke |
|
| Back to top |
|
|
m.b.j.
Guru
Joined: 12 Sep 2003
Posts: 407
Location: Germany (Essen)
|
| Posted: Thu Apr 12, 2007 7:29 pm Post subject: |
|
|
http://www.pro-linux.de/news/2002/0019.html
Interessant. Ist ab dem nächsten Reboot mit drin. (Geplant für heute Abend)
_________________
root@mbj # echo "sys-pizza/calzone -tunfish" >> /etc/paludis/use.conf
root@mbj # paludis -i calzone --dl-blocks discard |
|
| Back to top |
|
|
hoschi
Advocate
Joined: 19 Jul 2003
Posts: 2517
Location: Ulm, Germany, Europe
|
| Posted: Fri Apr 13, 2007 7:48 am Post subject: |
|
|
Gab es da nicht auch ein andere Tastenkombination die standardmässig schon zur Verfügung steht für "sync"?
btw. Link ist sehr interessant
_________________
Just you and me strogg! |
|
| Back to top |
|
|
Marlo
Veteran
Joined: 26 Jul 2003
Posts: 1591
|
| Posted: Fri Apr 13, 2007 4:58 pm Post subject: Re: Mysteriöser Server Reboot? |
|
|
| dertobi123 wrote: |
sondern die Tatsache, dass das System nach dem ungewollten Neustart mit einem Kernel-Panic hängen blieb
|
| Finswimmer wrote: |
Schalt strg + alt + entf ab.
Und aktiviere stattdessen die SysRQ Keys -> damit kannst du den Rechner auch sauber runterfahren.
|
Affengriff vom Lappi übers Netz zum Rechner mit Kernel-Panic.
Ich erhöhe um 1 ent und will sehen.
Ma |
|
| Back to top |
|
|
Finswimmer
Bodhisattva
Joined: 02 Sep 2004
Posts: 5467
Location: Langen (Hessen), Germany
|
| Posted: Fri Apr 13, 2007 6:31 pm Post subject: Re: Mysteriöser Server Reboot? |
|
|
| Marlo wrote: | | dertobi123 wrote: |
sondern die Tatsache, dass das System nach dem ungewollten Neustart mit einem Kernel-Panic hängen blieb
|
| Finswimmer wrote: |
Schalt strg + alt + entf ab.
Und aktiviere stattdessen die SysRQ Keys -> damit kannst du den Rechner auch sauber runterfahren.
|
Affengriff vom Lappi übers Netz zum Rechner mit Kernel-Panic.
Ich erhöhe um 1 ent und will sehen.
Ma |
Wie geht das?
_________________
Bitte auf Rechtschreibung, korrekte Formatierung und Höflichkeit achten!
Danke |
|
| Back to top |
|
|
Marlo
Veteran
Joined: 26 Jul 2003
Posts: 1591
|
| Posted: Fri Apr 13, 2007 7:07 pm Post subject: Re: Mysteriöser Server Reboot? |
|
|
| Finswimmer wrote: |
Wie geht das? |
Wie geht was?
Ma |
|
| Back to top |
|
|
Finswimmer
Bodhisattva
Joined: 02 Sep 2004
Posts: 5467
Location: Langen (Hessen), Germany
|
| Posted: Fri Apr 13, 2007 7:15 pm Post subject: Re: Mysteriöser Server Reboot? |
|
|
| Marlo wrote: | | Finswimmer wrote: |
Wie geht das? |
Wie geht was?
Ma |
| Quote: |
Affengriff vom Lappi übers Netz zum Rechner mit Kernel-Panic. |
_________________
Bitte auf Rechtschreibung, korrekte Formatierung und Höflichkeit achten!
Danke |
|
| Back to top |
|
|
|
Deutsches Forum (German) 
