[OT] Zentraler Syslog Server

think4urs11 · Posted: Tue Aug 02, 2005 7:56 pm Post subject: [OT] Zentraler Syslog Server

Hallo,

ich bin auf der Suche nach geeigneten Reporting Tools für Syslog, vorzugsweise MCSE-geeignet, d.h. soweit möglich mit grafischer Oberfläche, da die Kollegen in der Regel eine gewisse Aversion gegen CLI haben.

Hintergrund des ganzen ist das wir einen (oder mehrere) Syslogserver aufsetzen wollen die sämtliches Logging im Rechenzentrum erledigen sollen.
Also Netzwerkkomponenten, Unix/Windows/AS400 Server und was sonst noch so rumsteht (und syslog kann).
Es geht mir hier nicht hauptsächlich um applikationsspezifische Logs wie IIS, Apache,Notes o.ä. sondern um so Geschichten wie security/application/systemlog von Windows.

Was ich nun suche ist eine schöne Oberfläche um diesen Datenwust auch auszuwerten.
Die entsprechenden Clients sind nicht das Problem, für Windows werden wir z.B. Snare einsetzen.
Unsere Herren Windows-Admins sind ziemlich angetan von der hübschen Oberfläche des Snareservers - nur darf es wie üblich nichts kosten, daher kam das Thema bis zu mir als Mr. 'wozu was kaufen, gibts doch als OSS und kann eh mehr und ist flexibler'.
Daher ist auch Cisco MARS faktisch bereits ausgeschieden, da viel zu teuer.

Bisher gefunden in der Richtung habe ich eigentlich nur php-syslog-ng; kennt jemand ähnliches?
Es muß nicht zwingend eine Weboberfläche sein, es bietet sich aber an da nun wirklich jeder einen Browser installiert hat.
Da ich vorhabe ggf. (auch) in MySQL zu loggen sollten eigentlich auch allgemeinere MySQL-Abfragetools möglich sein, aber in dem Bereich bin ich noch nicht wirklich zuhause...

Für die Automatismen und Mailbenachrichtigungen etc. dachte ich an logsentry/sec/swatch und evtl. rrdtool/cacti für die bunten Bildchen ans Management. Wenn jemand einen Tip hat ob es hierzu bereits fertige Configs bzw. Beispiellogs mit möglichen events gibt damit man nicht jeden Kleinkram selbst machen muß wäre ich auch dankbar.

Größenordnung um die es am Anfang geht sind ~50 AS400/Unixserver + ~100 Switches/Router + ~200 Windowsserver.
Je nachdem wie gut sich das ganze skalieren läßt später auch wesentlich mehr (Faktor 10-15+ 'global') - gibt es Erfahrungen in diesem Größenbereich?
Vor allem die mögliche Plapperfrequenz der Windowsmaschinen kann ich kaum vernünftig einschätzen.

Achso - als Server soll hier natürlich Gentoo zum Einsatz kommen. Neben diversen Hintergrundmaschinen wäre das die erste Gelegenheit Gentoo bzw. Linux allgemein auch in den mittleren bis höheren Führungsschichten bekannt zu machen als universell einsetzbares Werkzeug.

THX for input.
_________________
Nothing is secure / Security is always a trade-off with usability / Do not assume anything / Trust no-one, nothing / Paranoia is your friend / Think for yourself

NightDragon · Posted: Tue Aug 02, 2005 8:11 pm Post subject:

Hallo!

Das dürfte das geringste Problem sein.

Wie siehts mit Webmin aus? Wäre das eine Lösung?

Syslog-ng kann recht super filtern. So ist es möglich für jedes System eine eigene Log-Datei anzulegen.

Folgende Einstellung ist nötig damit Syslog-ng auf Daten lauscht:

/etc/syslog-ng/syslog-ng.conf:

think4urs11 · Posted: Tue Aug 02, 2005 8:28 pm Post subject:

Hi,

die syslog-conf selbst ist nicht das Problem, die ist der triviale Teil des Projektes.
Sämtliche Netzwerkkomponenten und Unixmaschinen loggen eh schon gegen (zwei verschiedene) Syslogserver, die sollen in dem Zuge gleich mit konsolidiert werden.

Was ich suche sind mehr Tools + Tips + Tricks wie man das ganze
a) einem Windows-Admin zugänglich machen kann für händische Abfragen
b) (grafisch) aufbereitete automatisierte Auswertungen fahren kann, eben z.B. mittels swatch

c) ggf. Templates für eher windows-lastige Abfragen nach login error/mouse moved/was immer bei Windows halt wichtig ist zu wissen

und ganz generell Erfahrungsberichte aus der Gewichtsklasse 'komplettes großes RZ monitoren'.

Es sollte im Optimalzustand jederzeit (so stellt die GF sich das vor) auf Mausklick ein kompletter Gesundheitsbericht des RZ vorliegen - ausführlich bis ins letzte Detail, verstehbar von der Putzfrau; die übliche Quadratur des Kreises...
_________________
Nothing is secure / Security is always a trade-off with usability / Do not assume anything / Trust no-one, nothing / Paranoia is your friend / Think for yourself

reptile · Guru Joined: 19 Nov 2002 Posts: 363

hab zwar selber absolut keine ahnung von sowas, aber ein bisschen googlen brachte mir diese seite:

http://www.slac.stanford.edu/xorg/nmtf/nmtf-tools.html

vielleicht findest du ja da was passendes...

hth

schmutzfinger · Posted: Wed Aug 03, 2005 10:21 am Post subject:

Das ganze aufbereiten kann ein debian tool namens logcheck ( http://packages.debian.org/stable/admin/logcheck ). Ich habe mal vor ner Weile probiert mir dafür ein ebuild zu schreiben. Das war leider nicht ganz so einfach und dann war ich doch zu faul

. Tatsächlich sollte sich das aber von Hand recht gut installieren lassen, weil der Makefile nur 3 shell Scripte kopiert hat. Oder es gibt vielleicht mittlerweile ein ebuild dafür.
Obwohl ich mir auf der anderen Seite auch nur schwer vorstellen kann das ihr in eurem RZ tatsächlich gentoo Server laufen habt... wird ja bestimmt eh debian sein.

think4urs11 · Posted: Wed Aug 03, 2005 11:36 am Post subject:

schmutzfinger · Posted: Wed Aug 03, 2005 8:27 pm Post subject:

Mir fällt sofort ein Bsp ein warum ich gentoo nicht auf nem Server installieren würde. Man bekommt bei nem world update die möglicherweise wichtigen Hinweise nicht ordentlich gezeigt. Ich habe gelesen das neue Portage Versionen wohl endlich mal "egrep (einfo|ewarn)" mailen können. .. wird auch langsam mal Zeit. Ich selber habe gentoo auf dem Desktop und bin hoch zufrieden. Da ich auch Sysadmin bin, wurde ich vor ca 1,5 Jahren gezwungen mich ein wenig mit debian zu beschäftigen. Mitlerweile bin ich davon überzeugt das es für einen Server einfach weniger Arbeit macht.

..aber jetzt Schluss damit, vielleicht können wir uns ja mal in nem OT Thread weiter drüber unterhalten

think4urs11 · Posted: Wed Aug 24, 2005 9:54 pm Post subject:

kleines Update

Inzwischen ist eine Maschine (Marke Rudis Resterampe, P-II/350) am Laufen mit Gentoo/MySQL/Syslog-NG/php-syslog-ng.
Ungefähr 70 aktive Netzwerkkomponenten und 20 Unixmaschinen loggen gegen die Maschine.
Im Lauf der nächsten 1-2 Wochen werden nacheinander ca. 200 Windowsserver mit Syslogclients (Snare) ausgestattet und entsprechend konfiguriert.
Das zu erwartende Logaufkommen ist geringer ist als befürchtet da man Windows das 'Plappern' ganz gut abgewöhnen kann.
Als erste grobe Daumenpeilung erwarten wir ca. 50.000-60.000 loglines/Tag.

Nächster Schritt wird sein für kritische Events entsprechende Eskalationspfade aufzusetzen wie z.B. Mails an div. Administratoren und/oder SMS.
Parallel dazu werden in regelmäßigen Abständen im Hintergrund rrds gefüttert um auch eine Art Fieberthermometer in grafischer Form zu erhalten, was hier sinnvoll ist und was nicht muß sich erst noch erweisen.

Sofern das ganze nicht doch noch gekippt wird (weil zu billig oder weil Linux oder ...) kommt dann ab Mitte/Ende September die eigentliche Arbeit, nämlich die Logs soweit möglich automatisiert einzudampfen und in (sehr wenige) Events zusammenzufassen; ca. 100-150/Tag wären das Optimum.
Zielvorstellung ist 'nur das was ein Admin wissen sollte über sein System darf noch auf dem Bildschirm stehen'.
Beispiel: Ein User loggt sich aus -> uninteressant; 100 User loggen sich aus -> deutet ggf. auf einen internen Hacker hin -> 'Alarm'

Tool der Wahl dafür ist eindeutig SEC

Das einzige was mich derzeit noch sehr irritiert ist das es für OS/400 keine Möglichkeit zu geben scheint dessen Logfiles an einen Syslogserver zu schicken... seltsames System.
_________________
Nothing is secure / Security is always a trade-off with usability / Do not assume anything / Trust no-one, nothing / Paranoia is your friend / Think for yourself