View previous topic :: View next topic |
Author |
Message |
aZZe l33t
Joined: 20 Feb 2003 Posts: 965 Location: Dinslaken, Germany
|
Posted: Tue Jul 20, 2004 12:57 pm Post subject: Linux Failover Cluster realisieren |
|
|
Hallo zusammen!
Ich habe zur Zeit ein Projekt und habe mir gedacht mich an einem Failover Cluster heranzuwagen. Das schwierigste ist im Moment den Anfang zu finden und vor allem mit welcher Software dies am Besten zu realisieren ist. Vorzugsmäßig wäre natürlich eine Software mit einer guten Doku. Wie siehts da mit VServer oder Beowulf aus? Was für Erfahrungen habt ihr gemacht? Welche Software könntet ihr mir empfehlen?
Vielen Dank im Vorraus
darktemplaaa _________________ ASUS 4A785TD-V EVO with AMD Phenom(tm) II X4 965
4GB RAM DDR3-1333
ATI Radeon HD4870 |
|
Back to top |
|
|
holla die waldfee Tux's lil' helper
Joined: 17 Sep 2003 Posts: 85
|
Posted: Tue Jul 20, 2004 1:33 pm Post subject: |
|
|
hi,
darf man fragen was es für ein projekt wird?
firewall, db-server, webserver etc.
für einen failovercluster bietet sich ganz sicher heartbeat und drbd an.
mit beowulf hab ich leider noch keine erfahrung gemacht.
für ein gemeinsammes rechnen an vielen unterschiedlichen prozessen ist auch openmosix ganz gut. nur für perl programme nicht zu empfehlen
gruß holla |
|
Back to top |
|
|
stream Guru
Joined: 04 Jan 2003 Posts: 401
|
|
Back to top |
|
|
aZZe l33t
Joined: 20 Feb 2003 Posts: 965 Location: Dinslaken, Germany
|
Posted: Tue Jul 20, 2004 1:51 pm Post subject: |
|
|
Nun sehr wahrscheinlich wird es ein DB-Cluster auf MYSQL, allerdings ist ein Firewall Cluster auch in der Auswahl (fände ich ziemlich interessant). Das entscheiden ich aber erst nächste oder übernächste Woche. Wichtig ist erstmal eine gute Software mit einer guten Doku zu finden. _________________ ASUS 4A785TD-V EVO with AMD Phenom(tm) II X4 965
4GB RAM DDR3-1333
ATI Radeon HD4870 |
|
Back to top |
|
|
kressevadder n00b
Joined: 22 Dec 2003 Posts: 40
|
Posted: Tue Jul 20, 2004 4:36 pm Post subject: |
|
|
Ich bin zwar kein Experte und weiss noch nicht mal was ein "Failover Cluster" ist, aber hab mir gerade nen openMosix Cluster gebaut.
Die Nodes können einfach über PXE als Diskless Clients gebootet werden und hängen sich in den Cluster ein, hier läuft nur ein Minimalsystem. Ein Rechner fungiert als "Vorzimmerdame" mit Platteninstallation und ist auch in den Cluster eingebunden - hier läuft dann die eigentliche Anwendung.
Getestet hab ich das Ding bisher mit zwei Clients bei mir zuhause. Als Testprozesse dienen httpd Forks die unsinnige php Scripte abarbeiten.
Das funktioniert problemlos. Ich denke mit mySQL dürfte die Sache ähnlich gut laufen.
Was z.B. nicht mehr geht ist portage, das bricht immer mit einer Fehlermeldung ab, nehme an hier kommt was mit der Abarbeitungs-Reihenfolge durcheinander.
Aber Anwendungen, die von Haus aus forken sind glaub ich mit openMosix gut bedient.
Bis auf ein paar wackler kam ich mit der gentoo Doku gut durch - Dokumentationen was geht und was nicht (und warum) such ich vergebens. Auch über Feintunig etc. hab ich noch nix gefunden.
Na ja, try and error
Greez _________________ Wenn sich jemand für die LPI Zertifizierung interessiert : http://www.lpiboard.de
Site is in German, but others are welcome! |
|
Back to top |
|
|
Deever Veteran
Joined: 06 Jul 2002 Posts: 1354 Location: Zürich / Switzerland
|
Posted: Tue Jul 20, 2004 11:05 pm Post subject: |
|
|
kressevadder wrote: | Als Testprozesse dienen httpd Forks die unsinnige php Scripte abarbeiten. |
Bist du sicher, daß die Prozesse überhaupt migriert werden? Apache arbeitet mit Shared Memory und ich glaube kaum, daß openmosix sowas migriert...
Quote: | Aber Anwendungen, die von Haus aus forken sind glaub ich mit openMosix gut bedient. |
Naja, die einzelnen Kinder müssen dann aber auch noch geeignet zusammen spielen!
MySQL würd ich IMHO eher auf Applikationsebene clustern.
Gruß,
/dev |
|
Back to top |
|
|
Rad Guru
Joined: 11 Feb 2004 Posts: 401 Location: Bern, Switzerland
|
Posted: Wed Jul 21, 2004 1:01 am Post subject: |
|
|
Openmosix braucht doch immer noch auf jeder Maschine im Cluster die selbe Kernelversion. Und ausserdem ist Openmosix bei der Lastbalance oftmals schlechter als ein simpler Roundrobin - Verteilserver...
Ich persönlich würde somit auch vorschlagen, auf Applikationsebene zu Clustern wo immer dies geht und ansonsten auf relativ simple Verteilerserver (z.B. die von LVS, PEN, EDDIE oder simples BIND) und ein passendes Netzwerkfilesystem (z.B. NFS, Coda, InterMezzo oder OpenAFS) zurückgreifen. FALLS dann wirklich eins von beiden während deinen Tests "problematisch" zu werden drohen würde, dann ist das wahrscheinlich ein Zeichen weniger Rechner einzusetzen und dafür die Leistung des einzelnen Rechners zu erhöhen. (Sun und die anderen Anbieter gestalten die ab gewisser Leistung eh' meist mit allen möglichen Extras für unterbrechungsfreien Betrieb; kein Problem wegen Failover!)
PS: Es ist nicht so, dass ich wahnsinnig viel Ahnung von Clustern oder deinem konkreten Problem hätte. Im Extremfall mag ja auch spezialisierte Software basteln lassen optimal sein, aber dann würd' ich wirklich deinen Job klauen (wollen)! |
|
Back to top |
|
|
aZZe l33t
Joined: 20 Feb 2003 Posts: 965 Location: Dinslaken, Germany
|
Posted: Wed Jul 21, 2004 6:44 am Post subject: |
|
|
Also Failover Cluster sind mit RAID Systemen zu vergleichen, die eine Ausfallsicherheit eines oder auch mehrerer Server garantieren. In den meisten Fällen ist auch ein Raid Array installiert. Das muss nicht unbedingt sein. Man kann es auch mittels rsync realisieren, nur wie das weiß ich noch nicht, soweit bin ich noch nicht. Eine andere Variante wäre ein Loadbalance Cluster. Simpel ausgedrückt sorgt diese Methode dafür, dass alle Server gleich ausgelastet sind. Beispiele wären hier http Server (Apache) oder Fileserver etc.
Openmosix ist vielleicht interessant nur wenn es wirklich nur auf gleichen Kernel Versionen läuft....na ja das wäre nicht so toll. Gibts noch Alternativen? _________________ ASUS 4A785TD-V EVO with AMD Phenom(tm) II X4 965
4GB RAM DDR3-1333
ATI Radeon HD4870 |
|
Back to top |
|
|
Teklord n00b
Joined: 23 Jun 2004 Posts: 21
|
Posted: Wed Jul 21, 2004 7:04 am Post subject: |
|
|
Hallo,
jatzt mal eine ganz blöde Anregung.
Wie wäre es damit:
http://bofh.be/clusterknoppix/
Hab am anfage etwas damit rumgespielt.
Oder muß es eine Installation sein?
Gruß
Teklord |
|
Back to top |
|
|
aZZe l33t
Joined: 20 Feb 2003 Posts: 965 Location: Dinslaken, Germany
|
Posted: Wed Jul 21, 2004 7:34 am Post subject: |
|
|
@Teklord
Es muss eine Installation werden. _________________ ASUS 4A785TD-V EVO with AMD Phenom(tm) II X4 965
4GB RAM DDR3-1333
ATI Radeon HD4870 |
|
Back to top |
|
|
dertobi123 Retired Dev
Joined: 19 Nov 2002 Posts: 2679 Location: Oberhausen, Germany
|
Posted: Wed Jul 21, 2004 7:49 am Post subject: |
|
|
Zunächst wäre mal interessant um welche(n) Dienst(e) es gehen soll. Danach kann dann über Software nachgedacht werden, die am zweckmäßigsten und sinnvollsten eingesetzt werden kann. |
|
Back to top |
|
|
aZZe l33t
Joined: 20 Feb 2003 Posts: 965 Location: Dinslaken, Germany
|
Posted: Wed Jul 21, 2004 8:33 am Post subject: |
|
|
Nun für den Anfang habe ich so an NFS gedacht, um sich erstmal mit der Materie vertraut zu machen. Wenn das dann läuft vielleicht eine http Datenbank mit Apache und mysql. _________________ ASUS 4A785TD-V EVO with AMD Phenom(tm) II X4 965
4GB RAM DDR3-1333
ATI Radeon HD4870 |
|
Back to top |
|
|
UTgamer Veteran
Joined: 10 Aug 2003 Posts: 1326 Location: Troisdorf (Köln) Deutschland
|
Posted: Wed Jul 21, 2004 8:57 am Post subject: |
|
|
(Mensch, 30 min bis es möglich ist einen Beitrag zu betreten oder posten, jetzt ist es mir bereits fast wieder entfallen)
Gut, ich hab früher beim Kunden häufiger Failback-Server aufgestellt, das lief so das ein Server ohne spezialisierte Dienste in einer Warteposition (Standby) nur die anderen Server alle 5 Sekunden pollte. Melde sich einer der überwachten nicht innerhalb von 32-120sec, fuhr er herunter und startete sich selbst als anderer Server mit den gleichen Diensten wie der ausgefallenen. Über einen eigenen Gigabit-Backbone versorgte er sich mit den Daten des Verlorenen aus den Datenbäncken. (Das war Netware).
Zwar hatte ich keine Cluster bei Netware, aber die Dienste werden wohl zusammen mit den Daten das wichtigste sein.
Deine Beschreibung deutet darauf hin das du also einen 2. Cluster Standby laufen lassen möchtest, der bei Ausfall die Dienste des Ersten startet.
Seltsam daran ist, das wenn eine Maschine in einem Cluster ausfällt, der Cluster doch die Aufgaben der Ausgefallenen automatisch übernimmt, warum einen ganzen Cluster Standby setzen?
Ich glaube du willst überhaupt nur EINEN Cluster aufsetzten, und das mit Freeware, also ohne etablierte Distries wie Red Hat, SuSE, etc ... oder Unixen.
Sorry, aber das ist Entwickler Stoff, rüberreich an Tobie.
Wieviele haben hier einen Linux-Cluster, selbst (Stichwort LFS) aufgesetzt, das würde mich interressieren?
Liebe Moderatoren,
es wäre schön wir hätten einen differenzierteren Bereich im deutschen Forum, die einen hätten gern einen Noob Bereich, ich schlage einen für den Rechenzentrumsbereich vor.
Vorschlag, wie wäre es das man seine Farben für einen Beitrag setzen kann?
Beispiel:
Vorhandenes Blau = Alltag
Gelb = Rechenzentrum
Pastellgrün für Noob-Fragen?
Jeder soll die sich selbst aussuchen dürfen, denn Rechenzentrumadmins sind ja auch mal privat. _________________ AMD Phenom II x4 >> CFLAGS="-march=amdfam10 -O2 -mmmx -msse3 -mfpmath=sse,387 -pipe -ffast-math" is stable and here in use.
Did Intel produce at any time bugfree HW?
http://www.urbanmyth.org/microcode/
http://www.heise.de/newsticker/meldung/91748 |
|
Back to top |
|
|
UTgamer Veteran
Joined: 10 Aug 2003 Posts: 1326 Location: Troisdorf (Köln) Deutschland
|
Posted: Wed Jul 21, 2004 9:04 am Post subject: |
|
|
darktemplaaa wrote: | Nun für den Anfang habe ich so an NFS gedacht, um sich erstmal mit der Materie vertraut zu machen. Wenn das dann läuft vielleicht eine http Datenbank mit Apache und mysql. |
NFS, wird nicht in datenkritischen Bereichen eingesetzt, da giebt es andere FS (AFS). Für welchen Zweck, und in welcher Umgebung soll das den sein.
Es klingt als wäre es eine Machbarkeitsstudie einer UNI.
[Edit]
Je nach Sicherheitsbereich wird der Datenschutzbeauftragte des Unternehmens NFS nicht genehmigen. Bei Produktionsinternas kann es aber doch genutzt werden. Bei Kundendaten nicht.
Datenschutz ist wichtig, sonst landet Linux bei stetiger Unterwanderung noch in der WindowsXP Klasse, und es steht in der Presse: Linux unsicher, Kundendaten frei zugänglich.
Ich möchte aber auch nicht sagen Gentoo kann das nicht _________________ AMD Phenom II x4 >> CFLAGS="-march=amdfam10 -O2 -mmmx -msse3 -mfpmath=sse,387 -pipe -ffast-math" is stable and here in use.
Did Intel produce at any time bugfree HW?
http://www.urbanmyth.org/microcode/
http://www.heise.de/newsticker/meldung/91748 |
|
Back to top |
|
|
hopfe Guru
Joined: 22 Oct 2002 Posts: 456 Location: Frankfurt Main oder Aachen
|
Posted: Wed Jul 21, 2004 9:40 am Post subject: |
|
|
Also wenn du MySql verwenden willst, solltest du mal einen Blick auf die Homepage von MySql werfen. mysql-Cluster |
|
Back to top |
|
|
leuenberger Tux's lil' helper
Joined: 13 Jul 2003 Posts: 147 Location: Zurich, ZH, Schweiz
|
Posted: Wed Jul 21, 2004 9:40 am Post subject: |
|
|
Wenn auf Deinem Cluster "nur" MySQL laufen soll, solltest Du Dir vielleicht mal den MySQL Cluster ansehen.
Gruss Reto |
|
Back to top |
|
|
hopfe Guru
Joined: 22 Oct 2002 Posts: 456 Location: Frankfurt Main oder Aachen
|
Posted: Wed Jul 21, 2004 9:41 am Post subject: |
|
|
@leuenberger
LööööL, zwei dumme ein Gedanke oder was? |
|
Back to top |
|
|
aZZe l33t
Joined: 20 Feb 2003 Posts: 965 Location: Dinslaken, Germany
|
Posted: Wed Jul 21, 2004 9:46 am Post subject: |
|
|
UTgamer wrote: |
NFS, wird nicht in datenkritischen Bereichen eingesetzt, da giebt es andere FS (AFS). Für welchen Zweck, und in welcher Umgebung soll das den sein.
Es klingt als wäre es eine Machbarkeitsstudie einer UNI.
|
Richtig es soll nur "ein" Cluster aufgesetzt werden und es ist auch kein Firmenauftrag, sondern so wie du es gesagt hast eine Machbarkeitsstudie. Nun hast du sicherlich Recht NFS ist vielleicht jetzt keine gute Lösung. Ich bin davon auch abgegangen, habe auch nochmal mit unserem Dozenten gesprochen und er meinte auch es wäre schöner einen http Cluster mittels Apache aufzusetzen. Also vergessen wir das mit dem NFS mal ganz schnell
Bleibt halt die Frage wie realisiere ich das am Besten mit OpenSource Software und Linux als Basis.....natürlich liebend gerne Gentoo?! _________________ ASUS 4A785TD-V EVO with AMD Phenom(tm) II X4 965
4GB RAM DDR3-1333
ATI Radeon HD4870 |
|
Back to top |
|
|
UTgamer Veteran
Joined: 10 Aug 2003 Posts: 1326 Location: Troisdorf (Köln) Deutschland
|
Posted: Wed Jul 21, 2004 10:10 am Post subject: |
|
|
Ich hatte Banken und Versicherungen als Kunden, und fast alle Projekte mussten mit den Datenschutzbeauftragten abgesprochen werden (sogar oft Test-Server).
Ich bin seitdem penibel was Datenschutz angeht, die eigentlichen Linuxinternas bin ich gerade selbst am erlernen, sorry soweit bin ich noch nicht
Und Gentoo finde ich dabei auch am besten _________________ AMD Phenom II x4 >> CFLAGS="-march=amdfam10 -O2 -mmmx -msse3 -mfpmath=sse,387 -pipe -ffast-math" is stable and here in use.
Did Intel produce at any time bugfree HW?
http://www.urbanmyth.org/microcode/
http://www.heise.de/newsticker/meldung/91748 |
|
Back to top |
|
|
aZZe l33t
Joined: 20 Feb 2003 Posts: 965 Location: Dinslaken, Germany
|
Posted: Wed Jul 21, 2004 10:51 am Post subject: |
|
|
@UTgamer
Hmmmm......du kannst den ganzen Cluster Kram, Datenschutz Security etc. und ich kann Linux....................wo wohnst du? *lol* _________________ ASUS 4A785TD-V EVO with AMD Phenom(tm) II X4 965
4GB RAM DDR3-1333
ATI Radeon HD4870 |
|
Back to top |
|
|
Silicoid Tux's lil' helper
Joined: 20 Jul 2004 Posts: 144 Location: Erde
|
Posted: Wed Jul 21, 2004 11:56 am Post subject: |
|
|
Du sagtest du willst einen http Cluster mittels Apache aufbauen.
Grundsätzlich gibts bei jedem Cluster das gleiche Problem:
Wenn ein Node ausfällt, wie kommt der zweite Node an die Daten:
1. Externes Plattensystem auf das beide Nodes zugriff haben
2. Sowas wie DRBD
3. Die Anwendung kann es selber
Als nächtes kommt die Frage ob du einen Aktiv-Passiv oder einen Aktiv-Aktiv Cluster aufsetzen willst.
Am Beispiel Apache mit mysql würde ein Aktiv-Aktiv z.B. so aussehen:
1. Node: Mysql auf externen Plattensystem
2. Node: Apache auf externen Plattensystem
Fällt Node 1 aus, mounted Node 2 das Mysql Filesystem von Node 1 und startet Mysql.
Fällt Node 2 aus, mounted Node 1 das Apache Filesystem von Node 2 und startet Apache.
Könnte z.B. über heartbeat realisiert werden.
Eine Sache bei exterenen Plattensystemen ist allerdings wichtig (DRDB fängt sowas glaub ich mehr oder weniger ab, hab es selbst noch nicht ausprobiert). Du mußt dir sicher sein, daß der andere Node weg ist. Wenn du ihn nur nicht erreichen kannst, wäre es tödlich die Platte des "ausgefallenen" Nodes zu mounten. 2 Rechner, die das gleiche FS mounten ist nicht gut. Hierfür gibts z.B. Powerswitche, die man übers Netz steuern kann. Bevor du also irgendwas anderes machst, solltest du den anderen Node ausschalten. Dann bist du sicher, daß er nichts mehr tut (Stichwort: Knoteneleminierung).
Noch ein Wort zu NFS: NFS ist vielleicht nicht das beste, was der "Markt" zu bieten hat, aber am besten verbreitet. Spätestens wenn du in einem Rechnerverbund verschiedene OS hast (Linux, Unix, Win) bleibt dir fast nichts anderes als NFS übrig.
Und noch was abschließendes: Ein Cluster sollte immer nach dem KISS Prinzip aufgebaut werden (Keep It Smiling Simple). Je komplizierter ein Cluster wird, desto größer ist die wahrscheinlichkeit, daß er schaltet, obwohl er nicht müßte, oder das beim schalten etwas nicht klappt. |
|
Back to top |
|
|
py-ro Veteran
Joined: 24 Sep 2002 Posts: 1734 Location: Velbert
|
Posted: Wed Jul 21, 2004 12:19 pm Post subject: |
|
|
Bei NFS auf externen FS bitte die Verwalutngsinformationen mit auf das Laufwerk legen, am besten oberhalb des Shares, dann kann der 2. Node reibungslos übernehmen, ansonsten bekommen alle Clients einen Timout oder schlimeres, weil der neue Node sie nichtb dran lässt (weil er weiss ja nichts über die Verbindung)
Als externe Laufwerke eignen sich IEE1394 LW hervorragend.
MfG
Py |
|
Back to top |
|
|
pixelcatcher n00b
Joined: 31 Jan 2004 Posts: 60 Location: Stuttgart
|
Posted: Wed Jul 21, 2004 12:34 pm Post subject: *meld* |
|
|
moin!
ich habe als Projektarbeit auch mal ein 2Node Hochverfügbarkeitscluster gebastelt.
Das waren 2 übliche Desktop Rechner mit je 2xDualchannel NIC und je 2xsingle channel scsi und 4 geshareten scsi platten. Als dienst liefen lediglich apache und mysql.
Zur überwachung der Dienste habe ich "mon" eingesetzt. Als Clustersoftware "linux-ha". Das ganze hat prinzipiell sehr gut funtkioniert. Einige Szenarien waren nicht abgedeckt, aber das wäre mit etwas Zeitaufwand noch drin gewesen.
So viel mal zur Ultra-Kurz-Version
Mehr infos geb ich auf Anfrage gern raus!
Micha _________________ www.pixelcatcher.de |
|
Back to top |
|
|
UTgamer Veteran
Joined: 10 Aug 2003 Posts: 1326 Location: Troisdorf (Köln) Deutschland
|
|
Back to top |
|
|
aZZe l33t
Joined: 20 Feb 2003 Posts: 965 Location: Dinslaken, Germany
|
Posted: Wed Jul 21, 2004 1:06 pm Post subject: |
|
|
Super vielen Dank euch allen! Da werd ich erst mal was zu tun haben _________________ ASUS 4A785TD-V EVO with AMD Phenom(tm) II X4 965
4GB RAM DDR3-1333
ATI Radeon HD4870 |
|
Back to top |
|
|
|