[gelöst] RAID6 taucht nach Reboot als /dev/md127 auf

Jimini · l33t Joined: 31 Oct 2006 Posts: 608 Location: Germany

Aloha,
eins vorab: ja, ich habe die letzten Tage ausgiebig gegoogelt, Howtos gelesen und mich durch Foren gequält, ohne, dass ich bisher zu einer Lösung gelangt wäre - auch wenn das Problem scheinbar recht verbreitet ist.

Das System beinhaltet folgende Arrays:

slick · Bodhisattva Joined: 20 Apr 2003 Posts: 3495

Ich hatte das auch schonmal mit dem /dev/md127 und habe es gelöst. Ich kann mich aber leider nicht mehr genau daran erinnern was das Problem war und kann daher nur noch mutmaßen.

Hast du die Raids mittels Boot-CD angelegt? Ich meine wenn man (zu verschiedenen Zeitpunkten) mehrere mit der gleichen Nummer anlegt und die beim Booten per Autodetect gestartet werden rutscht dann die doppelte Nummer auf 127 usw. Gab es schonmal ein anderes md8 was jetzt evt. durch den Autodetect zu einer anderen Nummer geworden ist? Ich bin mir ziemlich sicher es hing mit der Reihenfolge der Erstellung zusammen.

Du kannst mal versuchen es nach dem Start wieder zu stoppen und es via

(aus dem Kopf geschrieben, ohne Gewähr)

Jimini · l33t Joined: 31 Oct 2006 Posts: 608 Location: Germany

Ich habe zunächst das RAID1 eingerichtet, auf dem das System läuft. Das RAID6 ist nur für NFS-Freigaben da. Es gab vorher definitiv kein md8. Ich bin mir jetzt nicht sicher, ob ich vor dem erstmaligen Erstellen des RAID6 von Hand den Device Node md8 angelegt habe. Um das auszuschließen habe ich gestern die Superblocks des Arrays genullt und das Array neu erstellt, nachdem ich md8 erstellt hatte.

Wenn ich das Array stoppe und von Hand als md8 starte, läuft es natürlich auch als /dev/md8. Natürlich gäbe es die Möglichkeit, sowas mit einem Eintrag in der /etc/conf.d/local.start zu machen, aber dann müsste ich noch das Mounten und das Starten von nfs da reinpacken, was ziemlich unschön wäre.

Schade ist halt, dass ich, wie es scheint, auf die mdadm.conf verzichten muss, sonst wäre das alles ja kein Thema.

MfG Jimini
_________________
"The most merciful thing in the world, I think, is the inability of the human mind to correlate all its contents." (H.P. Lovecraft: The Call of Cthulhu)

schmutzfinger · Posted: Tue Apr 05, 2011 5:01 pm Post subject:

Man kann dem kern beim booten sagen welche arrays man erstellen will. Das sollte dein Problem lösen aber ist vielleicht nicht wirklich schön wenn die Information doch eigentlich automatisch erkannt werden sollte. Ich habe das bei mir für mein root-raid drinne.
Probier mal sowas in dieser Art als Kernel-Parameter zu übergeben.

Jimini · l33t Joined: 31 Oct 2006 Posts: 608 Location: Germany

Ich habe die entsprechende Zeile in der grub.conf wie folgt verändert:

Poison Nuke · n00b Joined: 06 Apr 2011 Posts: 6

und ich dachte schon ich sei der einzige mit dem Problem, dass einfach die ganzen Arrays aufeinmal in md127 usw umbenannt werden.

bei mir ist es die SysresCD (Kernel 2.6.35-std201-amd64), sobald ich diese auf einem System starte, sind ALLE Arrays die vorher md0 und md1 usw hießen, aufeinmal md127, md126 usw. Natürlich sehr ungünstig, weil oftmals sind die Arrays nicht über UUID in der fstab.

hängt es vllt damit zusammen, dass die aktuelle Version von mdadm den Superblock Version 1.2 und nicht 0.9 verwendet?
_________________
greetz

Poison Nuke

Jimini · l33t Joined: 31 Oct 2006 Posts: 608 Location: Germany

Das hängt - vermute ich mal - mit der Art des Arrays zusammen. Mein RAID1 verwendet 0.90.00, das RAID6 hingegen 1.2.

MfG Jimini
_________________
"The most merciful thing in the world, I think, is the inability of the human mind to correlate all its contents." (H.P. Lovecraft: The Call of Cthulhu)

Poison Nuke · n00b Joined: 06 Apr 2011 Posts: 6

die bei mir zum Einsatz kommenden RAID1 haben auch 0.90 und werden trotzdem beim hochfahren der LiveCD zu md127 umbenannt :cry:

_________________
greetz

Poison Nuke

Jimini · l33t Joined: 31 Oct 2006 Posts: 608 Location: Germany

Ich habe mich jetzt entschieden, wie folgt vorzugehen:
- erneutes Erstellen des RAID6, allerdings ohne den Partitionstyp "linux raid autodetect"
- das Eintragen des Arrays in die mdadm.conf

Bisher hielt mich vom Nutzen der mdadm.conf ein Fehler beim Shutdown ab, laut dem /dev/md1 nicht gestoppt werden konnte (worauf / liegt). Laut Neil Brown (Quote) ist das aber ziemlich egal, da der Kernel während des Shutdowns alles ro remountet, was einem Stoppen des Arrays gleichkommt.
Die RAID1-Arrays werden beim Booten dann weiterhin vom Kernel gestartet, während das RAID6 von mdadm zusammengesetzt wird. Das Ding synct gerade, in knapp 8 Stunden weiß ich dann mehr.

Allerdings wird nach Aussage von NeddySeagoon das Starten von Arrays durch den Kernel wohl eines Tages nicht mehr unterstützt werden, wenn ich ihn richtig verstanden habe. Was bedeuten würde, dass der ganze Kram in eine initrd wandern wird, sofern man das System auf dem Array liegen hat.

@ Poison Nuke: was sagt denn ein mdadm -E /dev/sd* | grep 'Preferred Minor'?

MfG Jimini

Nachtrag: ich habe auf den beim RAID6 beteiligten Festplatten jetzt mal gar keine Partitionen erstellt - das eigentlich auch funktionieren. Nur zeigt mir /proc/mdstat jetzt eine Resync-Restdauer von gut 1000 Minuten ab.....hurra. ;)
_________________
"The most merciful thing in the world, I think, is the inability of the human mind to correlate all its contents." (H.P. Lovecraft: The Call of Cthulhu)

Poison Nuke · n00b Joined: 06 Apr 2011 Posts: 6

sehr eigenartig, das eine ist 0, das andere 126 und das dritte 2 bei Prefrerred minor

jetzt verstehe ich gar nix mehr.

edit: warum eigentlich Raid6 in Software? Das ist doch viel zu Rechenlastig und habe auch nicht wirklich Vertrauen in die Stabilität wenn ich ehrlich bin, da hab ich lieber einen schönen 3ware Controller. Bei sovielen Platten macht der den Preis nun auch nicht wirklich fett
_________________
greetz

Poison Nuke

Jimini · l33t Joined: 31 Oct 2006 Posts: 608 Location: Germany

Poison Nuke · n00b Joined: 06 Apr 2011 Posts: 6

naja, aber jedesmal das Array reassemblen ist ja auch nicht Sinn, ich hab ein paar mehr Server wo meist ein RAID1 läuft und sobald man dann die aktuelle SysresCD bootet kommt dann alles durcheinander, und da man an einigen Stellen nicht mit UUIDs arbeiten kann, ist das immer recht viel Fummelei.

Wäre irgendwie schöner wenn man die Ursache herausfinden könnte, um zu verhindern dass es überhaupt erst passiert.
_________________
greetz

Poison Nuke

Jimini · l33t Joined: 31 Oct 2006 Posts: 608 Location: Germany

Wenn es dir weiterhilft, kann ich später mal meinen alten Fileserver mit der SysResc-CD booten. Dort laufen ein paar gespiegelte Arrays, das Setup ist deinem also recht ähnlich.

MfG Jimini
_________________
"The most merciful thing in the world, I think, is the inability of the human mind to correlate all its contents." (H.P. Lovecraft: The Call of Cthulhu)

root_tux_linux · l33t Joined: 21 Dec 2003 Posts: 966

Das hatten wir schon mal, einfach den Superblock updaten.

Jimini · l33t Joined: 31 Oct 2006 Posts: 608 Location: Germany

Jimini · l33t Joined: 31 Oct 2006 Posts: 608 Location: Germany

@ Poison Nuke: hilft dir dieses Posting weiter?

Ich weiß nicht, woran es liegt, aber das Array scheint jetzt korrekt als md8 gestartet zu werden, auch über mehrere Reboots hinweg.
Die beteiligten Festplatten sind nicht formatiert, das Array ist in der /etc/mdadm.conf eingetragen, zusätzlich habe ich die grub.conf um einen entsprechenden Parameter ergänzt. Ich hoffe, dass das jetzt wirklich dauerhaft funktioniert und nicht dann urplötzlich Probleme auftreten, wenn das Array mit den Daten des alten Fileservers gefüttert wurde.

MfG Jimini
_________________
"The most merciful thing in the world, I think, is the inability of the human mind to correlate all its contents." (H.P. Lovecraft: The Call of Cthulhu)

Poison Nuke · n00b Joined: 06 Apr 2011 Posts: 6

Jimini · l33t Joined: 31 Oct 2006 Posts: 608 Location: Germany

Der Grund ist wahrscheinlich der, dass, sobald das Array in einem (laut Hostnamen) anderen System gestartet wird, es einen freien Device Node sucht, um nicht möglicherweise vorhandene Arrays zu stören. Zudem erleichtert diese "Markierung" irgendwo sicherlich auch die Identifizierung und Zuordnung von Arrays.

MfG Jimini
_________________
"The most merciful thing in the world, I think, is the inability of the human mind to correlate all its contents." (H.P. Lovecraft: The Call of Cthulhu)

Jimini · l33t Joined: 31 Oct 2006 Posts: 608 Location: Germany

schmutzfinger · Posted: Sat Apr 09, 2011 2:21 pm Post subject:

Ich habe jetzt nicht alles gelesen aber will trotzdem nochmal meinen Senf dazugeben. Mein Desktop hat / auf dem Raid1. Wie sich dieses Array zusammensetzt und dass es md0 sein soll steht in meiner Bootloader-Config als Kernel-Parameter. Zusätzlich stehen alle Arrays (inklusive /) in der mdadm.conf. Das mdadm init-script von gentoo bringt beim reboot oder shutdown einen Fehler weil es das / Array nicht stoppen kann. Aber das ist wie schon gesagt kein Problem und kann ignoriert werden. Alle anderen Arrays werden ordentlich angehalten. Der Partitionstyp ist bei allen meinen Arrays linux-raid-autodetect.

Hier noch ein paar Vermutungen:

Ich vermute mal, dass man dem Kern das autodetect per Parameter abgewöhnen kann. Damit hättest du den Partitionstyp so lassen koennen und die mdadm.conf benutzen koennen. Dann muss aber natuerlich das / Array auch mit Kernelparametern beschrieben werden.

Vielleicht hat die mdadm.conf auch Vorrang über autodetect und sorgt dafür, dass ein falsch erkanntes Array entsprechend der config zusammengesetzt wird. Ich würde sogar vermuten, dass die Array-Nummer garnicht per autodetect erkannt wird. Seid ihr euch sicher, dass die Information in den Metadaten drinne steckt?

Und dann hätte ich noch udev im Verdacht. Vielleicht erkennt der Kern das schon alles richtig und es gibt ne udev-Regel, die das Array umbenennt.

schmutzfinger · Posted: Sat Apr 09, 2011 2:32 pm Post subject:

Wie schon vermutet kann man das autodetect abschalten, siehe dazu file:///usr/src/linux/Documentation/md.txt. Dort steht auch das sysfs-Interface ausführlich beschrieben. Vielleicht findet sich ja da eine Lösung für das Problem.

Jimini · l33t Joined: 31 Oct 2006 Posts: 608 Location: Germany

Vielen Dank für deine Erläuterungen. Ich bin in der Zwickmühle, dass ich CONFIG_MD_AUTODETECT nutzen muss, da das System selbst auf 6 Mirroring-Arrays (RAID1) liegt. Und der Kernel baut darüber hinaus auch das RAID6 zusammen, egal ob ich Partitionen erstellt habe und wenn, ob diese vom Typ "Linux" oder "Linux RAID Autodetect" sind. Ich habe zuletzt alle sechs Festplatten mittels dd "genullt" und dann das Array noch einmal erstellt - ohne Erfolg. Dann aber entweder als md127 oder verteilt auf md126 UND md127:

Jimini · l33t Joined: 31 Oct 2006 Posts: 608 Location: Germany

Ich habe das Problem gestern endlich dadurch lösen können, dass ich eine initrd gebaut habe, welche alle Arrays startet. Auch wenn es letztendlich mehr Aufwand war als beispielsweise das Assemblen dem Kernel zu überlassen - die Mühe hat sich definitiv gelohnt. Die Vorgehensweise ist in diesem Thread beschrieben.

Danke an alle Vorschläge und Anregungen!

MfG Jimini
_________________
"The most merciful thing in the world, I think, is the inability of the human mind to correlate all its contents." (H.P. Lovecraft: The Call of Cthulhu)