Migrationsstrategie vom alten QNAP TS-412 zum GlusterFS

Nachdem ich jetzt mehrere Wochen mit dem GlusterFS rumgespielt habe, und auch reichlich Erkenntnise sammeln konte; wird es Zeit die Daten von meinem alten QNAP TS-412 zum GlusterFS zu verschieben.

Das klingt auf den ersten Moment sehr einfach, ist aber durch einige Randbedingungen nicht ganz so trivial, wie es klingt.

Vorraussetzungen/Bedarfsbeschreibung:

  • im QNAP stecken 4x 4TB HDD, die sollen im GlusterFS zum Einsatz kommen
  • ich habe nicht beliebig viel Geld, will also nur gerade soviel hinzu kaufen, wie umbedingt notwendig. 😉
  • die neue SpeicherkapazitĂ€t soll 7x 4TB sein
  • ich spendiere zwei spare HDDs

Sehen wir uns den bisherigen QNAP TS-412 im Detail an.

Ausgangssituation, die bisherige Datensenke

Das Zielbild im GlusterFS soll wie folgt sein.

Zielbild der neuen Datensenke

In meinem selbstgebauten GlusterFS Chassis sollen zukĂŒnftig 9 active Nodes stecken und ein spare Node (Brick), fĂŒr den Fall das ich mal einen defekten Node durchtauschen muss. Die oben rechts hell grau hinterlegten Nodes sollen die beiden redundanten Nodes darstellen, ist nur zur Visualisierung (im GlusterFS kann und will man, in dem von mir angestgrebten Dispersed-Modus, die Funktion nicht direkt pro Node festlegen). Diese beiden Nodes mĂŒssen von vorherein also immer anwesend sein. Der Spare Brick kommt spĂ€ter, wenn der ganze GlusterFS lĂ€uft und dient nur als Cold-Spare, sollte einer der Nodes die GrĂ€tsche machen.

Jetzt kommt die erste TĂŒcke eines GlusterFS im Dispersed-Modus: die Anzahl der Nodes ist nicht VerĂ€nderbar! Ich kann also nicht zur Laufzeit von 7 dispersed Nodes und 2 redundand Nodes auf sagen wir 10 dispersed Nodes und 2 redundand Nodes skalieren. Was geht ist, dass man neben einen dispersed GlusterFS einen weiteren (baugleichen) GlusterFS stellt und daraus einen Distributed Dispersed macht, aber die Gedanken an solches Konstrukt sind mir noch zu weit in der Ferne.. 🙂

Was wiederum geht, ist die HDDs in einem Dispered GlusterFS zu vergrössern, wobei immer die kleinste HDD die Menge des zur VerfĂŒgung stehenden Speichers angibt. Also in einem GlusterFS mit 7 x 4TB HDD dispersed + 2 x 4TB HDD replicated errechnet sich der Speicher nach den dispersed Nodes, entsprechend 7 x 4TB = 28TB.

Jetzt zeigt sich mein Dilemma, theoretisch brĂ€uchte ich neben den 9 x Odroid-HC2 ja nur 5 x 4TB HDDs kaufen, um die Ziel BestĂŒckung zu erhalten. Doch wohin in der Phase des Umbaus mit den Daten?

Da es ist unwarscheinlich ist, dass ich diese HDDS fĂŒr die Dauer von 1-2 Monaten kostenlos geliehen bekomme, muss ich mich diesem Problem anders nĂ€hern…

Zum GlĂŒck habe ich aus der vorherigen BestĂŒckung des QNAP TS-412 noch 4 x 2TB HDD rumliegen. Fand diese immer fĂŒr zu schade zum Wegwerfen, haben ja auch mal Geld gekostet!! Daraus ergibt sich folgende Option zu BestĂŒckung.

Schritt 1 des neuen GlusterFS

FĂŒr den ersten Schritt benötige ich also 9 x Odroid-HC2 (zu je ~65€ = 585€) und zusĂ€tzlich 5 x 4 TB HDDs (zu je ~190€ = 950€). Zusammen nicht ganz billig die Datensenke, aber dafĂŒr sollte die nĂ€chste Jahre/Jahrzehnte ruhe sein bei der Frage, wohin mit den ganzen Filmen aus den Mediatheken der öffentlich rechtlichen Fernsehsender.

ZurĂŒck zu meinem Dilemma. Mit der BestĂŒckung des GlusterFS in Schritt 1 mit den alten 2TB HDDs ist die SpeicherkapazitĂ€t also 7 x 2TB = 14TB

Also genau 2TB kleiner das was ich benötige… knurr…

Und hier geht der Eiertanz dann auch los.

Ich kann also nachdem ich Schritt 1 aufgesetzt habe die Daten von JBOD1 oder JBOD2 im ganzen von alt nach neu verschieben. Nehmen wir jetzt einfach mal JBOD2 und verschieben dann die Daten auf der GlusterFS.

Dann sollte nach dem Kopieren der Daten, von der initial zur VerfĂŒgung gestandenen SpeicherkapazitĂ€t 14TB – 8TB = 6TB, also noch 6TB vorhanden sein. Ich kann dann also JBOD2 auflösen und die HDD3 und HDD4 aus dem QNAP TS-412 ziehen, platt machen und durch diese beiden gebrauchten 4TB HDDs den Gluster ein StĂŒck umbauen – also folgendes Szenario ist das Ziel fĂŒr Schritt 2.

Schritt 2, nach dem Auflösen von JBOD2

Durch das Verschieben der zwei HDDs sind jetzt zwei kleine HDDs frei geworden, also 2 x 2TB HDDs. Diese brauchen wir im nÀchsten Datenverschiebezyklus.

Jetzt sind in JBOD1 noch bummelig 8TB auf 6TB unter zu bringen, was natĂŒrlich nicht geht..

Die Krux aus dieser Situation ist, dass ich 6 TB auf das GlusterFS kopiere und die verbleibenden 2TB auf eine der beiden ĂŒbrig gebliebenen 2 TB HDDs. Wenn dann die letzten beiden 4TB HDDs in der QNAP TS-412 frei sind, kommt Schritt 3 des Umbaus.

Zielzustand ist erreicht

Nachdem 3 Umbau ist der Zielzustand erreicht und die Daten von der ĂŒbrig gebliebenen 2TB HDD werden auch auf das GlusterFS kopiert.

…Tadaa…

Soweit zu meiner Planung – ob es klappt, ich werde berichten.

Schreibe einen Kommentar