Migrationsstrategie vom alten QNAP TS-412 zum GlusterFS

Nachdem ich jetzt mehrere Wochen mit dem GlusterFS rumgespielt habe, und auch reichlich Erkenntnise sammeln konte; wird es Zeit die Daten von meinem alten QNAP TS-412 zum GlusterFS zu verschieben.

Das klingt auf den ersten Moment sehr einfach, ist aber durch einige Randbedingungen nicht ganz so trivial, wie es klingt.

Vorraussetzungen/Bedarfsbeschreibung:

  • im QNAP stecken 4x 4TB HDD, die sollen im GlusterFS zum Einsatz kommen
  • ich habe nicht beliebig viel Geld, will also nur gerade soviel hinzu kaufen, wie umbedingt notwendig. 😉
  • die neue Speicherkapazität soll 7x 4TB sein
  • ich spendiere zwei spare HDDs

Sehen wir uns den bisherigen QNAP TS-412 im Detail an.

Ausgangssituation, die bisherige Datensenke

Das Zielbild im GlusterFS soll wie folgt sein.

Zielbild der neuen Datensenke

In meinem selbstgebauten GlusterFS Chassis sollen zukünftig 9 active Nodes stecken und ein spare Node (Brick), für den Fall das ich mal einen defekten Node durchtauschen muss. Die oben rechts hell grau hinterlegten Nodes sollen die beiden redundanten Nodes darstellen, ist nur zur Visualisierung (im GlusterFS kann und will man, in dem von mir angestgrebten Dispersed-Modus, die Funktion nicht direkt pro Node festlegen). Diese beiden Nodes müssen von vorherein also immer anwesend sein. Der Spare Brick kommt später, wenn der ganze GlusterFS läuft und dient nur als Cold-Spare, sollte einer der Nodes die Grätsche machen.

Jetzt kommt die erste Tücke eines GlusterFS im Dispersed-Modus: die Anzahl der Nodes ist nicht Veränderbar! Ich kann also nicht zur Laufzeit von 7 dispersed Nodes und 2 redundand Nodes auf sagen wir 10 dispersed Nodes und 2 redundand Nodes skalieren. Was geht ist, dass man neben einen dispersed GlusterFS einen weiteren (baugleichen) GlusterFS stellt und daraus einen Distributed Dispersed macht, aber die Gedanken an solches Konstrukt sind mir noch zu weit in der Ferne.. 🙂

Was wiederum geht, ist die HDDs in einem Dispered GlusterFS zu vergrössern, wobei immer die kleinste HDD die Menge des zur Verfügung stehenden Speichers angibt. Also in einem GlusterFS mit 7 x 4TB HDD dispersed + 2 x 4TB HDD replicated errechnet sich der Speicher nach den dispersed Nodes, entsprechend 7 x 4TB = 28TB.

Jetzt zeigt sich mein Dilemma, theoretisch bräuchte ich neben den 9 x Odroid-HC2 ja nur 5 x 4TB HDDs kaufen, um die Ziel Bestückung zu erhalten. Doch wohin in der Phase des Umbaus mit den Daten?

Da es ist unwarscheinlich ist, dass ich diese HDDS für die Dauer von 1-2 Monaten kostenlos geliehen bekomme, muss ich mich diesem Problem anders nähern…

Zum Glück habe ich aus der vorherigen Bestückung des QNAP TS-412 noch 4 x 2TB HDD rumliegen. Fand diese immer für zu schade zum Wegwerfen, haben ja auch mal Geld gekostet!! Daraus ergibt sich folgende Option zu Bestückung.

Schritt 1 des neuen GlusterFS

Für den ersten Schritt benötige ich also 9 x Odroid-HC2 (zu je ~65€ = 585€) und zusätzlich 5 x 4 TB HDDs (zu je ~190€ = 950€). Zusammen nicht ganz billig die Datensenke, aber dafür sollte die nächste Jahre/Jahrzehnte ruhe sein bei der Frage, wohin mit den ganzen Filmen aus den Mediatheken der öffentlich rechtlichen Fernsehsender.

Zurück zu meinem Dilemma. Mit der Bestückung des GlusterFS in Schritt 1 mit den alten 2TB HDDs ist die Speicherkapazität also 7 x 2TB = 14TB

Also genau 2TB kleiner das was ich benötige… knurr…

Und hier geht der Eiertanz dann auch los.

Ich kann also nachdem ich Schritt 1 aufgesetzt habe die Daten von JBOD1 oder JBOD2 im ganzen von alt nach neu verschieben. Nehmen wir jetzt einfach mal JBOD2 und verschieben dann die Daten auf der GlusterFS.

Dann sollte nach dem Kopieren der Daten, von der initial zur Verfügung gestandenen Speicherkapazität 14TB – 8TB = 6TB, also noch 6TB vorhanden sein. Ich kann dann also JBOD2 auflösen und die HDD3 und HDD4 aus dem QNAP TS-412 ziehen, platt machen und durch diese beiden gebrauchten 4TB HDDs den Gluster ein Stück umbauen – also folgendes Szenario ist das Ziel für Schritt 2.

Schritt 2, nach dem Auflösen von JBOD2

Durch das Verschieben der zwei HDDs sind jetzt zwei kleine HDDs frei geworden, also 2 x 2TB HDDs. Diese brauchen wir im nächsten Datenverschiebezyklus.

Jetzt sind in JBOD1 noch bummelig 8TB auf 6TB unter zu bringen, was natürlich nicht geht..

Die Krux aus dieser Situation ist, dass ich 6 TB auf das GlusterFS kopiere und die verbleibenden 2TB auf eine der beiden übrig gebliebenen 2 TB HDDs. Wenn dann die letzten beiden 4TB HDDs in der QNAP TS-412 frei sind, kommt Schritt 3 des Umbaus.

Zielzustand ist erreicht

Nachdem 3 Umbau ist der Zielzustand erreicht und die Daten von der übrig gebliebenen 2TB HDD werden auch auf das GlusterFS kopiert.

…Tadaa…

Soweit zu meiner Planung – ob es klappt, ich werde berichten.

Das könnte dich auch interessieren …

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert