{"id":1215,"date":"2019-04-17T14:48:14","date_gmt":"2019-04-17T13:48:14","guid":{"rendered":"http:\/\/www.fotoandnet.de\/wp\/?p=1215"},"modified":"2019-04-17T18:00:07","modified_gmt":"2019-04-17T17:00:07","slug":"migrationsstrategie-vom-qnap-ts-412-zum-glusterfs","status":"publish","type":"post","link":"http:\/\/www.fotoandnet.de\/wp\/?p=1215","title":{"rendered":"Migrationsstrategie vom alten QNAP TS-412 zum GlusterFS"},"content":{"rendered":"\n<p>Nachdem ich jetzt mehrere Wochen mit dem GlusterFS rumgespielt habe, und auch reichlich Erkenntnise sammeln konte; wird es Zeit die Daten von meinem alten QNAP TS-412 zum GlusterFS zu verschieben.<\/p>\n\n\n\n<p>Das klingt auf den ersten Moment sehr einfach, ist aber durch einige Randbedingungen nicht ganz so trivial, wie es klingt.<\/p>\n\n\n\n<p>Vorraussetzungen\/Bedarfsbeschreibung: <\/p>\n\n\n\n<ul class=\"wp-block-list\"><li>im QNAP stecken 4x 4TB HDD, die sollen im GlusterFS zum Einsatz kommen<\/li><li>ich habe nicht beliebig viel Geld, will also nur gerade soviel hinzu kaufen, wie umbedingt notwendig. \ud83d\ude09<\/li><li>die neue Speicherkapazit\u00e4t soll 7x 4TB sein<\/li><li>ich spendiere zwei spare HDDs<\/li><\/ul>\n\n\n\n<p>Sehen wir uns den bisherigen QNAP TS-412 im Detail an.<\/p>\n\n\n\n<figure class=\"wp-block-image\"><img loading=\"lazy\" decoding=\"async\" width=\"1024\" height=\"576\" src=\"http:\/\/www.fotoandnet.de\/wp\/wp-content\/uploads\/2019\/04\/qnap_ts-412-1024x576.jpg\" alt=\"\" class=\"wp-image-1219\" srcset=\"http:\/\/www.fotoandnet.de\/wp\/wp-content\/uploads\/2019\/04\/qnap_ts-412-1024x576.jpg 1024w, http:\/\/www.fotoandnet.de\/wp\/wp-content\/uploads\/2019\/04\/qnap_ts-412-300x169.jpg 300w, http:\/\/www.fotoandnet.de\/wp\/wp-content\/uploads\/2019\/04\/qnap_ts-412-768x432.jpg 768w, http:\/\/www.fotoandnet.de\/wp\/wp-content\/uploads\/2019\/04\/qnap_ts-412.jpg 1058w\" sizes=\"auto, (max-width: 1024px) 100vw, 1024px\" \/><figcaption>Ausgangssituation, die bisherige Datensenke<\/figcaption><\/figure>\n\n\n\n<p>Das Zielbild im GlusterFS soll wie folgt sein.<\/p>\n\n\n\n<figure class=\"wp-block-image\"><img loading=\"lazy\" decoding=\"async\" width=\"1024\" height=\"576\" src=\"http:\/\/www.fotoandnet.de\/wp\/wp-content\/uploads\/2019\/04\/glusterfs-1024x576.jpg\" alt=\"\" class=\"wp-image-1222\" srcset=\"http:\/\/www.fotoandnet.de\/wp\/wp-content\/uploads\/2019\/04\/glusterfs-1024x576.jpg 1024w, http:\/\/www.fotoandnet.de\/wp\/wp-content\/uploads\/2019\/04\/glusterfs-300x169.jpg 300w, http:\/\/www.fotoandnet.de\/wp\/wp-content\/uploads\/2019\/04\/glusterfs-768x432.jpg 768w, http:\/\/www.fotoandnet.de\/wp\/wp-content\/uploads\/2019\/04\/glusterfs.jpg 1058w\" sizes=\"auto, (max-width: 1024px) 100vw, 1024px\" \/><figcaption>Zielbild der neuen Datensenke<\/figcaption><\/figure>\n\n\n\n<p>In meinem selbstgebauten GlusterFS Chassis sollen zuk\u00fcnftig 9 active Nodes stecken und ein spare Node (Brick), f\u00fcr den Fall das ich mal einen defekten Node durchtauschen muss. Die oben rechts hell grau hinterlegten Nodes sollen die beiden redundanten Nodes darstellen, ist nur zur Visualisierung (im GlusterFS kann und will man, in dem von mir angestgrebten Dispersed-Modus, die Funktion nicht direkt pro Node festlegen). Diese beiden Nodes m\u00fcssen von vorherein also immer anwesend sein. Der Spare Brick kommt sp\u00e4ter, wenn der ganze GlusterFS l\u00e4uft und dient nur als Cold-Spare, sollte einer der Nodes die Gr\u00e4tsche machen.<\/p>\n\n\n\n<p>Jetzt kommt die erste T\u00fccke eines GlusterFS im Dispersed-Modus: die Anzahl der Nodes ist nicht Ver\u00e4nderbar! Ich kann also nicht zur Laufzeit von 7 dispersed Nodes und 2 redundand Nodes auf sagen wir 10 dispersed Nodes und 2 redundand Nodes skalieren. Was geht ist, dass man neben einen dispersed GlusterFS einen weiteren (baugleichen) GlusterFS stellt und daraus einen Distributed Dispersed macht, aber die Gedanken an solches Konstrukt sind mir noch zu weit in der Ferne.. \ud83d\ude42<\/p>\n\n\n\n<p>Was wiederum geht, ist die HDDs in einem Dispered GlusterFS zu vergr\u00f6ssern, wobei immer die kleinste HDD die Menge des zur Verf\u00fcgung stehenden Speichers angibt. Also in einem GlusterFS mit 7 x 4TB HDD dispersed + 2 x 4TB HDD replicated errechnet sich der Speicher nach den dispersed Nodes, entsprechend 7 x 4TB = 28TB. <\/p>\n\n\n\n<p>Jetzt zeigt sich mein Dilemma, theoretisch br\u00e4uchte ich neben den 9 x Odroid-HC2 ja nur 5 x 4TB HDDs kaufen, um die Ziel Best\u00fcckung zu erhalten. Doch wohin in der Phase des Umbaus mit den Daten?<\/p>\n\n\n\n<p>Da es ist unwarscheinlich ist, dass ich diese HDDS f\u00fcr die Dauer von 1-2 Monaten kostenlos geliehen bekomme, muss ich mich diesem Problem anders n\u00e4hern&#8230;<\/p>\n\n\n\n<p>Zum Gl\u00fcck habe ich aus der vorherigen Best\u00fcckung des QNAP TS-412 noch 4 x 2TB HDD rumliegen. Fand diese immer f\u00fcr zu schade zum Wegwerfen, haben ja auch mal Geld gekostet!! Daraus ergibt sich folgende Option zu Best\u00fcckung.<\/p>\n\n\n\n<figure class=\"wp-block-image\"><img loading=\"lazy\" decoding=\"async\" width=\"1024\" height=\"576\" src=\"http:\/\/www.fotoandnet.de\/wp\/wp-content\/uploads\/2019\/04\/step_1-1024x576.jpg\" alt=\"\" class=\"wp-image-1228\" srcset=\"http:\/\/www.fotoandnet.de\/wp\/wp-content\/uploads\/2019\/04\/step_1-1024x576.jpg 1024w, http:\/\/www.fotoandnet.de\/wp\/wp-content\/uploads\/2019\/04\/step_1-300x169.jpg 300w, http:\/\/www.fotoandnet.de\/wp\/wp-content\/uploads\/2019\/04\/step_1-768x432.jpg 768w, http:\/\/www.fotoandnet.de\/wp\/wp-content\/uploads\/2019\/04\/step_1.jpg 1058w\" sizes=\"auto, (max-width: 1024px) 100vw, 1024px\" \/><figcaption>Schritt 1 des neuen GlusterFS<\/figcaption><\/figure>\n\n\n\n<p>F\u00fcr den ersten Schritt ben\u00f6tige ich also 9 x <a href=\"https:\/\/www.pollin.de\/p\/odroid-hc2-einplatinen-computer-fuer-nas-und-cluster-anwendungen-810851\">Odroid-HC2<\/a> (zu je ~65\u20ac = 585\u20ac) und zus\u00e4tzlich 5 x 4 TB HDDs (zu je ~190\u20ac = 950\u20ac). Zusammen nicht ganz billig die Datensenke, aber daf\u00fcr sollte die n\u00e4chste Jahre\/Jahrzehnte ruhe sein bei der Frage, wohin mit den ganzen Filmen aus den Mediatheken der \u00f6ffentlich rechtlichen Fernsehsender.<\/p>\n\n\n\n<p>Zur\u00fcck zu meinem Dilemma. Mit der Best\u00fcckung des GlusterFS in Schritt 1 mit den alten 2TB HDDs ist die Speicherkapazit\u00e4t also 7 x 2TB = 14TB<\/p>\n\n\n\n<p>Also genau 2TB kleiner das was ich ben\u00f6tige&#8230; knurr&#8230; <\/p>\n\n\n\n<p>Und hier geht der Eiertanz dann auch los. <\/p>\n\n\n\n<p>Ich kann also nachdem ich Schritt 1 aufgesetzt habe die Daten von JBOD1 oder JBOD2 im ganzen von alt nach neu verschieben. Nehmen wir jetzt einfach mal JBOD2 und verschieben dann die Daten auf der GlusterFS.<\/p>\n\n\n\n<p>Dann sollte nach dem Kopieren der Daten, von der initial zur Verf\u00fcgung gestandenen Speicherkapazit\u00e4t 14TB &#8211; 8TB = 6TB, also noch 6TB vorhanden sein. Ich kann dann also JBOD2 aufl\u00f6sen und die HDD3 und HDD4 aus dem QNAP TS-412 ziehen, platt machen und durch diese beiden gebrauchten 4TB HDDs den Gluster ein St\u00fcck umbauen &#8211; also folgendes Szenario ist das Ziel f\u00fcr Schritt 2.<\/p>\n\n\n\n<figure class=\"wp-block-image\"><img loading=\"lazy\" decoding=\"async\" width=\"1024\" height=\"509\" src=\"http:\/\/www.fotoandnet.de\/wp\/wp-content\/uploads\/2019\/04\/step_2-1024x509.jpg\" alt=\"\" class=\"wp-image-1235\" srcset=\"http:\/\/www.fotoandnet.de\/wp\/wp-content\/uploads\/2019\/04\/step_2-1024x509.jpg 1024w, http:\/\/www.fotoandnet.de\/wp\/wp-content\/uploads\/2019\/04\/step_2-300x149.jpg 300w, http:\/\/www.fotoandnet.de\/wp\/wp-content\/uploads\/2019\/04\/step_2-768x382.jpg 768w, http:\/\/www.fotoandnet.de\/wp\/wp-content\/uploads\/2019\/04\/step_2.jpg 1412w\" sizes=\"auto, (max-width: 1024px) 100vw, 1024px\" \/><figcaption>Schritt 2, nach dem Aufl\u00f6sen von JBOD2<\/figcaption><\/figure>\n\n\n\n<p>Durch das Verschieben der zwei HDDs sind jetzt zwei kleine HDDs frei geworden, also 2 x 2TB HDDs. Diese brauchen wir im n\u00e4chsten Datenverschiebezyklus. <\/p>\n\n\n\n<p>Jetzt sind in JBOD1 noch bummelig 8TB auf 6TB unter zu bringen, was nat\u00fcrlich nicht geht..<\/p>\n\n\n\n<p>Die Krux aus dieser Situation ist, dass ich 6 TB auf das GlusterFS kopiere und die verbleibenden 2TB auf eine der beiden \u00fcbrig gebliebenen 2 TB HDDs. Wenn dann die letzten beiden 4TB HDDs in der QNAP TS-412 frei sind, kommt Schritt 3 des Umbaus.<\/p>\n\n\n\n<figure class=\"wp-block-image\"><img loading=\"lazy\" decoding=\"async\" width=\"1024\" height=\"553\" src=\"http:\/\/www.fotoandnet.de\/wp\/wp-content\/uploads\/2019\/04\/step_3-1024x553.jpg\" alt=\"\" class=\"wp-image-1241\" srcset=\"http:\/\/www.fotoandnet.de\/wp\/wp-content\/uploads\/2019\/04\/step_3-1024x553.jpg 1024w, http:\/\/www.fotoandnet.de\/wp\/wp-content\/uploads\/2019\/04\/step_3-300x162.jpg 300w, http:\/\/www.fotoandnet.de\/wp\/wp-content\/uploads\/2019\/04\/step_3-768x414.jpg 768w, http:\/\/www.fotoandnet.de\/wp\/wp-content\/uploads\/2019\/04\/step_3.jpg 1412w\" sizes=\"auto, (max-width: 1024px) 100vw, 1024px\" \/><figcaption>Zielzustand ist erreicht<\/figcaption><\/figure>\n\n\n\n<p>Nachdem 3 Umbau ist der Zielzustand erreicht und die Daten von der \u00fcbrig gebliebenen 2TB HDD werden auch auf das GlusterFS kopiert.<\/p>\n\n\n\n<p>&#8230;Tadaa&#8230; <\/p>\n\n\n\n<p>Soweit zu meiner Planung &#8211; ob es klappt, ich werde berichten.<br><\/p>\n","protected":false},"excerpt":{"rendered":"<p>Nachdem ich jetzt mehrere Wochen mit dem GlusterFS rumgespielt habe, und auch reichlich Erkenntnise sammeln konte; wird es Zeit die Daten von meinem alten QNAP TS-412 zum GlusterFS zu verschieben. Das klingt auf den&#46;&#46;&#46;<\/p>\n","protected":false},"author":2,"featured_media":1158,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[3],"tags":[61,63,64],"class_list":["post-1215","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-linux","tag-glusterfs","tag-migrationsstrategie","tag-qnap-ts-412"],"_links":{"self":[{"href":"http:\/\/www.fotoandnet.de\/wp\/index.php?rest_route=\/wp\/v2\/posts\/1215","targetHints":{"allow":["GET"]}}],"collection":[{"href":"http:\/\/www.fotoandnet.de\/wp\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"http:\/\/www.fotoandnet.de\/wp\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"http:\/\/www.fotoandnet.de\/wp\/index.php?rest_route=\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"http:\/\/www.fotoandnet.de\/wp\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=1215"}],"version-history":[{"count":29,"href":"http:\/\/www.fotoandnet.de\/wp\/index.php?rest_route=\/wp\/v2\/posts\/1215\/revisions"}],"predecessor-version":[{"id":1252,"href":"http:\/\/www.fotoandnet.de\/wp\/index.php?rest_route=\/wp\/v2\/posts\/1215\/revisions\/1252"}],"wp:featuredmedia":[{"embeddable":true,"href":"http:\/\/www.fotoandnet.de\/wp\/index.php?rest_route=\/wp\/v2\/media\/1158"}],"wp:attachment":[{"href":"http:\/\/www.fotoandnet.de\/wp\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=1215"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"http:\/\/www.fotoandnet.de\/wp\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=1215"},{"taxonomy":"post_tag","embeddable":true,"href":"http:\/\/www.fotoandnet.de\/wp\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=1215"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}