helge20
Goto Top

Neues Storagekonzept mit Tape Backup

Moin zusammen,
ich hätte gerne ein bisschen Input / Feedback zu einem neuen Storage Konzept, an welchem ich gerade sitze.

Ausgangslage: Wir haben ca. 350TB an Daten (vor allem Media; Bild, Video etc) auf verschiedenen Storagesystemen liegen. Der alte Wildwuchs ist ziemlich schlimm. Ein paar NAS-Systeme (aber nichts 19"), 3 19" Storageserver, alle direkt mit Windows (2012 und Win10 ;( ), teils mit vernünftigen RAID Controllern, teils mit eher mittelprächtigen (zumindest dann, wenn sie 50TB managen sollen).


Ziel:
neue Storage mit 4-5 Volumes (3x 50TB, 1x 100TB).

Ich bin mir nicht sicher, ob ich nun auf einen VMWare Server mit guter CPU, 128GB-256GB RAM setzen soll und diesen an ein SAN anbinden soll (entweder Hardware SAN oder eher vSAN mit einem 2. VMWare Host und darauf StorMagic oder StarWind vSAN laufen lassen) oder direkt einen performanten Storageserver, spricht compute + storage in einem System, vermutlich wieder mit VMWare als Host OS, Tape Librarby HBA direkt verbaut für das Backup, und dann ein NAS OS oder gar Windows als File Sharing Server.

Wenn ich letzteres wählen würde, kommen weitere Fragen hinzu: RAID Controller mit RAID5 (oder RAID5EE) oder gar ein HBA mit einem ZFS NAS System wie Freenas als VM?
Wie sieht es hinsichtlich des Filesystems aus? Lieber NTFS (dann mit Windows als Fileserver) oder ein Linux FS, um Fragmentierung, grosse Dateien (50-150GB Videos gibt es dann gerne auch mal 100 bei manchen Projekten, die nach Digitalisierung noch konvertiert und geschnitten werden müssen) etc. zu optimieren?

In beiden Varianten möchte ich den Storage auf jeden Fall mit 4-8TB SSD Cache ausstatten, auch wenn die SSDs wohl aufgrund der Speichermenge und intensiven Lese+Schreibvorgängen relativ schnell ausgetauscht werden müssten.


Mein aktuell favorisierte Lösung: Single Storageserver mit z.B. Xeon Silver 12C/24T, 192GB RAM an einem LSI Raid Controller ein RAID5 (RAID5EE können die LSI afaik nicht), 20x 14TB Disk als VD1 und VD2, jeweils exklusiv 1x Hotspare pro VD Array mit je 10 Disks (inkl. dem Hotspare). Das ganze dann mit VMWare als OS und einem Windows oder Linux Server für das Filesharing (NAS-like) und ggf. einen Teil des Storage als vSAN mit StorMagic, um es ggf. flexibel per iSCSI irgendwo direkt einbinden zu können. Netzwerk ist im Serverbereich 10Gbit SFP+, teilweise sind einzelne Workstations mit 10GBit RJ45 angebunden, die Mehrheit aber nicht.
Dann eine Tape Library mit 2 Drives direkt an den Storageserver angebunden und eine Veeam-VM kümmert sich um das Backup. Eventuell mittelsfristig einen 2. kleinen Server, um die Veeam VM dort laufen zu lassen. So hätten wir weniger Restore-Stress, wenn es zum Ausfall des ganzen Storageservers käme.

Ich weiss, es ist noch alles relativ offen und unklar, aber ich bin mir eben noch nicht sicher, was die höchste (Schreib-)Performance des Storage für die 5-10 Clients liefern würde, die derzeit die meisten Daten erzeugen. Das ist momentan nämlich absoluter Engpass. Aber wie viel hier an den reinen HDD Arrays liegt, wie viel Block Size auf NTFS ausmacht etc. pp., da bin ich mir unsicher.

Freue mich über jedes Feedback.

Cheers,
Helge

Content-Key: 1461710041

Url: https://administrator.de/contentid/1461710041

Printed on: April 27, 2024 at 07:04 o'clock

Member: ukulele-7
ukulele-7 Nov 03, 2021 at 14:08:08 (UTC)
Goto Top
Du deckst ja schon eine ganze Menge Möglichkeiten und in der Größenordnung habe ich leider keine Erfahrung aber ich finde ein ganz entscheidender Punkt fehlt: Suchst du etwas von der Stange mit Wartungsvetrag und garntierten Reaktionszeiten, also möglichst Sorglos-Paket oder willst du selber bauen? Wie verhält es sich mit Ausfallzeiten?

Es gibt gute NAS Software (an denen ich grade etwas rumprobiere) am Markt oder auch Professionell Lösungen die z.B: Aktiv-Passiv die Daten Klonen. Aber das beste Gefühl hat man natürlich mit 4h onsite Support.

Über welches Protokoll werden Daten bereit gestellt, wird auch iSCSI verwendet oder nur SMBv3? Wie werden Daten genutzt, große Dateien (Medien) die dann geladen und bearbeitet werden oderviele kleine Dateien oder Datenbanken... Welches Wachstum erwartest du, muss eventuell erweitert werden?

Sollen die SSDs Schreib- und Lesevorgänge cachen? Ich bin da etwas sketisch, mein Bauch sagt mir da lieber mehr spindeln.
Member: helge20
helge20 Nov 03, 2021 at 14:33:44 (UTC)
Goto Top
Danke für deine Antwort bzw. auch deine Rückfragen - da fehlen tatsächlich ein paar Angaben von mir.

  • Von der Stange muss es nicht sein, kommerzieller Support je nach System; bei ZFS basierten Systemen würde ich ggf. zu TrueNAS Enterprise greifen, weil mit ZFS etc. sich bei uns intern zu wenige auskennen. VMWare in Verbindung mit einem RAID5 und mehreren VDs können bei uns hingegen 3-4 Leute betreuen
  • Ausfallzeiten sind zu verkraften, ein HA System muss es nicht sein. Wir brauchen nur eben ein funktionierendes Backup face-smile
  • Daten werden vor allem mittels Shares, d.h. SMBv3 zur Verfügung gestellt. Da verschiedene Arbeitsschritte auf verschiedenen Systemen erfolgen, ist iSCSI nur für die virtualisierten Server eine Option. Wenn ich alles im Storageserver inklusive habe, habe ich hiervon aber keinen Mehrwert; wenn ich einen dedizierten Compute Server nehme, dann wird iSCSI notwendig, um vom Storage zum Compute Server zu mappen und dort erfolgt die Freigabe dann aber wieder via SMB,
  • Caching mit SSD vor allem für die Schreibvorgänge
  • ansonsten eben 10x 14TB HDD je Array RAID5 mit Hotspare
Member: C.R.S.
C.R.S. Nov 03, 2021 at 16:29:00 (UTC)
Goto Top
Hallo,

da ist viel Geschmackssache bzw. hängt von Faktoren ab, die hier nicht hervorgehen (z.B. wie stark die Tendenz entweder zu Linux oder zu Windows ist und aus welchen Gründen). Zwei Elemente aus deinem Text:

- 2x10 Platten in einem Server, jeweils mit RAID5 und Hotspare, finde ich etwas weit hergeholt. Generell sollte man sich fragen, ob eine Hotspare nötig ist, d.h. im Ernstfall ein Festplattenwechsel nicht zeitnah manuell erfolgen kann. Sonst sind sie ein schlechtes Investment. Einen üblichen Server mit 24 Schächten (+OS) kannst du auch einfach voll machen und 2 RAID6 aufsetzen. Oder auch nur ein RAID6, mit Hotspare, wenn es sein soll. Ein RAID5 mit Hotspares an hohe Plattenzahlen heranzuführen, ergibt jedenfalls nicht so viel Sinn.

- iSCSI und flexibel ist meines Erachtens ein Widerspruch in sich. Wenn etwas "irgendwo" eingebunden werden muss, sollte das doch über SMB gehen. Für ein vSAN andererseits sollte bekannt sein, wo was eingebunden wird, und alles einschließlich Netzwerk danach aufgebaut werden. Das scheint mir bei der angestrebten Kombination aus SAN und NAS nicht ganz durchdacht zus ein. Jetzt bringst du den Compute-Server ins Spiel. Warum mit maximal zwei Servern so viele Fehlerquellen bauen - für den Compute-Server durch die Netzwerkanbindung und für den Storage-Server durch die beiden Lasten Virtualisierung und File-Share?
Ich würde einen einzelnen VM-Host schlicht mit dem erforderlichen internen Storage ausstatten und daneben einen reinen Storage-Server für SMB stellen. Der wird nachts auch nicht genutzt und kann z.B. die Sicherungen des VM-Hosts annehmen, von dort dann alles auf Tape.
Geht natürlich auch anders. Aber wenn ich deine Idee richtig verstanden habe (der "Storage-Server" als VM-Host für TrueNAS, Veeam und vSAN, daneben noch ein anderer VM-Host), ist es halt viel schwieriger, das Konstrukt performant auszulegen.

Grüße
Richard
Member: ukulele-7
ukulele-7 Nov 04, 2021 at 08:04:08 (UTC)
Goto Top
Bei unterschiedlichen Arten von Daten (z.B. iSCSI und SMB Shares) und aufgrund der Menge würde ich eventuell mehrere Systeme aufsetzten und diese spezialisieren, also in Sachen Geschwindigkeit z.B. SSD für VMs und langsamme Spindeln für Archiv etc. Klar hat man dann wieder mehrere Boxen da stehen aber ab einer gewissen Menge an HDDs die eine Box ansprechen soll wird es auf jedenfall teurer das in ein Gerät zu packen. Und wenn viele Daten selten gebraucht werden wäre es auch irgendwie Quatsch die auf sehr teures Storrage zu legen.

Es gibt aber auch noch zwei Nachteile bei großen RAIDs die einem unbedingt klar sein müssen:
- Bei einem Rebuild von RAID5 oder 6, egal ob mit Hotspare oder ohne, werden ALLE Daten auf allen Platten gelesen. Die Ausfallwahrscheinlichkeit ist besonders hoch weil möglicherweise bisher nicht angesprochene Sektoren tatsächlich defekt sind. Daraus folgt je mehr und je größere Platten desto höher die Wahrscheinlichkeit das ein Rebuild in einen weiteren Fehler läuft.
- Je größer die Platten desto länger dauert der Rebuild.

Natürlich kann man jetzt sagen ich habe ja ein Backup aber das System steht erstmal und ein Restore dauert auch länger je mehr Daten betroffen sind. Besser man hat vielleicht weitere Systeme (vielleicht auch alte die noch vorhanden sind) auf die man Daten zurück schreiben kann und man ist flexibler.

Veeam stellt glaube ich das Lizenzmodell um so das die Anzahl der zu sichernden Systeme eine stärkere Rolle spielt aber das ändert nicht viel an der Sache.
Member: clSchak
clSchak Nov 04, 2021 at 11:08:34 (UTC)
Goto Top
Hi

wie viele Clients sollen denn am Ende des Tages darauf arbeiten? Platz ist ja eine Sache, IOPs und Latenz die andere und wichtigere. Ich würde hier auch zwischen "produktives Arbeiten" und "Dateiablage" unterscheiden und beides unterschiedlich betrachten und ausstatten - es sein denn, Geld spielt keine Rolle und du kannst alles auf SSD oder besser noch NVMe lagern face-wink.

Es gibt auch System wo man deutlich mehr wie 24 Platten verbauen kann, wenn es kein AAA Anbieter sein muss, kann ich ThomasKrenn oder Tarox empfehlen. Der Preisunterschied zu den AAA Anbietern kann schon enorm sein, so das du ggf. auf SSD only wechseln kannst.

Wenn du große HDD (Nearline-SAS oder SATA) verwenden möchtest, würde ich von Raid 5 Abstand nehmen und auf Raid 6 + Hotpaire gehen, je nach Controller können die Rebuildzeiten sehr lang werden, hängt auch zum Teil an der HDD Größe, die Zeiten steigen da nicht Linear an face-smile

Das Backup würde ich generell auf eigener Hardware laufen lassen und es nicht virtuell betreiben, vor allem Verbindung mit Tapelibrarys kann es zu kleineren Herausforderungen kommen. Das Backup-System kannst dann auch in einem anderen Serverraum laufen lassen um im Brandfall nicht alles zu verlieren.

Just my 2 Cent
@clSchak
Member: ukulele-7
ukulele-7 Nov 04, 2021 updated at 11:26:29 (UTC)
Goto Top
Normalerweise poste ich keine Produktlinks aber ich finde die Dinger von Storinator ja recht spannend:
https://www.45drives.com/products/storage/

Das soll aber ausdrücklich keine Empfehlung oder Werbung sein. Ich habe nie ein Ding von denen in den Fingern gehabt aber mir gefällt der Ansatz.

PS: Wenn man sich die Ausstattung ansieht merkt man auch das viel RAM eigentlich nichts groß bringen dürfte.
Member: C.R.S.
C.R.S. Nov 04, 2021 at 12:18:09 (UTC)
Goto Top
Zitat von @ukulele-7:

PS: Wenn man sich die Ausstattung ansieht merkt man auch das viel RAM eigentlich nichts groß bringen dürfte.

Mit ZFS kann man es nicht bei der Grundausstattung belassen. Die Appliances legen den Fokus auf die Integrationsdichte, da stellt sich dann die Frage des passenden Umfelds, also insbesondere Kühlung. Mit Blick auf eine möglichst hohe Einlasstermperatur nimmt man ja sinnvollerweise die am wenigsten dichte Hardware.
Member: ukulele-7
ukulele-7 Nov 05, 2021 at 15:11:51 (UTC)
Goto Top
Stimmt natürlich, die Dichte könnte auch deutlich niedriger sein da ein blöder 19'' Rack im Vergleich mit 19'' Gehäusen eigentlich wenig kostet und fast immer seinen Platz findet. Aber Man kommt natürlich bei der Aufrüstbarkeit in so einer Box schnell an seine Grenzen bei so einer 2HE bis 4HE Kiste, mit 3,5'' sowieso. Und mehrere Gehäuse verwenden wird dann auch recht schnell recht teuer. Ich hab leider kein schönes 19'' Gehäuse für meine Eigenbau NAS gefunden.

Was macht ZFS mit viel RAM, cachen?
Member: C.R.S.
C.R.S. Nov 05, 2021 at 19:46:42 (UTC)
Goto Top
Ja, hauptsächlich Lese-Cache. Im dreistelligen Bereich muss man meines Erachtens nicht an der Faustregel 1GB pro TB festhalten, aber 128 GB für einen 250 TB-Server sind nicht viel, 192 GB vielleicht ein guter Kompromiss. Der Overhead, den ZFS mit dem Fokus auf Sicherheit generiert, muss schon abgefedert werden.
Mich würde privat mal ein Ceph-Cluster mit SBCs reizen: https://hackaday.io/project/175094-raspberry-pi-ceph-cluster
Aber wirklich passende Hardware, die das nicht viel teurer und trotzdem langsamer als einen simplen Server macht, habe ich noch nicht gefunden.
Member: Dani
Dani Nov 06, 2021 at 15:07:10 (UTC)
Goto Top
Moin,
Aber wie viel hier an den reinen HDD Arrays liegt, wie viel Block Size auf NTFS ausmacht etc. pp., da bin ich mir unsicher.
dann wäres an der Zeit Tests und Analysen durchzuführen und Faken und Daten zu sammeln. Nur so kannst du auch Planungen anstreben, die hinterher auch Hand und Fuß haben. Nichts schlimmeres als ein neues System das entweder von Anfang zu klein ist oder den Zweck nicht erfüllt - sei es Leistung, Nutzung, Wartung oder Sicherheit.

neue Storage mit 4-5 Volumes (3x 50TB, 1x 100TB).
Mach dir auch GEdanken über Recovery und dessen Dauer. Wie lange dauert es 50TB wiederherzustellen? Wie lange darf es dauern? Wie viel Geld kostet ein Stillstand?


Gruß,
Dani
Member: hushpuppies
hushpuppies Feb 01, 2022 at 10:39:45 (UTC)
Goto Top
Was mich interessieren würde, wäre:
Wie willst du diese Datenmengen auf Bänder sichern?
Also innerhalb vernünftiger Zeiten mein ich - selbst bei einem Delta von nur 10% am Tag sind das ja doch erhebliche Datenmengen.
Member: nachgefragt
nachgefragt Feb 01, 2022 at 10:57:19 (UTC)
Goto Top
Zitat von @hushpuppies:
Wie willst du diese Datenmengen auf Bänder sichern?
  • Datenmenge/-pfade entsprechend organisieren
  • Anzahl notwendiger Bandroboter x Anzahl Lauwerke darauf abstimmen (wo sind wie akuell? LTO9?)
Spannend,wenn täglich voll statt inkrementell gesichert werden muss, das Rack würde ich gern mal sehen face-smile.