5
Testlab: Proxmox mit CEPH als 3-Wege Cluster
Hi @all...
Heute ist Freitag.. da sind Fragen erlaubt
Habe Hier einen alten VMWare Cluster (VSAN) den ich gerne in Proxmox mit CEPH verwandeln will - zum Test (Mein aktueller VMWare Cluster mit VSAN hat noch 3 Jahre)... ich will mich also in die Proxmox-Welt mit CEPH wagen ;)
Meine Hardware je Node wäre:
· Supermicro Barebone SuperServer SYS-2028U-TNRT+
· Supermicro 2-Port 10GbE Controller LP AOC-STG-I2T
· 2x Intel Xeon E5-2650v4 2.2 GHz Tray Sockel 2011-3
· RAM: 256 GB ECC-DDR4-2666
· HDD: 20x Hitachi HGST Ultrastar C15K600 HUC156060CSS200 600 GB
· Cache 4x Samsung SM863a MZ7KM960HMJP-00005 960 GB
· 3x Supermicro LP 8-Port SAS-3 Controller AOC-S3008L-L8e
· Boot: Supermicro SATA DOM 64GB SSD-DM064-SMCMVN1
Jeder Node hat also 6X 10 GB's LAN... Cache und Storage Devices...
Nun meine Frage(n):
· Kann CEPH Software Raid bereitstellen ?
· Wie ist Eure Erfahrung in Sachen Performance gegenüber VSAN
· Kann das Proxmox Backup auch Exchange und Co oder muss ich da wieder auf seperate Softwareanbieter wie Nakivo etc. zurückgreifen.
· Habe gelesen, daß für Proxmox/CEPH nur 4 LAN-Adapter benötigt werden (inkl. red. Uplink) stimmt das ?
Den Rest werde ich dann sehen ;)
Vielen Dank und schönes Wochenende Euch!
Gruss Globe!
Heute ist Freitag.. da sind Fragen erlaubt
Habe Hier einen alten VMWare Cluster (VSAN) den ich gerne in Proxmox mit CEPH verwandeln will - zum Test (Mein aktueller VMWare Cluster mit VSAN hat noch 3 Jahre)... ich will mich also in die Proxmox-Welt mit CEPH wagen ;)
Meine Hardware je Node wäre:
· Supermicro Barebone SuperServer SYS-2028U-TNRT+
· Supermicro 2-Port 10GbE Controller LP AOC-STG-I2T
· 2x Intel Xeon E5-2650v4 2.2 GHz Tray Sockel 2011-3
· RAM: 256 GB ECC-DDR4-2666
· HDD: 20x Hitachi HGST Ultrastar C15K600 HUC156060CSS200 600 GB
· Cache 4x Samsung SM863a MZ7KM960HMJP-00005 960 GB
· 3x Supermicro LP 8-Port SAS-3 Controller AOC-S3008L-L8e
· Boot: Supermicro SATA DOM 64GB SSD-DM064-SMCMVN1
Jeder Node hat also 6X 10 GB's LAN... Cache und Storage Devices...
Nun meine Frage(n):
· Kann CEPH Software Raid bereitstellen ?
· Wie ist Eure Erfahrung in Sachen Performance gegenüber VSAN
· Kann das Proxmox Backup auch Exchange und Co oder muss ich da wieder auf seperate Softwareanbieter wie Nakivo etc. zurückgreifen.
· Habe gelesen, daß für Proxmox/CEPH nur 4 LAN-Adapter benötigt werden (inkl. red. Uplink) stimmt das ?
Den Rest werde ich dann sehen ;)
Vielen Dank und schönes Wochenende Euch!
Gruss Globe!
Share on Facebook
Share on Twitter
Share on Reddit
Share on LinkedinPlease also mark the comments that contributed to the solution of the article
Content-Key: 11369907021
Url: https://administrator.de/contentid/11369907021
Printed on: April 27, 2024 at 18:04 o'clock
5 Comments
Latest comment
Kann CEPH Software Raid bereitstellen ?
Verstehe die Frage nicht. Beschäftige dich erstmal mit Ceph. Ceph legt seine Objekte in OSD (Object Storage Device), anhand entsprecher Konfiguration bestimmst du wieviele Kopien er anlegen sollen von einem Objekt und wie diese Objekte über die Gesamtzahl der OSDs verteilt ist.
OSDs sind grob gesagt die Datenträger. NVMe, SSD, HDD...
Wie ist Eure Erfahrung in Sachen Performance gegenüber VSAN
Ceph lässt eine Menge Performance liegen. Kritischer Punkt ist Latenz im Netzwerk. Umso niedriger umso besser. 10Gb Netzwerk ist Pflicht. Besser 25Gbit. Umso mehr OSDs vorhanden sind umso besser. Mein Erfahrungen zu VSAN liegen zu weit zurück um da eine klare Aussage treffen zu können, aber ich behaupte mal das es besser als Ceph läuft. Allerdings zu deutlich höheren Kosten.
Ich persönlich setze seit 7 Jahren auf Ceph und wöllte es gegen nichts mehr eintauschen.
Knackpunkt sind halt Datenbanken mit hoher IO. Da muss man tatsächlich Abstriche machen und man muss abwägen was einem lieber ist: Sicherheit und Hochverfügbarkeit oder Performance.
Wenn Performance Prio 1 hat, dann für Datenbanken eher wieder Dateisysteme wie ZFS oder ext4 und dann Hochverfügbarkeit mit anderweitigen HA-Cluster-Systemen, zum Beispiel Galera bei MariaDB. Das ist aber alles parallel ohne Probleme mit Proxmox auf dem gleichen System möglich.
Kann das Proxmox Backup auch Exchange und Co oder muss ich da wieder auf seperate Softwareanbieter wie Nakivo etc. zurückgreifen.
Proxmox Backup Server kann alles sichern. Der sichert halt nicht aus den virtuellen Maschinen heraus, sondern sichert die komplette KVM oder den LXC Container. Bei KVM-Maschinen auf Ceph macht er ein Freeze des Dateisystems (Snapshot) und sichert das inkrementell.
Habe gelesen, daß für Proxmox/CEPH nur 4 LAN-Adapter benötigt werden (inkl. red. Uplink) stimmt das ?
Bei einem drei Node Cluster mindestens pro Node:
- 2x Ceph Storage (min 10 Gbit)
- 1x corosync Cluster Link0 (Besser 2 und entweder mit Broadcast-LAG oder mit link0/1 auf unterschiedliche Switches legen)
- 1x LAN-Uplink/Client-Traffic
Wenn die beiden letztgenannten nur 1Gbit sind, mag das gehen, aber das wird bei Zeiten und entsprechender Last zum Problem. Besser gesagt macht es dann nur wenig Spaß´.
@Fenris14.
Thänk You.. damit kann ich erst mal was anfangen..
Es ist alles 10GBit!
Wie gesagt - keine Erfahrung, daher meine Frage in die Runde ;)
Das Testlab liegt in einem CISCO Stack (10GBit).. ebenfalls als Testumgebung...
Wie gesagt - werde damit "spielen" und testen - es werden keine relevanten Sachen dort liegen...
Gruss Globe!
Thänk You.. damit kann ich erst mal was anfangen..
Es ist alles 10GBit!
Wie gesagt - keine Erfahrung, daher meine Frage in die Runde ;)
Das Testlab liegt in einem CISCO Stack (10GBit).. ebenfalls als Testumgebung...
Wie gesagt - werde damit "spielen" und testen - es werden keine relevanten Sachen dort liegen...
Gruss Globe!
N'abend.
Nein, Proxmox Backup kann kein Application Aware Backup für Exchange, SQL, etc.; deine Transaction Logs bleiben also liegen. Item Level Restore ist dann natürlich ebensowenig möglich.
cu,
ipzipzap
Zitat von @Globetrotter:
· Kann das Proxmox Backup auch Exchange und Co oder muss ich da wieder auf seperate Softwareanbieter wie Nakivo etc. zurückgreifen.
· Kann das Proxmox Backup auch Exchange und Co oder muss ich da wieder auf seperate Softwareanbieter wie Nakivo etc. zurückgreifen.
Nein, Proxmox Backup kann kein Application Aware Backup für Exchange, SQL, etc.; deine Transaction Logs bleiben also liegen. Item Level Restore ist dann natürlich ebensowenig möglich.
cu,
ipzipzap
@ferris14
VSAN setzt ja auch auf Object-Storage.. das ganze im Standard auf RAID-1 Ebene und in der Entrprise aben RAID-5.
Wie ist der Support bei CEPH wenn ich lizensiere? Gibt es Deutsche Ansprechpartner?..
Der Support bei VMWare (in 7 Jahren 1x gebraucht.. war tadellos - in Englisch ;)
Gruss Globe!
Ich persönlich setze seit 7 Jahren auf Ceph und wöllte es gegen nichts mehr eintauschen.
Kannst Du mir sagen was Du damit machst ?VSAN setzt ja auch auf Object-Storage.. das ganze im Standard auf RAID-1 Ebene und in der Entrprise aben RAID-5.
Wie ist der Support bei CEPH wenn ich lizensiere? Gibt es Deutsche Ansprechpartner?..
Der Support bei VMWare (in 7 Jahren 1x gebraucht.. war tadellos - in Englisch ;)
Gruss Globe!
Bin in einem mittelständischen Unternehmen tätig in der Gesundheitsbranche. Das ist bei uns die Storage-Basis für alles was mit Virtualisierung zu tun hat. Ceph mit Proxmox als HCI hat eben den Vorteil das du kostengünstig ein vollfunktionsfähiges HA-Cluster bauen kannst. Bei uns ist Hochverfügbarkeit sehr wichtig. Ich betreue hier derzeit vier separate Proxmox Ceph-Cluster.
VSAN ist aber kein verteiltes Dateisystem wie Ceph. Das geniale an Ceph ist eben, das es nicht nach so Sachen wie Raid-xyz hantiert sondern sich dynamisch seine Daten selbst verteilt. Wenn zum Beispiel eine von Kopie weg sein sollte, weil ein kompletter Node zum Beispiel down ist, heilt es sich selbst in dem es die neue Kopie auf den vorhandenen OSDs ablegt. Darüber hinaus hast du komplette Sicherheit durch Checksummen-Überprüfung was die Integrität der Daten erhält. Generell ist Ceph extrem robust, wir haben schon Sachen damit veranstaltet die würde ich mir mit VMware nicht trauen und haben es jederzeit wieder hochbekommen.
Ceph ist Open Source. Du bekommst Support bei Proxmox. Bitte wirf das nicht durcheinander und lese dich in die Themen ein. Proxmox ist eine Lösung für Virtualisierung die unter anderem anbietet Ceph als Storage zu nutzen. Bei Proxmox selbst kannst du abgestuft Subscriptions auf bis zu 3 Jahre kaufen und erhälst dort Support. Du kannst es aber auch rein kostenlos nutzen.
Das sind die Subscription Pläne:
https://www.proxmox.com/en/proxmox-virtual-environment/pricing
VSAN ist aber kein verteiltes Dateisystem wie Ceph. Das geniale an Ceph ist eben, das es nicht nach so Sachen wie Raid-xyz hantiert sondern sich dynamisch seine Daten selbst verteilt. Wenn zum Beispiel eine von Kopie weg sein sollte, weil ein kompletter Node zum Beispiel down ist, heilt es sich selbst in dem es die neue Kopie auf den vorhandenen OSDs ablegt. Darüber hinaus hast du komplette Sicherheit durch Checksummen-Überprüfung was die Integrität der Daten erhält. Generell ist Ceph extrem robust, wir haben schon Sachen damit veranstaltet die würde ich mir mit VMware nicht trauen und haben es jederzeit wieder hochbekommen.
Ceph ist Open Source. Du bekommst Support bei Proxmox. Bitte wirf das nicht durcheinander und lese dich in die Themen ein. Proxmox ist eine Lösung für Virtualisierung die unter anderem anbietet Ceph als Storage zu nutzen. Bei Proxmox selbst kannst du abgestuft Subscriptions auf bis zu 3 Jahre kaufen und erhälst dort Support. Du kannst es aber auch rein kostenlos nutzen.
Das sind die Subscription Pläne:
https://www.proxmox.com/en/proxmox-virtual-environment/pricing