7
Langsame Schreibperformance HPE SSD RAID
Hallo miteinander,
für die Firma habe ich einen neuen Server angeschafft:
- HPE ML350 G10
- Raid-Controller: HPE P408i-a SR Gen10
- Festplatten: 5x 1,92 TB SATA SSD Read-Intensive
Virtualisierung mit VMware. Es sollen verschiedene VMs darauf laufen. DC welcher auch als Fileserver dient, MSSQL-Server, Terminalserver, Backup-Server, Monitoring.
In der Hoffnung einen generellen Performance-Zuwachs zu erhalten habe ich mich für SSDs entschieden. Diese sind als RAID 5 konfiguriert.
Nach meinen ersten Tests (ein paar ISOs hin und her kopieren) trat die Ernüchterung ein.
Getestet habe ich wie folgt:
- Bei aktivierten HPE SSD Smart Path erhielt ich beim kopieren eines Exchange 2016 CU16 ISO 800-900MB/s. Das wäre für mich total in Ordnung. Kopiere ich danach allerdings ein weiteres ISO Exchange 2016 CU18 so habe ich bis zu den ersten 2-3 GB ebenfalls 800-900MB/s und danach nimmt die Übertragung stark ab auf ca. 200MB/s. Dieses Verhalten ist sehr sporadisch und lässt sich regelmäßig reproduzieren. Auch mit größeren oder kleineren ISOs.
Getestet mit unterschiedlichen VM Konfigurationen (weniger / mehr RAM, Thin und Thick Provisioning)
Nun habe ich HPE SSD Smart Path im Raid-Controller deaktiviert und den HPE Smart Cache aktiviert. Nun schwankt es zwar auch zwischen 600-900MB/s. Ist aber definitiv deutlich besser als vorher, da ich diese Geschwindigkeit durchgehend habe.
Habe bereits gelesen, dass wohl RAID 1 / 10 besser geeignet sein soll, trotzdem erschließt sich mir nicht, warum ich teilweise bei der Übertragung ca. 800-900MB/s habe, und bei der nächsten ISO-Kopie einen Drop auf 200MB/s.
Muss noch etwas bezüglich SSD Cache oder ähnliches eingestellt werden? Hat jemand schonmal ähnliche Erfahrungen gemacht?
Danke
für die Firma habe ich einen neuen Server angeschafft:
- HPE ML350 G10
- Raid-Controller: HPE P408i-a SR Gen10
- Festplatten: 5x 1,92 TB SATA SSD Read-Intensive
Virtualisierung mit VMware. Es sollen verschiedene VMs darauf laufen. DC welcher auch als Fileserver dient, MSSQL-Server, Terminalserver, Backup-Server, Monitoring.
In der Hoffnung einen generellen Performance-Zuwachs zu erhalten habe ich mich für SSDs entschieden. Diese sind als RAID 5 konfiguriert.
Nach meinen ersten Tests (ein paar ISOs hin und her kopieren) trat die Ernüchterung ein.
Getestet habe ich wie folgt:
- Bei aktivierten HPE SSD Smart Path erhielt ich beim kopieren eines Exchange 2016 CU16 ISO 800-900MB/s. Das wäre für mich total in Ordnung. Kopiere ich danach allerdings ein weiteres ISO Exchange 2016 CU18 so habe ich bis zu den ersten 2-3 GB ebenfalls 800-900MB/s und danach nimmt die Übertragung stark ab auf ca. 200MB/s. Dieses Verhalten ist sehr sporadisch und lässt sich regelmäßig reproduzieren. Auch mit größeren oder kleineren ISOs.
Getestet mit unterschiedlichen VM Konfigurationen (weniger / mehr RAM, Thin und Thick Provisioning)
Nun habe ich HPE SSD Smart Path im Raid-Controller deaktiviert und den HPE Smart Cache aktiviert. Nun schwankt es zwar auch zwischen 600-900MB/s. Ist aber definitiv deutlich besser als vorher, da ich diese Geschwindigkeit durchgehend habe.
Habe bereits gelesen, dass wohl RAID 1 / 10 besser geeignet sein soll, trotzdem erschließt sich mir nicht, warum ich teilweise bei der Übertragung ca. 800-900MB/s habe, und bei der nächsten ISO-Kopie einen Drop auf 200MB/s.
Muss noch etwas bezüglich SSD Cache oder ähnliches eingestellt werden? Hat jemand schonmal ähnliche Erfahrungen gemacht?
Danke
Share on Facebook
Share on Twitter
Share on Reddit
Share on LinkedinPlease also mark the comments that contributed to the solution of the article
Content-Key: 634069
Url: https://administrator.de/contentid/634069
Printed on: April 24, 2024 at 01:04 o'clock
7 Comments
Latest comment
Moin,
dein Problem ist vermutlich u. a. der SATA-Anschluss...
https://de.wikipedia.org/wiki/Serial_ATA#Versionen_des_Serial-ATA-Standa ...
https://sata-io.org/sites/default/files/documents/SATA-Revision-3.0-Pres ...
Ich hätte hier SAS genommen
https://de.wikipedia.org/wiki/Serial_Attached_SCSI
exemplarisch Samsungs MZILT1T9HAJQ-00007
Nächster Bottleneck ist der "geringe" Cache des Controllers:
https://buy.hpe.com/de/de/options/controller-controller-options/smart-ar ...
Ist deine ISO > 2GB, ist der Cache halt voll (unberücksichtigt, dass auch noch andere Daten über den Cache gehen).
Da wäre vermutlich ein P816i-a SR Gen10 besser gewesen.
Und die letzte, aber eigentlich wichtigste Frage:
Von wo nach wo über welches Protokoll hast du kopiert?
Gruß
em-pie
dein Problem ist vermutlich u. a. der SATA-Anschluss...
https://de.wikipedia.org/wiki/Serial_ATA#Versionen_des_Serial-ATA-Standa ...
https://sata-io.org/sites/default/files/documents/SATA-Revision-3.0-Pres ...
Ich hätte hier SAS genommen
https://de.wikipedia.org/wiki/Serial_Attached_SCSI
exemplarisch Samsungs MZILT1T9HAJQ-00007
Nächster Bottleneck ist der "geringe" Cache des Controllers:
https://buy.hpe.com/de/de/options/controller-controller-options/smart-ar ...
Ist deine ISO > 2GB, ist der Cache halt voll (unberücksichtigt, dass auch noch andere Daten über den Cache gehen).
Da wäre vermutlich ein P816i-a SR Gen10 besser gewesen.
Und die letzte, aber eigentlich wichtigste Frage:
Von wo nach wo über welches Protokoll hast du kopiert?
Gruß
em-pie
Hi,
Ich würde sagen "read intensive" hört sich nach richtig üblen Marketing-Gewäsch an 😅. Im Kern sind es dann irgendwelche QVO SSDs, ggf. sogar Cacheless, die sich HP da fürstlich vergüten lässt. 🤣
5x 60 MB/sec landen dann irgendwo bei 200-250 MB/sec ...
Wie ist denn die genau Bezeichnung der SSDs? Eventuell findet man ja ein Datenblatt dazu 😄
Die hier leisten deutlich mehr: https://geizhals.de/micron-5200-pro-1-92tb-mtfddak1t9tdd-1at1zabyy-a1774 ...
Vermutlich deaktiviert der Controller auch noch den SSD eigenen Cache, damit es so richtig lahmarschig wird
5x 1,92 TB SATA SSD Read-Intensive
Ich würde sagen "read intensive" hört sich nach richtig üblen Marketing-Gewäsch an 😅. Im Kern sind es dann irgendwelche QVO SSDs, ggf. sogar Cacheless, die sich HP da fürstlich vergüten lässt. 🤣
5x 60 MB/sec landen dann irgendwo bei 200-250 MB/sec ...
Wie ist denn die genau Bezeichnung der SSDs? Eventuell findet man ja ein Datenblatt dazu 😄
Die hier leisten deutlich mehr: https://geizhals.de/micron-5200-pro-1-92tb-mtfddak1t9tdd-1at1zabyy-a1774 ...
Nächster Bottleneck ist der "geringe" Cache des Controllers
Würden die SSDs das ordentlich wegschreiben, wäre der Cache fast egal.Vermutlich deaktiviert der Controller auch noch den SSD eigenen Cache, damit es so richtig lahmarschig wird
Ist natürlich ein NoGo. Ein DC ist ein DC ist ein DC. DNS und allerhöchstens noch DHCP-Dienste da drauf bereitzustellen ist vertretbar. Die Datengräber von Endbenutzern haben da aber ganz sicher nichts drauf verloren.
In der Hoffnung einen generellen Performance-Zuwachs zu erhalten habe ich mich für SSDs entschieden. Diese sind als RAID 5 konfiguriert.
Für Performance ist immer RAID10 die erste Wahl.
Gruß
Alex
Nächster Bottleneck ist der "geringe" Cache des Controllers: Ich würde sagen "read intensive" hört sich nach richtig üblen Marketing-Gewäsch an 😅. Im Kern sind es dann irgendwelche QVO SSDs, ggf. sogar Cacheless, die sich HP da fürstlich vergüten lässt. 🤣
5x 60 MB/sec landen dann irgendwo bei 200-250 MB/sec ...Finde es dennoch seltsam, dass beim ersten Exchange ISO eine Datenrate von ca. 900MB/s erreicht wird und beim 2ten nach 2GB auf 200MB/s dropped. Sieht mir schon nach einem Cache Problem aus, aber nach welchem genau...
Kopiert habe ich innerhalb einer virtuellen Maschine von einem Ordner in den anderen Ordner.
Auf dem Server läuft zur Zeit nichts anderes und Netzwerk kann ich somit natürlich auch ausschließen.
Model: VK001920GWTHC
Endurance DWPD (Drive Writes Per Day): 0.9
Drive Transfer Rate (External): 6 Gb/sec
Random Read IOPS (4KiB, Q=16): 55500
Max Random Read IOPS (4KiB): 56000@Q32
Random Write IOPS (4KiB, Q=16): 31000
Max Random Write IOPS (4KiB): 32500@Q4
Die Angaben die ich finden konnte, sind etwas mager und die IOPS-Angaben irgendwie seltsam. 56k Read ist relativ gering und 32k Write gar nicht mal so mies wie erwartet.
Sieht mir schon nach einem Cache Problem aus, aber nach welchem genau...
Jein, du pumpst halt den Controller-Cache und ggf. noch den SSD eigenen Cache voll und dann schreiben die erstmal vor sich hin.... und beim 2ten nach 2GB auf 200MB/s dropped
Und wenn die tatsächlich einen miesen Schreibdurchsatz haben, dauert das entsprechend bis der Cache wieder frei wird. Also schreiben die aktuell mit einer Rate von gemeinsam 200 MB/sec. Für das zweite ISO ist halt nicht mehr genug Platz im Cache und die Übertragungsrate fällt auf die tatsächliche Schreibrate der SSDs ab und die ist erbärmlich.
Btw. kann natürlich auch sein, dass der Controller eine falsche Sektorgröße verwendet und es deshalb so suboptimal läuft.
Zitat von @SysDau:
Virtualisierung mit VMware. Es sollen verschiedene VMs darauf laufen. DC welcher auch als Fileserver dient, MSSQL-Server, Terminalserver, Backup-Server, Monitoring.
Und alles auf einem Array mit R5?Virtualisierung mit VMware. Es sollen verschiedene VMs darauf laufen. DC welcher auch als Fileserver dient, MSSQL-Server, Terminalserver, Backup-Server, Monitoring.
Das kann allein der SQL-Server schon auslasten. Je nachdem was der so macht.
In der Hoffnung einen generellen Performance-Zuwachs zu erhalten habe ich mich für SSDs entschieden. Diese sind als RAID 5 konfiguriert.
Vermutlich ist das auch so. Mit normalen HDDs wäre es vermutlich noch viel langsammer.Nach meinen ersten Tests (ein paar ISOs hin und her kopieren) trat die Ernüchterung ein.
Wie hast Du getestet?Ich würde mal nur eine VM installieren und damit dann testen. Oder am besten ohne VMs und einem OS. z.B. Linux vom USB Stick.
Stefan
Nö, das einzige Problem hier ist die Server-Planung, em-pie hat schon alles gesagt.
Die Read-Intensive SSDs sind genau so lange schnell, bis der Controller-Cache voll ist. Danach bekommst du von den Read-Platten genau das, was sie können, nämlich im Vergleich nicht sonderlich schnell schreiben.
Bedenke auch den Support hinten dran, der Bumerang mit den Read-SSDs kommt spätestens zu dir zurück, wenn die SSDs dank des MSSQL-Servers sehr schnell aussteigen werden, du aber innerhalb der Garantielaufzeit keine Garantieabwicklung mehr bekommst, weil du die TB written zu schnell übersteigen wirst (ich geb den SSDs keine zwei Jahre).
Deshalb gibt es auch die Mixed Use oder Write Intensive Platten.
1
