21
Erste Gehversuche 10GBit - bitte um Eure Erfahrung
Hallo,
ich möchte in meinem kleinen Netz die Hyper-V Hosts mit dem QNAP-NAS und dem Backupserver via 10GBit verbinden.
Die Arbeitsplätze selbst bleiben auf 1GB, das reicht i.A.
Bevor ich das nun nachrüste habe ich eine Teststellung aufgebaut:
NIC: ASUS XG-C100C mit aktuellstem Treiber von der Chiphomepage - ja ich weiß das ist kein Intel, was ich darüber aber gelesen hatte war vielversprechend. Es gibt Alternativen von Synology (E10G18-T1) oder Intel (X540), aber ich hatte nicht vor einen Riesentestbench aufzubauen.
Switch: Netgear XS708E, 8-Port 10GB
Verkabelung: CAT7 TP
Teststellung: 2 moderne PCs mit je einer ASUS-Karte verbunden mit dem Netgear, der wiederum mit einem Kabel auf einem Standard-GBit hängt um den Rest des Netzes zu erreichen / DHCP / ..
Ich tue mich nun sehr schwer den Durchsatz real zu bewerten.
Das Testtool 'Lanspeedtest' arbeitet in der Free-Version nicht zuverlässig und bevor ich das kaufe, wüsste ich gern ob es denn dann funktioniert.
"Netstress" hat eine Menge PArameter an denen ich drehen kann, ich bräuchte dafür aber sowas wie einen sinnigen PreSet für 10GB um das auswerten zu können.
SMB über FileCopy zwischen den PCs ist zu verwaschen, da gehen Befindlichkeiten von Windows und dessen Subsystem zu sehr ein.
Bottom Line erreiche ich bestenfalls 2GBit Durchsatz (mit obigen Tools zusammengewürfelt), aber das ist sehr unsicher.
IPERF/JPERF sind schon aussagekräftiger, ich komme aber auch hier nicht über 4GB
An den IP-Parametern zu drehen (Jumbo etc.) ist nicht sinnig ohne exakt zu wissen was was bringt.
Danke Euch vorab für den Input
ich möchte in meinem kleinen Netz die Hyper-V Hosts mit dem QNAP-NAS und dem Backupserver via 10GBit verbinden.
Die Arbeitsplätze selbst bleiben auf 1GB, das reicht i.A.
Bevor ich das nun nachrüste habe ich eine Teststellung aufgebaut:
NIC: ASUS XG-C100C mit aktuellstem Treiber von der Chiphomepage - ja ich weiß das ist kein Intel, was ich darüber aber gelesen hatte war vielversprechend. Es gibt Alternativen von Synology (E10G18-T1) oder Intel (X540), aber ich hatte nicht vor einen Riesentestbench aufzubauen.
Switch: Netgear XS708E, 8-Port 10GB
Verkabelung: CAT7 TP
Teststellung: 2 moderne PCs mit je einer ASUS-Karte verbunden mit dem Netgear, der wiederum mit einem Kabel auf einem Standard-GBit hängt um den Rest des Netzes zu erreichen / DHCP / ..
Ich tue mich nun sehr schwer den Durchsatz real zu bewerten.
Das Testtool 'Lanspeedtest' arbeitet in der Free-Version nicht zuverlässig und bevor ich das kaufe, wüsste ich gern ob es denn dann funktioniert.
"Netstress" hat eine Menge PArameter an denen ich drehen kann, ich bräuchte dafür aber sowas wie einen sinnigen PreSet für 10GB um das auswerten zu können.
SMB über FileCopy zwischen den PCs ist zu verwaschen, da gehen Befindlichkeiten von Windows und dessen Subsystem zu sehr ein.
Bottom Line erreiche ich bestenfalls 2GBit Durchsatz (mit obigen Tools zusammengewürfelt), aber das ist sehr unsicher.
IPERF/JPERF sind schon aussagekräftiger, ich komme aber auch hier nicht über 4GB
An den IP-Parametern zu drehen (Jumbo etc.) ist nicht sinnig ohne exakt zu wissen was was bringt.
Danke Euch vorab für den Input
Share on Facebook
Share on Twitter
Share on Reddit
Share on LinkedinPlease also mark the comments that contributed to the solution of the article
Content-Key: 575242
Url: https://administrator.de/contentid/575242
Printed on: April 19, 2024 at 15:04 o'clock
21 Comments
Latest comment
Ich würde mal mit iperf messen, das gibt es auch für Windows 
Grüße
tomolpi
Grüße
tomolpi
Äh moment mal...dir ist schon klar, dass Kupfer hier sehr empfindlich ist? Über was für Strecken reden wir denn? Die 10G hast du nur im Idealfall.
Das testet man über LWL und nicht mit 10GBe Kupfer.
Das testet man über LWL und nicht mit 10GBe Kupfer.
Strecke ist <=3m, laut Spezifikation also absolut unschädlich
Wenn beide Seiten SSDs verwenden kriegst du per cif oder smb locker 10GBit hin. Bist du sicher, dass du ein vernünftiges Kabel verwendest?
(Korrektur: Ich beziehe mich hier auf SSD Raids oder PCIE SSDs)
Ich hatte auch Probleme mit einem Cat6a Kabel. Dann habe ich vernüftige bestellt (glaube so 20€ für 3m) und damit hatte ich dann keine Probleme mehr. Ich traue den Hersteller Angaben daher inzwischen null. War beim Kabel ein Messprotokoll dabei?
Schau ma ins Ereignislog, ob da irgendwo ein Info Eintrag zum Ethernet Speed ist.
(Korrektur: Ich beziehe mich hier auf SSD Raids oder PCIE SSDs)
Ich hatte auch Probleme mit einem Cat6a Kabel. Dann habe ich vernüftige bestellt (glaube so 20€ für 3m) und damit hatte ich dann keine Probleme mehr. Ich traue den Hersteller Angaben daher inzwischen null. War beim Kabel ein Messprotokoll dabei?
Schau ma ins Ereignislog, ob da irgendwo ein Info Eintrag zum Ethernet Speed ist.
Kabel: ist schon was Vornehmeres, allerdings ohne Meßprotokoll.
Via SMB 10GBit? Hut ab....
TCP-Parameter die ich nach Recherche getestet hatte:
RX&TX Buffers auf max. (>4000)
Jumbo Pkt auf 9016
-> Resultat gleich Null laut Iperf
Via SMB 10GBit? Hut ab....
TCP-Parameter die ich nach Recherche getestet hatte:
RX&TX Buffers auf max. (>4000)
Jumbo Pkt auf 9016
-> Resultat gleich Null laut Iperf
Also ich habe da genau nix umgestellt gehabt. Würde ich an deiner Stelle auch nicht tun. Ich tippe wirklich aufs Kabel. Guck auch, dass die Karten genug gekühlt werden. Der Kupfer PHY wird brutal heiss.
Ich tue mich nun sehr schwer den Durchsatz real zu bewerten.
NetIO und IPerf3 sind deine besten Freunde !!!http://www.nwlab.net/art/netio/netio.html
Eigentlich kann das jeder Laie, denn man muss nur vom Bildschirm ablesen können !
Hab nochmal nachgeschaut was ich im Einsatz habe. Probiers mal mit dem Kabel:
TM31 Draka UC900
Ist ein Cat 7 Kabel mit Cat 6a Steckern.
https://www.reichelt.de/patchkabel-tm31-s-ftp-uc900mhz-grau-3-0m-patch-t ...
TM31 Draka UC900
Ist ein Cat 7 Kabel mit Cat 6a Steckern.
https://www.reichelt.de/patchkabel-tm31-s-ftp-uc900mhz-grau-3-0m-patch-t ...
a. NETIO und JPERF melden unisono max. 4.3GBit. Allerdings braucht es bei JPERF dafür schon >3 Streams, was die CPU auf der einen Seite ziemlich an den Anschlag fährt (interessant: ist ein I5-4460@3.2Ghz. Die andere Seite ein Ryzen3 2200G-der schaukelt sich mit 16% CPU-Last die Nüsse...).
b. Kabel
Die verwendeten Kabel sind schon recht hochwertig laut Beschreibung, habe aber trotzdem noch von Reichelt CAT8.1 bestellt (3m) zum Test.
Denn (für alle die darüber vielleicht mal stolpern): habe die guten Kabel gegen Allerwelts-'CAT-6'-Amazon getauscht. Die Performance wurde zwar nicht sichtbar anders, allerdings stürzte damit die Netzwerkkarte reproduzierbar alle 10-20s bei Vollast ab. Die kam dann zwar nach einigen Sekunden wieder rein, aber so ein Fehler im Produktivumfeld macht sicher Spaß. Die guten Kabel on-the-fly wieder dran und der Testaufbau schnurrt problemlos.
b. Kabel
Die verwendeten Kabel sind schon recht hochwertig laut Beschreibung, habe aber trotzdem noch von Reichelt CAT8.1 bestellt (3m) zum Test.
Denn (für alle die darüber vielleicht mal stolpern): habe die guten Kabel gegen Allerwelts-'CAT-6'-Amazon getauscht. Die Performance wurde zwar nicht sichtbar anders, allerdings stürzte damit die Netzwerkkarte reproduzierbar alle 10-20s bei Vollast ab. Die kam dann zwar nach einigen Sekunden wieder rein, aber so ein Fehler im Produktivumfeld macht sicher Spaß. Die guten Kabel on-the-fly wieder dran und der Testaufbau schnurrt problemlos.
Der Vollständigkeit halber möchte ich auch nochmal betonen, dass ich vorher Cat 6a zertifizierte Kabel mit Messprotokoll hatte. Auch 3m. Die Ports gingen ständig hoch und runter. Ein bloßes Anpacken / Wackeln am Kabel hat die Übetragung schon gestört. Nach dem Wechsel auf Draka war alles top. Mit Cat 8.1 habe ich noch keine Erfahrung gemacht. Berichte mal bitte die Unterschiede. Die Stecker müssen ja echt massiv sein.
Nachtrag Switch
Nutze den Netgear 8Port-10G-RJ45. Der ist aber strohdoof, da keine echte Managebarkeit, und ausserdem traue ich den Dingern nie so recht.
Habe in einem älteren Thread lobende Hinweise auf MikroTIK gefunden - kennt die jemand, der CRS312-4C+8XG-RM sieht z.b. sehr interessant aus.
Nutze den Netgear 8Port-10G-RJ45. Der ist aber strohdoof, da keine echte Managebarkeit, und ausserdem traue ich den Dingern nie so recht.
Habe in einem älteren Thread lobende Hinweise auf MikroTIK gefunden - kennt die jemand, der CRS312-4C+8XG-RM sieht z.b. sehr interessant aus.
NETIO und JPERF melden unisono max. 4.3GBit.
- Bei welcher Paket Größe ?
- Welche Encapsulation ? UDP oder TCP ?
- Hast du (hoffentlich) Jumbo Framing auf dem 10G Switch aktiviert ??
Die Mikrotik 10G Switches CRS305 oder der CRS309 schaffen hier (gemessen mit NetIO) ca. 85% Durchsatz mit aktivem Jumbo Framing und DAC/Twinax bzw. LWL.
Vorsicht bei 10G Base T. Das ist im Gegensatz zu LWL oder DAC/Twinax immer ein Negotiation Verfahren. Eine zu große Länge, schlehcte Steckverbindungen, ein Knick im Kabel oder ein zu großer Biegeradius und schon kommen von den 10G nur noch 8, 6, 4 oder noch weniger Gig an. Der Switch negotiated pro Port dynamisch je nach Kabellänge und Qualität die maximal übertragbare Rate.
Ein gravierender Nachteil zu der o.a. 10G Infrastruktur die immer feste 10G garantiert.
Das ist der Grund warum Netzwerker in einer Server oder Storage Verkabelung mit garantierter Bandbreitenanforderung niemals zu 10GBase T mit RJ-45 greifen. Das ist da immer ein NoGo.
Das solltest du also auch auf dem Radar haben !
1
Ich teste mit TCP; Jumbo kann ich auf dem Netgear nicht explizit einstellen, ist laut Netgear aber der Default.
Setzt ihr den Jumbo in der NIC-Konfig unter Windows manuell auf Maximum?
Und bringt das wirklich so viel, Netgear z.B. sagt das wäre marginal und würde mehr Probleme bereiten als das es nützt (Zitat).
Die Kritik an BaseT habe ich mir zu Herzen genommen und u.a. den Mikrotik sowie SFP+ NICs geordert.
Werde nach dem Test berichten
Setzt ihr den Jumbo in der NIC-Konfig unter Windows manuell auf Maximum?
Und bringt das wirklich so viel, Netgear z.B. sagt das wäre marginal und würde mehr Probleme bereiten als das es nützt (Zitat).
Die Kritik an BaseT habe ich mir zu Herzen genommen und u.a. den Mikrotik sowie SFP+ NICs geordert.
Werde nach dem Test berichten
Jumbo kann ich auf dem Netgear nicht explizit einstellen, ist laut Netgear aber der Default.
Vertrauen ist gut, Kontrolle besser. Was sagt denn die aktuelle MTU auf dem Switchport ?Setzt ihr den Jumbo in der NIC-Konfig unter Windows manuell auf Maximum?
Bei 10G natürlich !Und bringt das wirklich so viel, Netgear z.B. sagt
Weltfirma NetGear die natürlich führende Erfahrungen im weltweiten Betrieb großer Rechenzentren hat. Sorry, aber was soll man auf Kommentare eines Herstellers im billigen Consumerbereich geben. Das ist natürlich Unsinn. Teste das doch ganz einfach selber. Ein Bild sagt mehr als 1000 Worte ! 
Werde nach dem Test berichten
Wir sind gespannt...
Sodele, wie versprochen: hab mir mal den Akt gemacht und einiges getestet. Wahrscheinlich mit einigen Mängeln in der Ausführung, aber alle Teile out-of-the-box mit den aktuellsten Treibern die ich im Netz finden konnte.
Switches: Netgear und Mikrotik 10GBit, Bezeichner siehe oben
NICs: Asus TP ;10GTek mit Broadcom-Chip - der wieder rausflog wegen 7 Jahre altem Treiber ; 10GTek mit Intel TP 540 ;// sowie 10GTek mit Intel520SFP+
Testsysteme: i5 und Ryzen3, Tool JPERF mit 1-4 Streams und TCP (UDP bringt 1MBit je Stream..); je einmal der i5 und einmal der Ryzen als Sender
Tabelle:
Der Netgear flog raus, auch weil der ja in einer ganz anderen Liga spielt als der Mikrotik: der Netgear ist Kreisklasse und was für zu Hause, der Mikrotik spielt viel weiter oben. Allerdings sind dessen Optionen erschlagend - man lässt da am besten die Finger von wenn Nur-Switch.
Die Asus-NIC flogen raus weil mit Jumbo-Frames keine Verbesserung sichtbar war.
OK waren beide Intel-basierten NICs, beide hatten ähnlich Leistung und neue Treiber. Interessant: es ist wurscht welche Verkabelung ich einsetze Tp/SFP, die Leistung war gleich. D.H. die TP's waren Ok.
Allerdings bekomme ich partout mit Sender-Ryzen nicht mehr als ~6GBit durch, egal ob TP oder SFP+
Dazu muß man bemerken, das der Ryzen mit max. 40%CPU ausgelastet war, der i5 zu annähernd 100%. Je mehr Streams, desto mehr %
Der i5 mit 2 Streams als Sender brachte fast 10GBit und ~90% Last und lief stabil über Tage.
Nun kommt ein Pferdefuß: gebe ich dem i5 mehr als 2 Streams, bekomme ich -spätestens so ich denn irgendwas auf dem PC parallel arbeite- reproduzierbar nach einigen Sekunden einen BSOD - DPC WATCHDOG VIOLATION.
Da holt ein Treiber seine Daten nicht mehr zeitig genug ab.....; das passiert nur mit dem I5 als Sender, dem Ryzen kann ich problemlos 8 Streams geben!
Ich bin nun unsicher wie realistisch das Scenario in der Praxis ist, aber so einen DPC-Watchdog auf dem Produktivsystem wäre schon doof...
Kommentare willkommen bzw. vielleicht kann ja jemand was davon brauchen wenn er/sie in das Thema einsteigt
Switches: Netgear und Mikrotik 10GBit, Bezeichner siehe oben
NICs: Asus TP ;10GTek mit Broadcom-Chip - der wieder rausflog wegen 7 Jahre altem Treiber ; 10GTek mit Intel TP 540 ;// sowie 10GTek mit Intel520SFP+
Testsysteme: i5 und Ryzen3, Tool JPERF mit 1-4 Streams und TCP (UDP bringt 1MBit je Stream..); je einmal der i5 und einmal der Ryzen als Sender
Tabelle:
Der Netgear flog raus, auch weil der ja in einer ganz anderen Liga spielt als der Mikrotik: der Netgear ist Kreisklasse und was für zu Hause, der Mikrotik spielt viel weiter oben. Allerdings sind dessen Optionen erschlagend - man lässt da am besten die Finger von wenn Nur-Switch.
Die Asus-NIC flogen raus weil mit Jumbo-Frames keine Verbesserung sichtbar war.
OK waren beide Intel-basierten NICs, beide hatten ähnlich Leistung und neue Treiber. Interessant: es ist wurscht welche Verkabelung ich einsetze Tp/SFP, die Leistung war gleich. D.H. die TP's waren Ok.
Allerdings bekomme ich partout mit Sender-Ryzen nicht mehr als ~6GBit durch, egal ob TP oder SFP+
Dazu muß man bemerken, das der Ryzen mit max. 40%CPU ausgelastet war, der i5 zu annähernd 100%. Je mehr Streams, desto mehr %
Der i5 mit 2 Streams als Sender brachte fast 10GBit und ~90% Last und lief stabil über Tage.
Nun kommt ein Pferdefuß: gebe ich dem i5 mehr als 2 Streams, bekomme ich -spätestens so ich denn irgendwas auf dem PC parallel arbeite- reproduzierbar nach einigen Sekunden einen BSOD - DPC WATCHDOG VIOLATION.
Da holt ein Treiber seine Daten nicht mehr zeitig genug ab.....; das passiert nur mit dem I5 als Sender, dem Ryzen kann ich problemlos 8 Streams geben!
Ich bin nun unsicher wie realistisch das Scenario in der Praxis ist, aber so einen DPC-Watchdog auf dem Produktivsystem wäre schon doof...
Kommentare willkommen bzw. vielleicht kann ja jemand was davon brauchen wenn er/sie in das Thema einsteigt
Passiert das auch mit aktiviertem Jumbo Framing ?
Das hier kennst du sicher dazu:
https://www.heise.de/tipps-tricks/DPC-Watchdog-Violation-so-beheben-Sie- ...
Es gibt tausende Hits wenn du nach dem Fehler suchst.
Es wäre ggf. sinnvoller die Tests nicht unter Winblows zu machen sondern iPerf3 auf Linux laufen zu lassen um diesen Fehler zu umgehen. Diverse Foren und auch die Microsoft Knowledge Base sprechen Probleme mit dem Schnellstart an die das auch verursachen können. Vielleicht nicht gerade die beste Plattform zum Testen. ggf. ist hier ein Live System wie Kali https://www.kali.org/ vom Stick gebootet besser. Das hat diese Tools alle an Bord.
Spannend wäre noch zu erfahren:
Das hier kennst du sicher dazu:
https://www.heise.de/tipps-tricks/DPC-Watchdog-Violation-so-beheben-Sie- ...
Es gibt tausende Hits wenn du nach dem Fehler suchst.
Es wäre ggf. sinnvoller die Tests nicht unter Winblows zu machen sondern iPerf3 auf Linux laufen zu lassen um diesen Fehler zu umgehen. Diverse Foren und auch die Microsoft Knowledge Base sprechen Probleme mit dem Schnellstart an die das auch verursachen können. Vielleicht nicht gerade die beste Plattform zum Testen. ggf. ist hier ein Live System wie Kali https://www.kali.org/ vom Stick gebootet besser. Das hat diese Tools alle an Bord.
Spannend wäre noch zu erfahren:
- Für welche Frame Größe hast du das getestet ?
- Welche Protokoll Encapsulation hast du verwendet ? UDP oder TCP
- iPerf3 Syntax ?
Werde das mal mit dem Linux von Kali probieren - in der Hoffnung das später Windows im Betrieb nicht doch solche Zicken bzgl. BSOD macht.
Frame ist das was Windows maximal hergibt: 9014Bytes
Hab für die iperf-Syntax mal einen Screenshot gemacht:
Nur TCP - UDP gab grottige Ergebnisse.
Frame ist das was Windows maximal hergibt: 9014Bytes
Hab für die iperf-Syntax mal einen Screenshot gemacht:
Nur TCP - UDP gab grottige Ergebnisse.
Nur TCP - UDP gab grottige Ergebnisse.
Was sehr sehr merkwürdig ist. Dadurch das das gesamte Handshaking bei UDP auf den Endgeräten wegfällt müsste die Durchsatzrate also signifikant höher sein... Komisch !Sonst mal testweise NeTIO im Vergleich nehmen:
http://www.nwlab.net/art/netio/netio.html
bzw. Download hier:
https://web.ars.de/netio/
Stimmt, NETIO zeigt andere Ergebnisse bei UDP.
Allerdings ist der Absolutwert eher schlecht mit ~max. 2.5GBit; liegt das vielleicht daran das NETIO nur einen Stream macht? Viel zu verstellen hat das Tool ja nicht...
Allerdings ist der Absolutwert eher schlecht mit ~max. 2.5GBit; liegt das vielleicht daran das NETIO nur einen Stream macht? Viel zu verstellen hat das Tool ja nicht...
Ooops seit wann gibt es ein GUI dazu ??
Ja, mehrere Streams gibts da nicht...ist halt etwas einfacher gestrickt. Trotzdem verwundert der UDP Wert....??! Generell liegt der wegen des weit geringeren Protokoll Overheads höher als TCP.
Ja, mehrere Streams gibts da nicht...ist halt etwas einfacher gestrickt. Trotzdem verwundert der UDP Wert....??! Generell liegt der wegen des weit geringeren Protokoll Overheads höher als TCP.
