mreini
Dec 05, 2023
view1547
view25
0
Goto Top

Cisco Nexus mit 10GB RJ45 Modul keine Verbindung zu HP-Server

GermansolvedQuestionLinux NetworkNetworks
Hallo Gemeinde,

ich habe einen Cisco Nexus 9000 C93180YC-FX mit der NXOS 10.2(6). In diesem sind FS Module mGBIC RJ45 10GB eingebaut. Nun versuche ich eine Verbindung zu einem HP ProLiant Gen8 mit installiertem CentOS 7 aufzubauen. Der Link jedoch geht ständig Up und gleich wieder Down. Verwende ich ein 1GB RJ45 Modul bekomme ich sofort eine Verbindung.

Folgend die Konfiguration am Nexus des Ports:

  description BCM01
  switchport access vlan 203
  spanning-tree port type edge
  speed 10000
  duplex full
  storm-control broadcast level 10.00
  storm-control multicast level 10.00
  storm-control unicast level 10.00
  storm-control action shutdown q

speed und duplex habe ich Testweise auf das Interface gesetzt.

Hier noch die Ausgabe des show interface transceiver

Ethernet1/12
    transceiver is present
    type is 10Gbase-SR
    name is FS
    part number is SFP-10G-T
    revision is --
    serial number is F2220642745
    nominal bitrate is 10300 MBit/sec
    cisco id is 3
    cisco extended id number is 4

Hänge gerade in der Luft und weiß nicht woran es noch liegen könnte. MTU ist auf beiden Seiten auf 1500 gesetzt.

Danke

Gruß
comment-contentCommentShareShare
Share on Facebook Share on Twitter Share on Reddit Share on Linkedin

Content-Key: 12696160911

Url: https://administrator.de/contentid/12696160911

Printed on: May 2, 2024 at 00:05 o'clock

25 Comments
Latest comment
Goto Top
Member: Spirit-of-Eli
Spirit-of-Eli Dec 05, 2023 at 09:36:03 (UTC)
Goto Top
Moin,

ich vermute einfach das die Module kompatibel sind.
Wie lang ist denn das Kabel? Was sagt die Paket Statistik?

Gruß
Spirit
Member: Mr-Gustav
Mr-Gustav Dec 05, 2023 updated at 09:48:53 (UTC)
Goto Top
Die Optiken im HP Server sind auch HPE Kompatibel ? Die HP Switch SFP+´s gehen nämlich in den Netzwerkkarten nicht wirklich. Gleiches kann auch auf der Cisco Seite der Fall sein. Sind die FS Optiken denn auf "Cisco" codiert ?

Ach ja verwendest du Cat6a oder bessere Kabel ? Es kann aauch am Kabel liegen wenn es z.b. zu lang ist / Knicke hat / unsorglich behandelt wurde usw.....
Member: mreini
mreini Dec 05, 2023 updated at 09:53:09 (UTC)
Goto Top
kompatibilät lass ich von FS gerade nochmal prüfen. Das Kabel ist 2m lang

Paketstatisik :

  RX
    0 unicast packets  1509 multicast packets  13 broadcast packets
    1521 input packets  319004 bytes
    0 jumbo packets  0 storm suppression bytes
    0 runts  0 giants  0 CRC  0 no buffer
    0 input error  0 short frame  0 overrun   0 underrun  0 ignored
    0 watchdog  0 bad etype drop  0 bad proto drop  0 if down drop
    0 input with dribble  0 input discard
    0 Rx pause
    0 Stomped CRC
  TX
    0 unicast packets  4 multicast packets  0 broadcast packets
    4 output packets  1189 bytes
    0 jumbo packets
    0 output error  0 collision  0 deferred  0 late collision
    0 lost carrier  0 no carrier  0 babble  0 output discard
    0 Tx pause
Member: Dani
Dani Dec 05, 2023 at 10:01:49 (UTC)
Goto Top
Moin,
wenn man diesen Weg (mit FS o.ä. Anbietern) geht, hat man immer entsprechende Original GIBCs im Schrank liegen. Denn spätestens bei einem Support Case wird Cisco die Unterstützung teilweise oder sogar ganz verweigern. Hast du es einmal mit Original 10G GBICs probiert? Gleiches Problem?


Gruß,
Dani
Member: mreini
mreini Dec 05, 2023 at 10:04:54 (UTC)
Goto Top
Zitat von @Mr-Gustav:

Die Optiken im HP Server sind auch HPE Kompatibel ? Die HP Switch SFP+´s gehen nämlich in den Netzwerkkarten nicht wirklich. Gleiches kann auch auf der Cisco Seite der Fall sein. Sind die FS Optiken denn auf "Cisco" codiert ?

Ach ja verwendest du Cat6a oder bessere Kabel ? Es kann aauch am Kabel liegen wenn es z.b. zu lang ist / Knicke hat / unsorglich behandelt wurde usw.....

In den HP's sind Netzwerkkarten die schon gelaufen sind. Lediglich der Switch wurde getauscht daher denke ich nicht das es die HP's sind. Treiber der Netzwerkkarten ist mir noch durch den Kopf gegangen an den HP's

Die Kabel sind 2m Cat6a Leitungen. Hab da auch schon mehrere versucht ohne Erfolg
Member: Mr-Gustav
Mr-Gustav Dec 05, 2023 at 10:09:53 (UTC)
Goto Top
Na ja wen die SFP+´s schon mal gelaufen sind dann können es ja eigentl. nicht die Treiber sein.
Ich würde da jetzt auf "Problemseite Cisco" Tippen wenn da FS Optiken drinne sind
Member: mreini
mreini Dec 05, 2023 at 10:14:11 (UTC)
Goto Top
Zitat von @Dani:

Moin,
wenn man diesen Weg (mit FS o.ä. Anbietern) geht, hat man immer entsprechende Original GIBCs im Schrank liegen. Denn spätestens bei einem Support Case wird Cisco die Unterstützung teilweise oder sogar ganz verweigern. Hast du es einmal mit Original 10G GBICs probiert? Gleiches Problem?


Gruß,
Dani

Originale habe ich nicht da. Ich hab einen 2. Nexus noch hier. Habe mal mit dem gleichen Kabel und den FS Transceiver eine Verbindung hergestellt. Der Link kam sofort hoch also muss es beim HP liegen
Member: Mr-Gustav
Mr-Gustav Dec 05, 2023 at 10:31:32 (UTC)
Goto Top
Gibts beim Nexus irgend einen befehl alla "unsupportet optics allowed"?
Member: mreini
mreini Dec 05, 2023 at 10:35:23 (UTC)
Goto Top
Zitat von @Mr-Gustav:

Gibts beim Nexus irgend einen befehl alla "unsupportet optics allowed"?

du meinst service unsupported-transceiver. Ja den gibt es und auch schon ausgeführt. Hab DAC Kabel von FS.com mit 10GB die laufen.
Member: mreini
mreini Dec 05, 2023 at 10:53:31 (UTC)
Goto Top
Eingabaut im HP ist eine HPE FlexFabric 10Gb 2-port 533FLR-T
Member: aqui
aqui Dec 05, 2023 updated at 11:05:38 (UTC)
Goto Top
Haben die FS RJ45 SFPs ein Cisco Branding??
https://www.fs.com/de/products/66613.html?attribute=30&id=3350471
bzw. die 100m Variante
https://www.fs.com/de/products/154916.html?attribute=95068&id=340913 ...

Generische oder Vendor fremde SFPs ohne ein Cisco Branding funktionieren nicht, da Cisco immer einen Vendor Check auf die SFP+ Module macht.
Außerdem sind die Cisco Ports nativ 10G so das du in der Konfig keine statische Speed und Duplex Konfig machen musst und auch nicht solltest.

Generell sollte man Server niemals mit 10G-BaseT anbinden wegen der nicht zuverlässigen Bandbreite.
Hier sollte man wenn möglich immer DAC/Twinax oder AOC Kabel verwenden um eine verlässliche Bandbreite am Server zu garantieren.
Member: Reinartz
Reinartz Dec 05, 2023 at 13:34:18 (UTC)
Goto Top
Was sagt denn dein Log? Warum er den Port abschaltet ?
Member: mreini
mreini Dec 05, 2023 at 13:36:46 (UTC)
Goto Top
Zitat von @aqui:

Haben die FS RJ45 SFPs ein Cisco Branding??
https://www.fs.com/de/products/66613.html?attribute=30&id=3350471
bzw. die 100m Variante
https://www.fs.com/de/products/154916.html?attribute=95068&id=340913 ...

Generische oder Vendor fremde SFPs ohne ein Cisco Branding funktionieren nicht, da Cisco immer einen Vendor Check auf die SFP+ Module macht.
Außerdem sind die Cisco Ports nativ 10G so das du in der Konfig keine statische Speed und Duplex Konfig machen musst und auch nicht solltest.

Generell sollte man Server niemals mit 10G-BaseT anbinden wegen der nicht zuverlässigen Bandbreite.
Hier sollte man wenn möglich immer DAC/Twinax oder AOC Kabel verwenden um eine verlässliche Bandbreite am Server zu garantieren.

Wie gesagt eine direkte Verbindung mit von Nexus zu Nexus geht und der Link kommt auch ohne Probleme hoch.
Der Speed und Duplex sind erst später hinzugekommen als Test. DAC Kabel waren am Anfang keine Option da es eine Migration werden sollte mit bestehender Hardware.

Das merkwürdige was mich irritiert ist folgendes:
Der Server meldet Link Up (Auch die LEDs der Netzwerkkarte zeigen einen aktiven Link). Ca. 3 Sekunden später meldet der Server NIC Link Down. Der Nexus meldet überhaupt nicht das der Link hochgekommen ist.

Laut Kompatibilität von FS.com steht der Nexus drin. Auch wird eine Cisco id im Nexus vergeben

Gruß
Member: mreini
mreini Dec 05, 2023 at 13:41:43 (UTC)
Goto Top
microsoftteams-image

Hier noch die Meldung am Server
Member: aqui
aqui Dec 05, 2023 updated at 13:53:46 (UTC)
Goto Top
Was sagt denn dein Log? Warum er den Port abschaltet ?
Vermutlich Error disable Mode wenn der SFP Vendor Check scheitert.
eine direkte Verbindung mit von Nexus zu Nexus geht und der Link kommt auch ohne Probleme hoch.
Gut, das schliesst dann den Fehler auf der Cisco Seite vollständig aus wenn in den Koppelports auch genau diese RJ-45 SFPs stecken.
Member: mreini
mreini Dec 05, 2023 at 13:52:58 (UTC)
Goto Top
Log sagt gar nichts. Nicht mal ein Link up am Nexus
Member: mreini
mreini Dec 05, 2023 at 13:56:31 (UTC)
Goto Top
Zitat von @aqui:
Gut, das schliesst dann den Fehler auf der Cisco Seite vollständig aus wenn in den Koppelports auch genau diese RJ-45 SFPs stecken.

Ja, auf beiden Seiten exakt die gleichen SFPs
Member: aqui
aqui Dec 05, 2023 updated at 14:03:38 (UTC)
Goto Top
Log sagt gar nichts. Nicht mal ein Link up am Nexus
Das kann NICHT sein!! Der Cisco meldet immer einen Link UP wenn das Interface hochkommt.
Mache mal ein "clear logg" und stecke dann den Port und sehe dir mal danach das Log an (sh logg).
Du kannst die Log Message auch live auf der Konsole sehen. Solltest du per Telnet oder SSH auf dem Nexus sein musst du noch ein term mon vorher eingeben um die Konsole Messages umzuleiten!

Hilfreich wäre zudem ein: show int ethx/y transceiver und ein show int ethx/y von dem betreffenden SFP Port.
Member: mreini
mreini Dec 05, 2023 updated at 14:12:22 (UTC)
Goto Top
Zitat von @aqui:

Log sagt gar nichts. Nicht mal ein Link up am Nexus
Das kann NICHT sein!! Der Cisco meldet immer einen Link UP wenn das Interface hochkommt.
Mache mal ein "clear logg" und stecke dann den Port und sehe dir mal danach das Log an (sh logg).
Du kannst die Log Message auch live auf der Konsole sehen. Solltest du per Telnet oder SSH auf dem Nexus sein musst du noch ein term mon vorher eingeben um die Konsole Messages umzuleiten!

Hilfreich wäre zudem ein: show int ethx/y transceiver und ein show int ethx/y von dem betreffenden SFP Port.

Das ist es ja wo ich gerade in der Luft hänge. Server sagt sein Interface kommt hoch und laut den LEDs der Netzwerkkarte sieht es am Server auch so aus. Cisco kommt das Interface nicht hoch (Verkabellungsfehler bereits ausgeschlossen)

Grob als ob der Server in eine Art Timeout rennt bevor das Interface am Cisco hoch kommt.

show Interface
Ethernet1/3 is down (Link not connected)
admin state is up, Dedicated Interface
  Hardware: 100/1000/10000/25000 Ethernet, address: 00de.fbcd.f58a (bia 00de.fbc
d.f58a)
  MTU 1500 bytes, BW 10000000 Kbit , DLY 10 usec
  reliability 255/255, txload 1/255, rxload 1/255
  Encapsulation ARPA, medium is broadcast
  Port mode is access
  auto-duplex, 10 Gb/s, media type is 10G
  Beacon is turned off
  Auto-Negotiation is turned on  FEC mode is Auto
  Input flow-control is off, output flow-control is off
  Auto-mdix is turned off
  Rate mode is dedicated
  Switchport monitor is off
  EtherType is 0x8100
  EEE (efficient-ethernet) : n/a
    admin fec state is auto, oper fec state is auto
  Last link flapped 00:02:04
  Last clearing of "show interface" counters never  
  2 interface resets
  Load-Interval #1: 30 seconds
    30 seconds input rate 1096 bits/sec, 0 packets/sec
    30 seconds output rate 0 bits/sec, 0 packets/sec
    input rate 1.10 Kbps, 0 pps; output rate 0 bps, 0 pps
  Load-Interval #2: 5 minute (300 seconds)
    300 seconds input rate 104 bits/sec, 0 packets/sec
    300 seconds output rate 224 bits/sec, 0 packets/sec
    input rate 104 bps, 0 pps; output rate 224 bps, 0 pps
  RX
    0 unicast packets  121 multicast packets  0 broadcast packets
    122 input packets  24833 bytes
    0 jumbo packets  0 storm suppression bytes
    0 runts  0 giants  1 CRC  0 no buffer
    1 input error  0 short frame  0 overrun   0 underrun  0 ignored
    0 watchdog  0 bad etype drop  0 bad proto drop  0 if down drop
    0 input with dribble  0 input discard
    0 Rx pause
    0 Stomped CRC
  TX
    0 unicast packets  151 multicast packets  11 broadcast packets
    162 output packets  19316 bytes
    0 jumbo packets
    0 output error  0 collision  0 deferred  0 late collision
    0 lost carrier  0 no carrier  0 babble  0 output discard
    0 Tx pause

show interface transceiver
Ethernet1/3
    transceiver is present
    type is 10Gbase-SR
    name is FS
    part number is SFP-10G-T
    revision is --
    serial number is F2220642745
    nominal bitrate is 10300 MBit/sec
    cisco id is 3
    cisco extended id number is 4

Log im Cisco sagt nichts lediglich der Server (siehe oben). Nochmal die Verbindung von Nexus-Nexus getestet und es wird im Log auch angezeigt
Member: aqui
aqui Dec 05, 2023 updated at 14:24:13 (UTC)
Goto Top
Das Interface hat keinen Link und bleibt dann inaktiv (down) da muss man sich dann nicht wundern.
Log im Cisco sagt nichts
Kein Wunder wenn der Link nicht hochkommt, dann bleibt das Interface down und es gibt natürlich auch keine Log Message.
Nochmals die Frage ob du einen Cisco gebrandeten SFP bei FS gekauft hast? Sinnvollerweise kauft man für einen Cisco Switch natürlich auch immer Cisco gebrandete SFPs bei FS!

Bei einem nicht Cisco gebrandeten SFP bleibt der Port im Error disable Mode.
Mache mal einen shut und danach ein no shut auf dem o.a. Interface und beobachte die Log Messages am Nexus. Was passiert da?

Nebenbei sollte man bei alle 10Gig und höher Interfaces die MTU generell immer auf max. (9162) setzen um Jumbo Framing zu supporten. Ganz besonders bei einem Server Anschluss.
Member: mreini
mreini Dec 05, 2023 at 14:22:02 (UTC)
Goto Top
Zitat von @aqui:

Das Interface hat keinen Link und bleibt dann inaktiv (down) da muss man sich dann nicht wundern.
Log im Cisco sagt nichts
Kein Wunder wenn der Link nicht hochkommt, dann bleibt das Interface down und es gibt natürlich auch keine Log Message.
Nochmals die Frage ob du einen Cisco gebrandeten SFP bei FS gekauft hast? Sinnvollerweise kauft man für einen Cisco Switch natürlich auch immer Cisco gebrandete SFPs bei FS!

Bei einem nicht Cisco gebrandeten SFP bleibt der Port im Error disable Mode.
Mache mal einen shut und danach ein no shut auf dem Interface und beobachte die Log Messages am Nexus. Was passiert da?

Ich verstehe auf was du meinst aber das Interface ist nicht errdisabled. shut und noshut auch schon getestet ständig das gleich Spiel. Der Server spuckt auch im 3 Sekunden Takt den Link up und 3 Sekunden später Link Down aus.
Member: aqui
Solution aqui Dec 05, 2023 at 14:25:48 (UTC)
Goto Top
Dann sind SFP und der 10G-BaseT Port am Server schlicht inkompatibel. face-sad
Hast du einen anderen 10G Switch oder SFP Port wo du den SFP einmal unabhängig vom Nexus testen kannst?
Member: Reinartz
Reinartz Dec 05, 2023 at 14:27:04 (UTC)
Goto Top
Du hast bei deinem Nexus spanning tree port zype edge konfiguriert
standart bei HP Srevern ist glaube ich non edge

könnte es damit zusammen hängen ?
Member: aqui
aqui Dec 05, 2023 updated at 14:33:01 (UTC)
Goto Top
Da der Server ja aktiv gar kein Spanning Tree spricht kann das nicht ursächlich damit zusammenhängen.
Bedeutet lediglich das der Switchport selber schneller in den Forwarding Mode geht.
Was er nochmal testen könnte ist einen anderen, nackten Alternativport und den auch ohne den ganzen Stormcontrol Kasperkram um Wechselwirkungen erstmal auszuschliessen.
Member: mreini
mreini Dec 05, 2023 at 14:52:58 (UTC)
Goto Top
Zitat von @aqui:

Dann sind SFP und der 10G-BaseT Port am Server schlicht inkompatibel. face-sad
Hast du einen anderen 10G Switch oder SFP Port wo du den SFP einmal unabhängig vom Nexus testen kannst?

Habe es an einem Port der Firewall getestet und gleiches Spiel. Scheint wohl so zu sein das die HP 533FLR-T nicht mit dem Transceiver will.
GermansolvedQuestionLinux NetworkNetworks
Hotly discussed
DaniEnd of availability for classic Teams clientDani - 2 CommentsFrankUbuntu 24.04 LTS Noble Numbat availableFrankadmtechDeveloper diary: Release 6.1admtech