Mellanox 10/25/40/50/100GBe

    Hallo,


    Wenn jemand ein bisschen mehr Netzwerkdurchsatz braucht:

    Treiber https://www.sonnettech.com/sup…nd=_a3&action=b1219#b1219 runterladen. Installieren, neu booten.

    Der Treiber mlx5 ist auch im Kernel Debugkit enthalten.

    Mellanox ConnectX-4 oder ConnectX-5 oder ConnectX-6 einbauen. ConnectX-7 habe habe ich keine zum testen.

    10GBE, 25GBE, 40GBE, 50GBE, 100GBE, 200GBE je nach Switch oder einfach zwei PCs mit DAC Kabel direkt verbinden.

    Systeme

    Apple hat mit Ventura den mlx5 Treiber für Mellanox ConnectX-4/5/6 in macOS integriert. Meine ConnectX-4 Karte läuft im Thunderbolt case out of the box unter macOS.

    • Apple Mac Studio | M1 Ultra | 64GB RAM | 1TB
    • PowerMac G5 | Dual 2GHz | 8GB RAM | GeForce 6800 Ultra DDL
    • AMD Ryzen 9 3950X | ASUS Strix X570-I Gaming | 64GB DDR4-3600 CL16 RAM | Corsair MP600 M.2 NVMe | Radeon RX 6900 XT | Phanteks Enthoo Evolv Shift | Custom Loop | MacOS 12 | OpenCore
      Ryzen MacPro | EFI | RadeonSensor | Aureal

    Zu beachten, die Mellanox Karten sind für Server mit Airflow ausgelegt und kommen ohne eigenen Lüfter. Meine ConnectX-4 im offenen Thunderbolt Gehäuse hat nach 5-10min (nur link, kein traffic) 105C erreicht und wegen Überhitzung abgeschaltet.


    Die Karte kann nicht einfach eingesteckt werden, man muss für direkten Air Flow sorgen. Ein lautloser Lüfter in Richtung der Karte reicht aber schon, um sie bei 50C zu halten.

    • Apple Mac Studio | M1 Ultra | 64GB RAM | 1TB
    • PowerMac G5 | Dual 2GHz | 8GB RAM | GeForce 6800 Ultra DDL
    • AMD Ryzen 9 3950X | ASUS Strix X570-I Gaming | 64GB DDR4-3600 CL16 RAM | Corsair MP600 M.2 NVMe | Radeon RX 6900 XT | Phanteks Enthoo Evolv Shift | Custom Loop | MacOS 12 | OpenCore
      Ryzen MacPro | EFI | RadeonSensor | Aureal

    Die Qnap Karten mit Mellanox Chipset ConnectX-4 und ConnectX-6 haben eigene Lüfter.

    Systeme

    Habe nur mit Sonoma und Sequoia getestet, soweit das gleiche.

    VLAN wird vom Treiber immer noch nicht unterstützt, max MTU ist auch immer noch nur 2034.

    • Apple Mac Studio | M1 Ultra | 64GB RAM | 1TB
    • PowerMac G5 | Dual 2GHz | 8GB RAM | GeForce 6800 Ultra DDL
    • AMD Ryzen 9 3950X | ASUS Strix X570-I Gaming | 64GB DDR4-3600 CL16 RAM | Corsair MP600 M.2 NVMe | Radeon RX 6900 XT | Phanteks Enthoo Evolv Shift | Custom Loop | MacOS 12 | OpenCore
      Ryzen MacPro | EFI | RadeonSensor | Aureal

    Funktioniert ansonsten sehr gut, 1.7GB/s sind schon mal nicht schlecht, bei grösseren Files komme ich bis knapp 2GB/s.


    • Apple Mac Studio | M1 Ultra | 64GB RAM | 1TB
    • PowerMac G5 | Dual 2GHz | 8GB RAM | GeForce 6800 Ultra DDL
    • AMD Ryzen 9 3950X | ASUS Strix X570-I Gaming | 64GB DDR4-3600 CL16 RAM | Corsair MP600 M.2 NVMe | Radeon RX 6900 XT | Phanteks Enthoo Evolv Shift | Custom Loop | MacOS 12 | OpenCore
      Ryzen MacPro | EFI | RadeonSensor | Aureal

    100g, aber limitiert auf max 22g wegen TB3

    • Apple Mac Studio | M1 Ultra | 64GB RAM | 1TB
    • PowerMac G5 | Dual 2GHz | 8GB RAM | GeForce 6800 Ultra DDL
    • AMD Ryzen 9 3950X | ASUS Strix X570-I Gaming | 64GB DDR4-3600 CL16 RAM | Corsair MP600 M.2 NVMe | Radeon RX 6900 XT | Phanteks Enthoo Evolv Shift | Custom Loop | MacOS 12 | OpenCore
      Ryzen MacPro | EFI | RadeonSensor | Aureal

    funzt die Mellanox ConnectX-2 auch?

    Nein, die hat ein anderes Chipset.

    Mellanox ConnectX-4, -5, -6 habe ich alle da und laufen.

    Die SFP28 Versionen verbinden bei mir allerdings nur mit 10GBit anstatt 25GBit. Kann auch an meinem Switch liegen.

    Die QSFP28 Versionen verbinden mit 100GBit. Allerdings liefert ein M3 Max nur maximal 25-27GBit, da das Thunderbolt Interface limitiert.

    Wenn es zukünftig externe Thunderbolt 5 Gehäuse gibt, dann könnte der M4 Max fast 100GBit schaffen.

    Systeme

    hab ich vermutet. Jo, dann wandert die in den Hypervisor. Die Aquantia NIC läuft ja gut soweit für meine Zwecke. Bisher keine Probleme. Mehr als 10g benötige ich auch gar nicht; wenngleich der Filer weit mehr liefern könnte.