Neue Firewall - bisschen Ernüchterung - disconnects - langsam

[MarroniJohny]

Hi

Habe mir vor ca einem Jahr eine 10 Gbit Firewall gebastelt. Nun habe ich sie mal produktiv in Betrieb genommen. Bislang hing sie einfach am Desktop, und verhielt sich unauffällig.

Hardware ist ein Supermicro X10SLH-LN6TF mit 3x X540 (Kupfer), Xeon E3-1281 v3 und 32 GB 1333 ECC.

Nun habe ich den Server mal mit 10 Gbit angebunden. Ich fahre da mit einer Strippe getagged auf den ESXi, mit 4 VLANs. Der Server ist bislang immer super gelaufen (ungetagged an einer Zywall). Habe mir dazu eine inspur X540 aus China geordert. Die leise Hoffnung besteht jetzt noch, dass die China Karte Probleme macht. Switch gibt es am neuen Netz nicht.

Serverhardware:

X10SRL-F, E5-2697A v4, 256 GB LRDIMM 2400, Perc H310 mit passtrough an NFS Filer, Quad NIC, Inspur X540, 6x SM883

Nun habe ich zum einen das Problem, dass innerhalb des vSwitch zum Teil die Clients die Verbindung zum Server verlieren. Nur ganz kurz, aber reicht für einen Disconnect. Nicht wirklich tragisch, aber mit der Zywall lief das rockstable.

Dann hat gestern ein Kumpel von seiner Leitung (garantierte 10 Gbit) mit einem MikroTik CCR2004-1G-12S +2XS mal ein File von meinem Plesk runter geladen (HTTPS), das ging gerade mal mit 1 Gbit von statten. Höchstwerte von 1.5, mit Taucher bis zu 800-900 Mbit/s. Schon klar, habe auf der Sense IDS und all das Gedöhns an, aber müsste doch bisschen schneller gehen noch? Ich hoffte 2-3 Gbit.

Speedtest sieht besser aus. Hier mal, wenn der Provider gute Laune hat:

Er hat da immer bessere Werte am Speedtest mit seiner 10Gbit AON Leitung, er kriegt da wohl immer über 8/8 hin. Ich habe einen 10Gbit XG-PON Anschluss. Ist jetzt kein Beinbruch, aber wenn ich wenigstens stabil 1 Gbit hin kriegen würde beim Upload auf einem TCP Stream. Da hätte ich mir sonst die FW sparen können. Und dann das Problem mit den DCs, das geht halt gar nicht. Werde mir noch eine original Intel für den Server holen, und die inspur tauschen. Wobei inspur scheint ja auch ein renommierter Hersteller zu sein, obwohl ich vorher noch nie was gehört hatte von dem.

Aber vielleicht hat ja von Euch wer eine Idee, wo ich da noch ansetzen könnte. Auf IDS und sowas möchte ich nicht verzichten, wenn die Möglichkeit schon da ist.

Gruss und danke

 

[Whistler]

Wenn Deine Karte einen X540 Intel-Chip hat (es kursieren wohl auch Fakes) sollte sie auf alle Fälle Offloading aller zeitkritischen Funktionen (z.B. Prüfsummenberechnung für TCP) beherrschen. Bei vorkonfigurten Firewall-Appliances sind die Parameter normalerweise gut getunt, bei Deinem Selbstbau solltest Du die Parameter alle prüfen. Jumbo-Packets? Flow-Control? Backpressure? Skalierung / MSS? Hardware-Offloading?

Als zweites solltest Du die CPU in den Blick nehmen. Ein E3 kann bei komplexen Regelsätzen in der Firewall auch schnell an seien Grenzen stoßen, gerade wenn Du IDS mit vielen Patterns fährst. Das gilt auch für die Virtualisierungsseite, Dein vSwitch oben ist z.B. mit einer MTU von 1500 angegeben. Auch hier kann man bei ESXi viel zum Thema Offloading einstellen, die Defaults müssen nicht immer gut sein.

 

[MarroniJohny]

Hmm, danke für Deine Einschätzung. Habe leider nur 30% verstanden. Nein, Jumbo Frames habe ich nicht konfiguriert. Aber glaube, das brauche ich auch nicht, so lange es nicht um einzelne Streams geht? Weil da wird es über absehbare Zeit wohl eh nicht die passende Gegenstelle geben. In der Summe über viele Verbindungen wird die FW wohl schon mehr leisten dann.

Heute mal getestet, per Interzone Verkehr das betreffende 50 GB File runter zu laden. Auch da gibt es 100 MB/s, das heisst für mich, die Firewall ist wohl nicht der Flaschenhals. Weil das wäre in Summe ja dann 200 MB/s über zwei Interfaces? Wird wahrscheinlich am Server liegen, welcher nicht schneller ausliefert. Muss wohl mal noch intern im betreffenden VLAN selbst messen.

Auf dem Storage selbst, der wird per NFS an den Host zurück gegeben (ESXi AiO mit napp-it), liegen aber schon die 500 MB/s drin. Aber aus der VM heraus dann halt nicht mehr. Lüppt halt einiges auf den einzelnen SATA SSD, also ohne RAID oder so.

Ja, die inspur Karte hat sicher den X540 Chip drauf. Wird sowohl im ESXi als X540 angezeigt, als auch unter Windows gehen die originalen X540 Treiber von Intel. Hatte bislang auch noch nie was von inspur gehört, aber scheint ja ein ähnlich verbreiteter OEM wie SM zu sein. Glaube nicht, dass die wirklich ein fake sind, OEM Karte halt. Hat mich gut einen 20er pro Karte gekostet.