Netzwerk Performance auf dem Server

B

biker.2011

New Member
Hallo,

dies ist mein erster Post, bin also neu im Forum, und hoffe nun auch an die richtige Stelle zu Posten.

Ich hab mir einen neuen Backup-Server (Supermicro X7DBE) gegönnt, und habe ein paar Performance-Probleme:

Wenn ich auf den Supermicro Daten übers Netzwerk(2xGbitLAN) schicke, bekomme ich ca. 8MB/s

Wenn ich vom Supermicro Daten lese, komme ich auf 110MB/s

Mit verschiedenen Betriebssystemen(Free-BSD, CentOS, Solaris) getestet, selbes Ergebnis!
Dann habe ich es mit einem PCI-X HP Dual NIC getestet...

Auch auf der anderen Netzwerkkarte das selbe Ergebnis....

tcp offloading testweise deaktiviert...keine Verbesserung!
Selbst wenn ich die 4 Ports mit bonding zu einem Port zusammenfasse selbes Ergebnis....

Der Server sollte die Daten eigentlich locker schlucken können. Die Start-SSD schreibt ca. 400 MB/s


Bin für jeden Gedankengang offen! BIOS Einstellungen habe ich auch schon geändert - ohne den gewünschten Erfolg.
 
Last edited by a moderator:
Ich hab mal noch ein paar Tests mit dem SAN gemacht...

vom SAN auf den Server kopieren ca. 50MB/s

vom Server auf SAN kopieren ca. 130MB/s

Das SAN ist ein Infortrend A16F-G1A2 direkt an QLogic qla2460...

Die Geschwindigkeit vom SAN sollte eigentlich auch etwas höher sein...
 
Teste mal mit netio oder ähnlichen Tools den reinen Netzwerkdurchsatz, so daß keine Festplatten und anderer "unberechenbarer" Kruscht beteiligt ist.

ggf. mal auch alle Netzwerkkomponenten dazwischen überbrücken sofern möglich (also direkt mit Crosskabel / ohne Switche und Konsorten).

Gern auch mal Kabel tauschen - bringt manchmal die lustigsten Effekte.
 
Hast du die beiden LAN Ports gebündelt? Klingt für mich danach, als ob das Link Bonding nicht korrekt eingestellt ist. Wir hatten bei reinen LAG das selbe Problem mal mit einen TP-Link Switch. Hier musste LAG switchseitig erst auf LACP umgestellt werden, bis er ein wirkliches Port Bonding durchgeführt hat.
 
1. Mit welchem Protokoll hast Du die Tests gemacht? FTP? SSH? SMB? Etwas anderes? Vielleicht liegts auch daran. Oder an der Größe der Dateien.

2. Testest Du evtl mit einem Software Raid5 oder von der erwähnten SSD? Die beschriebenen Probleme treten bei SW Raid5 oft auf. Oder baut sich vielleicht auf dem Server ein HW oder SW Raid erst noch auf?
 
Netzwerkdurchsatz mit iperf bekomme ich volles GBit!

Ich habe die LAN-Ports einzeln versucht, immer einen allein, auch den HP allein und dann alles mit Bündelung... selbes Ergebnis! Auch das Bonding war nur der zusätzliche Test!

Als Protokolle wurden FTP,SSH,SMB und NFS genutzt, auf Solaris, FreeBSD und versch. Linux-Distros. Windoofs kommt mir keins drauf!!!

Auf dem Backup Server ist eine SSD verbaut und mehrere 2TB HDD´s verbaut! Auch wenn ich auf die 2TB´s schreibe statt auf die SSD...selbes Ergebnis! Dateisystem auf dem Hauptserver ist ZFS! Auf den anderen Clients bekomme ich problemlos um die 100MB/s

Netzwerk geht über Switch. Leider habe ich kein Crossover Kabel zur Hand, werd das aber mal testen....
 
naja, wenn Du über IPPerf das komplette GB bekommst scheint es ja nicht am Netzwerk zu liegen - sprich die Probleme liegen irgendwo oberhalb des Netwerkstacks...

Reine Schreibtests auf dem System selbst (mit dd oder ähnlichen Tools) hast Du schon gemacht?
 
Beabsichtigt ist auf dem Server ein ZFS raidz2 mit 11x2TB bei 16GB ECC Ram! Intel 313 als gespiegeltes sLOG und zwei 256Gb Intel 530 SSD´s als Cache. Eine zusätzliche Intel 313 als Systemplatte. Aktuell wird allen Komponenten einzeln ohne das Setup getestet.
 
Schreibtest auf dem System mit dd und mit hdparm -tT --direct

Hier habe ich keine Probleme die Geschwindigkeiten der SSD bzw. der einzelnen HDD´s auszureizen!

Auch das SAN schreibt mal wenigsten mit 50MB/s... Wenn ich das auch über´s Netzwerk bekäme wäre das ja mal ein Schritt in die richtige Richtung...

Kann es sein, dass das X7DBE massiv optimiert wurde für Netzwerkverkehr vom Server raus. Und alles was rein kommt wird vernachlässigt...
 
Niemand eine Idee...??

Versuche die I/O Performance mittels scheduler zu optimieren, haben mich auch nicht weitergebracht!!

IP-Stack und TCP Puffer Anpassungen haben es auch nicht gebracht!!!:eek::confused::(:mad:
 
Also wenn´s jemand versteht:

Ich habe mal mit ioperf gemessen

Lokales kopieren von SSD auf SSD ca 400MB/s bei ca 30-50% IO Auslastung

Kopieren vom Netzwerk auf SSD ca 8MB/s bei 97-99%+ IO Auslastung!:confused:

Kopieren vom SAN auf SSD ca 50MB/s bei 70% IO Auslastung

Der Server-Load steigt bleibt unter 1%.

Hab mal in der Bucht für 65€ zwei Mellanox InfiniBand Adapter mit Kabel geschossen!:cool:

Aber evtl. hat ja doch noch jemand einen Rat wie ich die IO-Performace auf dem Netzwerk optimieren kann!
 
Noch eine Information am Rande:

mit iostat konnte ich ermitteln:

Lokales kopieren SSD zu SSD 90 - 130MB/s bei >25% iowait

Kopieren vom Netzwerk auf SSD 8MB/s bei konstand 25% iowait

PS.: ist er Xeon E5430 also Quad-Core
 
So die Infiniband HCA´s sind endlich hier!!

IPoIB eingerichtet, hat nicht mal 5 Minuten gedauert!

Und endlich: Ich bekomme endlich beim kopieren ordentliche Datenraten! Kopieren auf SSD ca. 110MB/s!

Andersrum: Kopieren von SSD auf den Main-Server mit einem zfs raidz2 ca. 240MB/s!!:cool::cool::):):p:D:D
 
Dann hast Du aber wirklich ein Problem mit dem Netzwerk... Normal ist das nicht.

Aber den Speed, den Du nun hast, kann man natürlich mit Gbit Ethernet nicht erreichen. Insofern sicher eine gute Investition.
 
So sehe ich es definitiv auch!

Da ich Crossover nicht versucht habe, kann es nur am Switch liegen... Naja, so ist´s nun erstmal gut!;)

Meine Netzwerktopologie werde ich dann demnächst mal neu aufbauen! Da muss ich mal nach einer anständigen managed Switch schauen! 24 Ports bräuchte ich schon! Wenn möglich sollte diese auch lautlos betrieben werden können!

Da wäre ich jetzt mal für ne Empfehlung offen!!
 
Was sagen die Fehlerzähler im ifconfig und am Switch (sofern managed)? Gibt es Kollisionen?
Duplex-Fehler äußern sich oft nur in einer Richtung.
Wird der konkrete Netzwerk-Chip vom Kernel unterstützt? Vielleicht einfach mal aus den aktuellen Intel-Quellen ein neues Modul bauen.
 
You must log in or register to reply here.
Back
Top