• This forum has a zero tolerance policy regarding spam. If you register here to publish advertising, your user account will be deleted without further questions.

ESXi 6 Netzwerkprobleme (Tempo)

GIEBELWALD

New Member
Hallo Community.

Auf einem Dedicated Server mini HG von OVH betreibe ich den ESXi 6 Hypervisor. Leider habe ich Probleme mit dem Netzwerktempo. Es kommt viel zu wenig durch. Zuerst hier mal die Specs und die Konfiguration des Servers:

Specs:

CPU: Intel Xeon 1x E5-2650v2 8C/16t 2,6 GHz+/3,4 GHz+
RAM: 64 GB DDR3 ECC 1600MHz
Festplatten: 4 x 4 TB SAS
Öffentliche Netzwerkkarte: 1 x 10 Gbit/s
Netzwerkkarte vRack : 1 x 10 Gbit/s

Konfiguration:

Per IPMI vKVM habe ich alle vier SAS HDDs zu einem RAID 0 Verbund zugeordnet. Dieser liefert einen ordentlichen Datendurchsatz. ESXi 6 wurde via IPMI vKVM über das original ISO Image per UEFI CD-ROM installiert. Der Boot erfolgt über UEFI HDD vom erwähnten RAID 0 Verbund. Die restlichen BIOS Settings sind unberührt.

Das Problem:

Ich wurde auf das Problem aufmerksam, als ich Linux ISOs auf dem Datastore hinterlegen wollte. Diese liefen erstaunlich lagsam rein. Mit maximal 8MB/s. Zuerst habe ich das auf langsame Mirrors geschoben. Aber auch ein anderer Mirror brachte nichts. Dann habe ich es mit den von OVH zur Verfügung gestellten Testfiles von http://proof.ovh.net/files/versucht. Diese sollten auch bei 10Gbit ein ordentliches Tempo bringen. Aber leider laufen auch diese ausgesprochen langsam auf den Server. Der Peak war hierbei 35MB/s. Der Durchschnitt liegt immer unter 10MB/s.

Ich habe über die Shell geprüft ob denn die Netzwerkkarten richtig erkannt werden. Die Ausgabe scheint in Ordnung zu sein:

[root@datacenter:~] esxcfg-nics -l

Name PCI Driver Link Speed Duplex MAC Address MTU Description
vmnic0 0000:01:00.0 ixgbe Up 10000Mbps Full 0c:c4:7a:1d:9f:dc 1500 Intel Corporation Ethernet Controller 10 Gigabit X540-AT2
vmnic1 0000:01:00.1 ixgbe Up 10000Mbps Full 0c:c4:7a:1d:9f:dd 1500 Intel Corporation Ethernet Controller 10 Gigabit X540-AT2

Von Auto-Negotiation sind die Adapter aber nicht abzubringen. Hier sieht die Meldung wie folg aus:

[root@datacenter:~] esxcli network nic set -n vmnic1 -S 10000 -D full
Forcing 1000Mbps or faster may not be supported on this network device, please use auto-negotiation instead

Die eigentliche Netzwerkkonfiguration scheint in Ordnung zu sein. Um Fehlerquellen zu minimieren habe ich IPv6 deaktiviert. Die IPv4 Konfiguration beinhaltet folgende Einträge:

IP: xxx.xxx.xxx.xxx <-- Server IP
Netmask: 255.255.255.0 <-- Netmask für Server
Gateway: xxx.xxx.xxx.254 <-- Server Gateway
DNS: 213.186.33.99 <-- Nameserver von OVH

Die Festplatte bietet eigentlich mehr als genug Performance um hohen Downloadraten Stand zu halten. Der Fehler scheint in der Konfiguration zu liegen, denn wenn ich im OVH Linux Rescue starte bekomme ich rund 600MB/s Download Speed bei den Testfiles die ich oben genannt habe. Ebenso erhalte ich dieses Tempo, sogar eher mehr, wenn ich eine Linux Distribution ebenso per UEFI auf dem SAS RAID 0 Verbund mit identischer Netzwerkkonfiguration installiere.

Wahrscheinlich bin ich etwas blind geworden, aber ich kann den Fehler nicht ausmachen und wäre für jeden Lösungsansatz ausgesprochen dankbar.

Kurze Anmerkung:
Sicherheit der Daten auf dem RAID 0 spielt keine Rolle. Das System ist weder im Produktivbetrieb, noch haben die Daten im Moment irgendeine größere Bedeutung.
 
Zwei kurze Anmerkungen:

1. Wenn du die Daten über den vSphere Webclient oder das Admintool einspielst und auf dem Storage hinterlegst, braucht das meistens ziemlich lang, auch wenn du ein dickes kabel hast.

2. Nur weil du 10Gbit anbindung hast, heißt das noch lange nicht, dass der Mirror das auch mit macht, und dass der nicht begrenzt ist.
 
Zu 1:
Die ISOs hole ich per "wget" über die Konsole. Das hier nicht jeder Mirror so schnell ist, weiß ich wohl.

Zu 2:
Die Gegenstelle (proof.ovh.net) hat genug Bandbreite. Sonst bekäme ich auch im Rescue keine rund 900MB/s rein.
 
was sagt denn die IO des Systems? Welchen Durchsatz bekommst Du nativ auf Deinem Raid? Hast Du denn einen ded. Hardware-Raid-Controller verbaut oder hast Du Dir ein SW-Raid eingerichtet?

Übrigens steht auf der verlinkten Seite was von (externer) "Bandbreite 500 Mbit/s"...
 
Last edited by a moderator:
Internet zu OVH sowie OVH zu OVH sind 10Gbit. Die 500Mbit beziehen sich auf den Upload von OVH zum Internet.

Das mit den 10Gbit klappt ja auch mit anderen Betriebssystemen, sogar mit Windows Server ;-)
Nur halt nicht mit ESXi. Es muss ein Konfigurationsproblem sein.

Was IO Werte betrifft, so komme ich auf etwa 450 bis 550 MB/s im Lesen und Schreiben. Bei großen zusammenhängenden Dateien wie der Testfile von OVH auch deutlich mehr.
 
Vielen Dank erstmal an alle und besonders an "marce".

Dein Hinweis mit dem Link hat was gebracht.

[root@datacenter:/vmfs/volumes/5570cbd5-94f33744-3318-0cc47a1d9fdc] esxcli software vib install -v /vmfs/volumes/datastore1/n
et-ixgbe_3.21.6-1OEM.600.0.0.2159203.vib
Installation Result
Message: The update completed successfully, but the system needs to be rebooted for the changes to be effective.
Reboot Required: true
VIBs Installed: INT_bootbank_net-ixgbe_3.21.6-1OEM.600.0.0.2159203
VIBs Removed: VMware_bootbank_net-ixgbe_3.7.13.7.14iov-20vmw.600.0.0.2494585
VIBs Skipped:
[root@datacenter:

Zwar stimmt es noch immer nicht, aber das Tempo hat es deutlich gesteigert. Jetzt stehen dem Hostsystem und den Gästen rund 100MB/s Up- und Download Speed zur Verfügung. Leider nicht gleichzeitig. Das scheint im Moment die Grenze zu sein.

Aber ich werde mal auf die Suche gehen, ob es da nicht noch andere "Treiber" von VMWare gibt die zum Board passen, nicht nur was das Netzwerk angeht. Irgendwo muss der Hammer ja hängen. Die Konfiguration ist wie du auch sagst, ja nicht so die hohe Kunst.

Falls dir noch was einfällt, lass es mich wissen. Bis auf diese Netzwerksache läuft alles rund, soweit ich das sagen kann.

Wir sind hier noch am testen, VMWare ist zwar nicht ganz neu für uns, aber es sind die ersten Schritte auf dem Weg zum Umzug auf VMWare.
 
Last edited by a moderator:
ein bisschen rumgeklicke hat mich noch auf folgende Seite gebracht: http://www.supermicro.com/support/resources/OS/C602J.cfm - mag nicht zwingend ein Problem sein, aber ESXi6 wird doch nicht erwähnt.

Ok, der 6er ist AFAIK recht neu, aber grundlegend sind ESXen recht zickig, was Hardware angeht, die evtl. nicht so recht in die 100%-Spalte der Specs reinpasst... - der erste Tip in jedem HowTo zu VMWare lautet ja mehr oder weniger immer "achte drauf, daß die HW zu 100% spezifiziert ist" - die sind da noch gruseliger als Oracle...

Evtl. erst mal mit dem 5er testen und warten, ob sich an der Treiber-Front noch was tut?
 
Wer soll da noch den überblick behalten?
Laut Intel ist die höchste kompatibilität ESXi 5.5 mit Treiber 3.21.4. Auf der VMware seite heist es 6.0 mit 3.21.6 wobei dieser NIC zwei mal gelistet ist

http://www.intel.com/support/network/adapter/pro100/sb/CS-035401.htm

http://www.vmware.com/resources/compatibility/detail.php?deviceCategory=io&productid=20396&vcl=true
http://www.vmware.com/resources/compatibility/detail.php?deviceCategory=io&productid=34249&vcl=true

An Supermicro-Modellen fallen, lt. VMware, die beiden Modelle SYS-2027GR-TRF und SYS-2027GR-TRFH mit jeweils Bios in Version 3.0b in die ESXi 6 Kompatibilität. Neuste Bios ist 3.0c was in der VMware-Welt wiederum heißt das alle Karten wieder offen sind.

http://www.vmware.com/resources/com...0&sortColumn=Partner&sortOrder=Asc&bookmark=1

Nun ist OVH aber wieder für seine Custom-Builds bekannt... Ob das bei den höherpreisigen Servern auch der Regelfall ist entzieht sich aber meinem Wissen.
 
Last edited by a moderator:
Hallo MadMakz.

Glücklicher Weise bin ich nicht auf die OVH Custom-Builds angewiesen. Ich konnte es dank der vKVM von einer frischen ISO installiern.

OVH bastelt wirklich eine Menge an den Images rum. Auch wenn man den original Kernel vor der Installation anwählt kommen jede Menge Modifikationen vor. Schön ist das nicht und geht meiner Ansicht nach viel zu weit.

Die ESXi Installation hier ist aber wie gesagt von einer frischen ISO. Habe es aber noch immer nicht auf das volle mögliche Tempo biegen können. Aber ich bin guter Dinge, das noch irgendwie auf die Reihe zu bekommen.
 
Back
Top