NVMe Performance zu niedrig?

[Vengance]

ZFS - NVMe Performance zu niedrig?

Hallo,

In meinem Hetzner PX61-NVME sind zwei Samsung SM961-NVME 500GB SSDs verbaut.
Laut Hersteller sind diese mit einer Schreibleistung von 1,7GB/s angegeben.

Auf dem Server läuft Proxmox auf ZFS Basis.
Ich habe nun einige KVM VMs mit Debian 9 angelegt und anschließend etwas Performance Testing betrieben.

Hier ein Benchmark bei nur einer einzigen laufenden VM

dd if=/dev/zero of=test_$$ bs=64k count=16k conv=fdatasync && rm -f test_$$

I/O speed(1st run)   : 812 MB/s
I/O speed(2nd run)   : 951 MB/s
I/O speed(3rd run)   : 882 MB/s
Average I/O speed    : 881.7 MB/s

Schon dieser Benchmark ist weit unter der Angegebenen Schreibleistung von 1,7GB/s.
Doch bei mehreren laufenden VMs, welche jedoch alle im Idle sind und keine Schreiblast erzeugen, sinkt die IO Leistung enorm.

I/O speed(1st run)   : 289 MB/s
I/O speed(2nd run)   : 1.2 GB/s
I/O speed(3rd run)   : 624 MB/s
Average I/O speed    : 713.9 MB/s

I/O speed(1st run)   : 154 MB/s
I/O speed(2nd run)   : 1.0 GB/s
I/O speed(3rd run)   : 905 MB/s
Average I/O speed    : 694.3 MB/s

Nun zur eigentlichen Frage, könnte das an ZFS liegen, bzw kann ich hier noch irgendwas optimieren oder hat jemand eine Idee was die teilweise sehr niedrige IO Leistung erklären könnte?

Das System ist eigentlich recht Potent mit einem Xeon E3 1275v6 und 64GB DDR4 RAM.


Über Hinweise würde ich mich freuen!

Danke

 

[d3p]

Hetzner hatte dir doch damals schon geantwortet.

Die IOPS sind nur mit kleiner Blocksize erreichbar, der maximale Durchsatz nur mit großer Blocksize. Am ehesten lässt sich das mit fio testen.
Mit dd hat man nicht ausreichend QD.

Grundsätzlich sind die in den Specs genannten Werte mit den meisten realen Applikationen nicht zu erreichen. Das ist schlicht Marketing.

 

[Vengance]

Ich hatte den Titel etwas falsch gewählt, mir geht es hier eher um das Zusammenspiel mit ZFS, denn ich denke die 154MB/s sind nicht normal.

 

[Joe User]

Du misst nur die Leistung des Filesystems beziehungsweise des Kernelsubsystems (aka der Software) und nicht die Leistung der Hardware.
Um die Leistung der Hardware zu testen, darf keine Software beteiligt sein und selbst dann handelt es sich bei den Herstellerangaben immer um Maximalwerte.

Oder um Deine Frage zu beantworten: Ja, es liegt an ZFS beziehungsweise an dessen Konfiguration und zusätzlich liegt es auch am Kernel beziehungsweise dessen Subsystem. ZFS ist kein Linuxfilesystem...