Ceph(FS) als shared VM-Storage?

greystone

greystone

Active Member
Hi,

hat jemand von Euch eigentlich Ceph/CephFS als VM-Storage im Einsatz(als Alternative für iSCSI/NFS) bzw. Erfahrungen hinsichtlich der Performance damit?

Ich habe es selbst mal mit geringem Budget(4 PCs, insgesamt 16 OSDs, je 4 x 1 GbE pro PC, Ich habe Ceph mit PetaSAN ausprobiert.) ausprobiert und war doch recht ernüchtert von den Testergebnissen.

ca. 15-20 MB/s max. Schreibleistung.
ca. 40-50 MB/s max. Leseleistung.

Ein Bekannter hat das auchmal getestet, mit wesentlich mehr finanzieller Investition(10 GbE, SSD-Caching,...). Das Ergebnis war ähnlich bescheiden.

Grüße,
greystone
 
Wenn die Journals auf SSDs liegen, kann Ceph ziemlich abgehen und es lässt sich vor allem sehr gut skalieren. Also die schlechte Performance kann ich jetzt aus unserer Erfahrung heraus nicht bestätigen, allerdings ist die Hardwarebasis auch recht stark bei uns. Wie sah die sonstige Hardware der Nodes bei dir aus? Auch CPU / RAM können die Leistung des Clusters stark negativ beeinflussen, wenngleich Storage und Netzwerk erstmal mehr gefordert werden.
 
Mein Testsetup war:

  1. 4 Nodes insgesamt.
  2. CPU Intel Core i7-2600
  3. 16 GB RAM
  4. 4 x 1 GbE Intel
  5. Pro Node: 4 x 1 TB SATA oder 4 x 1 TB SAS an Adaptec ASR 2405
  6. Software: PetaSAN 1.4.0 (Ceph Jewel 10.2.9)
  7. Replikationsfaktor: 2

Die Platten waren alle in Ordnung, d. h. alle haben nach Kurztest in etwa die gleiche Lese-/Schreibgeschwindigkeit geliefert(130-140 MB/s).
 
Last edited by a moderator:
Das zweite Testsetup meines Bekannten war(keine weitergehenden Details verfügbar):

Ceph
4 x dual Xeon E5-2650 - 64GB Ram - 2x 500GB SSD, 5x 4TB HDD, 2 x 10 GbE

Openstack Nova(Control Panel)
3 x dual Xeon E5-2650 - 64GB Ram - 2x 1TB HDD (Raid1) - HA betrieb. 10 GBE

Openstack Compute nodes
5 x dual Xeon e5-2670 - 192GB Ram - 2x 1TB HDD (Raid1) 10GbE

Lesegeschwindigkeit: ca. 80 MB/Sek.
 
Abhängig vom Redundanzlevel sind die Daten nur auf 2-3 HDDs verteilt.
Mit mehreren parallelen Zugriffen kommst du dann schon an die Grenzen dessen, was die HDDs schaffen.
Ceph ist eher dafür gedacht, dass du (über viele Server verteilt) möglichst viele Festplatten hast. So ab 20-30 HDDs aufwärts.
CephFS ost ohnehin nicht der Performance-Bringer. Wenn du die Möglichkeit hast, solltest du lieber direkt per RBD darauf zugreifen.


Insgesamt ist die maue Performance bei deinem Setup zu erwarten...
 
@PHP-Friends:

Wie nutzt Ihr Ceph? Als VM-Storage, oder als NFS für Dateiablage, oder etwas ganz anderes?
 
Aktuell für Backups sowie (getrennt natürlich) für Kubernetes-Cluster die wir für eigene Infrastruktur und einige Kunden betreiben. Gerade die Anbindung an Kubernetes ist recht einfach.
 
You must log in or register to reply here.
Back
Top