Proxmox mit ZFS Beratung

Agenda2020

New Member
Hallo @All,

da es mittlerweile kaum Anbieter gibt die Hardware Raid anbieten, muss man sich in ZFS anarbeiten.

Ich möchte gern folgende Konfiguration fahren und würde gern eurer Feedback dazu hören:

3 x NVMe SSD
1 x SSD SATA

Die 3 x NVMe SSD als ZFS Raid-Z1 für OS und Proxmox VMs. Die SSD Festplatte dient für L2ARC, LOG und SWAP.

Für mich stellt sich die Frage, wie riskant ist es L2ARC, LOG sowie SWAP ohne eine Spiegelung zu betreiben? Würde es, im Falle eines Crashes der SSD Platte, zu Datenverlust kommen oder kann man einfach neue Platte rein, L2ARC, LOG und SWAP neu konfigurieren?

Würde mich über eine Antwort sowie Feedback freuen.
 

greystone

Member
Die NVMe SSDs dürften schneller sein als die SATA SSD. Der Sinn von L2ARC und ZIL/SLOG ist dass die Cache-Devices schneller sind als die Pool-Devices. Insofern macht dieses Setup keinen Sinn.

Ansonsten würde ich ein ZIL/SLOG immer auf einem redundanten Speicher betreiben, wenn Datenverlust nicht akzeptabel ist. Der Ausfall von L2ARC/Swap dürfte hier AFAIK keinen Datenverlust nach sich ziehen.
 

edvhuether

New Member
Warum nimmst du kein 2x NVME 2x SATA SSD? So könntest du zumindest ein Software RAID Spannen solte es dein Hoster nicht als HW Config zulassen. So würdest du zumindest eine Spieglung auf Softwarebasis haben und kannst bei einem Crash die defekte Platte ersetzen lassen.
 

Agenda2020

New Member
@greystone Danke für dein Feedback!

Was würdest du dann empfehlen? Auf L2ARC verzichten und 2 x SSD als mirror für SWAP und ZIL/SLOG? Wobei das auch eine ziemliche Verschwendung der SSD Platten wäre. Wobei ZFS Mirror und SWAP auch nicht wirklich unterstützt wird.

Könnte man auch auf ZIL/SLOG verzichten? Nachteile wären?

@edvhuether

All Proxmox VE versions do not support Linux Software RAID (mdraid). That means, it's not tested in our labs and not recommended, but it's still used by experienced users. If you want to run a supported configuration, go for Hardware RAID or a ZFS RAID during installation.
Ich würde eher auf unterstützte Konfigurationen zurückgreifen.
 

Firewire2002

Registered User
da es mittlerweile kaum Anbieter gibt die Hardware Raid anbieten, muss man sich in ZFS anarbeiten.
Habe mir nun nur mal den deutschen Markt angeschaut und die Provider abgeklappert die mir spontan so eingefallen sind. Folgende haben Server mit HW-Raid im Angebot:
  • Dogado
  • Hetzner
  • IP-Projects
  • Keyweb
  • Lansol
  • Leaseweb
  • OVH
  • Plusserver
  • Rootoo
  • Serverloft

Und es gibt mit Sicherheit noch deutlich mehr. Keine Ahnung wie du zu obiger Aussage kommst. Hoster mit HW-Raid Angeboten gibt es mehr als genug.

Es gibt ausführliche Blogs von Solaris und NexentaStor Entwicklern die detailiert beschreiben, warum man ein ZFS niemals ohne ZIL betreiben sollte. Einfach mal googlen. ;)
Kurzfassung: ZIL dient nicht nur der Schreibperformance als Write-Cache. Sondern dient dem ZFS selbst auch bei der Datenorganisation beim Schreiben der Daten. Je nach Schreibverhalten bzw. Struktur der Datenänderungen kann ein ZIL helfen, die Performance des Pools länger aufrecht zu erhalten.
 

marce

Well-Known Member
Wenn ZFS unter Linux in den letzten Jahren nicht massiv an Stabilität und Perfomance (in Bereichen jenseits des privaten Spaß-Einsatzes) gearbeitet hat macht ZFS unter Linux in den Bereichen, in denen das Dateisystem eigentlich glänzen könnte für mich gar keinen Sinn.

Wenn ZFS - dann ein OS, wo es nativ unterstützt wird.
Wenn Linux - dann kein ZFS.
 

danton

Debian User
Der Ausfall von L2ARC/Swap dürfte hier AFAIK keinen Datenverlust nach sich ziehen.
Wenn es dir bei einem laufenden System unkontrolliert den SWAP weghaut, weil die SSD kaputt geht, mußt du sehr wohl mit Datenverlusten rechnen,. Das System ist dann in einem inkonsistenten Zustand und wird eher früher als später abstürzen.
 

d4f

Kaffee? Wo?
Eventuell am Thema vorbei, aber Proxmox unterstützt problemlos mdadm Softraid für alles ausser die Boot-Platte. Man muss lediglich Softraid, PV und VG manuell erstellen und danach als Datastore in der Proxmox Weboberfläche erstellen. Sogar erstellte Thin-LV werden andstandlos übernommen.
Etwas bastelfreudiger muss man sein, wenn Proxmox auch von mdadm booten können soll.

In deinem Szenario wäre die SSD damit Systempartition + Swap + ISO, ... und die NVM bilden ein RAID5 für die VM-Daten.
 

danton

Debian User
Etwas bastelfreudiger muss man sein, wenn Proxmox auch von mdadm booten können soll.
Ist aber auch überschaubar. Einfach ein Minimal-Debian installieren und da entsprechend MD-RAID als Boot-Medium erstellen und anschließend das Proxmox-Repository hinzufügen und die Proxmox-Pakete installieren (ist ja bei Proxmox im Wiki beschrieben). Ich habe bei meinem Proxmox-System auch den Umweg über Debian gemacht, da mir das Partitionsschema vom Proxmox-Installer nicht zu dem gewünschten Ergebnis geführt hat.
 
Top