Welche RaidZ-Konfiguration für kleine Werbeagentur

[V-Atelier]

Ein freundliches Hallo in die Runde ,

ich habe nun sehr viele Forenbeiträge durchgelesen, verglichen, Risiken abgewogen etc., da ich aber absolut nicht vom Fach bin, sondern eher hobbymäßig eine Laie, brauche ich Rat von Leuten, die sich besser auskennen als ich.

Ich habe frisch ein NAS mit TrueNAS Scale für unsere Werbeagentur (4 Personen, die gleichzeitig arbeiten müssen) aufgesetzt. Mir stehen jetzt gerade 4x 4TB HDDs zur Verfügung (optional kann dazu gekauft werden.). Im Moment müssten wir auf dem NAS ca. 8+ TB an Daten zusammensammeln (so viel ist nach ca. 10 Jahren zusammen gekommen), allerdings soll der Speicher für die nächsten paar Jahre auch "relativ" zukunftssicher in seiner Größe sein.

(Bisher lagern die Daten verteilt auf allen PCs im Büro, ohne Redundanzen (lediglich halbjährliche Backups durch kleine externe Festplatten)

Jetzt stellt sich die Frage: "Wie den Pool aufbauen?"

Am wichtigsten ist, dass wir alle gleichzeitig ohne irgendwelche Performance-Probleme auf dem NAS arbeiten können.
Das wäre mit Programmen von Adobe wie Photoshop, InDesign, Illustrator, Premiere Pro, After Effects aber auch mit CorelDRAW und 3D-Visualisierung mit Blender. Videobearbeitung haben wir allerdings eher selten.

Genau so wichtig ist aber auch, dass ein Total-Ausfall des Systems (durch zu viele kaputte Festplatten) so gut es geht vermieden werden kann. Raid ist kein Backup-Ersatz, habe ich nun schon zu genüge gelesen , das ist mir bekannt. Es wäre schön, wenn man es aber möglichst vermeiden könnte, dass eine Wiederherstellung durch Backups überhaupt nötig werden würde.

Folgende Konfigurationen habe ich mir bisher überlegt, was sind eure Meinungen dazu? Was ist zu empfehlen bzw. nicht zu empfehlen? Gibt es bessere Vorschläge?
RaidZ1: 2x vdev mit je 3x 4TB HDDs
RaidZ2: 1x vdev mit je 6x 4TB HDDs
Striped Mirror: 3x vdev mit je 2x 4TB HDDs


Viele Grüße und im Voraus Danke für mögliche Lösungsansätze

 

[greystone]

Grundsätzlich: Festplatten sind halt für die Sparbrötchen. SSDs sind für diejenigen, die Performance haben wollen. (Ich bin von der Fraktion Sparbrötchen, es sei denn, der Nutzende bezahlt's ). NVMe - SSDs sind nochmal deutlich schneller als SATA-SSDs. Weiterhin ist ZFS als Dateisystem IMHO auch schon Mal eine gute Wahl aufgrund der Datenintegrität. (Checksummen).

Mit 4 TB Platten würde ich nix mehr machen. Zu klein. Eine 4 TB Platte schluckt genauso viel Strom, wie eine 16 TB Platte. Insofern wäre mein Vorschlag, wenn Dir HDD-Speed reicht: Nimm 4 x 16 TB als RAIDZ2. Die höheren Anschaffungskosten bei den größeren Platten holst Du durch die gesparten Stromkosten wieder rein.

Der Vergleich zwischen RAIDZ2 und Striped-Mirror - wie von Dir aufgezeigt ist, dass beim RAIDZ2 beliebige 2 Platten ausfallen können. Wenn beim Striped Mirror die falschen Platten ausfallen, dann ist das Dateisystem weg (Restore vom Backup).

Striped Mirror ist im Übrigen noch performanter als RAIDZ1/2/3.

Ob Du jetzt ein oder zwei gleichzeitig ausfallende Platten abfangen möchtest, dass hängt an Deinen Präferenzen. Ich habe hier kein einziges RAID mit 3facher Redundanz oder höher (also RAIDZ2 bzw. RAID6 bzw. RAID1C3) - die Ceph-Systeme mal ausgenommen. Das ist für mich aber auch in Ordnung, weil ich Plattenausfälle bzw. drohende Plattenausfälle sofort mitbekomme - aufgrund des Monitorings. Die mehr oder wenige zeitnahe Information darüber, dass da Festplatten/SSDs ausgefallen sind wäre also auf jeden Fall wichtig.

Wahrscheinlich brauchst Du je nach Speichermedium einen Server mit den entsprechenden Slots oder entsprechende Adapter. (Für NVMe brauchst Du Server mit U2 Slots. Für 2,5" SSDs brauchst Du Server mit entsprechenden Slots oder ggf. Adapter. Ein Gehäuse für 3,5" Festplatten hast Du vermutlich...)

Bei den 16 TB Platten kannst Du auch mit 2 x 16 TB anfangen und dann jeweils nach Bedarf ein Paar als Mirror zum Pool hinzufügen.

Rechenbeispiele:

Array mit 4 x 4 TB SSD SATA Samsung PM897 => 4 x 600 € => 2400 € : bietet ~11 TiB Speicherplatz als RAIDZ
Array mit 4 x 4 TB SSD SATA Samsung PM893 => 4 x 420 € => 1680 € : bietet ~11 TiB Speicherplatz als RAIDZ
Array mit 4 x 16 TB Seagate Exos HDD X16 => 4 x 200 € => 800 € : bietet ~30 TiB Speicherplatz an als RAIDZ2 (höhere Ausfallsicherheit)
Array mit 4 x 16 TB Seagate Exos HDD X16 => 4 x 200 € => 800 € : bietet ~30 TiB Speicherplatz an als StripedMirror (höhere Geschwindigkeit)

Bzgl. der Geschwindigkeit kannst Du ja jetzt mit Deinen 4 TB Platten rumspielen, um zu sehen, ob Dir die Geschwindigkeit von Platten mit den verschiedenen Konfigurationen reicht.

Solange Du nur Mirror-VDEVs in Deinem ZFS-Pool verwendest, kannst Du wieder nach Belieben VDEV-Mirrors entfernen oder hinzufügen. Sobald auch nur ein RAIDZ1/2/3-VDEV im Pool ist, war's das. Ab dem Zeitpunkt kannst Du nur noch hinzufügen und nicht mehr entfernen. Wenn Du da die Struktur noch verändern möchtest, musst Du den Pool komplett löschen (Daten vorher exportieren) und neu aufsetzen (Daten dann wieder importieren).

Du wirst hier vermutlich noch diverse andere - davon stark abweichende - Vorschläge bekommen.

 

[V-Atelier]

Boah, vielen, vielen Dank für den ganzen nützlichen Input greystone. Das habe und werde ich mir noch ein paar mal durch den Kopf gehen lassen.


In Sachen Geschwindigkeit: Ich denke, die Geschwindigkeit von HDDs sollte ausreichen. Wir arbeiten normalerweise mit kleinen Datenmengen (ganz grob 3 - 80 Megabyte pro Arbeitsdatei). Allerdings werde ich – wie du schon vorgeschlagen hast – mit den vier vorhandenen HDDs vorher herumprobieren.

Sollte die Geschwindigkeit vielleicht doch nicht reichen, wäre da ein Upgrade in Richtung "L2ARC" zu empfehlen?

Kurze Grundsatz-Frage dazu: Bei Dateien, die auf einem NAS geöffnet, bearbeitet und danach wieder gespeichert werden: Wird dabei die komplette Größe der Datei nochmal zum NAS zurück übermittelt, oder lediglich das, was in der Datei verändert wurde?

Bezüglich Festplattengröße: 16 TB-Festplatten scheinen ja momentan in Sachen Preis/Leistung sehr gut geeignet.

So, wie es bei uns im Betrieb nach jetzigem Stand aussieht, müssen wir bloß 8-10 TB unterbringen (Eine Datenmenge, die nach 10-14 Jahren entstanden ist. Ein rapider Datenzuwachs ist absolut unwahrscheinlich).

Also würden 2x 16TB als Mirror vermutlich eine sehr geeignete Lösung sein. Zumal eine Erweiterung erst in einigen Jahren fällig sein würde.

 

[greystone]

Sollte die Geschwindigkeit vielleicht doch nicht reichen, wäre da ein Upgrade in Richtung "L2ARC" zu empfehlen?

Ausreichend RAM wäre wichtiger. Bei Deinem Setup 16-32 GB dediziert für ZFS. Ich habe da keine brauchbaren Zahlen als Erfahrungen. Ich werfe im Zweifelsfall immer ein paar GB RAM mehr drauf.

Siehe:
https://de.wikibooks.org/wiki/ZFS_auf_Linux/_Allgemeine_Empfehlungen
https://www.thomas-krenn.com/de/wiki/TrueNAS_CORE
https://www.truenas.com/docs/core/gettingstarted/corehardwareguide/

 

[d4f]

Wird dabei die komplette Größe der Datei nochmal zum NAS zurück übermittelt, oder lediglich das, was in der Datei verändert wurde?

Das ist abhängig vom verwendeten Protokoll, alle halbwegs zeitgemässen Protokolle (NFS,CIFS,SMB) unterstützten punktuelle Schreibänderungen.
Generell gibt der Client dabei bei dateibasierenden Shares schlicht an dass er an Position X in einer Datei schreiben will - funktioniert also genau wie lokale Schreibaktionen und der Rest wird vom Protokoll übernommen.

Grundsätzlich: Festplatten sind halt für die Sparbrötchen. SSDs sind für diejenigen, die Performance haben wollen. (Ich bin von der Fraktion Sparbrötchen, es sei denn, der Nutzende bezahlt's ). NVMe - SSDs sind nochmal deutlich schneller als SATA-SSDs.

Industriegrössen wie Hitachi und HPe wiedersprechen dir dahingehend. Sobald es um reine Datenspeicher geht, sind HDD-Speicher oder tierung mit SSD und HDD durchaus noch immer sehr üblich. Punkt Preis/Leistung und Kapazität sind moderne Helium-Platten halt weit vor SSDs...

Ich denke, die Geschwindigkeit von HDDs sollte ausreichen. Wir arbeiten normalerweise mit kleinen Datenmengen (ganz grob 3 - 80 Megabyte pro Arbeitsdatei).

Relevante Faktoren bei HDDs sind die Anzahl an gleichzeitigen Abrufen (HDD Seek-Zeit ist nicht irrelevant) und die Latenzempfindlichkeit der Applikationen. Anders formuliert; falls es sich zB um CAD-Zeichnungen und eine Handvoll Mitarbeiter handelt so schafft jedes angestaubte Synology 2Bay-NAS die notwendige Leistung. Echtzeit-Videobearbeitung scheitert es dann aber schon für einen Benutzer schlicht an der Netzwerkbandbreite.


Teures und oft mediocres Tiering/Caching (L2ARC, ZIL, ...) kann man je nach Arbeitsumgebung übrigens durch Prozeduren manchmal komplett umgehen. Aktive Projekte auf SSD-Speicher oder Synchronisierung aktiver Projekte mit dem Speicher der Arbeitsrechner reduziert Netzwerklast oft ungemein.

 

[V-Atelier]

Ausreichend RAM wäre wichtiger. Bei Deinem Setup 16-32 GB dediziert für ZFS. Ich habe da keine brauchbaren Zahlen als Erfahrungen. Ich werfe im Zweifelsfall immer ein paar GB RAM mehr drauf.

Siehe:
https://de.wikibooks.org/wiki/ZFS_auf_Linux/_Allgemeine_Empfehlungen
https://www.thomas-krenn.com/de/wiki/TrueNAS_CORE
https://www.truenas.com/docs/core/gettingstarted/corehardwareguide/

Das ist gut zu wissen. 16GB RAM habe ich schon drin. Da werd' ich mal schauen, wie es sich macht, ansonsten erweitere ich nochmal auf 32GB, sollte es nicht reichen.

Teures und oft mediocres Tiering/Caching (L2ARC, ZIL, ...) kann man je nach Arbeitsumgebung übrigens durch Prozeduren manchmal komplett umgehen. Aktive Projekte auf SSD-Speicher oder Synchronisierung aktiver Projekte mit dem Speicher der Arbeitsrechner reduziert Netzwerklast oft ungemein.

Ah, das ist eine sehr gute Idee. Ich denke, die meisten Dinge wird das NAS auch so gut bewältigen aber gerade bei dem genannten Beispiel der Video-Bearbeitung hört sich für mich eine Synchronisation zum Arbeitsrechner sehr praktisch an.

Ich las in der Vergangenheit, dass "Syncthing" für so einen Einsatz geeignet sei, wäre das noch immer zu empfehlen oder gibt es da inzwischen "bessere" Alternativen?

 

[greystone]

Ich las in der Vergangenheit, dass "Syncthing" für so einen Einsatz geeignet sei, wäre das noch immer zu empfehlen oder gibt es da inzwischen "bessere" Alternativen?

Grundsätzlich fand' ich Syncthing immer ganz nett. Praktisch hatte ich es wenig im Einsatz. Und die wenige Male, wo es der Fall war hat sich das auch etwas verhakt mit der Synchronisation, wenn ich diverse Geräte mal online und mal offline hatte. Da habe ich dann keine Lust mehr gehabt nachzuschauen, woran es denn nun lag.

Im Vergleich dazu nutze ich Nextcloud regelmässig und das funktionert sehr gut.

Der Unterschied zwischen beiden ist in der Datenhaltung. Syncthing ist dezentral von der Datenhaltung und auch von der Konfiguration und Nextcloud ist zentral und synchronisiert immer zur Zentrale / zum Server.

Was bei der Synchronisation wichtig ist, ist, dass die Synchronisation möglichst dauerhaft stattfindet, d. h. dass keine durchgeführten Änderungen lokal rumliegen und mangels Netzwerkverbindung nicht zurück gespielt werden können. Wenn das passiert gibt es (bei beiden Programmen) Synchronisationsprobleme. Bei Syncthing kann die Struktur und demzufolge die Synchronisation dabei eben komplexer / langwieriger werden, weil das Peer-2-Peer und nicht Client-Server ist.

Sieht so aus, als könnte man auf TrueNAS Core wohl auch Nextcloud installieren.

https://www.truenas.com/docs/solutions/integrations/nextcloud/

 

[V-Atelier]

Im Vergleich dazu nutze ich Nextcloud regelmässig und das funktionert sehr gut.

Von Nextcloud hatte ich auch schon gehört. Das müsste ich mir mal noch genauer anlesen. Auf den ersten Blick schien es mir erst so, als würde es viel zu voll von Funktionen sein, die ich gar nicht nutzen würde. Aber vielleicht ist es ja doch was für mich. Ich werd's mir mal anschauen.

 

[syntaxys]

Interessanter Thread! Ich habe mir auch kürzlich ein NAS neu aufgesetzt, nutze jedoch ein normales Debian 12 für die Verwaltung. Man hat wesentlich mehr Freiheiten bzgl. Software und Feineinstellungen, als bei den NAS-Systemen. Diese sind jedoch für Gelegenheitsadmins einfacher zu bedienen.
Da ich alleine arbeite, reicht mir die 1-Gigabit-Anbindung ans NAS, bei mehreren Mitarbeitern würde ich jedoch schauen, daß die Geräte mit 2.5-Gb kommunizieren können. Gerade wenn größere Daten herumgeschoben werden, ist das deutlich performanter.
Bezüglich der Redundanz der Daten habe ich folgendes Konzept:

• Im NAS laufen 2x 2-TB-SSDs in einem mirrored ZFS-Pool, viertelstündlich werden automatisch Snapshots erstellt. Das Tool ZFS-AutoSnapshot ist sehr nützlich. Der Pool lässt sich sowohl in der Größe der Einzelgeräte, als auch in der Gesamtredundanz problemlos skalieren, bzw. oder im Notfall auch reparieren. Man kann also sehr gut z. B. die beiden vorhanden 2x 2-TB mit 2 weiteren 2-TB auf 2x 4-TB stripen oder den Pool mit einer weiteren 2-TB HDD als 3. Backup ergänzen. Ob sich SSD und HDD in einem ZFS-Stripe mischen lassen, weiß ich jetzt nicht. Aber parallel klappt das problemlos, das habe ich schon ausprobiert.
• Der gleiche nutzbare Gesamtspeicherplatz, der im NAS zur Verfügung steht, ist auch per USB-Laufwerk extern angebunden. Die Platte startet per Zeitschaltuhr außerhalb meiner Arbeitszeit, wird per Script gemountet und mit dem Stand des Pools synchronisiert. Danach wieder ausgeworfen und abgeschaltet. Somit habe ich immer ein autonomes Gesamtbackup vom Vortag, wenn ich morgens starte.
• Mein lokaler Arbeitsdatenbestand auf dem Notebook wird mit BorgBackup regelmäßig im Hintergrund auf's NAS gesichert. Das ist extrem flexibel und vor allem schnell, da nur die geänderten Bytes inkrementell geändert werden. Man kann damit gut für jeden Arbeitsplatzrechner oder auch für jedes Projekt ein Repository pflegen, das nur wenig Platz beansprucht.
• Mir persönlich war es noch wichtig, daß das NAS lautlos läuft und wenig Energie verbraucht. Ich hab's hier neben dem Notebook stehen und den ganzen Tag Festplattengeratter würde mir auf den Senkel gehen. Von der Gesamtkapazität her halte ich nur die Größe vor, die ich benötige. Lieber kaufe ich in 3-4 Jahren moderneren Speicher, falls ich dann mehr Platz benötige.
• Mit ZFS und den SmartMonTools hat man zuverlässige Werkzeuge für das Monitoring bzgl. Ausfällen. Probleme bekomme ich sofort über meinen Telegram-Bot mitgeteilt.
  

 

[V-Atelier]

Interessanter Thread! Ich habe mir auch kürzlich ein NAS neu aufgesetzt, nutze jedoch ein normales Debian 12 für die Verwaltung. Man hat wesentlich mehr Freiheiten bzgl. Software und Feineinstellungen, als bei den NAS-Systemen. Diese sind jedoch für Gelegenheitsadmins einfacher zu bedienen.
Da ich alleine arbeite, reicht mir die 1-Gigabit-Anbindung ans NAS, bei mehreren Mitarbeitern würde ich jedoch schauen, daß die Geräte mit 2.5-Gb kommunizieren können. Gerade wenn größere Daten herumgeschoben werden, ist das deutlich performanter.
Bezüglich der Redundanz der Daten habe ich folgendes Konzept:

• Im NAS laufen 2x 2-TB-SSDs in einem mirrored ZFS-Pool, viertelstündlich werden automatisch Snapshots erstellt. Das Tool ZFS-AutoSnapshot ist sehr nützlich. Der Pool lässt sich sowohl in der Größe der Einzelgeräte, als auch in der Gesamtredundanz problemlos skalieren, bzw. oder im Notfall auch reparieren. Man kann also sehr gut z. B. die beiden vorhanden 2x 2-TB mit 2 weiteren 2-TB auf 2x 4-TB stripen oder den Pool mit einer weiteren 2-TB HDD als 3. Backup ergänzen. Ob sich SSD und HDD in einem ZFS-Stripe mischen lassen, weiß ich jetzt nicht. Aber parallel klappt das problemlos, das habe ich schon ausprobiert.
• Der gleiche nutzbare Gesamtspeicherplatz, der im NAS zur Verfügung steht, ist auch per USB-Laufwerk extern angebunden. Die Platte startet per Zeitschaltuhr außerhalb meiner Arbeitszeit, wird per Script gemountet und mit dem Stand des Pools synchronisiert. Danach wieder ausgeworfen und abgeschaltet. Somit habe ich immer ein autonomes Gesamtbackup vom Vortag, wenn ich morgens starte.
• Mein lokaler Arbeitsdatenbestand auf dem Notebook wird mit BorgBackup regelmäßig im Hintergrund auf's NAS gesichert. Das ist extrem flexibel und vor allem schnell, da nur die geänderten Bytes inkrementell geändert werden. Man kann damit gut für jeden Arbeitsplatzrechner oder auch für jedes Projekt ein Repository pflegen, das nur wenig Platz beansprucht.
• Mir persönlich war es noch wichtig, daß das NAS lautlos läuft und wenig Energie verbraucht. Ich hab's hier neben dem Notebook stehen und den ganzen Tag Festplattengeratter würde mir auf den Senkel gehen. Von der Gesamtkapazität her halte ich nur die Größe vor, die ich benötige. Lieber kaufe ich in 3-4 Jahren moderneren Speicher, falls ich dann mehr Platz benötige.
• Mit ZFS und den SmartMonTools hat man zuverlässige Werkzeuge für das Monitoring bzgl. Ausfällen. Probleme bekomme ich sofort über meinen Telegram-Bot mitgeteilt.

Das liest sich sehr interessant! Danke für deinen Beitrag und den Einblick in dein Systemaufbau. TrueNAS Scale benutze ich, gerade weil meine Kernkompetenzen weit weg Systemadministration liegen. Und für unsere Zwecke geht damit alles was wir brauchen und sicherlich weitaus mehr, als wir benötigen

Bei den ersten beiden Punkten sieht es bei mir nun ähnlich aus wie bei dir. 2x16TB als Mirror sind jetzt installiert und momentan dient eine 16TB-Platte, extern angeschlossen, als Backup, das wöchentlich aktualisiert wird (ich denke, ich verkürze den Abstand noch).

Benachrichtigungen per E-Mail, Telegram o.ä. bei "kritischen" Systemfehlern werde ich mir auch noch einrichten.

 

[greystone]

Reicht Dir ein Backupsatz (wöchentlich) wirklich aus? Ich bevorzuge da eher viele: (7 Tage, mehrere Wochen und dann nochmal diverse Monate).

 

[V-Atelier]

Reicht Dir ein Backupsatz (wöchentlich wirklich aus?). Ich bevorzuge da eher viele: (7 Tage, mehrere Wochen und dann nochmal diverse Monate).

Das Problem müsste ja doch durch die ZFS-Snapshots gelöst werden, oder? Sie halten für die wichtigen Daten 2 Monate, alle unwichtigen Snapshots halten 2 Wochen. Und genau so sieht es dann ja auf der Backup-Festplatte aus.

 

[greystone]

Das Problem müsste ja doch durch die ZFS-Snapshots gelöst werden, oder?

Das wäre nahe liegend und sinnvoll. Vielleicht kann man das Snapshotting ja noch anpassen? Ich selbst kenne TrueNAS nicht.

Nachtrag: Sinnvoller fände ich es auch, wenn der sync nicht wöchentlich, sondern mehrmals am Tag stattfände. ZFS könnte das einfach (zfs send/receive). Ich weiss natürlich nicht, ob TrueNAS das umsetzt. Ist aber ebenso nahe liegend.

 

[V-Atelier]

Das wäre nahe liegend und sinnvoll. Vielleicht kann man das Snapshotting ja noch anpassen? Ich selbst kenne TrueNAS nicht.

Nachtrag: Sinnvoller fände ich es auch, wenn der sync nicht wöchentlich, sondern mehrmals am Tag stattfände. ZFS könnte das einfach (zfs send/receive). Ich weiss natürlich nicht, ob TrueNAS das umsetzt. Ist aber ebenso nahe liegend.

Das kann alles in der GUI von TrueNAS Scale eingestellt werden. Ich bin hier noch am Basteln und probiere einiges, die Sync-Zeiten passe ich noch an. Snapshotting kann ich ebenfalls individuell konfigurieren.