Fileserver über mehrere Rechner verteilt

sunghost

New Member
Hallo,
mein SRaid hat im ext4 die maximal möglich größe erreicht und nun suche ich nach einer Alternativen. Gibt es zum Bsp. die Möglichkeit, ein einziges Filesystem, evtl. eine Art Cluster, über mehrere Rechner aufzubauen? Bevorzugtes OS wäre Debian. Habt ihr da eine Idee bzw. Erfahrungen mit? Auf einer anderen Seite emfpahl jemand Gluster was jedoch über Fuse läuft und daher nicht unbedingt produktiv verwendet werden sollte.
 
Cluster-Filesysteme gibt es einige, entscheidend ist oftmals, was man genau vor hat bzw. warum man eines will...

Ansonsten - schau Dir mal AFS an...
 
Re

Danke für die Tipps. Gedacht hatte ich mir, min 2 Rechner mit Raid6 und ext4 aufzubauen und diese dann in so eine Art Cluster zu binden. Später können dann weitere Rechner hinzukommen, bzw. wäre es auch toll, falls mal einer ausfällt, dass der Rest läuft und die Daten erhalte bleiben ;) Zugriff hauptsächlich von Linux, aber auch Windowsbüchsen.

Wie waren deine Tests mit Gluster? Was ist da machbar, bzw. gibt es eine GUI (Web?). Was wären deine Alternativen? Und kann ich ein bestehendes Raid5 dort aufnehmen bzw. konvertieren
 
Von was für Größenordnungen sprechen wir denn aktuell und was für ein Wachstum erwartest du in den nächsten 1-3 Jahren?

Wenn du mit "Grenze von ext4" nur die kleine 16TB Hürde meinst, wäre XFS eine Alternative. Wenn du die 1EiB Grenze meinst, wirds interessant. :)
Bei so kleinen Sachen wie 16TB würd ich persönlich nicht unbedingt auf ein Cluster-Filesystem ausweichen, ausser es gibt tatsächlich Performance-Gründe.
Jenachdem für was der Fileserver eingesetzt wird.
 
meist kommt man ja mit der HW, in der die HDs drin stecken eher an die Größe, als das unterliegende Filesystem... :-)
 
re

Ja von 16TB spreche ich. Ein weiteres Problem dabei ist, dass die aktuellen Mainbords meistens nicht über mehr als 8x Sata Anschluss verfügen, bzw. dann weitere über zztl. Karten abgedeckt werden müssen, was dann Engpässe beim Netzteil mit der Anzahl der Stromanschlüsse gibt, und selbst wenn hier mit Y-Kabel gearbeitet wird finde ich es auf Dauer nicht befriedigend. Wenn da mal ein Y abgeht, dann wars das mit dem Raid ;).

Muss ich um XFS verwenden zu können das Raid zuvor nicht aucht mit resize2fs vergrößern? Wenn ja, dann wirds mit XFS nichts. (les grad mal nach)
 
Wie waren deine Tests mit Gluster?
Nur befriedigend fuer den Zugriff vieler kleiner Dateien, hat aber im Gegensatz zu anderen Loesungen kein SPOF was die Loesung interessanter macht.
Es koennte nur in Punkto Self-Healing etwas besser sein, hier spielt HDFS (Hadoop) Vorreiter.

gibt es eine GUI (Web?)
Nein, wozu?

Und kann ich ein bestehendes Raid5 dort aufnehmen bzw. konvertieren
Die meisten Cluster-Filesysteme basieren auf einem lokalen Filesystem (meist ext3/4) statt "raw" Festplatte, was sie von der Speichertechnik entkoppelt.
Somit muessen die Daten in das HDFS verschoben werden, ein konvertieren im ubelichen Sinn ist nicht moeglich.
 
re

Und wie muss ich mir das vorstellen. was ist die basis? ein raid, oder? oder nehm ich einfach jede hdd nach der anderen und verschiebe sie in dieses hdfs, wodurch sie raid ähnlich werden? oder erstell ich mein raid ganz normal und verschiebe den "einhängepunkt" in hdfs ?!
 
aus meinem Wissenskreis gibt's beides... - sowohl basierend auf "Standard-Dateisystemen" mit logischer Cluster-FS-Schicht drüber als auch Raw-Devices.

Vom "Standard-Raid-Gedanken" für das CFS kannst Du dich aber meiner Meinung nach verabschieden - das wäre maximal eine lokale Angelegenheit für den einzelnen Node...
 
Ein Cluster-FS geht davon aus dass der Ausfall eines Datenspeichers UND der Ausfall eines Servers die Regel und nicht die Ausnahme sind.
Somit sind zB bei Hadoop alle Dateien und Dienste redundant abgelegt so dass das System den Ausfall, das Abschalten, das Hinzufuegen sowie Skalierung mit moeglichst wenig Risiko und Zeitaufwand realisieren kann.

Ergo: ein RAID im herkoemmlichen Sinn ist ueblicherweise nicht notwendig, da du ja praktisch ein "RAID" aus Server baust.
 
re

ah ok und wie muss ich mir das denn vorstellen und habe ich eine ähnliche ausfallsicherheit wie z.b. beim raid5 oder 6 ?

edit:
da war jemand etwas schneller ;)
heißt das dann aber nicht auch, dass ich eine sehr hohe redundaz fahre. also z.b. bei 4x2tb, statt 6tb (raid5) nur 4tb (wie im raid1) erhalte, oder liegt dort eine db hinter die eine art crc bildet und somit sehr sparsam mit dem freien speicher umgeht?
 
Last edited by a moderator:
das kommt ein wenig auf's verwendete System an - es gibt welche, die sehr hohe Redundanzen fahren, manche sind eher auf maximal verfügbaren Speicher hin optimiert.

Wiederum je nach dem, welchen grundlegende Idee dahinter steht (Performance, ...)
 
re

Mh, das hört sich kompliziert an. Gibt es da eine gute Doku, außerhalb der Community? Die dortige find ich zwar einläuchtend, jedoch wird wenig erklärt.
 
Nur um hier nochmal einzuhaken:
Ja von 16TB spreche ich. Ein weiteres Problem dabei ist, dass die aktuellen Mainbords meistens nicht über mehr als 8x Sata Anschluss verfügen, bzw. dann weitere über zztl. Karten abgedeckt werden müssen,

Onboard SATA > Software Raid? :eek: Hier ist die Schreibperformance bei Raid5 in der Regel indiskutabel. Ein ORDENTLICHER Raid Controller mit eigener CPU und Pufferspeicher ist m.E. immer die Grundlage eines derart großen Raids. Es gibt genug PCIe x4 oder x8 Controller, die 8, 12 oder 16 Festplatten anschließen können. Ergo kann man ohne weiteres mehr als 8 Platten an einen Server anschließen.

was dann Engpässe beim Netzteil mit der Anzahl der Stromanschlüsse gibt, und selbst wenn hier mit Y-Kabel gearbeitet wird finde ich es auf Dauer nicht befriedigend.

Mit dem richtigen Netzteil sind auch 16-18 oder noch mehr Platten kein Problem. Hierfür braucht man aber das richtige Netzteil! Es reicht nicht, einfach nur ein Netzteil mit möglichst viel "Power" zu nehmen. Die Last muss auch sinnvoll verteilt sein. Die meisten Netzteile sind auf hohe Last auf den Grafikkartenanschlüssen ausgelegt. Perfekt für Server geeignet ist m.E. die Corsair TX Serie. Das ist die einzige Netzteilreihe, die ich kenne, die EINE brutalst ausgelegte 12V Schiene hat, bei dem 950W Netzteil können so bis zu 78A geliefert werden. Eine etwas ältere Version des 650W Netzteils betreibt meinen Server mit 17 Festplatten seit Jahren stabil. Wenn man noch eine etwas stärkere Version nimmt, ist man auf der sicheren Seite.

Wenn da mal ein Y abgeht, dann wars das mit dem Raid ;).

Das stimmt nicht. Ein vernünftiger Raid Controller merkt sofort, dass eine Platte fehlt, behält Schreibvorgänge im gepufferten Speicher und schaltet das degraded Raid auf Read-Only. Selbst wenn 2 Platten vom Strom getrennt werden (und ein Raid5 normalerweise im Eimer wäre), kann man das Raid wieder zum Laufen zwingen. Im Normalfall ist maximal bei den gerade bearbeiteten Files ein Schaden festzustellen. Bei einer Platte fehlt sich eh nix.

Allgemein zum Thema: Ich würde einen einzelnen Server wie oben beschrieben aufrüsten. So vermeidet man 2x die Basisinfrastruktur mit Mainboard, CPU, Speicher, etc. kaufen zu müssen. Auch wird EIN Server immer weniger Energie verbrauchen als zwei und performanter wird die Sache auch sein.

Wenns unbedingt eine Netzwerklösung sein muss: warum nicht 2 Server getrennt betreiben? Was kümmerts den Client von welchem Server er etwas lädt? Oder den Storage des Zweitservers schlicht per iSCSI in den ersten Server (per eigener Gbitverbindung) einbinden? So spart man sich doppelte Benutzerverwaltung.

Ein Cluster ist normalerweise nicht zur Kapazitätssteigerung sondern zur Verfügbarkeitserhöhung gedacht. Aber das ist doch wohl nicht das Ziel, oder?

Eine weitere Möglichkeit ist, schlicht externen, abgesicherten Storage wie z.B. ein Drobo per eSATA an den vorhandenen Server anzuschließen (hat erst letzte Woche ein Freund gemacht und ist sehr zufrieden damit).
 
Last edited by a moderator:
re

Ich geb dir natürlich grundlegend Recht. Ein vernünftgier Controller ist alle Mal besser, als eine evtl. SW Lösung. Aber selbst hierfür gibt es gute Gründe. Ich möchte nochmal anmerken, dass dies keine Businesslösung werden soll und ein Controller mit mehr als 8 Anschlüssen (ein echter HW-C) wäre mir zu teuer. Auch muss man hierbei bedenken, dass man einen 2. kauft. Was willst du nach 4,5 oder mehr Jahren machen, wenn der abraucht? Im Gegensatz zum SW-Raid könnte ich jedes andere Board nehmen und das Raid zum laufen bekommen.

An meinem jetzigen Rechner hängen 13.HDDs ;) Daher kann ich dir sagen, dass mit einem vernünftigen, hier von beQuite 650Watt, Netzteil doch einiges möglich ist. Wenn du schon von einer vernünftigen Lösung sprichst, dann sollte man das Netzteil nicht nur halb betrachten, denn was ist wenn es stirbt? Also besser ein Board mit zweien, aber das kann man so weiterführen und würde vom Thema abweichen. Ich bin mir der verwendeten HW schon bewußt und es ist eher für den kleineren Soho Bereich gedacht, wo Kosten eine Rolle spielen, also auch Strom etc. Und wenn ich mir 2 Rechner im Eigenbau für ca. (schätze jetz mal) 150-200€ hinstelle, dann wird es immer noch günstiger als ein 16er Raidcontroller für min 300€, zumal ich mit den 2Rechner ca. 6x2TB bzw. 6x3TB abdecken kann.

Von der Drobo halte ich nichts, zu teuer und schlechte Performance.
 
Ich möchte nochmal anmerken, dass dies keine Businesslösung werden soll und ein Controller mit mehr als 8 Anschlüssen (ein echter HW-C) wäre mir zu teuer.

Ich habe 2x8HD Controller im Server. Das ist mir meine Datensicherheit wert.

Auch muss man hierbei bedenken, dass man einen 2. kauft. Was willst du nach 4,5 oder mehr Jahren machen, wenn der abraucht?

Man kann oftmals das Raid auf die aktuellen Controller mitnehmen.

Im Gegensatz zum SW-Raid könnte ich jedes andere Board nehmen und das Raid zum laufen bekommen.

Und da bist Du Dir wirklich sicher?

Wenn du schon von einer vernünftigen Lösung sprichst, dann sollte man das Netzteil nicht nur halb betrachten, denn was ist wenn es stirbt? Also besser ein Board mit zweien, aber das kann man so weiterführen und würde vom Thema abweichen.

Eine vernünftige Lösung beginnt bei einem vernünftigen Netzteil. 2 Netzteile sind bei einem Homeserver jetzt wohl nicht unbedingt nötig. Netzteile haben übrigens eine wirklich lange Verfügbarkeitsdauer, mein Netzteil von vor mehreren Jahren gibts immer noch (bzw. die Nachfolger). Nochmal: die genannte Corsair Serie ist die einzige Netzteilserie mit EINER 12V Schiene. Speziell der Anlaufstrom, wenn alle HDs gleichzeitig hochdrehen, ist ein Vielfaches des normalen Strombedarfs. Die meisten Netzteile machen daher schon und ausschließlich beim Spin-Up schlapp.

...wo Kosten eine Rolle spielen, also auch Strom etc. Und wenn ich mir 2 Rechner im Eigenbau für ca. (schätze jetz mal) 150-200€ hinstelle, dann wird es immer noch günstiger als ein 16er Raidcontroller für min 300€, zumal ich mit den 2Rechner ca. 6x2TB bzw. 6x3TB abdecken kann.

Und genau was den Strombedarf betrifft möchte ich Dir da widersprechen. 2 Rechner brauchen mehr als einer. Und für die Kosten, die Du mit einem 2. Rechner hast, kannst Du Dir schon fast einen sehr feinen und extrem performanten Raid Controller holen. Versuch doch mal längerfristig mit mehr als 80 MByte/sec auf ein Softwareraid zu schreiben. Das wird nicht klappen.

Von der Drobo halte ich nichts, zu teuer und schlechte Performance.

Mit 70 Mbyte/sec ist ein Drobo S für ein abgesichertes Speichergerät nicht schlecht dabei. Das Besondere am Drobo ist die einfache Speicherupgradefähigkeit bei bestehendem Volume. Das geht mit Raids nicht/nicht so einfach, flexibel und v.a. idiotensicher.
 
Was willst du nach 4,5 oder mehr Jahren machen, wenn der abraucht? Im Gegensatz zum SW-Raid könnte ich jedes andere Board nehmen und das Raid zum laufen bekommen.
SW-Raid - nicht zwingend.

HW-Raid: entweder der neue Controller kann das alte Format lesen - oder:

Backup einspielen.


Weil: Raid ersetzt kein Backup.
 
re

Ok alles richtig, das mit dem Einschaltstrom kann ich von einem früheren System bestätigen.
Welchen Controler würdest empfehlen und was machst wenn der voll ist, einen weitere Karte reindrücken und das Netzteil nochmal aufrüsten? Was kostet eine Karte mit 24, 32 Anschlüssen. Möchte das nur mal weiter spinnen. Wie kann man es dann lösen? Kommt man dann zwangsweise nicht auf mehrere Systeme die eine Art DFS anbieten, inkl. Ausfallsicherheit und Performance?
 
ab einer gewissen Größe kommen die meisten auf die Idee, sowas über extener Filer wie z.B. eine HP-EVA zu realisieren...
 
Back
Top