Massenstorage aufbauen, womit?

D

DIG

New Member
Hallo,

ich betreibe mehrere Server. Nun suche ich nach einer Möglichkeit diese wie ein RAID zu verbinden jedoch soll nichts gespiegelt werden sondern soll der Speicherplatz mit jedem Server größer werden. Als Beispiel:

Server A 500GB
Server B 500GB
Server C 500GB

Egal auf welchen Server ich mich nun verbinde sollen immer alle Daten ersichtlich und 1,5TB zur Verfügung stehen.

Die Software selber soll die Daten auf den Servern verteilen. Ob nun FTP, SSH, HTTP oder was auch immer. Das Directory soll auf allen Servern immer die Daten aller Server anzeigen.

Ich hoffe ihr versteht was ich meine und könnt mir weiter helfen. Bevorzugt alles über SSL. Eine Domain und ein Wildcard-Zertifikat liegt vor. Kann ich das auf die anderen Server übertragen?

Ich danke euch.
 
lVM.
Zum Thema ausfallsicherheit braucht man dann auch nix mehr zu sagen.
Soll alles als eine Platte gesehen werden mit der Größe 1,5 TB oder "reichen" 3 Partitionen / Ordner ?

Alternativ würden ich dir amazon Cloudstorage empfehlen...

Eine Domain und ein Wildcard-Zertifikat liegt vor. Kann ich das auf die anderen Server übertragen?
Click to expand...

Da das Zertifikat Domain gebunden ist kannst du das machen.
 
Ok, also das sollte schon als Cluster laufen. Also eine Partition die mit jedem Server größer wird. Auf welchem Server was liegt weiss nur der Server alleine. Also der Hauptserver verteilt das auf alle Server. Wie ich mich letztenendes auf dem Server verbinde soll keine Rolle spielen.

Ein ls /etc/media/massstorge soll alle Dateien anzeigen die auf allen Servern verteilt liegen.

Verbinde ich mich nun via FTP oder SCP und lade was hoch oder ziehe was runter muss der Hauptserver, wenn es nicht bei ihm liegt, das ganze dann vom entsprechenden Server holen und weiter geben.
 
Da ich nicht genau weiß, was du letztlich vorhast, kann ich nur mutmaßen...aber mit einem verteilten Dateisystem (z.B. GlusterFS) sollte sich das möglicherweise umsetzen lassen, was du vorhast.
 
Also die Server sollen nichts machen ausser verbunden sein. Aus 10 Servern a 500GB HDD soll "ein Server" mit 5TB werden. Das ganze soll erweiterbar sein. Also kommt noch ein Server dazu soll noch mehr Speicherplatz zur Verfügung stehen, heisst:

Server 1 ist der Hauptserver. Zu dem verbinde ich mich (womit muss egal sein, SSH,FTP,SCP) wenn ich dann in den Ordner "massstorge" gehe sollen dort alle Dateien/Ordner angezeigt werden die sich auf allen Servern befinden.

Server 1 ist der Hauptserver, die anderen sollen als "entfernte Festplatten" dienen. Ich schiebe die Dateien immer nur auf Server1. Wo dieser dann die Daten hinschreibt, auf seine eigene Festplatte oder die auf Server X oder Server Y das weiss nur Server 1.

Die Festplatten aller Server zusammen sollen eine Große Festplatte ergeben. So als wenn man alle Festplatten als ein Raid mountet, nur eben durch das INet und SSL Verschlüsselt.
 
Wie nexus bereits anspricht sind deine Anforderungen durch Cluster-Dateisysteme abgedeckt. Ceph, Gluster, Hadoop, .... es gibt viele und alle haben ihre Vor- und Nachteile bei Resilienz, Skalierbarkeit, Funktionalität und Voraussetzungen.
Einige Dateisysteme verlangen getrennte Hochgeschwindigkeitsnetze (Fibre, ...) andere kommen über langsame Leitungen und hohe Latenzzeiten aus.

Dass ein solches Dateisystem aber ohne entsprechende Optimierung der verwendenden Software immer langsamer, behäbiger, fehleranfälliger und aufwendiger als ein einzelnes System ist sollte aber nicht vergessen werden.
Sehr oft sind die Einschränkungen für die jeweiligen Einsatzzwecke so stark dass man doch lieber ein gemeinsames Storagesystem (SAN) als ein verteiltes Dateisystem für herkömmliche Einsatzgebiete einsetzt.
 
Hallo,

mir gehört ein gesamtes Rack a 24 Slots. Diese sind zwar alle mittels 10Gbit MIG verbunden jedoch müsste ich auch 2 Server aus einem anderen RZ mit anbinden.
 
Die beiden Server des anderen Rechenzentrums würde ich nicht in das Dateisystem aufnehmen sondern nur als Client sofern dieses die geografische Distanz nicht berücksichtigen kann (bspw über Gewichtung).
Ansonsten riskierst du dass dein schnelles lokale Netz durch die beiden externen Systeme ausgebremst wird.
 
So genau verstanden, was du vorhast, habe ich auch noch nicht.

Klar, du willst alle Server zusammenschalten und ein großes Storage - aber wozu?


Dir "gehört" das ganze Rack. Kannst du da beliebige Server reinstecken, oder nur die besagten 10 x 2HE-Server mit jeweils 500 GB?
Sind diese 500 GB schon als ein RAID zusammengefasst?
Was soll passieren, wenn ein Server nicht verfügbar ist? Soll das abgefangen werden?

Wenn du etwas mehr zum Ziel sagst, können wir dir besser den Weg weisen.
Ohne weitere Infos würde ich dir eher zu 2 x 4HE-Servern raten, die genügend Platten verbaut haben und als Cluster NFS / iSCSI - hochverfügbar anbieten. Dann bleiben dir genügend Höheneinheiten für Pizzaboxen, die diesen Speicherplatz nutzen...

Gruß
Markus
 
Ok, also mir gehört ein ganzes Rack. Dies hat 24 Einschübe. Nur ist das nicht mein Besitz sondern der Vertrag beläuft sich auf 10 Jahre und ist bereits bezahlt.

Ich könnte nun zwar fremde Hardware einsetzen lassen jefoch auch alles neu Confen.

Jeder Server hat je zwei öffentliche Gigabit Anbindungen und eine 10Gigabit Anbindung lokal (Switch). Über diese sind die Server untereinander Verbunden.

Übers Load-Balancing und die insgesamt 20 IP Adressen soll die Netzbelastung in waage gehalten werden.

Zurzeit läuft das ganze mit Owncloud via Server to Server. Dies klappt zwar aber mit Latenzproblemen ohne Ende.

Das Problem ist das Owncloud den "langen" weg über die öffentliche Verbindung und den RZ Switch geht anstatt die Daten aufzunehmen und dann durch das lokale Netzwerk zu verteilen.

Also müssten die Verbindung wie folgt aussen:

Client <> ServerX <> lokales LAN <> ServerY

Durch das Load-Balancing weiss ich nie genau über welchen Server der Client gerade eine Verbindung aufbaut.

Somit müssen alle /dev/sdb1 der Server so lokal verbunden werden das man egal von welchem Server öffentlich auch auf die Daten des anderen Zugreifen kann. Dabei sollte die derzeitige Ordnerstruktur erhalten bleiben.
 
Darf ich mal fragen von wie vielen concurrent connections wir hier konkret reden? Ich kann mir nämlich beim besten Willen nicht vorstellen, wofür du die drei Server + Load Balancer genau brauchst, ganz zu schweigen von den 20 IP-Adressen. Denn um High Availability scheint es dir hier ja nicht zu gehen. Sind das SSDs in den Servern oder normale HDDs? Im letzten Fall wäre nämlich die I/O der Platten das erste Bottleneck.
 
You must log in or register to reply here.
Back
Top