System zum Verteilten Datenspeichern

K

Kuruka

New Member
Vorweg: Falls das Thema hier nicht rein passt, bitte ich einen Moderator, es passend zu verschieben. Danke!

Hallo, mein erster Post ist gleich eine Frage aber was solls danke schonmal.

Ich realisiere aktuell ein Projekt bei dem Größere Datenmengen zusammen kommen werden, um diese zu "Speichern" suche ich einen Lösungsweg um mehrere Server bzw. den Ihren Speicher zu verbinden also alla "Cloud" ...

Ich habe mir bereits S3 und konsorten sowie Riak und co angeschaut diese hallte ich aber für zu teuer und zu überdimmensioniert ich brauche in erster Linie hallt viel Speicherplatz der gebündelt wird und auf den ich leicht wieder zugreifen kann.

Im grunde genommen brauche ich einen Wegweiser bzw. den Namen einer Software die hallt eine Skarlierbare Speicherumgebung bietet sowas gab es ja schon vor dem ganzen marketing Cloud zeug ich weiß nur nicht wie es heißt :D

Vielen Dank und freundliche Grüße
Kuruka
 
Es wäre ganz praktisch, wenn da noch paar Rahmenbedingungen genannt würden:
  • Sollen deine Systeme drauf zugreifen oder die deiner "Kunden"?
  • Soll der Zugriff über private oder über öffentliche Netze erfolgen?
  • Soll der Zugriff aus einer Anwendung, vom Desktop oder einer Serverlandschaft erfolgen?
  • Object-Storage, File-Storage oder Block-Storage?
  • API und/oder Protokoll Anforderungen?
  • Budgetgrenze? Verhandlungsgeschick? ;)

Edit:
Paar Punkte vergessen:
  • Wie verteilt soll es denn sein? Über mehrere Server im gleichen Rack oder Kontinente übergreifend?
  • Welche Latenzen sind hinnehmbar?
 
Last edited by a moderator:
Danke schonmal für deine antwort.

Firewire2002 said:
Es wäre ganz praktisch, wenn da noch paar Rahmenbedingungen genannt würden:
  • Sollen deine Systeme drauf zugreifen oder die deiner "Kunden"?
Click to expand...
Mein "System" ist eine Webandwendung die Auslieferung erfolgt an eben diese sowie an eine Iphone/Android App.

Firewire2002 said:
[*]Soll der Zugriff über private oder über öffentliche Netze erfolgen?
[/list]
Click to expand...
Also grundlegend währen Öffentliche natürlich zu bevorzugen aber private Netze wäre hallt auch möglich drosselt aber hallt die Anbindung nach draußen.

Firewire2002 said:
[*]Soll der Zugriff aus einer Anwendung, vom Desktop oder einer Serverlandschaft erfolgen?
[/list]
Click to expand...
Wie gesagt mein "System" ist eine Webandwendung die Auslieferung erfolgt an eben diese sowie an eine Iphone/Android App, der zugriff würde dabei über die "Ausliefernden Server" erfolgen oder direkt je nach dem wie es möglich ist.

Firewire2002 said:
[*]Object-Storage, File-Storage oder Block-Storage?
[/list]
Click to expand...
Das ist mir leider ein bischen zu hoch ich verstehe die Grundlagen ich möchte weder Objekte noch Datenbanken verteilt sichern sondern lediglich Files.
EDIT: Der Zugriff muss auf einzelne Files erfolgen bzw. ich muss halt relativ einfach die Files einspeisen und ausliefern können.


Firewire2002 said:
[*]API und/oder Protokoll Anforderungen?
[/list]
Click to expand...
Am liebsten JSON aber je nach lösung bin ich auch bereit mich einzuarbeiten wir sind hallt aktuell nur 3mann und müssen hallt flexibel sein :D

Firewire2002 said:
[*]Budgetgrenze? Verhandlungsgeschick? ;)
[/list]
Click to expand...
OpenSource oder günstig wären am liebsten da hallt wenig Kapital für infrastruktur zu verfügung steht wie immer ...


Firewire2002 said:
[*]Wie verteilt soll es denn sein? Über mehrere Server im gleichen Rack oder Kontinente übergreifend?
[/list]
Click to expand...
Gleiches Rack wird schwer wir werden versuchen alles im selben Rechenzentrum zu Lokalisieren das sollte intern nicht so ein Problem sein.

Firewire2002 said:
[*]Welche Latenzen sind hinnehmbar?
[/list]
Click to expand...
Latenzen ... wieder eine schwere Frage grundsätzlich sollen die Files an die Auslieferungsserver ausgeliefert werden vie http dl oder data-stream allerdings geht es nicht um live formate oder medien daten sodass latenzen eigentlich vernachlässigbar sind wenn ich es richtig verstehe.

Nocheinmal ein riesen danke für deine Fragen haben mich echt nochmal zum denken angeregt.

EDIT:
 
Last edited by a moderator:
Kuruka said:
Das ist mir leider ein bischen zu hoch
Click to expand...
Bevor wir uns nun in große theoretische Diskussionen stürzen, wie sich die Storagetypen von einander unterscheiden, versuch ich es einfach mal mit Beispielen:
Object-Storage: Amazon S3, Dropbox
File-Storage: CIFS, NFS
Block-Storage: iSCSI, FibreChannel, SAS, SATA

Bisher lassen deine Anforderungen Object-Storage vermuten.
Hier würden mir nun spontan folgende Varianten einfallen:

Es gibt noch paar mehr Alternativen, aber da fallen mir die Namen gerade nicht ein.
Du solltest dir aber schon gründlich Gedanken machen, was du brauchst, willst, wie es skalieren soll und wie weit es überhaupt sinnvoll skalieren kann.
Datenblätter sind bei Storage-Lösungen immer mit größter Vorsicht zu genießen. Da steckt mehr Marketing als technisches Know-How drin. Wenn du dich darauf verlässt, kannst du dich besten Gewissens darauf verlassen, dass du verarscht wirst. ;)
 
Vielen Dank, das sollte mir als Wegweiser reichen werde mich mit dem ganzen Auseinandersetzen und notfalls nochmal melden :D
 
Für solche Sachen würde ich entweder Ceph mit Cepfs empfehen oder ZFS mit Lustre. Mit Ceph kann man ziemlich gut in alle richtungen Skallieren kann. Ob jetzt nur das zusammenfassen von Speicherplatz oder das verteilen der Daten über grosse distancen ist mit Ceph eigentlich egal.
Mit ZFS und Lustre ist es fast das gleiche nur das ZFS Fehler im System erkennt und Automatisch Repariert.

Sven
 
You must log in or register to reply here.
Back
Top