Ceph Storage

[Sven_R]

Hallo,
hat hier irgend jemand schon Erfahrung machen können mit Ceph??

Ich hab auf 6 Nodes einen Kompletten Ceph "Cluster" aufgesetzt und
per Script wie Blöde drauf geschrieben, gelöscht, verschoben und Verzeichnisse erstellt. Hab bisher keine Probleme feststellen können und die Redundanz und Performance war ziemlich Ordentlich.
Mein Problem ist nur die Langzeit Erfahrung mit Ceph, bei mir gerade mal 10 Wochen Testbetrieb. Gibt es jemanden der damit schon länger Erfahrung im Einsatz hat?

Hintergrund ist das wir langsam aber sicher dir Übersicht über unsere Storageserver verlieren und der Zoo an Systemen wächst unaufhörlich und lässt sich teilweise nur noch mit viel Händischer Arbeit bewerkstelligen.

Wir haben zur Zeit ca. 430 Storage Server, mit ca. 50 PB, über fast alle großen Provider verteilt und auch ein groß teil bei uns im RZ. Es wird also langsam Zeit für eine Konsolidierung. Anfangs haben wir auch ZFS im Einsatz gehabt aber da bin ich manchmal mit der Performance nicht wirklich zu frieden vor allem wenn der Server stark am Limit Arbeitet. Auch die Verteilung ist in manchen Fällen schwierig und das Loadbalancing geht manchmal nicht so wie ich mir das vorgestellt habe.

Also Meinungen und Ergebnisse her!!

Sven

 

[remote_mind]

Ich hab leider auch noch keine Erfahrung, aber wichtig finde ich immer das man Ausfall-Szenarien durchspielt und/oder einfach mal versucht das System kaputt zu machen um zu schauen was passiert.

Spannende Fälle wären z.B.

- Split-brain detection und recovery
- was passiert wenn der Monitor stirbt
- mal ein Re-Balancing anstoßen und die Performance beobachten
- Ausfall während eines Re-Balancing
- OSD der sich daneben benimmt, also z.B. ein IO der dauerhaft in D steckt weil das unterliegende Storage 'klemmt' aber nicht abbricht.

Kann man sowas eigentlich auf Tape o.ä. sichern? Ich hätte ja irgendwie Angst vor Metadata-Corruption.

viel Erfolg,
Nils

 

[Sven_R]

All das hab ich schon probiert. Auch auf die Harte Variante. Also ganz übel mal den Stecker gezogen und auch mal ne Platte/n im laufenden Betrieb gezogen.
Das hat nur leider nicht wirklich große Auswirkungen auf den gesamten Cluster gehabt, solange du genügend Kopien der Daten hast ist das kein Problem. Auch die SplitBrain Situation ist bei Ceph nicht mehr wirklich die Gefahr, da Ceph das schon im Vorfeld aus dem Weg räumt.

Daher hast du ja die möglichkeit jeden Service den du in Ceph hast über diverse andere Nodes zu verteilen und somit die Ausfälle zu minimieren.

Das Sichern auf nen Tape hab ich bisher noch nicht getestet mir war nur die Stabilität und das Absichtliche verursachen von Ausfällen wichtig. Sollte aber in dem Fall keine Probleme bereiten wenn du alle Daten vom RadosGW direkt auf nen Tape "Beamst" hast du ja keine Metadaten mehr die kaputt gehen können und solange mehr Nodes am leben sind die genügend Kopien der Daten hast du sowieso keine Ausfälle. Aber auch das direkte Sichern der Platten auf nen Tape sollte keine Probleme darstellen da auf den Platten alle Daten liegen und du die Dinger normal im System einhängen kannst. Das hat bei OpenAFS auf Funktioniert.

Mich wunderts nur das hier SOOOO keiner Antwortet, seit ihr alle nur Verkäufer die irgend ein Standard Root/V-Server Murks vertiken??? Wenn ich hier so die ganzen Posts lese sehe ich hier eher ein Bild was völlig anders ist als ich das hier mit meiner Frage erwartet habe.

Sven

 

[PapaBaer]

Mich wunderts nur das hier SOOOO keiner Antwortet, seit ihr alle nur Verkäufer die irgend ein Standard Root/V-Server Murks vertiken??? Wenn ich hier so die ganzen Posts lese sehe ich hier eher ein Bild was völlig anders ist als ich das hier mit meiner Frage erwartet habe.

Das ist relativ simpel zu beantworten: Ceph macht nur im großen Umfeld Sinn. Und die Leute, die sowas betreiben, überlegen sich sehr genau, welcher Technologie sie ihre Daten anvertrauen. Da wird nicht einfach irgend ein Hype genommen, sondern nur gut abgehangene Technik. Ceph ist im Moment genau an der Stelle, dass sich die Ersten trauen sich das mal anzusehen, zumindest nehme ich das in meinem Umfeld so war. Du bist ja auch nicht ohne Grund jetzt auf dem Weg. Bei uns ist die Migration auf Ceph auch gesetzt. Ich kenne aber erst eine größere Geschichte in meinem persönlichen Umfeld, die Ceph bereits produktiv einsetzt.

 

[Thunderbyte]

Du kannst die (nicht gerade kleinen) Jungs (>300.000 Kunden) ja mal fragen: http://ceph.com/ceph-storage/customer-use-case/dreamhost/

Wenn man sich die Größenordnung dieses Beispiels mal ansieht, sollte klar werden, dass es in der Liga nicht mehr sooo viele Player gibt. Und die haben meist ihre eigenen Systeme. Bisher habe ich im SSF auch noch keine Admins von HostEurope, Hetzner, oder anderen großen deutschen Hostern aus dem (Geschäftsgeheimnis?)Nähkästchen plaudern gehört.

 

[PapaBaer]

DreamHost has developed a petabyte-scale object storage service based on Ceph (currently in alpha). DreamHost is also developing a cloud compute service using Ceph for block storage and leveraging the OpenStack cloud operating system.

Selbst der Haupt-Sponsor von Ceph hat erst Alpha-Status-Projekte am Start...

 

[Thunderbyte]

Selbst der Haupt-Sponsor von Ceph hat erst Alpha-Status-Projekte am Start...

Was ihn allerdings nicht daran hindert, dieses Alpha Projekt schon zu vermarkten: http://dreamhost.com/cloud/dreamobjects/ Will ein ERNSTHAFTER Provider das wirklich jetzt schon verwenden?

 

[Sven_R]

Das ist relativ simpel zu beantworten: Ceph macht nur im großen Umfeld Sinn. Und die Leute, die sowas betreiben, überlegen sich sehr genau, welcher Technologie sie ihre Daten anvertrauen.

Das sehe ich nicht ganz so. Selbst bei kleinen Installationen kann man die Anforderungen nach Redundanz und Sicherheit mit Ceph erfüllen. Oder willst du damit sagen das ein Raid als Datenspeicher immer die beste Wahl ist?? Zumal ich bei Ceph auch gleich die Redundanz als Backup benutzten kann.

Wenn ich mir heute schon ansehe wie lange ein Raid6 oder ein Raid1 bei Platten mit 2 oder 3 TB zum Syncen braucht wird mir schlecht. Ich Rede hier nicht von 4 oder 6 Platten sondern von einem Storage Array mit 25 Platten und auch mehr als 200 Platten.

Da wird nicht einfach irgend ein Hype genommen, sondern nur gut abgehangene Technik. Ceph ist im Moment genau an der Stelle, dass sich die Ersten trauen sich das mal anzusehen, zumindest nehme ich das in meinem Umfeld so war.

Das sehe ich ein bisschen anders. Bei ZFS war das genau so, da wurde bis zum Erbrechen Gehypt und Veranstaltungen darüber gemacht aber wo ist ZFS jetzt?? Nachdem Oracle mal so eben SUN Platt gemacht hat und ORACLE auch OpenSolaris gekippt hat. Damit ist im Linux Umfeld ZFS fast nicht mehr nutzbar mal von den Speziellen Ditris abgesehen. Klar ist Ceph neu und wird gehypt, mit welcher neuen Technologie ist das nicht so??

Du bist ja auch nicht ohne Grund jetzt auf dem Weg. Bei uns ist die Migration auf Ceph auch gesetzt. Ich kenne aber erst eine größere Geschichte in meinem persönlichen Umfeld, die Ceph bereits produktiv einsetzt.

Ich würde ja auch lieber weiter auf NFS und ISCSI und Samba4 setzen, aber durch die Masse an Platz und Hardware geht immer mehr Handarbeit bei uns drauf, obwohl wir alle Server mit eigener Software verwalten. Nur Technisch gesehen ist bei uns so langsam Schluss auch die Redundanz leidet unter dieser Konstellation massiv, weil keines der File Systeme auch nur ansatzweise Redundanz beherrscht. Selbst GFS und seine Ableger sind in Moment nicht der große Spaßbringer. Bei Ceph ist das das was völlig anderes, da kann ich einstellen wie viel Kopien vorgehalten werden sollen, es gibt keine SplitBrain Situationen mehr und das weg sichern der Daten auf nen Backup System ist dann ein Kinderspiel.

Du kannst die (nicht gerade kleinen) Jungs (>300.000 Kunden) ja mal fragen: http://ceph.com/ceph-storage/customer-use-case/dreamhost/

Wenn man sich die Größenordnung dieses Beispiels mal ansieht, sollte klar werden, dass es in der Liga nicht mehr sooo viele Player gibt. Und die haben meist ihre eigenen Systeme. Bisher habe ich im SSF auch noch keine Admins von HostEurope, Hetzner, oder anderen großen deutschen Hostern aus dem (Geschäftsgeheimnis?)Nähkästchen plaudern gehört.

Davon Rede ich ja auch nicht. Mir ging es eigentlich nur darum zu erfahren wer damit schon Erfahrungen im Produktiv Umfeld hat und so es hacken könnte.

Es geht ja auch nicht unbedingt um die großen Player, sondern um die Datenmasse. Da viele meiner Kunden nach immer mehr Speicher Fragen und dieser ja auch sicher sein soll. Nur solche Sachen kannst du halt nicht nicht mit NFS oder ISCSI lösen.

Sven

 

[d4f]

[Etwas OT]

Damit ist im Linux Umfeld ZFS fast nicht mehr nutzbar mal von den Speziellen Ditris abgesehen.

Linux hat noch nie wirklich ZFS beherrscht "dank" inkompatibler Lizenzen.
Falls du UNIXoide Systeme meinst so ist FreeBSD doch wohl keine so spezielle Distri...
ZFS wird weiterhin verwendet und es hat als lokales Dateisystem eine _etwas_ andere Umgebung als ein Cluster-Dateisystem wie Ceph.

 

[Sven_R]

[Etwas OT]

Sorry lässt sich manchmal wohl nicht vermeiden

Linux hat noch nie wirklich ZFS beherrscht "dank" inkompatibler Lizenzen.

Also bei Sun und OpenSolaris wurden die Pläne in Richtung ZFS in Linux Verfolgt aber Oracle hat da frühzeitig einen Strich durch die Rechnung gemacht.

Falls du UNIXoide Systeme meinst so ist FreeBSD doch wohl keine so spezielle Distri...
ZFS wird weiterhin verwendet und es hat als lokales Dateisystem eine _etwas_ andere Umgebung als ein Cluster-Dateisystem wie Ceph.

Ich meinte nicht FreeBSD sondern eher Nexenta und die diversen Derivate.

Eigentlich ging es auch eher in Richtung möglichst gleichartige Software und Betriebssysteme zu benutzen, als wieder mit einem Zoo an Systemen zu Arbeiten. Obwohl ZFS auf FreeBSD ordentlich läuft nur nicht so wie ich das benötige. Auch gibt es einige Probleme mit der Hardware im besonderen bei uns da ich eigentlich nur HP Hardware einsetze. Da geht nen "normales" Linux besser als FreeBSD.

Sven

 

[PapaBaer]

Selbst bei kleinen Installationen kann man die Anforderungen nach Redundanz und Sicherheit mit Ceph erfüllen.

Definition von klein? Immerhin benötigst du mindestens 3 Storage-Systeme. Das ist für viele hier schon groß.

Zumal ich bei Ceph auch gleich die Redundanz als Backup benutzten kann.

Inwiefern? Redundanz schützt vor Ausfall, Backup schützt vor rm -rf /

Klar ist Ceph neu und wird gehypt, mit welcher neuen Technologie ist das nicht so??

Nichts gegen den Hype. Aber es muss mehr dahinter stecken. Und es dauert einfach, bis sich eine Technologie bewiesen hat. Bei Ceph scheint das tatsächlich der Fall zu sein.

 

[Sven_R]

Definition von klein? Immerhin benötigst du mindestens 3 Storage-Systeme. Das ist für viele hier schon groß.

Aus meiner sicht Winzig! Die kleinsten Cluster bei uns bestehen mindestens aus 6 bis 9 Systemen, wo bei alles Minimum doppelt vorhanden ist. Im übrigen reichen auch 2 Ceph Nodes aus, das ist dann aber schon eher für SoHo oder zum Testen.

Inwiefern? Redundanz schützt vor Ausfall, Backup schützt vor rm -rf /

Nein vor rm -rf schützt wohl nur ein FS mit Schreibschutz, aber bei dem Punkt Redundanz hat du immerhin bei Ceph den Vorteil das du auf jede Node jeden Service Aktivieren kannst und somit dadurch die Redunanz hochhalten kannst, weil jede Node alles machen kann und alle Daten vorhalten kann. Wenn dann noch durch die Nodes genügend Kopien der Dateien vorhanden sind könnten von 6 Nodes 4 Wegbrechen ohne das es zu Datenverlust kommt. Hab ich in meinem Testsetup auf Brutale weise getestet. Sicher ist das kein Backup bringt aber den Vorteil das man eine Node aufstellt die ALLES von ALLEN hat und dann auch in der Lage ist auf Band zu Beamen oder eben wo auch immer hin.

Nichts gegen den Hype. Aber es muss mehr dahinter stecken. Und es dauert einfach, bis sich eine Technologie bewiesen hat. Bei Ceph scheint das tatsächlich der Fall zu sein.

Richtig und das hat Ceph in letzter Zeit gezeigt das es WIRKLICH, aus meiner Sicht, Robust ist und einiges verkraftet. Die Typischen unzulänglichkeiten wie bei GFS und seinen Verwandten hat Ceph bissher nicht. Selbst OpenAFS, was wir auf einigen Storage Systemen haben ist "schlechter", obwohl der Großvater der Verteilten Objekt Filesysteme. Da kannst du dir mal super schnell nen SplitBrain holen den du dann kaum unter Konrolle bekommst.

Sven

 

[s24!]

Definition von klein? Immerhin benötigst du mindestens 3 Storage-Systeme. Das ist für viele hier schon groß.

Tatsächlich? Ich betreue keine Unmengen an Projekten oder Servern, darunter ist auch nur ein Storage-Cluster. Aber der hat schon seine zwölf Nodes (die aber zum Großteil auch selbst ausliefern, also als Frontend fungieren).

Inwiefern? Redundanz schützt vor Ausfall, Backup schützt vor rm -rf

Da würde mich die Funktionsweise von Ceph interessieren, ich habe leider nur Erfahrung mit MogileFS, welches datenbankbasiert läuft. Dateien aus dem FS eines Nodes löschen: Kein Problem. Datenbank löschen: Ohne Backup ein nicht mehr behebbares Problem. Insofern wäre das MogileFS durchaus ein Schutz gegen "rm -rf", allerdings ersetzt es in der Hinsicht natürlich auch kein Backup im eigentlichen Sinne.