Storage und Backup für 1.3 Mrd kleine Daten

W

webmailer4711

New Member
Moin,

ich betreibe seit 2008 einen E-Mail Dienst und bin auf der Suche nach Lösungen für mein zukünftiges System.
Es geht vielmehr darum wie man kostengünstig, denn der Dienst ist free, eine gesicherte Storage-Lösung bereitstellen kann.

Mein aktueller SAS Storage läuft noch auf Raid 0, da wir damals viele IOPS benötigten, heute sind es noch knapp 400.000 Schreiboperationen am Tag.
Heute würde ich es wohl anders machen, hatte ich doch schon viele schlaflose Nächte vor allem weil mein Backup-Server aus der Hetzner Serverbörse die Backups nicht mehr stemmen kann.

Ich verwende rsync um die Daten täglich auf dem Backup-Server zu sichern. Die Suchzeit ist aber mittlerweile so hoch, dass der Server die Backups schlicht nicht mehr schafft. Es muss also eine neue Lösung her.

Ein weiteres Problem stellt die interne Vernetzung dar, diese läuft derzeit über SSHFS. SSHFS hat sich zwar bewährt aber vllt gibt es 2019 bessere Lösungen.

Ich habe mich die Tage viel belesen wie ich meine Infrastruktur optimieren kann. Neben IMAP/POP-Server, gibt es noch einen SMTP-Server, SQL-Server und Webserver. Ich würde das gern wieder zusammenführen. Das ganze kostet mich 570 EUR netto...

- Der Plan sieht vor POP3/IMAP/SMTP wieder zusammenbringen
- SQL-Server neue SSD (4 Jahre alt)
- Webserver mit Storage Server zusammenbringen (sinnvoll?)

Fraglich bleibt, wie ich das mit dem Storage Server machen soll.... Ich würde gern einen großen 40 TB im Raid 6 nutzen, damit ich im Notfall die Platten direkt wechseln kann. Andere Möglichkeiten bieten NAS Anbieter wie Syntology mit ihren integrierten Backups und propräitären Dateisystem.

Ich habe mich etwas umgehört, ein Mitbewerber verwendet ZFS mit einem SSD/RAM Cache, das soll wohl ganz gut gehen.

Die Auswahl ist groß aber auch irgendwie für meinen Zweck ziemlich unübersichtlich. Ich braucht keine TB an großen Daten hin und her schieben, hier geht es um Mrd kleine 4kb-200kb datein, da ist halt eine IOPS wichtig und Flash ist aktuell noch immer nicht bezahlbar bei 40 TB, vllt warten?

Ich wäre über ein paar Denkanstöße sehr dankbar!
 
Hallo,

es gibt z.B. von LSI auch xCacheCade - https://docs.broadcom.com/docs/12351884 - leider maximale Cache Größe 2 TB. Rein von der Kapazität her ist das eigentlich keine große Geschichte mehr 40 TB in einem Server unter zu bringen. Sogar noch mehr speicher ist ohne Weiteres möglich, das einzige Problem ist, dass bei einem hohen IOPS Workload die reine Festplattengröße nicht entscheidend ist sondern die Festplattenanzahl. Jede neue Festplatte schafft ca. 100-150 IOPS. Also in der Theorie 8640000 IO pro Tag, wenn du RAID Layer und co. nicht berücksichtigst. Man müsste es halt mal ausprobieren.

Generell bekommt man in einem "günstigen" 2 HE Server 8 Festplatten unter. Wir nehmen hier meistens das https://www.supermicro.com/products/chassis/2U/825/SC825TQC-R740LPB Gehäuse von Supermicro. Es gibt aber auch 2 HE Gehäuse mit 12x 3,5 " und 2x 2,5 " Einbauschächten und einer Expander Backplane, da bewegt man sich aber dann schon in Richtung 1000 € alleine für das Gehäuse.

Intel Xeon Silver 4114
64 GB DDR4 ECC Reg RAM
LSI MegaRAID SAS/SATA 9361-8i
xCacheCade 2.0 Lizenz
6x 10 TB HGST SAS Festplatten im RAID 6
2x 2 TB SSDs im RAID 1 xCacheCade 2.0
1x SuperDOM Supermicro Dongle für das Betriebssystem

So eine Konfiguration würden wir z.B. schon für 332,13 € netto / Monat hinbekommen. Es gibt aber natürlich wie du festgestellt hast sehr viele Ansätze und Lösungen am Markt. 40 TB All Flash wird aber vermutlich insgesamt deinen Kostenrahmen sprengen. ZFS und co. ist generell nett, wir hatten uns das damals mal als Lösung angeschaut und für uns war der CPU Load und die sonstigen Ressourcen die hier gebraucht wurden zu hoch, daher hatten wir uns damals bei einigen Kundenprojekten für die xCacheCade Lösung entschieden, da hier die Arbeit der RAID Controller macht und nicht die Server CPU.
 
400.000 IO pro TAG? Das sind 4,6 IO pro Sekunde. Das ist doch nichts.
Entscheidend für die IOPS ist auch die Anbindung des Storages. Ich weiß das Dovecot extreme IOPS auf NFS verursacht, weil der quasi sämtliche Caching Logik abschaltet, sobald der ein NFS drunter sieht. Wie sich das mit SSHFS verhält weiß ich nicht, könnte aber ähnlich aussehen.

Dein Problem mit den vielen Dateien könntest du allein schon durch ein Formatswechsel der Mailboxen lösen. multi-dbox ist mittlerweile das Mittel der Wahl: https://wiki2.dovecot.org/MailboxFormat/dbox

Für die Postfächer brauchts auch nicht zwingend ein Storage. Arbeite mit lokalem Storage. HDDs sind völlig ausreichend. Dovecot kann selbst auf andere Dovecot Server replizieren. Da brauchts keine extra Storages. Das ganze skaliert mit Dovecot auch wunderbar in die Breite, weil du einfach einen Director davor hängst, der quasi Reverse-Proxy für IMAP und POP Verbindung zum passenden Mailbox-Server spielt. Damit lassen sich dann auch problemlos Postfächer zwischen den einzelnen Servern hin und her migrieren ohne das der User irgendwas davon mitbekommt.

Man muss Probleme nicht immer nur mit Hardware erschlagen. ;)
 
Hallo,

erstmal Danke für die neuen Ratschläge xCacheCade habe ich mir angesehen und finde ich grundsätzlich schon mal das was ich in der Richtung suche das Trennen von heißen und kalten Daten. In der Tat betreibe ich einen öffentlichen Freemail Dienst mit der Software b1gmail also kein Dovecote und das sogar noch in der sehr alten Variante 7.2 mit PHP5 (Schande über mein Haupt), es ist eine alte Software aber die Kunden lieben es. Es gibt auch eine neue Version die viele Features die eine Blob-Speicherung (eine DB pro Kunde) ermöglicht, dann wäre es nur knapp 1 Mio Dateien. Derzeit liegt für jede Mail genau eine Datei vor, das alles in einer endlos verschachtelten Struktur aufgrund des File-Limits.

Ich habe mir schon lange überlegt die Datenbankstruktur so umzugestalten das Mails die älter als 6 Monate sind auf HDD-NAS laufen und neuere lokal auf SSD. Dann sind es maximal 1 TB Daten lokal, diese meisten Dateien von 2008-2015 werden eh nicht oder nur noch sehr sehr selten aufgerufen. Im Grunde ist 99% Müll, das ist eben genau das was mich ärgert. Zudem sind noch 4 TB an Daten bereits gelöschten Accounts zugeordnet, wenn ich diese löschen will stürzt das System ab, weil die neuen Mails nicht mehr im Storge geschrieben werden können (trotz ionice -c3), das trifft z.B. auch zu wenn große datenmengen auf dem fileserver über rm gelöscht werden (für mich ein zeichen das die Plattenkraft nicht ausreicht). Das heißt, das durch das löschen von Mails der Produktivbetrieb nicht aufrecht gehalten werden kann und auch das Backup dann einfriert bis der Storage Server gar nicht mehr erreichbar ist. Das ist auch der Grund warum ich das System eher nicht anfasse, jegliche Veränderung hat ausfälle und verrückte Kunden zur Folge.

4,6 IO ist wenig ja, dazu kommt aber Backup, Lastenspitzen bei hohem Mailverkehr und ganz wichtig auch das Verhalten des Kunden. Löscht der Kunde seinen Papierkorb dann ist das zwar unproblematisch, sind dort aber 300.000 Mails drin, dann hängt es schon mal.

Die derzeit fast 170 GB große Mysql-Datenbank habe ich noch nicht erwähnt, das Backup lässt das System jede Nacht ne Stunde ausfallen. Das ist aber noch alles im Rahmen und dank neuer SSD ist die SQL Last 2019 gut zu bewältigen. Ich weiß noch 2013 und MyISAM da war dort immer der Flaschenhals. Der Freemailer wird ausschließlich aus Werbung finanziert und die Einnahmen sind ja bekanntlich nicht besser geworden seitdem es Adblocker gibt von daher bekomme ich bei dem Vorschlag einer horizontalen Skalierung schon graue Haare :-D Derzeit sehe ich zwei Optionen, das Problem mit Hardware erschlagen oder das neue B1gmail 7.4 einsetzen und halt ein paar Tage Ausfall und meine ganze Firma aufs spiel setzen weil ich nicht weiß wie das neue Interface angenommen wird.
 
Firewire2002 said:
b1gmail hat den Vertrieb und die Weiterentwicklung vor einem Monat eingestellt. Ein paar Community Services halten sie (jetzt noch ) 11 Monate am leben. Danach sind auch die weg.
Vielleicht solltest du die Zeit nutzen, um eine Alternative in Erwägung zu ziehen und eine Migration der Kunden vorzubereiten. ;)

Ankündigung: https://board.b1gmail.com/threads/zukunft-von-b1gmail.16295/#post-92478
Click to expand...
Ich verwende Version 7.2 seit 2011 ich habe noch nicht mal die aktuelle Version 7.4....Die Lizenzen habe ich ja und die bleiben auch erhalten von daher brauche ich mir da keine Sorgen machen ;-) Die Version 7.4 ist noch zukunftssicher bis zum eol von PHP 7.3 und wird dann ggf selbst weiterentwickelt. Ich mache das schon seit 2003 ;) Alternativen zu b1gmail sehe ich nicht aktuell, gibt einfach nichts was die Funktionalität mitbringt....Das geht bereits los bei Behördenanfragen und Datenübermittlung, Postfachspiegelung etc.
 
You must log in or register to reply here.
Back
Top