Zwei Storage-Server offline syncronisieren

Ok danke werde mir Syncthing mal anschauen, bin aber weiter für Tips offen!

Resilio schaut auch ganz gut aus, möchte aber möglichst OpenSource verwenden. Ist ja auch keine "Produktiv" Umgebung, also es entsteht kein finanzieller Verlust sollte mal was verloren gehen oder Daten fehlerhaft werden. Wäre zwar ärgerlich, aber kein weltuntergang. Eine Verifizierung sollte natürlich trotzdem zwischen quell und zieldatei erfolgen ob es keine Übertragungsfehler gab, gehe mal davon aus das Syncthing das macht. Wie gesagt werde mich da jetzt erstmal in die Documentation einlesen!

Rsync scheint ja rauszufallen, da dort bei jedem Vergleichvorgang der komplette Datenbestand abgefahren wird um Unterschiede aufzuzeigen, wenn ich das richtig verstanden habe? Das wäre ja nix, dann wäre ja 90% der Datenträgerbelastung nur auf Rsync zurückzuführen, abhängig davon wie oft ich abgleiche.

Zur Bandbreitenausnutzung kennt ihr also auch nur die Möglichkeit das ganze Zeitgesteuert anzustossen und dann den Traffic über QoS mit niedrigster Priorität einzustufen. Gibts evtl. was aus dem Load-Balancing Bereich, dass evtl. "intelligenter" funktioniert? Also Gesamttraffic über den Tag analysiert und dann den passenden Zeitraum wählt, wann genug ungenutzte Bandbreite zur verfügung stehen sollte. Und dann evtl. wenn doch von einem anderen Dienst Bandbreite gefordert wird, den Syncvorgang vllt komplett pausiert.

Wie siehts aus mit dem Thema Kompression? CPU-Zeit-Verschwendung oder wäre das sinnvoll alle gesyncten Daten zur Übertragung durch ne Kompression laufen zu lassen. Wie bereits vorher erwähnt sind manche Daten Roh-daten in Bild und Ton. Klar lassen die sich vorzüglich komprimieren, aber weiss nicht in wie weit verlustfreie Kompressionen dort etwas bringen bzw. ob es den Aufwand rechtfertigt.

Danke schonmal für die fleißigen Antworten.

edit: Habe natürlich Zugang zum Managed Switch (L2 Ebene)!
 
Last edited by a moderator:
Wie siehts aus mit dem Thema Kompression? CPU-Zeit-Verschwendung oder wäre das sinnvoll alle gesyncten Daten zur Übertragung durch ne Kompression laufen zu lassen. Wie bereits vorher erwähnt sind manche Daten Roh-daten in Bild und Ton. Klar lassen die sich vorzüglich komprimieren, aber weiss nicht in wie weit verlustfreie Kompressionen dort etwas bringen bzw. ob es den Aufwand rechtfertigt.

Das ist m.E. Zeitverschwendung, denn die meisten Daten (jpg etc. Bilder, mp4, mkv, etc. Videos sind ja schon bestmöglich komprimiert. Da wirst Du kaum ein Byte rausschinden können. Kompression mag nur bei Ordnern mit sehr, sehr vielen Textdateien oder anderen Formaten (z.B. Rohdaten irgendwelcher Programme) funktionieren, die noch nicht entsprechend "behandelt" wurden.
 
Rsync geht 'ne Art Stufe durch - je nach Konfig - sprich erst mal wird überprüft, ob z.B. Dateidatum und Größe übereinstimmen, falls nicht z.B. Checksummen, ... - und übertragen wird - auch je nach Konfiguration und "Möglichgkeit" auch nicht zwingend die komplette Datei sondern ggf. auch nur das aktuelle Delta.

Rsync (und ggf. darauf basierende Tools wie unison und jede Menge andere) sind durchaus auch geeignet, auf TB von Daten ohne großen Overhead losgelassen zu werden - es kommt aber immer drauf an, die "100%-Lösung für jeden Einsatzfall" gibt es leider nicht. Mehr oder weniger gute Kompromisse oder halt ded. gestrickte Einzellösungen je nach Anwendungsfall / Anforderungsbereich.
 
Last edited by a moderator:
Back
Top