Server Support Forum
Zwei Storage-Server offline syncronisieren

Zurück   Server Support Forum > >


Antwort
 
Themen-Optionen Thema bewerten
  #16  
Alt 16.05.2017, 21:19
Benutzerbild von Thunderbyte
Thunderbyte Thunderbyte ist offline
Moderator
 
Registriert seit: 01.2006
Alter: 41
Beiträge: 6.428
Weiterer möglicher Grund für die HD - mein Prinzip seit langem: "Daten, die nicht gebackupt sind, kann man als gelöscht betrachten".

OK, Du hast zwar immerhin ein "Offsite Backup" mit dem anderen Server, aber die Frage ist dann, wie aktuell das ist. Mit der Platte kann man auf jeden Fall öfter ein Backup machen.
__________________

...Der Werdegang eines Rootserveradmins...
Mit Zitat antworten
  #17  
Alt 18.05.2017, 19:30
PipeL1n3 PipeL1n3 ist offline
Registered User
 
Registriert seit: 05.2017
Beiträge: 9
Zitat:
Zitat von Thunderbyte Beitrag anzeigen
Weiterer möglicher Grund für die HD - mein Prinzip seit langem: "Daten, die nicht gebackupt sind, kann man als gelöscht betrachten".
Backup steht hier ja garnicht zur Debatte. Das erledige ich auf mehrere LTO-5 Bänder im Wechsel, allerdings werden dort nur die wichtigsten Ordner drauf geschrieben, also das was wirklich wehtut wenns mal weg wäre.
Das könnte zwar auch als Übertragungsmedium herhalten, wäre aber erstens komplex, da u.U mehrere Bänder benötigt würden und zweitens teuer, da ich ein zweites LTO Laufwerk bräuchte. Denke das sprengt sowohl den finanziellen, als auch den Aufwands-Rahmen
__________________
Hier nachdenklicher Spruch.
Mit Zitat antworten
  #18  
Alt 28.08.2017, 12:30
PipeL1n3 PipeL1n3 ist offline
Registered User
 
Registriert seit: 05.2017
Beiträge: 9
Hi!

Es gibt neuigkeiten! Mittlerweile haben sich die Umstände geändert und es steht nun an beiden Endpunkten mindestens VDSL50 zur Verfügung. Da mir jetzt mindestens 10Mbit/s in beide Richtungen zur Verfügung steht, werde ich den ganzen Quatsch mit offline-Sync vergessen und möchte jetzt nen Sync über die Online Verbindung.

Jetzt kommt die Frage: Wie soll ich vorgehen? Möchte 1. möglichst wenig Last am Festplattensystem verursachen und 2. Die Bandbreite nur in Anspruch nehmen wenn diese auch zur Verfügung steht und keine anderen Dienste ausbremst. Das sollte sich doch über QoS lösen lassen.
__________________
Hier nachdenklicher Spruch.
Mit Zitat antworten
  #19  
Alt 28.08.2017, 12:47
greystone greystone ist offline
Registered User
 
Registriert seit: 05.2016
Beiträge: 244
Grundsätzlich schmeiss ich nochmal SyncThing in den Raum. Das ist ein OSS P2P-SyncProgramm(ähnliche/gleiche Funktion wie das genannte Resilio Sync, nur eben Open Source) mit starker Ende zu Ende-Verschlüsselung. Das teste ich gerade. Hat auch eine Mögichkeit zur Bandbreitenbegrenzung eingebaut.

Zitat:
Jetzt kommt die Frage: Wie soll ich vorgehen? Möchte 1. möglichst wenig Last am Festplattensystem verursachen und 2. Die Bandbreite nur in Anspruch nehmen wenn diese auch zur Verfügung steht und keine anderen Dienste ausbremst. Das sollte sich doch über QoS lösen lassen.
Wenig Last am Festplattensystem

Man kann den Dienst per ionice herunterregeln. Dann haben alle anderen Vorrang. Mit einer guten Synchronisationssoftware wird die Last dabei auch noch minimiert. Ein manueller, regelmässig per cron ausgeführter rsync könnte da erhebliche Last verursachen, da dieser unter Umständen auf beiden Seiten immer auch ganze Dateien liest, um Unterschiede zu berechnen.(Spart Netzerkbandbreite, aber erhöht I/O).

Bandbreite: QoS

Ja, kann man machen. Ich finde das allerdings nicht so trivial; habe aber auch keine bessere Lösung.

Geändert von greystone (28.08.2017 um 14:49 Uhr)
Mit Zitat antworten
  #20  
Alt 28.08.2017, 14:10
Benutzerbild von Thunderbyte
Thunderbyte Thunderbyte ist offline
Moderator
 
Registriert seit: 01.2006
Alter: 41
Beiträge: 6.428
Weiter oben wurde auch schon https://www.resilio.com/ genannt.
__________________

...Der Werdegang eines Rootserveradmins...
Mit Zitat antworten
  #21  
Alt 28.08.2017, 14:51
PipeL1n3 PipeL1n3 ist offline
Registered User
 
Registriert seit: 05.2017
Beiträge: 9
Ok danke werde mir Syncthing mal anschauen, bin aber weiter für Tips offen!

Resilio schaut auch ganz gut aus, möchte aber möglichst OpenSource verwenden. Ist ja auch keine "Produktiv" Umgebung, also es entsteht kein finanzieller Verlust sollte mal was verloren gehen oder Daten fehlerhaft werden. Wäre zwar ärgerlich, aber kein weltuntergang. Eine Verifizierung sollte natürlich trotzdem zwischen quell und zieldatei erfolgen ob es keine Übertragungsfehler gab, gehe mal davon aus das Syncthing das macht. Wie gesagt werde mich da jetzt erstmal in die Documentation einlesen!

Rsync scheint ja rauszufallen, da dort bei jedem Vergleichvorgang der komplette Datenbestand abgefahren wird um Unterschiede aufzuzeigen, wenn ich das richtig verstanden habe? Das wäre ja nix, dann wäre ja 90% der Datenträgerbelastung nur auf Rsync zurückzuführen, abhängig davon wie oft ich abgleiche.

Zur Bandbreitenausnutzung kennt ihr also auch nur die Möglichkeit das ganze Zeitgesteuert anzustossen und dann den Traffic über QoS mit niedrigster Priorität einzustufen. Gibts evtl. was aus dem Load-Balancing Bereich, dass evtl. "intelligenter" funktioniert? Also Gesamttraffic über den Tag analysiert und dann den passenden Zeitraum wählt, wann genug ungenutzte Bandbreite zur verfügung stehen sollte. Und dann evtl. wenn doch von einem anderen Dienst Bandbreite gefordert wird, den Syncvorgang vllt komplett pausiert.

Wie siehts aus mit dem Thema Kompression? CPU-Zeit-Verschwendung oder wäre das sinnvoll alle gesyncten Daten zur Übertragung durch ne Kompression laufen zu lassen. Wie bereits vorher erwähnt sind manche Daten Roh-daten in Bild und Ton. Klar lassen die sich vorzüglich komprimieren, aber weiss nicht in wie weit verlustfreie Kompressionen dort etwas bringen bzw. ob es den Aufwand rechtfertigt.

Danke schonmal für die fleißigen Antworten.

edit: Habe natürlich Zugang zum Managed Switch (L2 Ebene)!
__________________
Hier nachdenklicher Spruch.

Geändert von PipeL1n3 (28.08.2017 um 14:54 Uhr)
Mit Zitat antworten
  #22  
Alt 28.08.2017, 15:34
Benutzerbild von Thunderbyte
Thunderbyte Thunderbyte ist offline
Moderator
 
Registriert seit: 01.2006
Alter: 41
Beiträge: 6.428
Zitat:
Zitat von PipeL1n3 Beitrag anzeigen
Wie siehts aus mit dem Thema Kompression? CPU-Zeit-Verschwendung oder wäre das sinnvoll alle gesyncten Daten zur Übertragung durch ne Kompression laufen zu lassen. Wie bereits vorher erwähnt sind manche Daten Roh-daten in Bild und Ton. Klar lassen die sich vorzüglich komprimieren, aber weiss nicht in wie weit verlustfreie Kompressionen dort etwas bringen bzw. ob es den Aufwand rechtfertigt.
Das ist m.E. Zeitverschwendung, denn die meisten Daten (jpg etc. Bilder, mp4, mkv, etc. Videos sind ja schon bestmöglich komprimiert. Da wirst Du kaum ein Byte rausschinden können. Kompression mag nur bei Ordnern mit sehr, sehr vielen Textdateien oder anderen Formaten (z.B. Rohdaten irgendwelcher Programme) funktionieren, die noch nicht entsprechend "behandelt" wurden.
__________________

...Der Werdegang eines Rootserveradmins...
Mit Zitat antworten
  #23  
Alt 28.08.2017, 16:04
marce marce ist offline
Registered User
 
Registriert seit: 10.2009
Ort: Dettenhausen
Alter: 43
Beiträge: 1.346
Rsync geht 'ne Art Stufe durch - je nach Konfig - sprich erst mal wird überprüft, ob z.B. Dateidatum und Größe übereinstimmen, falls nicht z.B. Checksummen, ... - und übertragen wird - auch je nach Konfiguration und "Möglichgkeit" auch nicht zwingend die komplette Datei sondern ggf. auch nur das aktuelle Delta.

Rsync (und ggf. darauf basierende Tools wie unison und jede Menge andere) sind durchaus auch geeignet, auf TB von Daten ohne großen Overhead losgelassen zu werden - es kommt aber immer drauf an, die "100%-Lösung für jeden Einsatzfall" gibt es leider nicht. Mehr oder weniger gute Kompromisse oder halt ded. gestrickte Einzellösungen je nach Anwendungsfall / Anforderungsbereich.

Geändert von marce (28.08.2017 um 16:06 Uhr)
Mit Zitat antworten
Antwort

Lesezeichen

Stichworte
gluster, linux, offline, server, storage

Themen-Optionen
Thema bewerten
Thema bewerten:

Forumregeln
Es ist dir nicht erlaubt, neue Themen zu verfassen.
Es ist dir nicht erlaubt, auf Beiträge zu antworten.
Es ist dir nicht erlaubt, Anhänge hochzuladen.
Es ist dir nicht erlaubt, deine Beiträge zu bearbeiten.

BB-Code ist an.
Smileys sind an.
[IMG] Code ist an.
HTML-Code ist aus.

Gehe zu

Ähnliche Themen
Thema Autor Forum Antworten Letzter Beitrag
The Web Server (Apache) down? tobasium Webserver 6 26.10.2016 13:47
Mal wieder Pleskupdate auf 9.5.2 kenny_g Plesk 3 19.05.2010 13:18
.htacces mit passwortabfrage "login incorrect" Torbenslein Webserver 3 29.04.2009 15:14
ERROR: PleskFatalException tommi501 Plesk 8 06.12.2007 01:36
VirtualHost wurmi Virtuelle Server 7 01.10.2003 23:20


Zwei Storage-Server offline syncronisieren
Zwei Storage-Server offline syncronisieren
Zwei Storage-Server offline syncronisieren Zwei Storage-Server offline syncronisieren
Powered by vBulletin® Version 3.8.11 (Deutsch)
Copyright ©2000 - 2017, vBulletin Solutions, Inc.
Search Engine Optimisation provided by DragonByte SEO (Pro) - vBulletin Mods & Addons Copyright © 2017 DragonByte Technologies Ltd.