Große Daten zum Server übertragen

T

Tobias D.

New Member
Hallo,

zur Zeit stehe ich vor einen kleinem Problem. Ich möchte gerne mehrere große Daten(ca. 3-10GB) auf meinen Ubuntu vServer(steht bei Hetzner vServer VQ19) übertragen. Mein Provider zu Hause liefert laut Vertrag 3000kB/s, habe ich auch mit mehreren Speedtests im Internet geprüft und scheint zu stimmen. Jetzt habe ich folgende Dinge, mit eher weniger erfolg, probiert:
  • FTP mit durchschnittlich 15kB/s
  • SCP mit durchschnittlich 190kB/s

Was mache ich falsch? Woran könnte das liegen? In den Syslog vom Server habe ich schon mal geschaut, aber nichts auffälliges gefunden.

Danke schon mal für eure Hilfe!

Grüße!
 
Ist passives FTP, nicht über SSL und als FTP Server habe ich vsftpd installiert. Falls es noch hilft, als Client benutze ich Filezilla.
 
Was sagt denn dabei die Auslastung auf dem Server?
SCP frisst wegen der Verschlüsselung recht viel CPU, wobei der vServer für den Speed schon sehr schwach sein müsste.
Was sagen denn die Logfiles?
Du könntest auf deinem Client mal Wireshark starten und auf Auffälligkeiten achten (TCP Retransmit, TCP Double ACK).
Ping/Packetloss zum Server schonmal überprüft?
 
Jesaja said:
Was sagt denn dabei die Auslastung auf dem Server?
Click to expand...
Schwer vorstellbar, dass der FTP-Server den vServer so belastet, dass der Upload dauerhaft einbricht.

SCP frisst wegen der Verschlüsselung recht viel CPU, wobei der vServer für den Speed schon sehr schwach sein müsste.
Click to expand...
Wenn aber SCP-Upload schneller ist als FTP, hat das aber nichts mit Verschlüsselung zu tun. :rolleyes:
 
In Wireshark sind auch keine Auffälligkeiten zu sehen. Auch kein Packetloss und Ping ist durchschnittlich 24ms, ist eigentlich auch in Ordnung, oder?
 
Ich denke der TE meint sein DSL-Anschluss hat 3.000 KBit/s Uploadgeschwindigkeit wofür auch zumindest die SCP-Uploadrate sprechen würde (theoretisch 375 kByte/s brutto). Unter Berücksichtigung des Protokoll-Overheads müsste also eigentlich via FTP etwas um die 300 KByte/s möglich sein.

Die vsFTP-Konfiguration ist an einigen Stellen etwas mit Fallen gespickt insbesondere, was den Umgang mit nicht ganz streng konformen FTP-Clients angeht - Filezilla ist m.E. so ein Fall (z.B. bei der Verwendung von FTP over SSL merkt man das ganz deutlich - Total Commander von www.ghisler.com funktioniert m.E. noch mit am besten).

Da ich selbst vsFTP auf meinem Server betreibe, würde ich meinen Server als Vergleichstest anbieten, um evtl. heimische Netzwerk-Probleme etc. pp. auszuschließen.

P.S.: im syslog wirst Du vermutlich auch kaum etwas sehen. Ausführlicheres Logging in eine eigene Log-Datei muss bei vsFTP i.d.R. manuell nachkonfiguriert werden.
 
Last edited by a moderator:
Tobias D. said:
mehrere große Daten(ca. 3-10GB) auf meinen Ubuntu vServer(steht bei Hetzner vServer VQ19) übertragen.
Click to expand...
Falls es dir hauptsächlich auch darum geht, dass der Upload nicht kontinuierlich laufen können muss und Unterbrechungen keinen erneuten kompletten Upload erfordern, wäre BitTorrentSync [1] auch eine Möglichkeit. (Ich benutze das um Dateien wie Backups mit meinem vServer auszutauschen.)

[1] http://www.bittorrent.com/sync
 
M.E. gibt es keinen DSL Provider in Deutschland mit 3000 kBit/sec UPLOAD. Bei VDSL gibt es entweder 5000 oder 10000 kBit/sec. Alles andere ist deutlich darunter. Ich kenne keinen Provider mit 3k.

Wenn hier DSL 3000 vorliegt (wovon ich ausgehen würde), dann bedeutet das 3000 kBit (theoretisch) im DOWNLOAD und gebräuchlicherweise 384 oder 512 kBit/sec im Upload. Das wären (bei 512 kBit/sec) 64 kByte/sec. Filezilla zeigt in der Regel kByte/sec an.

Umrechnungsfaktor 1 Byte = 8 Bit. Es ist unglaublich, wie viele Leute das nicht wissen.

Bekomm also erst mal Deine Einheiten geregelt, dann weißt Du auch, was maximal möglich ist. Die gebräuchlichen Speedtests und die Provider selbst geben die Geschwindigkeit in Mbit/sec an, FZ arbeitet wie gesagt normalerweise mit kByte/sec. Auf http://www.heise.de/netze/tools/bandbreitenrechner/ kannst Du die Einheiten jeweils umrechnen.
 
Erst mal danke für eure hilfe! Wie Thunderbyte und TerraX schon gesagt haben, ich habe mich mit der Geschwindigkeit verhauen, Entschuldigung - war heute morgen noch etwas neben der Spur :rolleyes:
 
Um etwas Zeit zu sparen, könntest du inkrementelle backups erstellen und diese dann laden. Das erste Backup beinhaltet natürlich alles. Die restlichen nur die Änderungen.

Bevor du jetzt losrennst und anfängst dir ein Script zusammenzuhacken, solltest du mal gucken ob du nicht schon etwas fertiges gibt. Ich meine es gerade für Backups unter Linux sehr gute ausgereifte Lösungen (damit meine ich nicht shell-scripts).

Bachten solltest du auch, dass nach dem Laden der inkrementellen Backups, das Backup selbst auf Integrität und Plausibilität geprüft wird. Nichts ist schlimmer als ein 20GB großes Backup mit Datenmüll drin.
 
Hast du lokal bei dir einen Provider der mit einer synchronen 100 MBit Leitung angebunden ist - bin da auch mal mit ner USB platte hin gegen kleines Entgelt machen die das
 
You must log in or register to reply here.
Back
Top