~ 150 GB zw. USA und DE übertragen

B

Beta

New Member
Hallo.
Ich müsste eine größere Menge Daten zwischen USA und Deutschland übertragen (Bild und Video Rohmaterial).
Das sind so 150 GB.
Ich wollte das Zeug zuerst mal auf einen V-Server zwischenspeichern, so in 20 GB Häppchen etwa um es dann von da herunterladen.
150GB ist natürlich schon ne Menge. Der Transfer wird etwa eine Woche in Anspruch nehmen, da pro Tag ein 20 GB Paket übertragen werden soll.

Seht ihr da irgendwelche Probleme so große Datenmengen um die halbe Welt zu schicken? Oder ist das heutzutage nix besonderes mehr?
 
für 150 GB 1 Woche, das ist schon ziemlich lange. :p

Der Upload kann je nach Verbindung in 1 1/2 bis 2 Tage erledigt sein, der Download <1 Tag.

Solche "kleinen" Datenmengen sind schon ne Weile nix besonderes mehr. Mittlerweile wandern täglich einige dutzend Exabyte durchs Netz.

Jeder kleinere Webserver bietet mittlerweile einen monatlichen incl. Traffic von 1TB, von daher...

Und warum sollte man bedenken wegen 150GB haben? Nur wenn die Anbindung schlecht und/oder der Platz auf dem Server nicht ausreicht, würde ich das in Pakete aufteilen, ansonsten würde ich es als Ganzes übertragen bzw. dies versuchen.
 
Hallo.

Also der v-server hat keine 150 GB Speicherplatz, daher kann ich nicht alles in einem Rutsch transferieren.
Man könnte es zwar auch direkt übertragen, aber wenn ich es über den Vserver mache, brauche ich mienen Rechner nicht permanent anzulassen. Die Daten bekomme ich im Download ja relativ schnell runter geladen. Der Server zieht den ganzen Tag per wget mit automatischer Fortsetzung falls was dazwischen kommt.
Momentan habe ich eine effektive Transferrate von etwa 350 Kbyte/s bei ~40 Mbyte pro Bilddatei, macht umgerechnet ca 20 GB am Tag.
Direkt von Server zu Server ohne dass Customer Anschlüsse beteiligt sind, würde es natürlich schneller gehen das ist klar
 
Mal sehen wenn die Datentransferrate stabil bleibt schaffe ich heute vielleicht sogar 25 oder 30 gb.

Alternative wäre halt gewesen ne festplatte mit der Post zu schicken oder die Bilder im jpg Format runter zu komprimieren/auszuwählen statt einfach die ganzen Rohdaten zu übertragen. Aber zur Bearbeitung/Weiterverarbeitung sind Rohdataten ohnehin das Beste.
 
Falls es sich um unkomprimierte Daten (z.B. AVI) handelt: Wäre eine Komprimierung mit z.B. Zip eine Option?

Alternativ könntest Du auch einen größeren Server als kostenlosen Test bestellen, soweit es diese Möglichkeit gibt. Mußt eben genau das Kleingedruckte lesen. Hinterher kannst Du den ja wieder kündigen- oder dabei bleiben, falls sowas häufiger vorkommt. ;)
 
Wenn Du die Möglichkeit hast, am Zielsystem eine ext. HD anzustöpseln (geht bei Hostingangeboten je nach Anbieter auch) würde ich, gerade wenn ein Clientsystem mit "lachhaftem" Upload beteiligt ist, über die Variante Postversand einer HD oder mehrerer DVDs nachdenken.

Schneller bekommt man solche Datenmengen nicht von hier in die USA - FedEx oder UPS machen das innerhalb von 24h - kostet zwar ein wenig, aber man spart sich evtl. Streß und Zeitaufwand.
 
Hallo.
Also ich nutze Wget, weil ich die Sachen von einen HTTP Server downloade.

Bis jetzt habe ich 12 GB geschafft.
Auf die gesamte Downloadzeit gerechnet sind das ~362 Kbyte/s
 
Jeder normale Linux Rootserver hat einen FTP Client gleich dabei, mit ein wenig textbasierter, grafischer Oberfläche drum rum machts der "mc" (Midnight Commander noch ein wenig einfacher. Mit dem Administrationstool der Distribution kostets ca. 10 sec, dieses zu installieren.
 
wget kann doch auch von FTP-URLs herunterladen - auch mit so Features wie Fortsetzen nach Abbruch etc... :cool:
Außerdem kann man wget im Gegensatz zum mc beibringen, mehrere Verbindungen gleichzeitig zu öffnen um mehrere Dateien gleichzeitig zu laden. Gerade wenn es viele kleine Dateien sind, halbiert sich mal eben die benötigte Zeit.
 
Hi.

Den MC habe ich jetzt auch mal ausprobiert.
Mein wget Downloadscript bevorzuge ich jedoch für solche Anwendungen.
Das starte ich einmal in einem Screen und er macht die Festplatte voll. Zwischenzeitlich kann ich ssh auch beenden. Selbst wenn die Verbindung abbricht, macht er nachher wieder weiter.
Der erste Durchlauf ist abgeschlossen und ich lade das Paket grade mit SCP auf meinen Rechner.

Einen Teil der daten lade ich parallel auf dem direkten Weg runter, so dass ich momentan ca 600 KB/s permanenten Traffic habe.

Ich habe heute mehr Traffic als sonst in einem ganzen Monat. und diese Woche werde ich so viel Traffic haben wie in 2010 insgesamt über das ganze Jahr.
Hoffentlich spielt da mein ISP mit.
Beim vServer Provider wirds denk ich mal keine Probleme geben da ich dort von den Limits noch weit entfernt bin.


Die Verbindung von mir zum vServer schafft ca 500-550 KB/s der Direktdownload 50-100 KByte/s und der vserver so 300-400 Kbyte/s.
Mal sehen ob ich da noch irgendwo bissl was rausholen kann.
 
Last edited by a moderator:
Frag doch mal einen der Provider hier im Forum (oder deinen vServer-Provider) an, ob du vielleicht für einen kleinen Obolus ein wenig Festplattenkapazität für deine temporäre Datenübertragung bekommst.
Da fände sich bestimmt eine Möglichkeit. Wobei es sich mittlerweile vermutlich kaum mehr lohnen wird - ein Viertel oder die Hälfte hast du sicher eh schon drüben.
 
Also mal nix für ungut: 150 GB ist doch nunmal nicht viel Traffic für einen ISP. Das übertreffe ich JEDEN Monat. IMMER. Seit Jahren.
 
You must log in or register to reply here.
Back
Top