FTP-Server: Verzeichnis mit mehr als 50.000 Dateien

Q

qwerty85

New Member
hallo,

ich stehe vor einem etwas delikatem problem.
ich muss files von einem alten server, der bald abgeschaltet wird, auf einen neuen server umziehen.

übertragen kann ich die dateien nur im rahmen der möglichkeiten, also mit ftp, http etc. - die möglichkeit, die dateien per wechseldatenträger o.ä. zu übertragen, besteht nicht, da beide server in einem entfernten rechenzentrum stehen.

das problem ist nun, dass der ordner, den ich übertragen will, mehr als 50.000 dateien beinhaltet.
eigentlich wollte ich wget für diese aufgabe verwenden.

mein problem ist nun, dass natürlich sämtliche timeouts überschritten werden, wenn ich alleine schon versuche mittels des ftp-befehls LIST den inhalt des verzeichnisses darzustellen.

hat jemand eine idee, wie ich diese enorme anzahl an dateien übertragen kann?
auf dem alten server in ein archiv verpacken wird wohl nicht funktionieren, da der speicherplatz des alten server bereits zu 95% ausgelastet ist (eben durch diese 50.000 dateien).

ich danke für eure mithilfe!

gruß,
qwerty85
 
Ein simples scp reicht für die einmalige Übertragung völlig aus. rsync, ftp und http sind hier völliger Overkill...
 
Vielen dank!

Bietet scp denn eine sinnvolle Statusanzeige und ETA-Berechnung?
Und wie kann ich scp zuverlässig abbrechen?
Einfach mit strg+c?
 
scp hat eine Fortschrittsanzeige und du kannst die Bandbreite der Übertragung einstellen.
man scp ist deine Hilfe. ;)
 
Ich habe die Dateien jetzt mit scp übertragen. Scheint auch gut geklappt zu haben.

Um für den Einstieg mal grob zu überprüfen, ob alle Dateien vollständig übertragen wurden, habe ich mit einem Script die einzelnen Dateigrößen auf Server A und Server B überprüft.
Die Angaben lieferte mir auf beiden Servern:
ls -s --block-size=1
-s sorgt dafür, dass vor den Dateinamen die Größe geschrieben wird, --block-size=1 dafür, dass die Größe in Bytes ausgegeben wird.

Nun ist es tatsächlich so, dass die jeweiligen Dateien exakt die gleiche Größe haben (mir ist absolut klar, dass dieser Vergleich keine eingehende Validierungsprüfung ersetzt).
Allerdings liefert mir ls auf Server A eine andere Ordnergesamtgröße als auf Server B (Unterschied: ca. 3.5 MB bei insg. 18 GB).

Womit ist dieser Unterschied zu erklären? Ist er in diesem Fall relevant?
 
Ich würde eher mal Prüfsummen mit md5sum oder shasum auf dem Quellsystem erstellen und die dann auf dem Zielsystem prüfen.
Die Anzeige mit ls sagt doch nix wirklich konkretes über die Unverfälschtheit aus.
 
qwerty85 said:
Allerdings liefert mir ls auf Server A eine andere Ordnergesamtgröße als auf Server B (Unterschied: ca. 3.5 MB bei insg. 18 GB).

Womit ist dieser Unterschied zu erklären? Ist er in diesem Fall relevant?
Click to expand...
Unterschiedliche Festplatten, Partitionsgrössen, Filesysteme, Blockgrössen, Inodeanzahlen oder Fragmentierungen können hierfür Verantwortlich sein.
3,5MB bei 18GB ist aber eine ganz normale Schwankung, die sich allein aus der Fragmentierung erklären lässt.
 
You must log in or register to reply here.
Back
Top