fastest possible data transfer

rouvas at di.uoa.gr rouvas at di.uoa.gr
Mon Feb 11 18:12:04 EET 2008


Alexandros Papadopoulos wrote:
> θα ήθελα τις γνώμες/εμπειρίες σας σχετικά με το παρακάτω: Έχουμε δύο
> linux μηχανάκια, το Α και το Β. Στο Α υπάρχει μια διαδικασία που
> δημιουργεί τεράστια αρχεία (αρκετά GB έκαστο), τα οποία θέλουμε να
> μεταφέρουμε με κάποιο τρόπο στο Β. Τα δύο μηχανάκια έχουν ένα GigE
> crossover μεταξύ τους.
>
> Η ερώτηση είναι: ποιος είναι ο γρηγορότερος τρόπος;
>
> rsync?

Έχει νόημα από πλευράς ταχύτητας μεταφοράς, όταν κάποια αρχεία μένουν ίδια
μεταξύ διαδοχικών μεταφορών. Αν όλα αλλάζουν, θα καθυστερήσει μέχρι να
βρει τι πρέπει να μεταφέρει χωρίς να κερδίσεις κάτι σημαντικό στην καθαυτή
διαδικασία μεταφοράς.

> NFS?
> SMB? (!)

Το SMB, μέσω smbclient κλπ, μπορεί να σου φανεί χρήσιμο στις περιπτώσεις
μεταφοράς αρχείων μεγαλύτερων του 2GB, ανάλογα με την υποστήριξη που σου
παρέχει και το εγκατεστημένο λογισμικό στα μηχανήματα Α και Β. Από πλαυράς
ταχύτητας, δεν υστερεί σε σχέση με το FTP (εμπειρική γνώμη)

Γνώμη μου είναι να πας με FTP εκτός εάν έχεις πρόβλημα με αρχεία
μεγαλύτερα των 2GB. Αυτοματοποιείται και η ταχύτητά του εξαρτάται από
άλλες παράμετρους, π.χ. δίκτυο, αριθμός αρχείων (πολλά και μικρά ή λίγα
και μεγάλα), δίσκοι στα μηχανάκια Α και Β, κλπ.

Αν τα μηχανάκια Α και Β συνδέει μη έμπιστο δίκτυο, τότε το scp είναι η
μόνη σου επιλογή. Στην περίπτωση αυτή, εξέτασε και το SFTP.

Τέλος, μια ανορθόδοξη πρόταση. Θα εξέταζες το GlusterFS?
http://www.gluster.org/
ή άλλα παρόμοια κατανεμημένα συστήματα αρχείων; Η λογική είναι ότι αντί
πρώτα να τα δημιουργείς και μετά να τα μεταφέρεις, ίσως να βολεύει να τα
δημιουργείς εν παραλλήλω και στα δύο την ίδια στιγμή. (σ.σ. δεν έχω
χρησιμοποιήσει κανένα τέτοιο σύστημα αρχείων για να ξέρω από πρώτο χέρι
την συμπεριφορά τους)

-Στάθης

> netcat?
>
> -A
>
> --
> linux-greek-users mailing list -- http://lists.hellug.gr





More information about the Linux-greek-users mailing list