tar archives και corruption

[George Notaras]

On Fri, 2007-11-30 at 20:32 +0200, A. Sidiropoylos wrote:

> > Το DVD είναι αναξιόπιστο για backup ειδικά άν μιλάς για (+/-) RW.
> > 
> Den einai omos asximo san enas pros8etos mixanismos diatirishs
> antigrafwn asfaleias. Pantos me diatirisi polwn paralilwn antigrafwn oi
> pi8anotites mikrenoune ais8ita. Enoeite to verification ka8e antigrafou
> prin to bgaleis gia apo8ikeysh.

Παιδιά όπως και να 'χει, το dvd είναι ένας φτηνός και γρήγορος τρόπος να
κάνει κανείς backup για αποθήκευση, μεταφορά ή οτιδήποτε άλλο. Έχετε
σίγουρα δίκιο, αλλά δύσκολα μπορεί να περιφρονήσει κανείς το DVD. Έχει
πολλά πλεονεκτήματα.

> Dimiourgia image file sto mege8os DVD format se ext2 kai kapsimo tou
> image sto DVD. To kaneis mount meso loop device kai exeis ta arxeia sou
> opos ta 8eleis akribos. 8-) To eixa dokimasei paliotera dixos kapoio
> problima.

Εάν από χθες δεν είχα ασχοληθεί με το θέμα, ίσως να συμφωνούσα μαζί σου.
Αλλά, αν δεις τα specs των tar και cpio formats, θα δεις ότι η
διαμόρφωση είναι πάρα πολύ απλή, γεγονός που κάνει το extraction από
corrupted archive σχετικά εύκολη υπόθεση (φυσικά εννοώ το extraction των
αρχείων και των metadata που δεν έχουν πειραχτεί). Θα μπορούσε να πει
κανείς ότι το tar ή cpio είναι το "filesystem". Όσο για το mounting, όλο
και κάτι θα υπάρχει μέσω fuse.

Όπως φαίνεται παραπάνω, τα cpio και tar είναι πάρα πολύ μακριά από το να
χαρακτηριστούν ιδανικά. Τα πλεονεκτήματα του ενός είναι μειονεκτήματα
του άλλου. Ειλικρινά, από χθες που ασχολήθηκα έχω σιχαθεί.

Αλλά, εν πάση περιπτώσει, κατέληξα στη χρήση του tar, λόγω του ότι το
extraction μπορεί να συνεχίσει και μετά το corrupted σημείο, χωρίς να
χρειάζεται χρήση τρίτου προγράμματος για recovery.

Όσο για τη δυνατότητα του αυτοελέγχου του tar archive, αυτό είναι κάτι
που χρειάστηκε να βρεθεί άλλος τρόπος.

Το σκεπτικό είναι:

 * ταυτόχρονη δημιουργία του tar archive και ενός αρχείου με τα md5
sums. Έχω καταλήξει στον τρόπο.
 * δημιουργία ενός utility που θα κάνει έλεγχο του md5 checksum του κάθε
αρχείου του tar archive χωρίς να κανει extraction και χωρίς να "τα
χάνει" σε περίπτωση corruption και σύγκρισή του με τα md5 sums που έχουν
αποθηκευτεί στο δευτερεύον αρχείο. Δηλαδή η διαδικασία θα μπορεί να
γίνει κατευθείαν στο dvd, όπως με το cpio. Έχω γράψει ένα τέτοιο
σκριπτάκι που δουλεύει καλά, εκτός από την περίπτωση που έχουν "χαλάσει"
τα metadata του πρώτου αρχείου του archive (λόγω bug σε module της
python πιθανότατα).

Σύντομα θα ενημερώσω τη λίστα σχετικά.