Extremely high load on lamp server

[Apollon Koutlidis]

On 09/12/09 21:45, Vangelis Pothos wrote:
> Καλησπέρα,
>
>
> Έχω έναν LAMP server (Core 2 Duo 2,3Ghz, 2GBRam, single sata disk) που
> κάνει host καμια 15ρια δυναμικά sites και forums, ένα από τα οποία
> έχει 600k posts και σχετικά υψηλή κίνηση (~100k impressions per day)
>
> Ο server τις peak ώρες έχει 1-1.5 load average και περίπου 60% cpu idle time.
>
> Το πρόβλημα που παρατηρείται είναι ότι μερικές φορές το load average
> ανεβαίνει ραγδαία στο 100 μέσα σε διάστημα 2,3 λεπτών. Κατά την
> υπερφόρτωση απαντάει σε ping, αλλά δεν μπορεί να γίνει login μέσω ssh,
> οπότε συνέρχεται μόνο με reboot.
>
> Από ό,τι καταλαβαίνω ο server αποσταθεροποιείται λόγω κάποιας δύσκολης
> διεργασίας (πχ σβήσιμο μεγάλου thread όπου γίνονται lock πίνακες) είτε
> λόγω κάποιου aggresive crawler, με αποτέλεσμα να ξεκινάει κάποιο
> domino effect στη Mysql και να καθυστερούν όλα τα queries και να
> μένουν πολλή ώρα locked πίνακες.
> Επίσης παρατηρώ ότι το io wait ανεβαίνει στο 90%.
>
> - Υποθέτω ότι το bottleneck είναι ο δίσκος, αλλά εξηγείται τέτοια
> κατάρρευση του server?
>    
Το bottleneck μπορεί να είναι μνήμη, που σημαίνει swapping, που με τη 
σειρά του καταλήγει στο δίσκο. Τρέχεις sar / sysstat? Αν όχι, ξεκίνα - 
είναι εξαιρετικό εργαλείο για τέτοιες καταστάσεις.

> - Υπάρχει κάποιος τρόπος να δω το I/O per process? Βρήκα το iotop το
> οποίο όμως θέλει να είναι ενεργοποιημένo το I/O accounting στον
> kernel.
>    
Μια εναλλακτική είναι το SytemTap - αν και μπορεί να το βρεις εξαιρετικά 
δύσχρηστο :-)

Φιλικά,
Απόλλων