MySQL innodb crash

Привет,

В допълнение на поста ми от 12.12.2013 за MySQL innodb crash-a, искам да споделя че, този проблем отново ми се случи на същия Ubuntu сървър. Оказа се че innodb е много фин сторидж енджин на MySQL-а и явно е много податлив на crash. Пример : счупи се единия хард диск и се наложи да преместя тази виртуалка на друг дял, и след като го сторих, MySQL-а не искаше да тръгва вече.

Проблемът:

Грешката отново беше следната:

140725 16:53:45  InnoDB: Error: page 76029 log sequence number 6497939713
InnoDB: is in the future! Current system log sequence number 6497809017.
InnoDB: Your database may be corrupt or you may have copied the InnoDB
InnoDB: tablespace but not the InnoDB log files. See
InnoDB: http://dev.mysql.com/doc/refman/5.5/en/forcing-innodb-recovery.html
InnoDB: for more information.
140725 16:53:45  InnoDB: Assertion failure in thread 139979559040768 in file trx0purge.c line 840
InnoDB: Failing assertion: purge_sys->purge_trx_no < = purge_sys->rseg->last_trx_no
InnoDB: We intentionally generate a memory trap.
InnoDB: Submit a detailed bug report to http://bugs.mysql.com.
InnoDB: If you get repeated assertion failures or crashes, even
InnoDB: immediately after the mysqld startup, there may be
InnoDB: corruption in the InnoDB tablespace. Please refer to
InnoDB: http://dev.mysql.com/doc/refman/5.5/en/forcing-innodb-recovery.html
InnoDB: about forcing recovery.
13:53:45 UTC - mysqld got signal 6 ;
This could be because you hit a bug. It is also possible that this binary
or one of the libraries it was linked against is corrupt, improperly built,
or misconfigured. This error can also be caused by malfunctioning hardware.
We will try our best to scrape up some info that will hopefully help
diagnose the problem, but since we have already crashed,
something is definitely wrong and this may fail.

key_buffer_size=16777216
read_buffer_size=131072
max_used_connections=0
max_threads=151
thread_count=0
connection_count=0
It is possible that mysqld could use up to
key_buffer_size + (read_buffer_size + sort_buffer_size)*max_threads = 346700 K  bytes of memory
Hope that's ok; if not, decrease some variables in the equation.

Thread pointer: 0x0
Attempting backtrace. You can use the following information to find out
where mysqld died. If you see no messages after this, something went
terribly wrong...
stack_bottom = 0 thread_stack 0x30000
/usr/sbin/mysqld(my_print_stacktrace+0x29)[0x7f4fa2a34b09]
/usr/sbin/mysqld(handle_fatal_signal+0x483)[0x7f4fa28f9e23]
/lib/x86_64-linux-gnu/libpthread.so.0(+0xfbd0)[0x7f4fa1642bd0]
/lib/x86_64-linux-gnu/libc.so.6(gsignal+0x37)[0x7f4fa0c99037]
/lib/x86_64-linux-gnu/libc.so.6(abort+0x148)[0x7f4fa0c9c698]
/usr/sbin/mysqld(+0x60bc24)[0x7f4fa2ae6c24]
/usr/sbin/mysqld(+0x60c041)[0x7f4fa2ae7041]
/usr/sbin/mysqld(+0x6d2cff)[0x7f4fa2badcff]
/usr/sbin/mysqld(+0x6c9335)[0x7f4fa2ba4335]
/usr/sbin/mysqld(+0x60df0e)[0x7f4fa2ae8f0e]
/usr/sbin/mysqld(+0x5fedec)[0x7f4fa2ad9dec]
/usr/sbin/mysqld(+0x603273)[0x7f4fa2ade273]
/lib/x86_64-linux-gnu/libpthread.so.0(+0x7f8e)[0x7f4fa163af8e]
/lib/x86_64-linux-gnu/libc.so.6(clone+0x6d)[0x7f4fa0d5ca0d]
The manual page at http://dev.mysql.com/doc/mysql/en/crashing.html contains
information that should help you find out what is causing the crash.
140725 16:53:46 [Warning] Using unique option prefix myisam-recover instead of myisam-recover-options is deprecated and will be removed in a future release. Please use the full name instead.
140725 16:53:46 [Note] Plugin 'FEDERATED' is disabled.
140725 16:53:46 InnoDB: The InnoDB memory heap is disabled
140725 16:53:46 InnoDB: Mutexes and rw_locks use GCC atomic builtins
140725 16:53:46 InnoDB: Compressed tables use zlib 1.2.3.4
140725 16:53:46 InnoDB: Initializing buffer pool, size = 128.0M
140725 16:53:46 InnoDB: Completed initialization of buffer pool
140725 16:53:46 InnoDB: highest supported file format is Barracuda.
140725 16:53:46  InnoDB: ERROR: We were only able to scan the log up to

Решението:

Няма да изпадам в подробности, тъй като вече съм писал по тази тема, само ще споделя конкретно как се оправя проблема ( в предния пост не съм го оправил, а просто съм го оставил с временно решение) Пуснах опцията в my.cnf : innodb_force_recovery = 3 Това позволява да се стартира MySQL-a в режим само за четене. Сега след като е пуснат по този начин, трябва да се направи mysqldump на всичките му бази чрез:

mysqldump -uroot -p --all-databases > alldb.sql

След като направим dump-а е необходимо да спрем mysql сървъра, да изтрием или преместим следните файлове от /var/lib/mysql/ : ibdata1 ib_logfile0 ib_logfile1 , да махнем опцията от my.cnf innodb_force_recovery = 3 и да пуснем mysql сървъра на ново. Сега той ще си създаде на ново тези 3 файла които премахнахме, но все още проблема не е оправен. Така стартиран, mysql-a не вижда базите защото информацията за тях досега се е садържала в ibdata1, а ние разкарахме този файл. Нужно е да импортнем всички бази на които направихме dump преди това чрез : mysql -u root -p < all_dbs.sql След като приключи импортването, всичко по базите ще е наред ! :)

Извод:

Всекидневния бекъп на всички бази на mysql-a е задължителен!! Едно време когато myism беше стандартния сторидж енджин , подобни проблеми се решаваха съвсем лесно с myismchk -r *.MYI , но сега с innodb нещата са малко по-сложни когато се стигне до crash. Ако имаме ежедневен бекъп ще избегнем дъмпването и ще спестим малко време при отстраняването на подобен проблем!