падает сервер

Все остальные вопросы
Ответить
Аватара пользователя
ordex
Сообщения: 287
Зарегистрирован: Вт ноя 20, 2018 2:47 pm

падает сервер

Сообщение ordex » Сб май 09, 2020 12:28 pm

Падает сервер. Намертво. Может проработать месяц, может неделю, может сутки, конец всегда один, зависание до перезагрузки кнопкой. В логах ничего особо подозрительного, только постоянно мелькает

Код: Выделить всё

cp brainy[27234]: recv() ok. Receiving bytes: 7, errno=10, ip -4 a
cp brainy[29691]: INFO PARENT: dup2. argument (in): -1
cp brainy[27234]: READ: read bytes 415., errno=10
cp brainy[27234]: READ: no data., errno=10
cp brainy[27234]: parent 27234: child 29691, status 0x0000
cp brainy[27234]: Exit from fork(): parent 27234, errno=10
В какую сторону копать?

Собственно 27234 это

Код: Выделить всё

/usr/bin/brainy_socket --conf_file /etc/sysconfig/brainy-socket.conf --log_file /var/log/brainy/brainy-socket.log --pid_file /var/run/brainy.pid
А никаких child 29691 нету. (conf_file и log_file по указанным путям тоже нет)

Аватара пользователя
ordex
Сообщения: 287
Зарегистрирован: Вт ноя 20, 2018 2:47 pm

Re: падает сервер

Сообщение ordex » Сб май 09, 2020 4:04 pm

На виртуалке поставил панель на чистую монетку. В логах тоже самое, я не уверен, что зависания из-за этого, но тем не менее этот момент засирающий логи со скоростью света напрягает, тем более если не из-за этого, то даже не знаю куда копать.
Если натравить strace, то там "неправильный дескриптор файла, нет дочерних процессов".

Аватара пользователя
sbury
Сообщения: 548
Зарегистрирован: Вт фев 06, 2018 7:51 am

Re: падает сервер

Сообщение sbury » Вс май 10, 2020 1:01 pm

status 0x0000 говорит что запрос был выполнен успешно. А в списках процесса не будет, так как он был выполнен и уничтожен. Максимум что она может делать плохого, так это грузить винт путем записи своего лога в файл. Хотя, если их сильно много, как вы говорите, то загрузка может быть серьезная.
Я посмотрю что с этим можо сделать, может добавлю опцию его отключения.

если не используете панель, то можете попробывать остановить этот сервис. Он нужен только для работы самой панели.
systemctl stop brainy-socket

посмотрите еще журнал ошибок

journalctl -p err | tail -50

Аватара пользователя
ordex
Сообщения: 287
Зарегистрирован: Вт ноя 20, 2018 2:47 pm

Re: падает сервер

Сообщение ordex » Вс май 10, 2020 1:15 pm

sbury писал(а):
Вс май 10, 2020 1:01 pm
status 0x0000 говорит что запрос был выполнен успешно. А в списках процесса не будет, так как он был выполнен и уничтожен. Максимум что она может делать плохого, так это грузить винт путем записи своего лога в файл. Хотя, если их сильно много, как вы говорите, то загрузка может быть серьезная.
Я посмотрю что с этим можо сделать, может добавлю опцию его отключения.

если не используете панель, то можете попробывать остановить этот сервис. Он нужен только для работы самой панели.
systemctl stop brainy-socket

посмотрите еще журнал ошибок

journalctl -p err | tail -50
Я поймал момент зависания, был подключен по ssh, посыпалось в консоль

Код: Выделить всё

Message from syslogd@cp at May 10 11:46:09 ...
 kernel:NMI watchdog: BUG: soft lockup - CPU#0 stuck for 44s! [jbd2/sdb2-8:310]


 cp mysqld: X-lock on RW-latch at 0x7efbde77bea0 created in file buf0buf.cc line 1468
May 10 11:47:46 cp mysqld: a writer (thread id 139617314682624) has reserved it in mode  SX
May 10 11:47:46 cp mysqld: number of readers 0, waiters flag 1, lock_word: 10000000
May 10 11:47:46 cp mysqld: Last time read locked in file not yet reserved line 0
May 10 11:47:46 cp mysqld: Last time write locked in file /home/mockbuild/rpmbuild/BUILD/mysql-5.7.29/storage/innobase/buf/buf0flu.cc line 1206
May 10 11:47:46 cp mysqld: 2020-05-10T08:47:46.757839Z 0 [Warning] InnoDB: A long semaphore wait:
May 10 11:47:46 cp mysqld: --Thread 139616750835456 has waited at trx0trx.cc line 1193 for 464  seconds the semaphore:
May 10 11:47:46 cp mysqld: Mutex at 0x5571e7e56110, Mutex REDO_RSEG created trx0rseg.cc:219, lock var 1
May 10 11:47:46 cp mysqld: InnoDB: ###### Starts InnoDB Monitor for 30 secs to print diagnostic info:
May 10 11:47:46 cp mysqld: InnoDB: Pending preads 0, pwrites 0
Соединение не рвалось, при этом новое уже не устанавливалось. Сайты работали, некоторые утилиты запускались (например htop) а на reboot или shutdown -h now система никак не реагировала.
Панель, теперь уверен, не виновата, возникли подозрения, что ssd с системой начал сыпаться, склонировал на новый, пока несколько часов полёт нормальный, но судить рано. Но в любом случае, если у вас есть возможность убрать это, то было бы замечательно, количество этих уведомлений, как я понял, напрямую зависит от использовании панели. Если её не трогать, то крайне редки, если в ней кто-то что-то делает, то очень много.

Аватара пользователя
sbury
Сообщения: 548
Зарегистрирован: Вт фев 06, 2018 7:51 am

Re: падает сервер

Сообщение sbury » Вс май 10, 2020 2:09 pm

сделаем

Ответить