Здравейте и добре дошли в #root.bg!

Тук може да намерите статии и уроци за linux, мрежи и тяхната защита, игри и забавление, както и хобита – ролери, дронове и много други.

Ако искате да помогнете за развитието на root.bg, моля направете го от тук!

, , 0 comments

Nagios push notifications

Здравейте,

Едно от най-важните неща в системното администриране е мониторинга. За това използваме редица инструменти – кой от кой по-добри, за да можем да реагираме бързо и адекватно при определени критични ситуации!

В този пост ще споделя как се правят push notifications за nagios – един от най-добрите инструменти за мониторинг!

За целта използвах приложението Pushover (има го за iOS и Android) и следвах стъпките :

    1. Създадох си акаунт в pushover.net и си направих App от https://pushover.net/apps/build – кръстих го Nagios, а за Type избрах Application. За икона използвах тази : https://pushover.net/icons/135oy9cy9pxt1in.png която предварително бях качил.
    2. Изтеглих си Pushover приложението за iPhone и си въведох данните. Първоначално има 7 дни безплатен период, а след това за 10.99лв еднократно се закупува лиценз.
    3. На nagios сървъра в папка /etc/nagios3 ( тук е инсталиран моя nagios ) изтеглих notify-by-pushover.php :
      cd /etc/nagios3/ ; wget https://raw.githubusercontent.com/barryo/nagios-plugins/master/notify-by-pushover.php ; chmod +x /etc/nagios3/notify-by-pushover.php
    4. Тествах notify-by-pushover.php скрипта за да видя дали всичко ще е ок така :
      echo "Test message" | /etc/nagios3/notify-by-pushover.php HOST "Nagios API Token/Key" "Your User Key" RECOVERY OK
      – Ако всичко е ок, трябва да се получи нотификация : Nagios Alert – HOST – RECOVERY – OK
    5. „Nagios API Token/Key“ и „Your User Key“ се взимат от страницата на App-a ни и homepage-а на pushover.net
    6. В /etc/nagios3/commands.cfg добавих двете нови команди за notify-by-pushover както следва :
      1. # 'notify-by-pushover-service' command definition
        
define command{
        
command_name notify-by-pushover-service
        
command_line /usr/bin/printf "%b" "$NOTIFICATIONTYPE$: \
        
$SERVICEDESC$@$HOSTNAME$: $SERVICESTATE$ \
        
($SERVICEOUTPUT$)" | \
        
/etc/nagios3/notify-by-pushover.php \
        
SERVICE "Nagios API Token/Key" $CONTACTADDRESS1$ \
        
$NOTIFICATIONTYPE$ $SERVICESTATE$
        
}
      2. # 'notify-by-pushover-host' command definition
        
define command{
        
command_name notify-by-pushover-host
        
command_line /usr/bin/printf "%b" "Host '$HOSTALIAS$' \
        
is $HOSTSTATE$: $HOSTOUTPUT$" | \
        
/etc/nagios3/notify-by-pushover.php \
        
HOST "Nagios API Token/Key" $CONTACTADDRESS1$ $NOTIFICATIONTYPE$ \
        
$HOSTSTATE$
        
}
    7. В /etc/nagios3/conf.d/contacts_nagios2.cfg (така се казва конфигурационният файл с контактите на nagios-а ми) добавих следния контакт :
      1.  define contact{
        
contact_name iPhone
        
alias iPhoneApp
        
service_notification_period 24x7
        
host_notification_period 24x7
        
service_notification_options w,u,c,r
        
host_notification_options d,r
        
service_notification_commands notify-by-pushover-service
        
host_notification_commands notify-by-pushover-host
        
address1 "Your User Key"
        
}
    8. Добавих контакта „iPhone“ в съответната група – в моят случай : admins
    9. Рестартирах nagios сървъра и готово!

Общо взето това е!

Крайният резултат изглежда така :

, , 0 comments

MySQL split dump to table

Здравейте,

В продължение на поста MySQL split dump to different databases

от миналата година, днес ще споделя как бързо и лесно можем да извадим определена таблица от dump-a на MySQL базата ни. Разбира се ако базата ние малка можем да отворим този dump и да си копираме съдържанието на таблицата в текстов редактор, но когато базата ни е 100гб това няма да е възможно.

 

Тук идва на помощ sed и решението е :

sed -n -e '/CREATE TABLE.*`fc_company`/,/CREATE TABLE/p' 201709140001-db-CRM.sql > fc_company.sql

Тук нещата изглеждат напълно ясни, но да обесня :

  1. fc_company е таблицата която искаме да извадим
  2. 201709140001-db-CRM.sql е името на dump-а ни
  3. fc_company.sql е името на новият dump съдържащ само таблицата ни

Хубаво е да се прегледа след това самия fc_company.sql файл, тъй като sed понякога хваща и началото на други таблици и ги дропи 🙂 Такъв пример е ако имаме таблица fc_compay_new примерно.

Това е!

, , 0 comments

Redis HaProxy Failover

Привет,

Отдавна не съм писал нещо смислено в сайта… просто нямах муза :/

Днес ще споделя как бързо и лесно направих redis haproxy failover схема, а ето и цялата концепция :

  1. Два redis сървъра работещи на принцип master -> slave
  2. HaProxy което да следи за евентуално отпадане на master сървъра, и пускането на трафика към бекъпа (slave)

Конфигуриране на redis

Redis HaProxy FailOver
За направата на redis master->slave използвах тази статия, като тук е хубаво да се уточни, че статията е написана уж за redis cluster, но реално тя представлява проста схема на репликация между master и slave сървър! Единствената разлика която е примен е , че redis-server2 не работи на режим read-only :

slave-read-only no

Важно е да се изтества всичко дали е ок.
Пример :

redis-cli -a password -h redis-server1 monitor

redis-cli -a password -h redis-server2 monitor

или

redis-cli -a password -h redis-server1 info
и информацията за #Replication при нас трябва да изглежда така :
# Replication

role:master

connected_slaves:1

slave0:ip=221.221.221.221,port=6379,state=online,offset=44430235644,lag=0

master_repl_offset:44430235644

repl_backlog_active:1

repl_backlog_size:1048576

repl_backlog_first_byte_offset:44429187069

repl_backlog_histlen:1048576

Конфигуриране на HaProxy

Redis HaProxy FailOver
Тук нещата изглеждат доста прости. Използвам ubuntu 14.04 и версия на haproxy 1.6 stable. Повече инфо тук.

Конфигурационният файл на redis haproxy сървъра ми изглежда така :

global

	log /dev/log	local0

	log /dev/log	local1 notice

	chroot /var/lib/haproxy

	stats socket /run/haproxy/admin.sock mode 660 level admin

	stats timeout 30s

	user haproxy

	group haproxy

	daemon


	# Default SSL material locations

	ca-base /etc/ssl/certs

	crt-base /etc/ssl/private


	# Default ciphers to use on SSL-enabled listening sockets.

	# For more information, see ciphers(1SSL). This list is from:

	#  https://hynek.me/articles/hardening-your-web-servers-ssl-ciphers/

	ssl-default-bind-ciphers ECDH+AESGCM:DH+AESGCM:ECDH+AES256:DH+AES256:ECDH+AES128:DH+AES:ECDH+3DES:DH+3DES:RSA+AESGCM:RSA+AES:RSA+3DES:!aNULL:!MD5:!DSS

	ssl-default-bind-options no-sslv3


defaults REDIS

 mode tcp

 timeout connect  2s

 timeout server  15s

 timeout client  15s


frontend ft_redis

 bind 0.0.0.0:6379 name redis

 default_backend bk_redis


backend bk_redis

# mode    tcp

 option tcp-check

 tcp-check connect

 tcp-check send AUTH\ password\r\n

 tcp-check send PING\r\n

 tcp-check expect string +PONG

# tcp-check send info\ replication\r\n

# tcp-check expect string role:master

 tcp-check send QUIT\r\n

 tcp-check expect string +OK

 server redis-server1 123.123.123.123:6379 check inter 1s

 server redis-server2 221.221.221.221:6379 check inter 1s backup


listen haproxy-web

    bind 0.0.0.0:8181

    mode http

    stats enable

    stats uri /

    stats realm Strictly\ Private

    stats auth admin:adminpassword

    stats refresh 30s

#    stats admin if TRUE

Така нашият haproxy сървър слуша на всичките ни айпи адреси на порт 6379 и проверява master сървъра ни redis-server1 на принципа на ауторизацията чрез парола „password“.

Ако връзката до redis-server1 отпадне, до 15 секунди пуска трафика към redis-server2. Това се конфигурира от настройките за timeout, но по-ниските такива ще доведат до евентуални проблеми, ако има смущения по трасето. Когато връзката до redis-server1 се възтанови, трафика към него се връща по старо му.

На порт 8181 пък върви статистика, която позволява да наблюдаваме заявките към сървърите ни в реално време. Потребителското име за нея е admin, а паролата : adminpassword.

Това е!

, , , 0 comments

apache2 http2 proxy problem

Здравейте,

apache2 http2 proxy problemВ тази публикация ще споделя за един много странен проблем който борих днес.

Става дума за apache2 http2 proxy problem, като накратко схемата ми беше следната :

 

  1. Имам сайт domain.com който се намира на сървър с nginx и php-fpm.
  2. Имам blog.domain.com който се намира на WHM сървър с apache2.4 с последните му обновления
  3. Направил съм прокси настройка на domain.com така че, когато се достъпи domain.com/blog да зарежда садържанието от blog.domain.com (от WHM/cpanel сървъра).

Nginx конфигурацията

Nginx конфигурацията при domain.com е следната :

location /blog/ {

rewrite ^/blog/(.*) /$1 break;

proxy_set_header X-Real-IP $remote_addr;

proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;

proxy_set_header X-Forwarded-Proto $scheme;

proxy_read_timeout 90;

proxy_pass https://blog.domain.com/;

proxy_redirect https://blog.domain.com/ /blog/;

Тя се слага преди

location /

Проблемът

Така настроен domain.com/blog се отваря без проблем на всички браузъри без на safari. При safari върти и върти.. и накрая нищо. В логовете на WHM сървъра наблюдавах изключително много заявки от моя айпи адрес които все едно флудваха сървъра.

Решението

Решението на проблемът се оказа изключително просто. Бяхме сложили mod_http2 на WHM сървъра, след като прочетохме, че пичовете от Cpanel са го пуснали като stable модул за WHM. Оказа се , че именно в него беше и нашия проблем. След като го махнахме domain.com/blog започна да се зарежда без проблеми отново от safari.

До това решение стигнахме, след като тествахме с blog.domain.com от друг сървър който беше също изцяло на nginx.

Извода

Максимата „щом нещо работи, не го пипай“ за пореден път се оказа вярна, особенно когато сървърната ни топология е толкова сложна.

Това е!

, , , 1 comment

nginx naxsi http2

nginx naxsi http2Привет,

В продължение на публикацията ми от 08.12.2016г.  искам да споля, че вече е възможна работата на naxsi в комбинация с проткола http2 и nginx.

 

За целта е нужно да клонираме последната версия на naxsi от github и да добавил следните параметри след това:

cd /usr/src/

git clone https://github.com/nbs-system/naxsi.git

cd naxsi

git checkout http2

git fetch origin pull/309/head:http2-309

git checkout http2-309

Следва прекомпилиране на nginx :

./configure --add-module=../naxsi/naxsi_src --add-module=../ngx_cache_purge/ --prefix=/usr --sbin-path=/usr/sbin/nginx --conf-path=/etc/nginx/nginx.conf --error-log-path=/var/log/nginx/error.log --pid-path=/var/run/nginx/nginx.pid --lock-path=/var/lock/nginx.lock --user=www-data --group=www-data --with-http_ssl_module --with-http_flv_module --with-http_gzip_static_module --http-log-path=/var/log/nginx/access.log --http-client-body-temp-path=/var/tmp/nginx/client/ --http-proxy-temp-path=/var/tmp/nginx/proxy/ --http-fastcgi-temp-path=/var/tmp/nginx/fcgi/ --with-http_stub_status_module --with-http_realip_module --with-sha1=/usr/include/openssl --with-md5=/usr/include/openssl --with-openssl=../openssl-1.0.2k/ --with-http_mp4_module --with-poll_module --add-module=../nginx-rtmp-module --add-module=../headers-more-nginx-module-0.25/ --with-ipv6 --add-module=../nginx-module-vts --with-http_v2_module --add-module=../ngx_devel_kit --add-module=../set-misc-nginx-module-0.30 --add-module=/usr/src/ngx_brotli/ngx_brotli_module-master/

и активиране на naxsi модулите както следва :

в /etc/nginx/nginx.conf :

 include /etc/nginx/naxsi_core.rules;

а във виртуалният ни хост :

location / {

try_files $uri $uri/ /index.php?$args;

include /etc/nginx/naxsi.rules;

Тук за шарения добавих и :

error_page 418 /418.html;


location /RequestDenied {

return 418;

}

така всяка „зла“ заявка ще бъде препратена със статус 418 към 418.html което в моя случай е един „среден пръст“ 😀

След рестартиране на nginx може да тестваме дали работи нашият NAXSI Firewall например ето така :

root@server:~# wget --server-response --spider https://root.bg/%3C?php%20echo%20%22hello%22;%20?%3E

Spider mode enabled. Check if remote file exists.

--2017-06-07 08:43:13-- https://root.bg/%3C?php%20echo%20%22hello%22

Resolving root.bg (root.bg)... 87.97.157.122

Connecting to root.bg (root.bg)|87.97.157.122|:443... connected.

HTTP request sent, awaiting response...

HTTP/1.1 418

Date: Wed, 07 Jun 2017 08:42:45 GMT

Content-Type: text/html; charset=utf-8

Content-Length: 192

Connection: keep-alive

ETag: "5937b9e3-c0"

Server: rws

 

Ами… това е!

Огромни благодарности за пичовете стоящи зад този страхотен продукт наречен NAXSI!

, 0 comments

strace php-fpm process

Привет,

Днес ще споделя как бързо и лесно можем да следим какво се случва зад един php-fpm процес благодарение на strace!

Добавяме следната функция в .bashrc файла на потребителя ни (препоръчва се да е директно на root) или ще трябва да се изпълни със sudo :

function straceall {

strace -t -f -o strace.txt $(pidof "${1}" | sed 's/\([0-9]*\)/-p \1/g')

}

Зареждаме го на ново чрез

source .bashrc
или излизаме и влизаме в сървъра ни и започваме да следим процеса :

straceall php-fpm7.0

Ако искаме да следим php7.1-fpm процес пишем :

straceall php-fpm7.1

а за php5-fpm следното :

straceall php5-fpm

Така се детачва strace процес който пише във файл strace.txt в реално време.

Това е!

«< 2 3 4 5 6 >»