...это нормально? Или у меня всё поломалось?

+++ Caesium/0.4 RC1

around> ...это нормально? Или у меня всё поломалось?

Ты же сам видел, сколько у нас узлов. :) Так что людей очень мало, соответственно, и разговоров обычно тоже. Даже в Фидо, где на пару порядков больше людей, уже тихие. Хотя и сломаться может что то :)

around> ...это нормально? Или у меня всё поломалось?

Это нормально.
Просто либо нет тем для разговора, либо нет времени на развёрнутые посты.

Но мы всё читаем

+++ Отправлено через IDEC Mobile
+++ GNU/Linux, Android, physics, MLP:FIM

around> ...это нормально? Или у меня всё поломалось?
Это норма. Тут наплывами общение происходит.

Вот, например, тренд за последние 60 дней https://images.lessmore.pw/media/images/2019-08-19_316-17-51.png без ботов
Волнами у нас общение происходит :)

+++ At work. idec.el/0.1

around> ...это нормально? Или у меня всё поломалось?

И все таки поломалось. Снова битые счётчики. Попробую понять в чем дело.... Первый раз за насколько лет. Какая то ерунда.

> И все таки поломалось.
Вроде нашёл проблему, починил. :)

>> И все таки поломалось.
> Вроде нашёл проблему, починил. :)

Что было то?

> Что было то?

Место на диске кончилось. :(

Peter> Место на диске кончилось. :(
Вчера из-за этого ломал голову. Не мог настроить caesium.

around>> ...это нормально? Или у меня всё поломалось?
vit01> Это нормально.
vit01> Просто либо нет тем для разговора, либо нет времени на развёрнутые посты.
vit01> Но мы всё читаем

ok =) а то я волнуюсь =)

+++ Caesium/0.4 RC1

around>> ...это нормально? Или у меня всё поломалось?
Peter> И все таки поломалось. Снова битые счётчики. Попробую понять в чем дело.... Первый раз за насколько лет. Какая то ерунда.

Я как чувствовал =)

+++ Caesium/0.4 RC1

>> Что было то?
Peter> Место на диске кончилось. :(

Я вчера на похожие грабли наступил.
Есть у нас сервачок, на котором стоит udpxy, который берёт из нашего мультикаста потоки и транслирует их в юникаст.
Вчера выяснилось, что с начала августа уже не транслирует =)

service udpxy restart ничего не дал. ps -aux | grep udpxy показывает, что всё запущено, netstat -tunlp - что всё слушает там, где ожидается. Но ничего не перегоняется.

Причина даже не в том, что место кончилось, а в том, что udpxy.log достиг размера в 2048 Mb. После чего сама софтина запускается, но не работает.
Ради интереса удалил несколько строк, чтобы стало 2047 - заработало, но ровно до момента, пока лог не достиг 2048.

+++ Caesium/0.4 RC1

> Я вчера на похожие грабли наступил.

Да, и главное каждый раз говоришь себе -- очевидная ситуация, в следующий раз проверь ее сразу. Но снова и снова происходит то же самое. :)

around> Есть у нас сервачок, на котором стоит udpxy, который берёт из нашего мультикаста потоки и транслирует их в юникаст.
around> Вчера выяснилось, что с начала августа уже не транслирует =)

around> Причина даже не в том, что место кончилось, а в том, что udpxy.log достиг размера в 2048 Mb. После чего сама софтина запускается, но не работает.

На такой случай нужно настраивать систему мониторинга. Это всегда избавляет от геморроя и всяких граблей по обслуживанию сервака.

Когда настроил Zabbix, жить стало спокойнее. И если так случается, что заканчивается место на диске, возрастает нагрузка на проц, система свопится или упал какой-то сервис, то мне сразу же в течение двух минут летит уведомление. И не надо ничего делать самому.

+++ Отправлено через IDEC Mobile
+++ GNU/Linux, Android, physics, MLP:FIM

around>> Есть у нас сервачок, на котором стоит udpxy, который берёт из нашего мультикаста потоки и транслирует их в юникаст.
around>> Вчера выяснилось, что с начала августа уже не транслирует =)
around>> Причина даже не в том, что место кончилось, а в том, что udpxy.log достиг размера в 2048 Mb. После чего сама софтина запускается, но не работает.
vit01> На такой случай нужно настраивать систему мониторинга. Это всегда избавляет от геморроя и всяких граблей по обслуживанию сервака.

Повторюсь, места там полно было. А вот logrotate настроил после этого, да =(

vit01> Когда настроил Zabbix, жить стало спокойнее. И если так случается, что заканчивается место на диске, возрастает нагрузка на проц, система свопится или упал какой-то сервис, то мне сразу же в течение двух минут летит уведомление. И не надо ничего делать самому.

Да есть у меня zabbix, что ж я, совсем конченый? =)

+++ Caesium/0.4 RC1

Zabbix это такой трэш. Чтож все на нем сидят? Из-за мышкотыкательного гуя?

Difrex> Zabbix это такой трэш. Чтож все на нем сидят? Из-за мышкотыкательного гуя?

Да, как минимум, из-за красивого гуя
Мне, правда, zabbix не нравится сложностью в настройке и перегруженностью всякой фигнёй запутывающей, но в конце концов выглядит это всё приятно

Если у тебя есть что посоветовать удобнее и проще, то рассказывай давай

+++ Отправлено через IDEC Mobile
+++ GNU/Linux, Android, physics, MLP:FIM

Difrex> Zabbix это такой трэш. Чтож все на нем сидят? Из-за мышкотыкательного гуя?

Только поэтому у меня его нет. Но альтернативы особо я не искал. Гуй и графики мне ни к чему, а вот оповещалку в почту хотя бы было бы неплохо.

Если есть что по теме посоветовать, то буду рад, хотя на "новом" железе у меня больше мускул по OOM не падает %)

Так, я вернулся с лекции Столмена, теперь могу ответить сразу и тебе и Виктору :).
По поводу того, чем мониторить. Самый легкий вариант -- это Prometheus+Alertmanager.
Самый простой сетап для получения системных метрик: поднимаешь node exporter(он собирает все с линукса), прометеем собираешь метрики с него, по определенным условиям(например, free_memory_mb{host="f.q.d.n"} < 200) отправляется событие в алертменедржер, а у него из коробки есть почта, вебхуки и.т.д. При желание к этому наипростейше прикручивается Grafana, в которой делаешь дашборды с графиками; там тоже есть алертинг, кстати.

Свои метрики предоставлять тоже очень просто, т.к. формат простой и свободный можно писать на чем угодно.
Сама экспортируемая метрика выглядит так:

# HELP idec_messages example metric
# TYPE idec_messages gauge
idec_messages{echo="ii.test.14"} 0.0

Ну, т.к. это все написано на Go, то к ресурсам не требовательно.

Ссылки:
* Prometheus https://github.com/prometheus/prometheus
* Alertmanager https://github.com/prometheus/alertmanager
* Node exporter https://github.com/prometheus/node_exporter
* Доки https://prometheus.io/docs/introduction/first_steps/

Будут вопросы -- обращайтесь :)

> Будут вопросы -- обращайтесь :)

Что сказал дедушка Столлман? :)

> Что сказал дедушка Столлман? :)
То же что и всегда говорил: четыре основные свободы, проприетарщина -- плохо, ГНУ СЛЭШ ЛИНУКС, про то, что подписки(нетфликс, и.т.д)
это хрень, что DRM зло. Высказал свое отношение к Биткоину -- это свободный софт, значит, хорошо. Но пользоваться он им не хочет, т.к. он
недостаточно анонимен, как наличка. Говорит, что у ГНУ есть свой какой-то софт для анонимных платежей в любой валюте и это не блокчейн.
Что это, может знает кто?

Заполучил автограф на ноут ^_^

Хреновые фотки: https://cloud2.difrex.ru/index.php/s/Qgt2rPv7t3ga2Pa

Difrex> Говорит, что у ГНУ есть свой какой-то софт для анонимных платежей в любой валюте и это не блокчейн.
Difrex> Что это, может знает кто?

https://www.opennet.ru/opennews/art.shtml?num=46664

https://taler.net

Это типа self-hosted аналог Paypal, если я правильно понял. Туда в бэкэнд можно добавлять поддержку как обычных денег, через банки, так и крипты вроде битка и.т.п.

+++ Отправлено через IDEC Mobile
+++ GNU/Linux, Android, physics, MLP:FIM

Difrex> Будут вопросы -- обращайтесь :)

Почитал документацию, установил и потыкал, вещь крайне прикольная и интересная.

Но есть один большой и жирный минус - защита данных. Из коробки там не то что никакого https, даже опции "поставить пароль" нету. И все сервисы Prometheus после установки сразу торчат на внешний сетевой интерфейс, что, как по мне, просто дикость.

В доках говорится: "Мы считаем, что все метрики - это публичные данные, а если у вас как-то иначе, то это уже не наши проблемы".

Предлагают настраивать reverse proxy, глушить всё фаерволом или извращаться какими-нибудь другими способами. Что тут делать - пока хз

+++ Отправлено через IDEC Mobile
+++ GNU/Linux, Android, physics, MLP:FIM

> И все сервисы Prometheus после установки сразу торчат на внешний сетевой интерфейс
Конфиг поправить не проблема

> Мы считаем, что все метрики - это публичные данные
Обычно там действительно нет никаких секретных данных.

> Предлагают настраивать reverse proxy
Ну дык, ставишь Nginx и закрываешь, как тебе нужно.

cat > /etc/default/prometheus <<EOF
ARGS="-web.listen-address=localhost:9090"
EOF

cat > /etc/default/prometheus-node-exporter <<EOF
ARGS="-web.listen-address=localhost:9100"
EOF

htpasswd -c /etc/nginx/.htpasswd my_user
chown www-data /etc/nginx/.htpasswd
chmod 400 /etc/nginx/.htpasswd

cat > /etc/nginx/sites-available/my_prom.conf <<EOF
upstream prom {
  server localhost:9090;
}

server {
  listen my-prom.example.com:443;
  server_name my-prom.example.com;

  ssl on;

  ssl_certificate        /etc/letsencrypt/live/my-prom.example.com/fullchain.pem;
  ssl_certificate_key /etc/letsencrypt/live/my-prom.example.com/privkey.pem;

  location / {
    proxy_pass http://prom;
    auth_basic               "My Prometheus server";
    auth_basic_user_file /etc/nginx/.htpasswd;
  }
}

cd /etc/nginx/sites-enabled
ln -s ../sites-available/my_prom.conf
systemctl restart nginx

5 минут на настройку =)

>> И все сервисы Prometheus после установки сразу торчат на внешний сетевой интерфейс
Difrex> Конфиг поправить не проблема

Конфиг успел ещё после установки поправить, но просто обидно, что такой дефолт. В новостях то и дело проскакивает какой-нибудь скандал, что внутренние базы МВД утекают или мобильных операторов из-за открытого во внешнюю сеть и ненастроенного elasticsearch.

>> Предлагают настраивать reverse proxy
Difrex> Ну дык, ставишь Nginx и закрываешь, как тебе нужно.

Спасибо за подсказку, завёл кое-как с нужными настройками. И это было подольше 10 минут :)

Ещё в конфиге пришлось делать фетчинг по basic auth, чтобы уж совсем безопасно было.

Жаль, что в документации не сделали приличное разъяснение и уже готовые примеры (может быть, даже не на nginx, а на ещё более лёгком софте). А то желание "прикрыть зад" системе, наверное, самое первое, что приходит в голову

-----

Настроил Grafana с крутой панелью сразу для двух серваков и думаю, как теперь сделать оповещения нормально

Либо использовать alertmanager, либо внутренние оповещалки в Grafana. Что лучше, пока не знаю

В Zabbix были преднастроенные шаблоны для уведомлений, типа "если оперативка занята на 90% или больше, то это плохо". Там даже срабатывания были, когда /etc/passwd менялся на сервере, что мне лично не было нужно, но кому-то - вполне. Всё что оставалось - это просмотреть изкоробочные условия и подправить слегка под свои предпочтения. То есть чтобы, например, при 80% занятой ОЗУ срабатывало, а не 90.

Для node_exporter так и не нашёл какого-то общего стандартного набора правил, который покрывал бы максимум юзкейсов. Поэтому, вероятно, придётся писать свои с нуля.

Но если где-то завалялась уже готовая конфиг-портянка с правилами, то с удовольствием воспользовался бы ей.

+++ Отправлено через IDEC Mobile
+++ GNU/Linux, Android, physics, MLP:FIM

Difrex> Zabbix это такой трэш. Чтож все на нем сидят? Из-за мышкотыкательного гуя?

Альтернативы? Кактус? Нагиос? Обсервиум?

+++ Caesium/0.4 RC1

Отвечал тут: ii://Dvuym2sUg7ZceZRymAj8

Обсуждение размазалось по нескольким эхам, лучше читать в конце этого треда(который ты стартанул :)), https://dynamic.lessmore.pw/thread/53be9048-45ae-4310-8f6a-77d5f540387b

Про то, как устроен мониторинг у меня на проекте я затирал тут, если интересно: https://youtu.be/ouloiciOlqc?t=1210 :)

> Про то, как устроен мониторинг у меня на проекте я затирал тут, если интересно: https://youtu.be/ouloiciOlqc?t=1210 :)

Забавно, развиртуализация. :)

P.S. Теперь можно сказать, что WG играл в мои игры (если ты играл в INSTEAD). мухахаха!

А если серъезно, похоже в Беларуси WG -- неплохое место для айтишников.

>> Что сказал дедушка Столлман? :)
Difrex> Заполучил автограф на ноут ^_^
Difrex> Хреновые фотки: https://cloud2.difrex.ru/index.php/s/Qgt2rPv7t3ga2Pa

А у вас ЛетсЭнкрипт убежало ))))

+++ Caesium/0.4 RC1
+++ Мы знаем, что, что-то знаем, но не знаем что знаем