INT 21h

Hi, I am Vladimir Smagin, sysadmin. Telegram Email

У меня пригорело: о дизайнерах

№ 8595 В разделе "О жизни" от December 24th, 2017,

Как же мне надоели дрянные дизайны… Ладно я не дизайнер и мои дизайны говно, но дизайнеры то позиционируют себя как профи, а делают такое же дерьмо как у меня и даже хуже.

Нет комментариев »

Python: анализ логов nginx в специальном формате

№ 8580 В разделах: Администрирование Программирование от December 24th, 2017,

Один из проектов, который я веду вырос довольно геморройным и требовательным к производительности. Программа должна прочитать специально разогретый и смазанный лог нгинкса, извлечь всю необходимую мне информацию и отправить полученные данные в zabbix чтобы было видно здоровье фермы. В эту же программу вкорячил и вывод полной статистики по логу, а не только по конкретным кодам + добавил с какого времени начинать и заканчивать обработку. Больше всего боли приносят конвертации даты и времени при чтении лога. 6 секунд без указания времени против 40 секунд с точкой отсчета.

Исходный код

Пример обрабатываемого лога:

"172.31.30.163","23/Dec/2017:15:38:08 +0000","200","GET /grabit/script.php HTTP/1.1";
"172.31.30.163","23/Dec/2017:15:38:08 +0000","200","GET /grabit/script.php HTTP/1.1";
"172.31.30.163","23/Dec/2017:15:38:08 +0000","200","GET /grabit/script-min.js HTTP/1.1";
"172.31.30.163","23/Dec/2017:15:38:08 +0000","302","GET /grabit/pixel.php HTTP/1.1";
"172.31.30.163","23/Dec/2017:15:38:08 +0000","200","GET /grabit/script.php HTTP/1.1";
"172.31.9.241","23/Dec/2017:15:38:08 +0000","200","GET /grabit/script.php HTTP/1.1";
"172.31.9.241","23/Dec/2017:15:38:08 +0000","200","GET /grabit/script-min.js HTTP/1.1";

Пример вывода:

$ python ./nginx-analyzer.py -h
usage: nginx-analyzer.py [-h] --log logfile [--code HTTP_CODE] [--time]
                         [--totime] [--summ]

Get statistics from nginx special format log file

optional arguments:
  -h, --help        show this help message and exit
  --log logfile     Of course, you need to parse something
  --code HTTP_CODE  Show only response code
  --time            Start counting from timestamp DD-MM-YYYY HH:MM:SS
  --totime          Stop counting from timestamp DD-MM-YYYY HH:MM:SS
  --summ            Display fancy summary

$ time python ./nginx-analyzer.py --log nginx/http.access.log --summ --time "23-12-2017 15:37:00"

HTTP codes  | Type   | Count 
------------+---------------+-----------
 All |               | 3,593,692 
 20x | Success       | 3,188,176 
 30x | Redirection   | 395,021 
 40x | Client errors | 86 
 500 | Server errors | 5,855 
 502 | Server errors | 56 
 50x | Server errors | 5,911

real 0m39,535s
user 0m39,398s
sys 0m0,136s

$ time python ./nginx-analyzer.py --log nginx/http.access.log --code 404

83

real 0m5,790s
user 0m5,702s
sys 0m0,088s

Нет комментариев »

Python: красивые таблицы в консольном выводе

№ 8577 В разделах: Администрирование Программирование от December 24th, 2017,

На днях понадобилось красиво вывести статистику по логам nginx и тут пришел на помощь python с его горой всевозможных библиотечек и прочих рюшечек. Я использовал библиотеку terminaltables. Установить ее в отдельное окружение или в систему это на ваше усмотрение, ну а я предпочитаю котлеты отдельно, мухи отдельно.

Просто оставляю вам пример, который вы легко адаптируете под себя.

import csv
from terminaltables import AsciiTable

successCounter = 0
redirectCounter = 0
clientErrorCounter = 0
serverErrorCounter = 0
serverErrorCounter500 = 0
serverErrorCounter502 = 0

pathPrefix = './' #local
# pathPrefix = '/var/log/' #server


with open(pathPrefix+'nginx/http.access.log') as nginxLogFile:
    logStringsIterable = csv.reader(nginxLogFile, delimiter=",", quotechar='"', lineterminator=";")
    for logString in logStringsIterable:
        # custom nginx log file:
        # log_format compression '"$remote_addr","$time_local","$status","$request";';
        # Position  |   Description
        # 0         |   IP address
        # 1         |   Time stamp
        # 2         |   Response code
        # 3         |   Request [type url protocol]
        if '20' in logString[2]: successCounter += 1
        if '30' in logString[2]: redirectCounter += 1
        if '40' in logString[2]: clientErrorCounter += 1
        if '500' in logString[2]: serverErrorCounter500 += 1
        if '502' in logString[2]: serverErrorCounter502 += 1
        if '50' in logString[2]: serverErrorCounter += 1

# summary

tableData = [
    ['HTTP codes', 'Type', 'Count'],
    ['20x', 'Success', "{:,}".format(successCounter)],
    ['30x', 'Redirection', "{:,}".format(redirectCounter)],
    ['40x', 'Client errors', "{:,}".format(clientErrorCounter)],
    ['500', 'Server errors', "{:,}".format(serverErrorCounter500)],
    ['502', 'Server errors', "{:,}".format(serverErrorCounter502)],
    ['50x', 'Server errors', "{:,}".format(serverErrorCounter)]
]

resultTable = AsciiTable(tableData)
resultTable.inner_heading_row_border = True
resultTable.outer_border = False
resultTable.inner_row_border = False

print(resultTable.table)

Нет комментариев »

Firefox: как запретить к хуям вопрос про уведомления

№ 8574 В разделе "Администрирование" от December 22nd, 2017,

Идем в about:config и там делаем false:
dom.push.connection.enabled
dom.push.enabled

Каким же козлом надо быть чтобы включить это дерьмо по умолчанию без возможности отключения не через жопу!

Всего 1 комментарий »

Будня №5 Нагреватель и старые косяки

№ 8560 В разделах: Мои авто УАЗ Патриот от November 18th, 2017,

Купил в 2016м за 1700 руб, мощность 2.2 кВт. Установлен на входе салонных радиаторов. За 40 минут нагревает с -20 до 25, заводится с полуоборота. Китайцы предупреждают о многочисленных подделках, которые могут спалить машину.

Нет комментариев »

Комментарии

  • 21h: нене ) без меня )
  • Серегй: Не совсем грабить)) если грабить можно и без рации, есть...
  • 21h: магазин грабить собрались? ) не, тут я не помощник ;)
  • Серегй: А что бы мне поймать чужую волну, что мне для этого нужно...
  • 21h: слушать никто не запрещает. нет закона, который запрещает...
  • Серегй: Я хотел узнать могу ли я просто прийти с данной рацией baofeng...
  • 21h: У меня есть только эти 2. По другим ничего не знаю. В интернете...

© Vladimir Smagin, 2005-2017. Копирование материалов без разрешения запрещено.
Яндекс.Метрика