Условие: Есть сильно нагруженный интернет ресурс. Есть облачный сервис в котором висит сервер с linux+ngnix+mysql+php на котором крутится этот ресурс. Можно в очень широком диапазоне менять ресурсы доступные серверу, как то: гарантируемая и пиковая процессорная мощность, число процессоров, память, сторейдж и т.д.
Задача: Подобрать оптимальным образом ресурсы. Чтобы интернет ресурс работал без залипаний, а денег платить меньше.
Решение: Изучить под разными нагрузками: как, что и чем загружается. Выбрать ресурсы соответственно.
Вопрос: А как и чем делать под linux-ом соотвествующий профайлинг сервера?
Т.е. под той же виндой есть куча средств, начиная с xperf, который и сэмплинг, и инструментал, и вообще... достаточно все умеет делать и наглядно показывать. Под линуксом одно унылое говно вроде oprof и т.д. которые генерируют тонны нечитаемых логов с разношерстной, но не по делу информацией. Гугл даёт невразумительные ссылки, как сделать на перле парсер, чтобы засунуть в R и увидеть один несчастный график - это не работа, ребята, это детский сад.
Так как и чем под линуксом можно профайлить работу сервера?
Update Уточню, что примерно нужно: Включил профайлер, загрузил сервер, выключил профайлер, выкачал/открыл логи, разбираешь, что происходило в то время, пока была нагрузка. Что - куда писалось, что - что использовало, что фейлило, чем занимались процы, какие были процессы чем они занимались, чем занимались в это время другие процессы, когда эти процессы занимались тем, чем занимались (говорить скороговоркой). Я даже не прошу что-нибудь вроде вызовов процедур мне показывать, просто чтобы были тайм лайн, графики, таблицы и гистограммы в одном месте. Можно было бы легко устанавливать связи, причины и следствия.
P.S. Подозреваю, что в линуксе этого нет, а линуксоиды, которые 20 лет устраивают виндовс капец, даже не поймут, о чем идет речь и как такое может быть, чтобы в одном месте и удобно.
Редактировался Tiphon (17-02-11 00:31:40)
Квантовая механика - "малопонятный математический курьёз" (с) msAVA - современный учитель.
Неактивен
сервера целиком не профилировал, но в своё время мне существенно помог sysprof.
плюс ко всему, он GUI'шный.
К сожалению на сервере нет ГУИ. Идея может быь в том, напимер, чтобы пустить, получить некий лог/дамп, скачать с сервера и удобно рассмотреть. sysperf --help привел меня к мысли, что его нельзя использовать без гуи.
А можно поподробней с этого места? Чего не хватает в oprof?
Всего. Вот давай ты подробнее, как его применить для вышеописанной ситуации? Очеивдно же, что нельзя.
ну вот что мешает спокойно спросить совета, и не исходить на д распространяться в духе
Потому, что задолбался бесполезно тартить время на гугленье бесполезной инфы. Т.к. нет ничего унифицированного, никакого ценрализованного источника информации. Т.к. такой комплексной инфы нет даже для серьезных пакетов, не говоря про линукс в целом. Тк.к. на форумах сидят дебилы, которые отпаляют обратно в гугл, тк.к. им лень, а единсвтенный способ получить инфо, это разозлить дебилов и взять на слабо - что является еще большим доказательством их дебилизма и вгодняет в тугую, тяжелую печаль и мысли о победоносном шествии опен сорца.
Редактировался Tiphon (17-02-11 01:19:05)
Квантовая механика - "малопонятный математический курьёз" (с) msAVA - современный учитель.
Неактивен
Майор, опять ты начинаешь придираться ко мне? Я пишу по-разному в разные места, что в этом сложного? Например на stackoverflow я кроток и любезен. Тут... Если писать о проблемах, которые я не могу решать вежливо - решения не будет вообще)) Проверял)
Квантовая механика - "малопонятный математический курьёз" (с) msAVA - современный учитель.
Неактивен
Спасибо большое, но...
sysperf
We proudly announce the new web based monitoring tools, written on DotNet and ASP.NET.
SysPerf Framework was engineered using Microsoft .NET technology and the latest web services technology to provide true enterprise-wide performance monitoring in a single Web browser.
???
Я боюсь, что это, мягко говоря, не даст возможности выполнить поставленную задачу. Или оно пожет смотреть, что проиходит внутри arch linux сервера?
SysPerf сайт сейчас лежит.
sysprof
С кли я разобрался. Если я правильно понимаю, он даёт только сэмплинг загрузки проца. Что в данном случае... убого не то...
Квантовая механика - "малопонятный математический курьёз" (с) msAVA - современный учитель.
Неактивен
Просто для примера, это xperf - бесплатный профайлер для винды. На картинке результат профайла базовым набором провайдеров (без использования памяти, например), для того, чтобы был понятен воркфлоу, там: открыта закладка возможных показателей, на график disk-io r/w ratio нанесен график активности диска для нужного процесса, плюс выведена сводная таблица по этому параметру для выделенной области.
Я легко могу таким образом пермещаться по любым показателям, процессам, потокам, ресурсам и все-все-все знать. Вплоть до вызова процедур и прерываний, если будет нужно.
Хоть где-нибудь 10% от этого в одном месте есть?
Добавлено спустя 01 мин 21 с:
ну так не я его первым упомянул
ой))) Да, это я опечатался. Про линукс я все время говорил про sysprof
Редактировался Tiphon (17-02-11 02:37:44)
Квантовая механика - "малопонятный математический курьёз" (с) msAVA - современный учитель.
Неактивен
Поддержу топикстартера, очень интересный вопрос. Мы давно пробовали найти приличный профайлер, но увы. Поэтому предлагаем клиентам линукс-сервера исключительно как решения начального уровня. Дальше вилы, затраты на то, чтобы оптимизировать сервер под запросы клиента в случае с линуксом в разы превосходят аналогичные затраты на винде.
"Оно, конечно, можно научить медведя ездить на велосипеде. Да только будет ли медведю от этого польза и удовольствие?" (с) А. и Б. Стругацкие
Неактивен
А зачем вы пытались-то, если нельзя?
Ну просто потому, что начинаешь искать гуглить по профайлам и вот тусклые ответы вроде "ну вот есть еще oprofile, им можно". А что им можно? Я его посмотрел, для поставленных задач, что его использовать, что просто нтоп запустить во время загрузки сервера и смотреть на глаз, сколько жрется памяти и проца. Это как гадание на кофейной гуще.
После поста Иванова я уже понял, что все, на нормальных интегрированных системах можно, как обычно, крест в линуксе ставить. Но мало ли, может это можно как-то криво, коряво, линукс-вей делать набором мелких утилит? Я пока не вижу как.
После поста Иванова надежд на вменяемость нет, но малоли, может еще никсадмин чего-то подскажет.
З.Ы. А почему такой тон? Ну просто потому, что линукс меня очередной раз поразил. Это как с тем, что под С++ ни одной нормальной IDE нет. Но там еще можно выктить eclipse и поспорить. Что с профалерами под С++ криво и не гладко... Но что с системными профайлерами - полная жопа... Что полная жопа с профайлерами там, где линукс реально используют, как продакшн системы - в серверах-???!!! НУ КАК ТАК МОЖНО ЖИТЬ И РАБОТАТЬ? Спецы, мля...
Редактировался Tiphon (17-02-11 04:00:27)
Квантовая механика - "малопонятный математический курьёз" (с) msAVA - современный учитель.
Неактивен
Вот так и живут, а потом ищут заговоры и удивляются что их любимый линукс плетется где-то в заднице.
Сейчас на рынке серверов начального уровня крайне высок интерес к решениям на линуксе, оно и понятно, кризис, лишних денег нет. При этом клиента как правило не интересует техническая сторона вопроса, ему нужны работающие сервисы. Продавать линукс решения вполне можно, особенно продавая вместе с поддержкой, т.е. предлагая клиенту определенный набор услуг администрирования по подписке. Но при этом сразу и честно предупреждаем - это начальный уровень, дальше винда или придется сурово переплатить для достижения сходной производительности.
Нет, оно конечно можно поебаться с кучей утилит и поковыряться в логах, но кто будет за все это платить? Клиент? Оно ему нахуй нужно, ему нужен оптимизированный сервис, т.е. максимум производительности за минимум денег, оплачивать изыскания ему в х*й не впилось.
Поэтому удивляет позиция линуксоидов, вместо того, чтобы ткнуть носом: "возьмите это, это и это, не фонтан но жить можно", они пытаются строить из себя оскорбленную невинность. Несерьезно это, господа. Мне лично до пизды, что продавать винду или линукс, был бы спрос. Но мне при этом надо заработать денег, чтобы заплатить з/п сотрудникам, заплатить аренду, налоги и еще чтобы покушать осталось.
"Оно, конечно, можно научить медведя ездить на велосипеде. Да только будет ли медведю от этого польза и удовольствие?" (с) А. и Б. Стругацкие
Неактивен
Нет, оно конечно можно поебаться с кучей утилит и поковыряться в логах, но кто будет за все это платить? Клиент? Оно ему на[beep] нужно, ему нужен оптимизированный сервис, т.е. максимум производительности за минимум денег, оплачивать изыскания ему в [beep] не впилось.
А почему бы не использовать коммерческие инструменты типа: http://www.solarwinds.com/
Или нужно бесплатное решение и с бесплатным, желательно, саппортом? Если так, то пилите гири самостоятельно: LinuxServerProfiling.pdf
Неактивен
Если так, то пилите гири самостоятельно: LinuxServerProfiling.pdf
Видел я это презентацию, по поводу нее и написал: "рассказ, как написать парсер на перле, чтобы запихть в Р, чтобы написать в Р - построить один несчастный график."
А почему бы не использовать коммерческие инструменты типа: http://www.solarwinds.com/
А пому что их нет. Если я правильно понимаю, то, что ты привел, это не профайлер, а софт монитор, что соврешенно разные вещи. Поправь, если я не прав.
Редактировался Tiphon (17-02-11 05:37:11)
Квантовая механика - "малопонятный математический курьёз" (с) msAVA - современный учитель.
Неактивен
Safari 3.2
Что-то тут не то...
≡≡≡ NERVix q3.33, Evandroid environment, ARMx64 ≡≡≡
Неактивен
А пому что их нет. Если я правильно понимаю, то, что ты привел, это не профайлер, а софт монитор, что соврешенно разные вещи. Поправь, если я не прав.
Profiler_Installation_Guide.pdf
У компании не одна софтина.
Добавлено спустя 04 мин 29 с:
iUser пишет:Safari 3.2
Что-то тут не то...
Беспокоит Developer Mode c юзерагентом iPad'ного Safari?
Неактивен
Не заметил её! Интересно. Попробую - отпишусь. Спасибо!
интригуют минимальные требования))
Memory: 2 GB
Storage: 50 GB
Добавлено спустя 25 мин 06 с:
Пока не нравится то, что все-таки набор разрозненных инструментов.
Квантовая механика - "малопонятный математический курьёз" (с) msAVA - современный учитель.
Неактивен
≡≡≡ NERVix q3.33, Evandroid environment, ARMx64 ≡≡≡
Неактивен
http://www.linuxhomenetworking.com/wiki … erformance
Да-да, вот это и есть полное бессилие и просасывание линукса в области профайлинга. Спасибо за пример.
Квантовая механика - "малопонятный математический курьёз" (с) msAVA - современный учитель.
Неактивен
Да-да, вот это и есть полное бессилие
Скажи уж честно - ни осилил ^_^ шучу
≡≡≡ NERVix q3.33, Evandroid environment, ARMx64 ≡≡≡
Неактивен
Не заметил её! Интересно. Попробую - отпишусь.
Отпишись пожалуйста, а то времени нет с ней поковыряться, по описанию бегло пробежал - вроде как позаморачиваться можно.
"Оно, конечно, можно научить медведя ездить на велосипеде. Да только будет ли медведю от этого польза и удовольствие?" (с) А. и Б. Стругацкие
Неактивен