Информация важная [Re:"медленные клиенты"]
crypto 01.06.2009 21:16
/ 01.06.2009 21:17
1.
Про шардинг и распараллеливание слыхал,но это как бы не касается Parser'a - это в целом технологии разгрузки и масштабирования, тут можно фантазировать вплоть до сервера на 1 запрос. А вот реально интересно где живет парсер под какими нагрузками и сколько кушает "железа".
2.
Sumo, вы имеете ввиду "медленные клиенты", которые долго "сосут" страницу и тем самым держат открытый сокет, буфер, и т.п., а значит плодят кол-во одновременно запущенных процессов?
Спасибо, информация важная, но подождем кто что
ответит на реальных примерах. Вот то, что
Саян описал, что при 27K + с виду статичный сайт начал умирать на masterhost'e... это конечно наводит на разные мысли. Во-первых,на виртуале это уже хоть как = cgi-скрипт, а значит по 3Мb+ за запрос как минимум. Но в тоже время сам сайт (если конечно УРЛ правильно указан) выглядит больше статичным, а 27К трафа, это пусть даже в 8 часовой прайм-тайм диапазон = 8ч x 60мин x 60сек = 28 800 сек. А, 28 800 / 27 000 = 1,06 - то есть примерно 1 запрос в секунду, ну пусть даже активность неравномерна по часам и в пике это будет 20 запросов в секунду. Может жадность русского хостера на квоты выделенных ресурсов на виртуале... Хотя 64 одновременных процесса - это вообще показатель бОльшего количества трафа - 50 запросов в секунду - это обычно 100-300К зависит от ширины окна пикового времени трафа. На сайте видна большая справочная база - может тут собака порылась и работа с БД не оптимизирована... У меня на амерских и лондонских датацентрах и их виртуалах держало тоже примерно 10-30К точно - но там скриптец простенький, хотя была работа по чтению их БД (и тоже кеширования не было)...
