У меня специфические задачи...
Sumo 01.06.2009 14:47
... поэтому по данной проблеме могу высказать только общие соображения, исходя из опыта оптимизации своих систем.
Никаких серьезных проблем с производительностью Парсера нет, а в версии 3.4.0 ситуация будет еще лучше. При проектировании стоит сразу заложить возможность горизонтального масштабирования системы: шардинг базы данных, возможность чтения данных с реплик, размазывание кода на несколько бекэндов (возможно стоит использовать nginx для сборки страничек и xslt-трансформаций), использование внешних поисковых серверов для поиска по БД и пр. И не обязательно все это делать сразу - достаточно просто составить план жизни проекта в этой ситуации. При программировании можно периодически профилировать код, чтобы понимать какие куски создают реальную проблему и оптимизировать именно их, а рецепты обычные - кеширование, денормализация.
p.s. Связка Парсер+Апач вполне работоспособна (даже в cgi-варианте), главное отсечь "медленных клиентов", что достигается проксированием запросов через тотже nginx (про фронтенды и прокси
хорошо написано у Дмитрия Котерова).
