Ответ
Vint 24.10.2012 21:45
Hashfile уж точно не предназначен для таких объёмов.
Да, у него быстрый индекс, но сами видите, что обработать его весь (а иногда это нужно) нормально не получается.
При активном его использовании на чтение и запись, могут начаться dead-локи или просто тормоза. Особенно на VPS, где жёсткий диск -- одно из критичных мест производительности.
Всё-таки стоит разобраться с БД, понять, почему так тормозят запросы в ней. Можно посмотреть в сторону NoSQL. В последнем парсере появилась работа с очень шустрым memcached. Если не жалко оперативки, то вариант.
Так же имеет смысл подумать над архитектурой: что именно кешировать. Можно держать все данные в базе, а часто используемые писать в кеш (hashfile/memcached) с не бесконечным ttl, чтобы само чистилось.
