parser

Написать ответ на текущее сообщение

 

 
   команды управления поиском

Разделите задачи на несколько скриптов...

Sumo 15.05.2012 13:03

Получите, распарсите данные внешними скриптами, положите в базу (во временную таблицу) через load data или sql-выражения (разбиение на несколько частей и объединение их через конвеер даст еще и существенный рост производительности, поскольку задачи будут разбиты на несколько процессов). А потом спокойно обработайте в Парсере или в самой БД. И архитектура станет гибче и скорость увеличится в разы.