parser

Написать ответ на текущее сообщение

 

 
   команды управления поиском

Ответ

Vint 23.11.2012 18:15

Если запускать парсер из крона (шелл-скрипта), а не через веб-сервер, то время по сути не ограничено.
Но надо понимать, что при стачивании файла парсер сохраняет его полностью в оперативную память, а только потом на диск. Не важно, file::load это или парсерный класс curl.
Если файлы большие, то это необоснованное расходование ресурсов на долгое время (при медленном соединении).
Линуксовые curl/wget сохраняют файл сразу на диск.