Смысла почти 0
andylars 19.07.2016 10:15
/ 19.07.2016 10:20
Во-первых как curl'ы, так и parser'ы это процессы, которые могут быть (а так и есть) запущены одновременно (веб-сервером, демоном), что суть и есть одновременные потоки (только более жирные т.к. обвязаны инструкциями ОСи, но при нынешних объемах дормовой памяти, не так уж и страшно).
Во-вторых, увязать несколько одновременных процессов parser/curl - в рамках одного контекста/конвеера - это завсегда база/memcached/серверы_очередей или в простом случае - файлец с блокировкой (^file:lock[имя файла-блокировки]{код}) или hashfile - еще более шустрый, и тоже годный.
В-третьих, грядет HTTP 2.0 / SPDY, на который прозрачно перейдут (уже) все флагманские веб-серверы (Apache,NGINX), а он уже сам на уровне протокола подразумевает мультиплексирование запрашиваемых одновременно ресурсов (тело документа, картинки, и проч) в рамках одного соединения.
В-четвертых, если что-то ультра-хайлоад критичное, то тут надо доставать GoLang, с его дешевыми и в то же время относительно безопасными горутинами. Он заточен под написание сетевых сервисов/серверов и хайлода.
Для всего остального есть... мультипроцессные ОСи... и отстрелить себе ноги и голову тредами - чуть более, чем легко.
