Ответ

Misha v.3 15.05.2012 12:39

систематического import-а многомегабайтных файлов быть не должно, т.к. это достаточно долго при любой реализации.

самая быстрая известная мне процедура import-а: прямая загрузка данных в БД с помощью load data [local] infile. существенно быстрее любой другой, опробованной мной. важный момент: во время import-а данных посетители могут видеть на сайте (мы-же про сайты говорим?) полную фигню, т.е. ускорить процедуру import-а данных настолько, насколько это вообще возможно -- важно. исключение -- первичная разовая загрузка данных, но и то, если речь идёт о нескольких часах загрузки, я лучше на perl напишу подготовку данных и проведу загрузку за 5 минут (я ведь знаю, что потом пришлют "подправленные" данные и загрузку надо будет повторить, причем возможно не раз).

если речь идёт о <2 MB входных данных, я тоже буду писать import на парсере (мне так привычнее и быстрее).
если речь идёт о 20+ MB входных данных, я на парсере import даже не начну писать, т.к. это просто потеря времени.
если в промежутке -- возможны варианты. я посмотрю что за данные, что с ними надо сделать, как часто мне придётся их грузить и т.д.

но ваш случай, с моей колокольни -- это однозначно НЕ парсер: слишком много МБ, слишком много строк, слишком сложный процессинг каждой строки.

---