^match и разные кодировки

Aaron 22.04.2010 03:09

Предыдущая тема с загрузкой перлом первого кб странички решена.

Но теперь появилась другая - разные кодировки.
Парсер настроен на utf-8 в auto.p (и $response:charset и $request:charset)

Если скачиваемая страничка не utf-8, а windows-1251, вылетает ошибка

UTF-8 validation failed during pcre_exec (-10)

Логически, решение должно быть, т.к. поисковые пауки-то как-то определяют кодировку и работают с ней.

^match и разные кодировки, Aaron 22.04.2010 03:09
- первер умеет определять кодировку по отдаваемому content-type при ^file::load[http, Misha v.3 [M] 22.04.2010 04:07
  - а если content-type не верный?, Александр 26.04.2010 10:50
    - Ответ, Misha v.3 [M] 26.04.2010 11:43
      - Ответ, Александр 26.04.2010 12:15 / 26.04.2010 12:16
        Ответ, Misha v.3 [M] 26.04.2010 14:37
        аа... вон оно что, спасибо ) (-), Александр 26.04.2010 15:08
        вы-же хотели отрезать первые 1000 байт... вот и отрезайте (только не посредине UTF буквы) :), Misha v.3 [M] 26.04.2010 15:45
        хотел не я, а Aaron :) (-), Александр 27.04.2010 11:22
      - неверный content-type? ну... тогда придётся заниматься "гаданием" %-) (-), Misha v.3 [M] 26.04.2010 11:45
  - Гуглю варианты на перле, Aaron 22.04.2010 04:12
    - Ответ, Misha v.3 [M] 22.04.2010 09:43

Новости	FAQ	Авторы	Документация	В действии	Библиотека
Инструменты	Полезные ссылки	Хостинги	Скачать	Примеры	Форум