Пакетная вставка в хешфайл

G_Z 11.08.2023 05:51 / 11.08.2023 06:56

Не то, чтобы очень требовалось, но столкнулся с медленной вставкой.

От поставщика данных получаю JSON-массив, в котором порядка четырёхсот тысяч элементов.
Задача в последующем быстром поиске одного элемента по точному совпадению.
Показалось, что хешфайл для этого хорошо подходит.
Но когда стал записывать по одному значения из загруженного JSON-файла в хешфайл получил 20-30 секунд на вставку.
LOAD DATA LOCAL INFILE в MySQL 5.7.9 делает то же самое за три секунды.

Нет ли в планах пакетной загрузки данных в хешфайл?
Или накладные расходы на запись всё равно будут большие и особого выигрыша не получится?

Update: нашёл места для оптимизации: исключил класс-обёртку вокруг хешфайла и вычисления при вставке ключа — получил 6 секунд, что уже вполне неплохо.

---