(Untitled)

[tupitochka]

Уже неделю пытаюсь что-нибудь придумать для доступа к большим данным. Ничего не выходит. Есть простой "плоский" текстовый файл с данными, данные по строкам, но строк очень много. Возможно, миллиард, или около того. Я пробовал работать с куском менее 20% объёма, там было 170 миллионов строк. Загружал импортом в базу MySQL этот кусок восемь часов.

Comments

[tupitochka]

Проблема была почти решена, но уже появился более актуальный файл, размером в 10 раз меньше, всего 28 миллионов строк. Старый файл устарел.

В итоге всё работает в SQLite, а исходное сырьё обрабатывалось скриптами VBS