База данных для аналитики - 25 Гб в день

[alexander_mikh]

А кто из френдов собирал аналитику и куда?
По моим расчетам будет ~ 25 Гб в день к концу года, прям сейчас можем засунуть в pg/mongo или riak в крайнем случае.

Какие нибудь еще идеи?

Comments

[amedrr]

25Гб в день к концу года, и дальше расти, то есть в год будет база >9Тб?

[alexander_mikh]

ага.
еще тут перещитали и 9 Гб в день будет через месяц.

[amedrr]

А какие там данные будут лежать?
Если не нужны сложные индексы, которые будут очень долго строиться на данных, то постгрес должен подойти.

[amedrr]

Тайм сериес - это хорошо... а какие-то киты вроде MS SQL server тоже не подходят в ваш зоопарк?

[alexott]

смотря что за данные, насколько они часто обрабатываются и т.п. Можно писать на хадуп, а оттуда уже вытаскивать в нужные приложения нужные куски

[alexander_mikh]

time series - timestamp session_id event_id action etc.

hadoop пока в наш зоопарк не вписывается.

[alexott]

я видел вроде на базе hbase сделанный фреймворк для анализа timeseries (в HBase. The Definitive Guide упоминается)

[alexott]

я имел в виду OpenTSDB - http://opentsdb.net/

[avnik]

А риак пробовали?
С каким бэкендом (делалис ли 2i итд) и какие результаты были?

[alexander_mikh]

к riak у нас сейчас второй подход, в первый раз девелоперы отбились и у нас появилась монга в 2-х местах. Во внутреннем кластере мы на монгу посмотрели и выпилили нахрен, в продакшн фронд енде выпилили grid fs.
Риак сейчас пробуем применить во внутреннем кластере, но основная проблема - нужно знать views/queries заранее, чтобы сформировать их как часть ключа или secondary index, иначе становится совсем печально и тормозные map/reduce queries. Зато с точки зрения NOC/sysadmin riak зашибись.

[avnik]

У меня у самого сейчас тренировочный подход к риаку -- с учебником. Интересно как у других используется.

[alexander_mikh]

наш первый подход выглядит вот так:
https://github.com/k-bx/django-riak-engine