( Read more... )

Интересно, что это такое.
Nikon d780+Микромед 11

Click to view

За 3 года я тут успел:
1) Создать самодельный вычислительный движок на направленных графах с автоматическим распараллеливанием и кучей специфичных оптимизаций.

2) Пофиксить ряд багов читалки xls{x\b} на расте. https://docs.rs/calamine
Зачем? Она просто в ~300 раз быстрее pandas.read_excel

3) ( Read more... )

Я 3-й день подряд катаюсь с дочкой (6 лет) на велике по разным паркам.

25 км, 30 км и сегодня 35. Не пойму - почему она не устаёт?

В первые дни мне мир представлялся чёрно белым, но по мере погружения в историю разнообразных «спецопераций» за последние лет 50 он равномерно окрасился умброй.

Кажется было столько возможностей избежать смертей и разрушений, но нет. Либо финансовый интерес, либо «пепел Клааса стучит в моё сердце» и не даёт спокойно жить пока ещё живым и здоровым.

Датасаентистам на заметку:

groupby('index').sum() - использует cython

а

groupby('index').sum(axis=0) сваливается в python и при большом числе столбцов проигрывает в сотни раз.

колдовство уровня .agg(pd.np.sum) vs .agg(sum)

А я теперь EY работаю.

По этому поводу решил померить - в какой формат Pandas быстрее пишет\читает датафреймы.
На 100000 записей cо строками, числами и датами, сжатие отключено

```
format | time write | time read | size
csv | 4.112719535827637 | 1.0176215171813965 | 51.43MB
json | 0.7032690048217773 | 3.6434662342071533 | 68.03MB
avro | 14. ( Read more... )

Решил тут погрузится в СlickHouse от Яндекса и для разминки задал простой для БД вопрос: Пускай у нас есть таблица числами (пускай натуральным рядом). Чему равна сумма чисел из этой таблицы - которых в ней нет (например сумма отрицательных)?

Обычно БД на такое честно отвечают NULL что в общем-то правильно.

Кликхаус отвечает 0, и это в общем-то ( Read more... )

В самой популярной распределенной очереди заданий для Python -
http://www.celeryproject.org нет планировщика. Т.е. там банальный FIFO.

Так что придется делать свой.

Уже год отработал в банке(TM ( Read more... )