Тут я соберу пьесы/исполнения, которые нахожу наиболее гениальными и тревожащими мой дух.
( Последнее обновление 06.11.06 22:33 (много чего) )

В VLDB вышла статья от нашей команды про унификацию streaming/batch, event-time processing, windowing, triggers, вот это все.
The Dataflow Model: A Practical Approach to Balancing Correctness, Latency, and Cost in Massive-Scale, Unbounded, Out-of-Order Data Processing (PDF)

Есть бесконечная река с пристанями, пронумерованными всеми целыми числами (..., -2, -1, 0, 1, 2, ...). По реке плывет корабль-призрак, из неизвестной начальной точки, с фиксированной, но неизвестной целочисленной скоростью - т.е. для каких-то неизвестных a, b в день i корабль останавливается в пристани ai+b ( Read more... )

С большой радостью, благодаря gliv, послушал подкаст http://devzen.ru/episode-0038, где обсуждался в т.ч. и Cloud Dataflow (начало обсуждения в 00:38:30 примерно).

Хотел бы публично прояснить пару обсуждаемых там вещей.

0. Конечно же, это не "общая теория всего" и это даже не не инструмент ( Read more... )

Пару дней назад Cloud Dataflow перешел в стадию "beta", что фактически эквивалентно полному запуску, разве что без SLA и без гарантий backward compatibility. В общем, можно пробовать. Есть free trial ( Read more... )

Спасибо @r_andrey.

Millwheel (потоки), Pregel (графы), Dremel (сверхбыстрый колоночный SQL)

https://www.youtube.com/watch?v=ea6UKvpe9AE&feature=youtu.be

На просторах интернета найдено видео половины одного из двух моих докладов. Половина довольно-таки self-contained: пропущено введение, а то, что осталось, содержит всё техническое.

https://www.youtube.com/watch?v=fuErd-O6rCw&feature=youtu.be

Закончился Ulcamp, сижу в Домодедово, сидеть еще 6 часов ( Read more... )

Disclaimer: задача представляет чисто теоретический / развлекательный интерес. Не для интервью ( Read more... )

Сегодня на Google IO (живое видео - http://google.com/io) анонсировали проект, над которым наша команда работала последние пару лет (смотря как считать) - Google Cloud Dataflow. Посмотрите - там очень прикольная демка. (перед этим, кстати - анонс cloud debugger и tracing для AppEngine - тоже ( Read more... )