Google Cloud Dataflow

[antilamer]

Сегодня на Google IO (живое видео - http://google.com/io) анонсировали проект, над которым наша команда работала последние пару лет (смотря как считать) - Google Cloud Dataflow. Посмотрите - там очень прикольная демка. (перед этим, кстати - анонс cloud debugger и tracing для AppEngine - тоже

Comments

[ex_juan_gan]

Классно! Поздравляю! Мониторингом я восхищался еще когда оно было в мапредьюсе.

[bvlb]

круть!

[olegstepanov]

А real-time данные она сможет обрабатывать? Ну или плотные потоки: когда у тебя не набор твитов, в которых надо эмоции узнавать, а данные с тысячи датчиков на каком-нибудь девайсе и надо (в соответствии с нетривиальной моделью) понять, что что-то не так.

[antilamer]

Конечно, that's the point :) На этой технологии уже работают такие вещи, например, как антиспамовый pipeline в gmail. У него нагрузка, скажем прямо, довольно большая.

[olegstepanov]

Ну что я могу сказать...

[ushastyi]

Круто, поздравляю! Интересно, как это будет биллиться, когда станет платным сервисом.

[antilamer]

Подробностей не знаю. Но стоит помнить, что это гоняется на твоих GCE виртуалках и использует твой storage в BigQuery, Cloud Datastore и т.п.

[sassa_nf]

1. Интересно только не сам мониторинг вещей известных, а как найти the odd one out.

2. И что, таки ни строки на Питоне? :)

[antilamer]

Про питон могу сказать только, что объем кода части, которая гоняется на воркерах, раз в 100 меньше, чем объем кода части на "бекенде", так что препятствий к использованию питона в перспективе мне не известно.

[sassa_nf]

не то, чтобы я за питон был... сейчас приходится ковыряться с чем-то облакоподобным на питоне - как-то не очень ясно, как диагностировать сам питон.