NVIDIA vs Intel для deep learning, резюме

[sply]

NVIDIA GPU лучше по производительности для тренировки DL-моделей, Intel CPU лучше по скорости для инференса, когда задержки на передачу данных в GPU и обратно становятся важны.

Comments

[levgem]

нууу, это ты махнул. Мы вот видео обрабатываем и процессор очень грустный для инференса

[sply]

Вы на интеле инференс делаете? AVX, параллельность и MKL или OpenBLAS используете?

[levgem]

на нвидии.

[sply]

Конечно, производительность у GPU по-любому больше и для инференса, но латентность тоже слишком высокая. Хотя для видео или для больших картинкок передача в GPU уже не существена.

[dma]

Если бы губы Никанора Ивановича да приставить к носу Ивана Кузьмича..