У нейросетей нет глобального минимума

Aug 13, 2018 02:04

Надеюсь, в заголовке достаточно громкое утверждение, чтобы привлечь внимание. Я хочу поговорить о тренировке нейросетей ( Read more... )

Leave a comment

Comments 16

dead_doomer August 13 2018, 00:19:27 UTC
Ты не обязан учить батчами, вообще говоря.

Кроме того, не забывай, что кроме трёх описанных тобой выборок есть ещё четвёртая -- собственно, те данные, на которых твоя сеть будет работать в результате.

Reply

prijutme4ty August 13 2018, 00:24:08 UTC
Не обязан, но... ты часто видел, чтобы кто-то учил на всём тренировочном датасете сразу, да ещё и получал хороший результат?
А как то, что есть четвёртая выборка что-либо меняет? Ты всё так же не можешь выучить минимум функции потерь этой выборки, потому что не знаешь этой функции потерь.

Reply

dead_doomer August 13 2018, 00:38:19 UTC
Ну, иногда знаешь, если выдумал её сам, в академических целях.

Без батчей я свою сеть учил, ну результат был не state of the art, но и не монетку кидать.

Reply

prijutme4ty August 13 2018, 00:42:25 UTC
Без батчей - это на едиичных сэмплах или на всём датасете?

Reply


Leave a comment

Up