Нейросети это сильные предсказатели, у них вероятность правильного ответа много выше половины. Ансамбли в их случае позволяют преодолевать softmax bottleneck, например, это про малый ранг матрицы, составленной из предсказаний softmax. Это тоже поднимает предсказательную способность, и, что интересно, тоже через декорреляцию.
Comments 4
Это слишком очевидное утверждение.
Но применительно к нейросеткам это видимо позволяет артефаты устранять, которые у разных нейросеток разные.
Или это про другое было?
Reply
Нейросети это сильные предсказатели, у них вероятность правильного ответа много выше половины. Ансамбли в их случае позволяют преодолевать softmax bottleneck, например, это про малый ранг матрицы, составленной из предсказаний softmax. Это тоже поднимает предсказательную способность, и, что интересно, тоже через декорреляцию.
https://arxiv.org/abs/1711.03953 - вот, если интересно.
А я пытаюсь понять, как работать со слабыми.
Reply
Как-то подозрительно напоминает центральную предельную теорему. Совпадение?
Reply
Reply
Leave a comment