Ансамбли

[alsafr]

"I was surprised by the low correlation between (1) an individual model’s performance by itself and (2) the amount of performance improvement of an ensemble when the individual model is added to it. [...] I also had some nearly hopeless models that when added to an ensemble significantly improved the performance of the ensemble." - Pankaj Mishra,

Comments

[n0mad_0]

Мдя, говорит об универсальности их заключений и о том, чему мы из их опыта научились.

[medvetsk]

Вообще, довольно часто приходиться слышать, что подобного рода состязания давно превратились в создание монструозных нагромаждений из ансамблей с единственной целью - урвать у конкурента хотя бы сотую поцента. И в этом есть большая часть правды, однако пример Steffanа показательный, в том смысле, что он в какой-то степени опровергает этот миф - здесь мы имеем дело с cовершенно оригинальной идей и оригинальной имплементацией (совместить преемущества matrix factorization и max margin подхода

[alsafr]

> здесь мы имеем дело с cовершенно оригинальной идей и оригинальной имплементацией

Ага, мне тоже показался этот подход интересным.
Еще характерный момент: у победителя минимальное количество сабмитов среди участников из первой пятерки (всего лишь 16). Это косвенно свидетельствует о том, что модель действительно хороша - во всяком случае, автор явно не занимался до посинения накруткой параметров алгоритма.