там пояснення є, в теоріі, валідейшен повинен бути десь почати зменшуватися (він і почав на 150 епосі, але перестав). але щось не дуже вийшло. далі, до речі, (я 5000 епох робив) мережа зовсім вмерла - загубився градієнт, і три крайні слої обнулилися.
Короче, тепер я теж можу похизуватись аналогічними графіками :-)
Не зовсім, правда, але принципово картинка та сама: overfitting з фактично першої епохи. Тільки у мене validation accuracy в результаті поводиться більш хаотично на початкових епохах і потім збігається до певного значення.
У моєму випадку це говорить про те, що навчальні та тестові приклади - з різних розподілів.
Comments 9
Reply
Reply
Reply
Reply
Reply
Reply
там пояснення є, в теоріі, валідейшен повинен бути десь почати зменшуватися (він і почав на 150 епосі, але перестав). але щось не дуже вийшло.
далі, до речі, (я 5000 епох робив) мережа зовсім вмерла - загубився градієнт, і три крайні слої обнулилися.
просто дуже показовий фейл. такі танці з бубном.
Reply
Не зовсім, правда, але принципово картинка та сама: overfitting з фактично першої епохи. Тільки у мене validation accuracy в результаті поводиться більш хаотично на початкових епохах і потім збігається до певного значення.
У моєму випадку це говорить про те, що навчальні та тестові приклади - з різних розподілів.
Reply
Leave a comment