Восемь экспонент искусственного интеллекта (2)
<< Начало: 1. Вычислительная сложность ИИ
2. Вычислительный бюджет на обучение ИИ
Концепция машинного обучения, в рамках которой сейчас создаются практически все алгоритмы ИИ, отдаленно похожа на принципы человеческого обучения. Модели даётся пример какой-то задачи, она пытается ее решить и учится на своих ошибках.
( Read more... )
2. Вычислительный бюджет на обучение ИИ
Концепция машинного обучения, в рамках которой сейчас создаются практически все алгоритмы ИИ, отдаленно похожа на принципы человеческого обучения. Модели даётся пример какой-то задачи, она пытается ее решить и учится на своих ошибках.
( Read more... )
Когда кончатся данные придется делать более умные модели, как когда-то и собирались.
Reply
Reply
Я имел в виду модели, которые смогут обойтись меньшим количеством параметров, и которым поэтому нужно будет меньше данных.
Reply
сделать "более умные модели" означает например понять, что такое "более унмые" ))) нереально на сегодняшнем уровне знаний о человеческом уме - в любой отрасли таковых знаний.
в общем, "шат ап энд калкьюлейт"(с) тут тоже (как и кое-где ещё )) ) видится единственным приемлемым методом.
Reply
Более умные модели, в данном контексте, означает те, что смогут обойтись меньшим количеством параметров, и которым поэтому нужно будет меньше данных.
Reply
эх, вот кбы сделать такие модели, чтобы они были такие же умные, как люди )) ведь людям не нужно прочитать весь интернет, чтобы научиться писать? ))
правда, может быть я не прав, но я подозреваю, что "количество параметров" или что там у людей вместо этой метрики отражает "сложность модели", превышает доступные для кремния порядков на 10... поэтому и данных для обучения людям нужно гораздо меньше, чем кремниевым нейросеткам...
Reply
Няп, generative AI это не единственное направление разработок, и более того, до какого-то момента не считавшееся наиболее перспективным. Сейчас оно лидирует, но когда оно упрется в твердую стенку из-за того, что кончатся данные, придется сделать несколько шагов назад и вернуться к другим разработкам.
Reply
Не, пока же можно заливать проблему деньгами.
Я вижу из статьи ограничение на рост вычислений и рост данных. У роста данных уже показалось дно. У роста вычислений дна пока нет. Ограничение только на вкинутые бюджеты. Т.е. пока инвесторы не зажмотятся, можно эту проблему игнорировать. Но да, дальше придётся работать над качеством данных и качеством архитектуры, чтобы требовалось меньше вычислений. Но, повторюсь, пока можно заливать проблему деньгами. Рост акций Нвидиа это подтверждает.
Reply
Leave a comment