Предсказания сбываются

[ny_quant]

Почти год назад ВПС сказал:

Когда кончатся данные придется делать более умные модели, как когда-то и собирались.

Многие, в том числе и специалисты, не будем показывать пальцем, тогда не согласились, что данные скоро кончатся. Fast forward to this week:

Подъехал первый серьезный тревожный звоночек о том, что потолок нынешней парадигмы создания ИИ

Comments

[misha_b]

I am quite skeptical about this narrative. Current DL is highly sub-optimal, there is no reason to think progress would slow down significantly in the next few years.

[ny_quant]

What do you mean sub-optimal? Architecture or optimization?

That the progress already slowed down looks more like a fact than a conjecture. See also recent article on BBG:

https://www.bloomberg.com/news/articles/2024-11-13/openai-google-and-anthropic-are-struggling-to-build-more-advanced-ai

[misha_b]

Both are suboptimal -- there even are no principled ways of choosing learning rates, for example. Architecture and compute are being chosen based on "scaling laws" which are heuristics based on a few data points. Etc, etc.

I think progress last few years has been miraculous. Even if a few big model runs by OpenAI/Antropic failed, so what?

[ny_quant]

If they are both so highly suboptimal, how come the best minds can't materially improve it? How do you even know that they are suboptimal? Just b/c people found some ways to success heuristically, feeling their ways in the darkness, doesn't necessarily mean much better ways exist.

Of course the progress has been miraculous. And maybe they hit the wall now, or close to it. We'll see soon enough.

[turbo_gum]

>>с переходом на "малые" специализированные модели типа "доктор" или "программист"

Вот что я вижу - сейчас даже хорошо настроенная модель может выдавать совсем небольшую порцию нормального кода за раз. Так что, мне кажется, будут микро модели вроде "генератор функций доступа к данным на языке SQL" или что то подобное. И это неплохо, значит работы по созданию, настройке и интеграции таких моделей будет много.

[ticklish_frog]

Это оттого, что у attention transformer конечное окно. И увеличение окна стоит нелинейно дороже. Можно поставить трамплин, который разбирает промпт, скармливает части и потом склеивает результаты, но это именно и есть настройка и интеграция .

[prof_bormental]

А какие новости на фондовом рынке? Как там поживают бонды, уже начали верить в лучшее будущее?

[ny_quant]

Вас что ли в интернете забанили?

Рынок акций на этой неделе падал, на сей раз Trump rally продолжалось ровно 2 дня. Бонды обратно не выросли.

[prof_bormental]

Я в этом не понимаю. А вы - специалист, к тому же мы уже с вами обсуждали это неделю назад. Видел только, что биржа выросла, Доу Джонс перед началом голосования - 5755, потом - 6025, на данный момент - 5876, а особенно Биткоин. Кстати, как рост Биткоина объясняется? Неверие в обеспеченность мировых валют? Так если глобальная экономика рухнет и всё вернётся к натуральному обмену, кому нахер эти коды на серверах пригодятся?

[ivanoff272]

what? u r trolling, right?
bitok != gold, if my memory doesn't trick on me)

[ticklish_frog]

Ну так уже и сейчас берется основной LLM, и делается fine-tuning на какую-то область (медицина или кодинг), и диспетчер перенаправляет на разные настроенные модели. я не думаю, что у них единая модель работает в чистом виде.

[prof_bormental]

В продолжение темы Гитлера -

On Saturday’s broadcast of the Fox News Channel’s “Cavuto Live,” Rep. James Clyburn (D-SC) said that the country is seeing another Hitler with President-Elect Donald Trump.
Host Neil Cavuto then cut in to ask how that’s possible when Trump hasn’t become president yet and “Are you envisioning another Hitler? Is that what you’re saying?”
Clyburn responded, “That’s exactly what I’m saying.
https://video.foxnews.com/v/video-embed.html?video_id=6364798081112&loc=breitbart.com

[ny_quant]

Видео не смотрел, верю на слово, считается.