Цена экономии: как низкая точность губит большие языковые модели

[nikitayev]

Большие языковые модели (LLM) - это впечатляющий технологический прорыв, но их потенциал часто ограничивается инженерными решениями, направленными на оптимизацию производительности. В погоне за скоростью и экономией памяти, разработчики часто жертвуют точностью, используя форматы с пониженной точностью для представления весовых коэффициентов

Comments

[igor_abramov]

>>> работа которой основана на многочисленных матричных операциях. Эти операции сводятся к решению СЛАУ.

Поясните, пожалуйста, что именно Вы имеете ввиду в этой фразе.
Мне казалось, что скорее наоборот - решение СЛАУ сводится к тем или иным матричным операциям.
На каких этапах тренировки или использования LLM мы реально делаем что-то похоже на решение СЛАУ ?

А по сути согласен - вопросу численной устойчивости мало внимания уделяется