статья очень большая и запутывает вопрос ещё больше.
- есть программа которая называется llama.cpp и которая может "выполнять" языковую модель типа llama на компьютере (есть версия которая может выполнять только на процессоре, желательно чтобы процессор поддерживал набор инструкций AVX). Нужно также чтобы модель влезала в оперативную память (желательно иметь побольше - 32 Гб вероятно достаточно (для больших моделей нужно больше но они начинают выполняться на процессоре слишком медленно и далее по этой дороге нужно специализированное железо), для экспериментов хватит и 10-12-16 Гбайт и нужно знать английский язык) [добавлено - память у человека - то что он способен запомнить - примерно 200 Мбайт {- да, так мало}].
- также есть веса нейронных сетей (на huggingface) языковых моделей, оптимизированные для llama.cpp (там много, формат ggml).
- по всем признакам это программа (доступен её исходный код, можно посмотреть и ничего сверхестественного там нет).
- может ли она (программа, или система "программа плюс файл с весами языковой модели
( ... )
Comments 3
Reply
статья очень большая и запутывает вопрос ещё больше.
- есть программа которая называется llama.cpp и которая может "выполнять" языковую модель типа llama на компьютере (есть версия которая может выполнять только на процессоре, желательно чтобы процессор поддерживал набор инструкций AVX). Нужно также чтобы модель влезала в оперативную память (желательно иметь побольше - 32 Гб вероятно достаточно (для больших моделей нужно больше но они начинают выполняться на процессоре слишком медленно и далее по этой дороге нужно специализированное железо), для экспериментов хватит и 10-12-16 Гбайт и нужно знать английский язык) [добавлено - память у человека - то что он способен запомнить - примерно 200 Мбайт {- да, так мало}].
- также есть веса нейронных сетей (на huggingface) языковых моделей, оптимизированные для llama.cpp (там много, формат ggml).
- по всем признакам это программа (доступен её исходный код, можно посмотреть и ничего сверхестественного там нет).
- может ли она (программа, или система "программа плюс файл с весами языковой модели ( ... )
Reply
"Может ли человек мыслить?" (с) Долорес Абернатти
Reply
Leave a comment