Лучшие практики использования локальных больших языковых моделей для программистов

[nikitayev]

Обзорная статья по лучшим практикам использования больших языковых моделей (LLM) для работы с кодом.

Какие большие языковые модели, что я могу рекомендовать:

1. Athene-V2-Chat-GGUF 72B- самая продвинутая БЯМ на сегодняшний день. Создана на основе Qwen2.5-72B-Instruct. Доступные варианты квантов для использования - от IQ3_XXS до Q8_0. Размер

Comments

[nikitayev]

Athene V2 72B Chat IQ3_XXS в работе:

1. Этап обработки системного промпта:

[nikitayev]

Один из вариантов использования системного промпта для отладки программ заключается в наличии блока создания юнит-тестов для загруженного кода:

https://3dnews.ru/1114349/ii-pomog-google-viyavit-v-otkritom-po-26-uyazvimostey-odna-iz-kotorih-drevnyaya

[nikitayev]

Статья, с перечислением тех проблем, которые способен решить правильно внедренный ИИ:

https://habr.com/ru/articles/859630/

Как должен измениться процесс выполнения задачи - предложил тут:

Демонстрации вариантов внедрения ИИ на производстве: https://nikitayev.livejournal.com/148855.html

[nikitayev]

https://github.com/Dicklesworthstone/your-source-to-prompt.html

🔥 "your-source-to-prompt.html" - инструмент, который позволяет превращать исходный код проектов в текстовые запросы для LLM, используя только ваш локальный компьютер!

🌟 Все операции выполняются в браузере, без необходимости установки дополнительных зависимостей. Это решение ориентировано на безопасность (код не покидает устройство) и удобство работы с любыми папками и репозиториями. Оно поддерживает создание предустановок для повторяющихся задач и может минимизировать код для экономии места в контексте модели.

🖥 Github

@machinelearning_ru

[nikitayev]

Исследование Hugging Face: Как малые языковые модели превосходят гигантов благодаря масштабированию
https://habr.com/ru/companies/bothub/news/868564/