-
Сравнение кодогенерации локальной LLM Athene V2 Chat F32 и ChatGPT 4o
О проблемах кодогенерации больших языковых моделей я писал ранее в статье «Цена экономии: как низкая точность губит большие языковые модели»: https://nikitayev.livejournal.com/151546.html
Теперь руки дошли до написания сравнения результатов кодогенерации локальной БЯМ с искусственно ( Read more... ) -
Использование мультимодальных LLM(БЯМ) для работы с изображениями
В ближайшее время все функции анализа изображений будут переложены на БЯМ, так как их программирование осуществляется на английском языке, а не на языке программирования.
Скорость анализа также высокая за счёт использования аппаратной акселерации.
Кроме того, БЯМ учитывают контекст изображения и их трудно обмануть и можно учесть такие факторы, ( Read more... ) -
Цена экономии: как низкая точность губит большие языковые модели
Большие языковые модели (LLM) - это впечатляющий технологический прорыв, но их потенциал часто ограничивается инженерными решениями, направленными на оптимизацию производительности. В погоне за скоростью и экономией памяти, разработчики часто жертвуют точностью, используя форматы с пониженной точностью для представления весовых коэффициентов ( Read more... ) -
Как получить правильную квантизацию модели
С прискорбием сообщаю, что на https://huggingface.co/ найти качественную квантизацию любой модели в формат GGUF практически невозможно.
Как говорится, хочешь сделать хорошо - сделай сам.
Итак, есть гид по командам HuggingFace, благодаря которым можно скачать нужные модели в исходниках, а затем провести квантизацию в нужный формат.
( Read more... ) -
Почему существует нехватка программистов в России
Первое утверждение (теорема ( Read more... ) -
Лучший результат выполнения тестового промпта
ТЗ на сохранение развёртки: https://disk.yandex.ru/d/jLzcS2yHAH7eiQ
Системный промпт: https://disk.yandex.ru/d/z248IOg4o73czg
Папка с результатом выполнения: https://disk.yandex.ru/d/msxGUj_TwKDFLw
Путь к модели: https://huggingface.co/lmstudio-community/Athene-V2-Chat-GGUF
( Read more... ) -
Как студенту в 2025 году написать такой диплом, чтобы приглашение пришло гарантированно
Я уверен, что в 2025 году для любого студента, который желает разобраться с тематикой практического применения ИИ и умеющего как отладить программу, так и сформулировать техническое задание - шанс устроиться в приличную фирму будет гарантирован.
Студент способен сделать следующие вещи, после чего он станет весьма интересным как фирмам Заказчикам, ( Read more... ) -
Искусственный интеллект: революция или эволюция?
Искусственный интеллект: революция или эволюция? Почему одни компании взлетают, а другие топчутся на месте ( Read more... ) -
Лучшие практики использования локальных больших языковых моделей для программистов
Обзорная статья по лучшим практикам использования больших языковых моделей (LLM) для работы с кодом.
Какие большие языковые модели, что я могу рекомендовать:
- Athene-V2-Chat-GGUF 72B- самая продвинутая БЯМ на сегодняшний день. Создана на основе Qwen2.5-72B-Instruct. Доступные варианты квантов для использования - от IQ3_XXS до Q8_0. Размер ( Read more... )
-
Построение карты глубины
🔥 MoGe от Microsoft - модель для точного восстановления 3D-геометрии из одиночных изображений!
MoGe использует ViT-энкодер и сверточный декодер для получения геометрических карт, масок и карт глубины, которые подходят для изображений различных форматов. Инструмент полезен для 3D-визуализации и моделирования. Он поддерживает как локальное, так и ( Read more... )