Русскоязычные нейронки для оффлайн работы

[kvisaz]

Критерий отбора - гармоничность текстов на русском языке, способность рассуждать вторична.

Обновлено 6 ноября 2024

• SuperNova Medius - очень приятная модель, у которой GGUF влазит в RTX4090, дает хорошую скорость, лучше чем 8b на русском. Является дистиллятом из Llama 405b, что бы это ни значило, это не особо интеллектуальная нейронка, но с

Comments

[myrouble]

Спасибо за инфу. Подскажите, пжл, а насколько сложна установка локальной нейронки? Под силу ли это НЕ программисту? Но с какими-то базовыми знаниями HTML, CSS, Linux? Может есть какие-то доступные туториалы?

[kvisaz]

https://github.com/oobabooga/text-generation-webui

Это пакет который ставится на разные системы, довольно просто, скачать и запустить

В разделе Model внутри есть поле куда можно вставить название модели на Huggingface и она ее скачает.

[myrouble]

Спасибо за помощь. А еще такой вопрос - api можно прикрутить к этим локалкам? Чтобы дальше интегрировать их в соронний софт?

[kvisaz]

я пока не пробовал, но да, у text-generation-webui можно включить режим локального API
и тогда дорвеи польются рекой )
ну или переводные тексты

[myrouble]

2. TheBloke/Toppy-M-7B-GGUF - квантизованная версия, очень быстро работает на моей системе (RTX4090, 128Гб оперативки), сильно не тестировал пока, но ее как русскоязычную хвалили в этом треде на реддите

А ссылка на реддит верная? Там инфа не про TheBloke/Toppy-M-7B-GGUF, а про Russian LLM Silicon-Masha-7B. Или ее переименовали?

[kvisaz]

тред про Машу, да

там есть такой коммент
"Just fyi, mistral 7b speaks well in Russian. Like really well.Edit: correction - I was referring to toppy 7b by undi"

по которому я и провел уже дата майнинг нужной модели )

[myrouble]

Спасибо!

[myrouble]

"...чем собственно попытка перевода, в которой локальные нейронки часто косячат тем, что..."
Обрезалась фраза как будто?

[kvisaz]

спасибо

полный текст "собственно попытка перевода, в которой локальные нейронки часто косячат тем, что вставляют английские слова и иероглифы"

На выходных перебирал локальные нейронки и снова убедился, что может интеллектуально OpenChat не самый крутой, зато у него один из самых корректных уровней русского языка

особенно если поставить температуру 0.25-0.35

температура меняется при запросе API или в чате Ooobabooga, чем выше, тем выше вероятность выбора странных слов и слогов, на высокой температуре возникает нечитаемая каша, будто нейронку напоили вусмерть

[ext_6543965]

Приветствую. Немного не по теме, но не знаю, где Вас ещё найти. (Хотя нейронки - у нас, художников, тоже тема актуальная.)Об авторских. Когда-то в рамках "Грелки" запомнился ваш (не путаю?) рассказ "Летающие корабли на диких островах". Поскольку яркий, то запомнился надолго. И вот на днях случайно попался лженаучный ролик в Ютубе, где его слов-в-слово зачитали. Автор подаёт как свои "исследования". Если автор ролика не Вы, то, возможно, вас ограбили. 😉 Пытался задать автору вопрос - он мгновенно удаляется. Ролик называется " Летающие корабли прошлой цивилизации". (не знаю, возможна ли тут прямая ссылка).

[kvisaz]

Верно, вот этот рассказ

https://kvisaz.livejournal.com/155716.html

Пускай публикуют, так история будет жить

[fotovivo]

Но все ж таки авторство указывать было бы хорошим тоном. Ютуб оч в этом способствует. С третьей ноты настораживается.

[sucotasch]

Qwen2-57B-A14B-Instruct.Q5_K_S.gguf - размер около 40 гигабайт, так что пришлось запускать на CPU. Почему-то работает шустрее, чем Qwen 32b, ну и умнее заметно. Упорно отвечал по-английски на русские фразы, когда спросил, почему, он сослался, что не очень хорошо знает язык :)