Продолжаю погружение в TDA, а именно в тему "Artificial Text Detection" через расчеты топологических метрик.

После стихов появилась мысль попробовать применить эти топологические инструменты к диалогам.

В последний год массовой практикой стала генерация диалогов через апишку OpenAI и обучение моделей чатботов (и даже базовых моделей - см. статью ( Read more... )

Результаты моих расчетов показывают, что между человеческими и сгенерированных стихами есть значимая разница для "фрактальной размерности" их эмбеддингов.

Пояснения - в статье Intrinsic Dimension Estimation for Robust Detection of AI-Generated Texts.

Вот гистограммы для ~1000 пар стихов:
( гистограммы... )

Даже в такой малопопулярной (хотя казалось бы, должно быть наоборот) теме, как "творческий ИИ", постоянно появляются новые интересные исследования. Конечно, поток статей тут намного жиже, чем в мейнстиме про новые LLM'ки, где ни дня без новой модели-убийцы chatgpt. Но зато какие брильянты попадаются - закачаешься! Сейчас расскажу про один пейпер. ( Read more... )

Сделано сравнение следующих видов позиционных эмбеддингов в char-level декодерных трансформерных моделях:

1) APE - абсолютные обучаемые эмюеддинги, ванильная архитектура GPT2.
2) RoPe - https://paperswithcode.com/method/rope, архитектура LLaMa, чекпоинт доступен тут3) ALiBi - https ( Read more... )

Оказывается, что эти странные слова про "cells interlinked", которые Кей произносит в сцене теста в Blade Runner 2049:
( Видео сцены теста... )

Я наткнулся в ленте канала Архэ на лекцию Льва Наумова с названием "Создают ли нейросети настоящее искусство?":
( Read more... )

Веса, описание и пример использования - тут https://huggingface.co/inkoziev/charllama-35M.
Для этой модели нужен специальный токенизатор, который можно взять тут https://github.com/Koziev/character-tokenizer и установить через pip ( Read more... )

Тренирую модель с архитектурой LLaMa, но с посимвольной токенизацией и урезанную до 20 млн параметров. Обучение с нуля на русском корпусе.
Взял сейчас промежуточный чекпоинт, примерно 10B токенов прошло.
Отфайнтюнил на стихах, пробую генерацию продолжения для "У Лукоморья дуб зеленый":

пример генерации:

У Лукоморья дуб зеленый ( Read more... )

В боте verslibre обновление:

1) в модель добавлены отдельными жанрами рэп и рубаи
2) для рэпа сделан отдельный ранжировщик, учитывающий принятые в этом жанре особенности текстов.

Как обычно с генеративками, можно начеррипикать неплохих примеров.

( Read more... )

Для некоторых экспериментов в области генерации контента я сейчас обучаю модельки с посимвольной токенизацией (типа byT5, но именно для символов).

Выложил первую: inkoziev/chargpt-96M. Как следует из названия, у нее всего 96 миллионов параметров. Как раз для прототипов, когда хочется сбацать какой-нибудь классификатор или фонетический транскриптор ( Read more... )