Внезапное открытие: модель генерации стихов умеет переводить стихи с немецкого

[kelijah]

Я обнаружил сюрприз сегодня совершенно случайно. Сказать, что я впечатлен - это очень мало.

Оказывается, генеративная модель стихов (отладочный бот в телеге) умеет переводить стихи с английского  и немецкого, как минимум

Comments

[p2004r]

А в базе текстов по которым обучалась модель точно нет перевода Зейделя Лепкелем?

[kelijah]

>А в базе текстов по которым обучалась модель точно нет перевода Зейделя Лепкелем?

в претрейне базовой модели могло быть что-то такое, сейчас трудно проверить.

[marat_magafurov]

ПМСМ, LLM - это семиотические системы, то есть они реконструируют пространство смыслов (десигнаты) и оперируют ими, а текстовое выражение этих смыслов - это послдений этап генерации - этап репрезентации. Что же удивительного в том, что смысловое пространство не зависит от конкретных языков))

[kelijah]

Но есть целая ... ммм когорта товарищей, которые обидными словами кидаются, мол LLM'ки ваши (наши то есть) это стохастические попугаи и не более того.

С их точки зрения никаких смыслов внутри языковых моделей нет. Типо там просто подбор ближайшего текста из виденного в обучении.

Однако вот бывают такие забавные находки, когда этот инструмент (LM) ведет себя неожиданно интересно, выходит за рамки обучения.

[marat_magafurov]

Это неправильные товарищи, не дружите с ними

[kelijah]

:)

[vadperez]

а вот такое она может генерить?

https://literature.stackexchange.com/questions/18139/what-meter-are-i-lik-the-bred-poems-in
https://www.tumblr.com/bestbredlik

[kelijah]

Пока не очень четко соблюдает требование метра, если задать его явно.
Например, если кинуть в бота промпт "Сочини стихотворение в четырехстопном ямбе", то может бывать что-то такое, скорее трехстопное:

Зачем мне этот бред,
Когда тебя здесь нет?
Зачем твои слова,
Которым я не рад?

Ты не со мной сейчас,
Ты где-то вдалеке,
Твой голос не для нас
Звучит в ночной тиши.

А другой вариант будет уже более корректным:

Я не умею не писать,
Когда душа поёт и плачет.
И не могу я не мечтать
О том, что в жизни что-то значу.

Я не могу не замечать
Того, что сердцу не по нраву,
И не хочу я промолчать
Там, где молчать имею право.

Эти генерации прямо сейчас сделал в тг-боте.

В планах есть добиться, чтобы требования на метр, явно заданные в промпте, соблюдались максимально четко.

[vadperez]

меня, скорее, интересует используемый словарь.
а бота можно попробовать?

[kelijah]

>а бота можно попробовать?

Бот доступен без ограничений: https://t.me/vika_chatbot