Проблемы с логикой у LLM и с доверием не только у LLM

Jul 21, 2024 18:29


Моя большая статья на Хабре, в первую очередь о доверии, во вторую о логике и ИИ.


Read more... )

Leave a comment

Comments 16

lj_frank_bot July 21 2024, 23:30:09 UTC
Здравствуйте!
Система категоризации Живого Журнала посчитала, что вашу запись можно отнести к категории: ИИ.
Если вы считаете, что система ошиблась - напишите об этом в ответе на этот комментарий. Ваша обратная связь поможет сделать систему точнее.
Фрэнк,
команда ЖЖ.

Reply

bacr July 21 2024, 23:54:09 UTC

+ логика + доверие

Reply


rdia July 22 2024, 03:20:35 UTC
Интересно написано, есть несколько новых мыслей. Спасибо.

И хорошо, что вы забросили сюда - на Хабре статья тонет в потоке спама.

Reply


vedroid1 July 22 2024, 06:07:00 UTC

Одна из проблем да, люди обучаются на сильно смещённой выборке, типа, начнёшь дурить, наделаешь шишек, врежешься в стену или похуже. Поэтому логика и базовые понятия физики получаются освоенными в качестве привилигированной информации. А у трансформеров это в одной куче с ерундой всякой, отсюда глюки.

Второй момент это то, что трансформеры это на самом деле модель человека с деменцией. Они помнят слова в рамках окна контекста, заданного в программе, поэтому и отвечают более развёрнуто на более развёрнутые запросы на ту же тему. У человека есть ещё память о прошлых делах, она в голове отдельно прикручена, и первая с возрастом выходит из строя. Типа, Байден способен поддерживать разговор, но если ему не подсказывать, переходит в режим "иде я нахожусь?". У трансформера память пока отсутствует вообще.

Reply

bacr July 23 2024, 23:48:36 UTC

> начнёшь дурить, наделаешь шишек, врежешься в стену или похуже.

Даже это не всегда помогает, пример этому долбанутая на климате небинарная ЛГБТ молодежь.

Reply


w_19 July 27 2024, 22:38:38 UTC

"LLM просто вычислители и генераторы корреляций (ВГК) между знаниями, используемыми для обучения LLM"

Ну а чем же они должны быть? Пепелацем летающим на спичках что-ли :)

Добавьте им ДОСТУП к базам данных, на которых они обучались, а также другие формы постоянной памяти,
или доступ к интернету, и увидите результаты сильно получше.
А также некоторую "мотивацию", которая будет нацелена на повторы поиска решения.

Что касается логических и прочих задач - можно использовать просто перебор вариантов решения на предмет их
вероятности ( в плане соответствия с реальным миром).
И много других путей..
Типа гибридизации с конструкциями С. Вольфрама ( что уже делается).

В общем, профильные специалисты и блоги, которые освещают эти темы, полны энтузиазма.
Человеческий язык - это уже слепок мира. Именно манипуляция ( оперирование) им позволяет "голой обезьяне" достигать всех взятых ею высот.

Пока " нечеловеческих" высот достигли только генераторы изображений.

Reply

bacr July 28 2024, 20:12:05 UTC

> Ну а чем же они должны быть? Пепелацем летающим на спичках что-ли :)

Торговцы LLM скупающие видеокарточки и акционеры Nvidia претендуют как раз на то, что их продукты пепелацы летающие на спичках.

Reply

w_19 July 28 2024, 22:16:53 UTC

" Немотрон" от Н-видия недавно вот рассказал что
именно оперирование огромной совокупностью слов намного экономичнее оперированием
образами, что делают животные.

И это шаг к управлению роботами и так далее. Где будет транслятор из человеческого языка в машинный.
И это кстати, система не сильно хуже Клода и более честная ( на первые взгляды.)

Так что все нормально у акционеров Энвидия ))

Четыре боженьки будущего хаоса .... проводя аналогии с Варкрафтом ( не мои)

Reply


w_19 July 27 2024, 23:48:13 UTC

И Лурия пишет " сочинения на заданную тему " :

" Однако при отсутствии опоры на свой опыт и обращении к системе теоретического мышления три фактора резко ограничивали их возможности.
Первый - это недоверие к первоначальным посылкам, которые не основывались на их личном опыте, что делало для них невозможным использование этих посылок.
Второй - это то, что такие посылки не были для них универсальными; они воспринимались испытуемыми как частное утверждение, отражающее лишь единичный частный случай.
Третий фактор - это то, что в итоге силлогизмы распадались у испытуемых на три изолированных высказывания, не объединенных единой логикой. В результате испытуемые решали задачу путем догадки или обращаясь к личному опыту. Неграмотные крестьяне могли объективно использовать логические связи, лишь опираясь на личный опыт, однако они не воспринимали силлогизм как прием, помогающий сделать логический вывод."

Опыт учит нас что эксперимент не является чистым.
Не было ни подкрепления, ни наказания.

Малограмотные люди кроме того, боятся дать ( ... )

Reply

bacr July 28 2024, 20:10:15 UTC

Лурия открывал велосипед изобретённый в цивилизованных странах, а потом цивилизованные страны заново открывали этот велосипед читая и переводя Лурию. Ставится вопросы

1) Почему наша цивилизация застряла в дне сурка и обречена забывать и заново изобретать велосипед? Ответ - методы общения не способствуют развития высокому уровню доверия между общающимися, а поощряют разводы и прочий цыганский гипноз по телефону на деньги, даже в чисто научной среде.

2) Как выйти из этого уровня сурка? Ответ - развивать методы общения позволяющие повышать доверия между людьми, заслуженный уровень доверия, когда все шаги записаны, репутация нарабатывается годами.

Reply

w_19 July 28 2024, 22:25:03 UTC

1) "методы общения не способствуют развития высокому уровню доверия " - я давно вижу, лет 30 или больше,
что именно генетика не способствует.
И не только я.
Отсюда , кстати, и экономика основанная на СРЕБРОЛЮБИИ ( худшем из зол) и тайной власти денежных мешков
со своими странными культами ( недавно снова могли их лицезреть в Париже наглядным образом).

2) "развивать методы общения позволяющие повышать доверия между людьми"

Ну даже на примере ЛЛМ видно что обманывать выгодно ( с точки зрения экономии усилий и энергии)
Чтобы этого не происходило, привлекали к делу ( как пример) "страх Божий".

Или другие факторы, внешние по отношению к генетике.

3) День сурка борьбы плохого с худшим идёт со времен скажем так, самого Адама.
И это абсолютно неизбежно, как Вы, наверное, понимаете.

Reply

bacr July 28 2024, 23:22:46 UTC

> со своими странными культами ( недавно снова могли их лицезреть в Париже наглядным образом)

Это не странные, а вполне языческие культы с человеческими жертвоприношениями, ничего нового. Культ ЛГБТ = культ Астраты (Иштар).

> День сурка борьбы плохого с худшим идёт со времен скажем так, самого Адама.

Как православный я не могу согласиться. Кроме Христа, были и Ной и Моисей...

Кстати прислали ссылку https://sqlite.org/codeofethics.html

Reply


Leave a comment

Up