Обратный тест Тьюринга

[ivanov_petrov]

Тест Тьюринга всё.
"Человек взаимодействует с одним компьютером и одним человеком. На основании ответов на вопросы он должен определить, с кем он разговаривает: с человеком или компьютерной программой. Задача компьютерной программы - ввести человека в заблуждение, заставив сделать неверный выбор

Comments

[occam_aga]

задача: написать простой рассказ на время. если ушло меньше 10 секунд значит написано машиной.

[verniy_leninetz]

Эээ, а если будет вставлен правдоподобный delay?

[occam_aga]

насколько я понял, смысл в том, чтобы не пропустить человеков.

иначе можно просто на все задания выдавать е77о7

[ext_3776482]

/если ушло меньше 10 секунд значит написано машиной./

насколько я понимаю, человеку не возбраняется написать программу, мгновенно подключающую ИИ к задаче

[alex_new_york]

Мне пока не встречался ИИ, способный успешно выдать себя за человека. Не потому, что это трудно в принципе, а потому, что большие языковые модели обычно обучают на других текстах, не разговорных. В результате он сразу же выдает себя лексически

Обучить ИИ на разговорных текстах нетрудно - достаточно скормить ему несколько десятков терабайт из архива смс - сообщений какой-нибудь телефонной компании. После этого он сможет хорошо вживаться в роль на чисто лексическом уровне. Но чтобы полностью вжиться в роль человека, недостаточно выучить его лексику, нужно еще и освоить мир его переживаний, мыслей, ценностей, привычек. Для 99% относительно стандартных ситуаций это будет срабатывать, но для 1% нестандартных ИИ будет своими реакциями себя выдавать

Для того, чтобы превратить этот 1% в нечто статистически неразличимое, может понадобиться гораздо больше усилий, чем кажется

[occam_aga]

Тест Тьюринга это не соревнование. Это критерий для направления развития. ИИ должен отличаться от человека, иначе зачем он нужен. Сейчас ТТ уже не актуален так как свою задачу выполнил. Теперь ИИ должен решать задачи явно лучше чем человек.

[alex_new_york]

Еще не успело затихнуть эхо недавнего дружного смеха в этом журнале по поводу возможности достижения ИИ человеческих способностей - и вот уже как нечто самоочевидное здесь звучат слова о том, что конечно же ИИ должен всё делать намного лучше человека 😊

[occam_aga]

а иначе зачем он нужен?

[axsmyth]

Тест, по идее, должен тестировать достижение, а не «способность» плохо пройти дистанцию, или завалить задание.

[ext_3776482]

/тестировать достижение, а не «способность» плохо пройти дистанцию/

"- на конкурсе неудачников ты бы занял второе место

- почему второе?

- потому что неудачник"

[axsmyth]

Тоже про этот анекдот подумал. Там правда другое слово было.

[ext_3776482]

да, я намеренно вставил другое слово)

[kvisaz]

Время отклика

Даем вопрос и параллельно отправляем запрос на официальный сервер GPT
Человек ответит с запаздыванием (чтение, отправка, копипаста)
Gpt ответит с временем, очень близким к тестовому запросу.

При этом вероятно можно вывести типовые диапазоны времени, характерные для разных ситуаций с человеком - думает сам или пытается через нейронку

Но если этот тест известен, его можно обмануть сделав автоматизацию отправки вопросов с паузой.

Так что я подумаю еще. И это просто первое что в голову пришло, грязный технический прием, зато простой))

[dzz]

Собеседником может быть не ChatGPT, а достаточно тормозной локальный LLM, запущенный на ПК.

[shadow_geometer]

Фундаментальная проблема - это не столько тест на свойства мышления, это тест на проблемы ввода и передачи запроса. Так-то да, можно использовать что ИИ - это "со скоростью электричества и по цене электричества".

Это, кстати, реально применявшийся инженерный трюк с историей во много лет уже. Скажем, всякие там автопроходилки капч со светофорами в своё время намеренно отсекали и через время отклика: если отвечает правильно, но слишком быстро, то заведомо не человек.

[ildar0101]

человек отличается от механики способностью "домысливать". находить нечто там, где ничего такого вроде и нет.

[dzz]

Проблема в том, что человек при таком подходе к тесту сможет имитировать компьютер просто не напрягая мозг :)

[lu_crecia]

Здесь тоже могут быть сложности. Распознавалка лиц, если подкрутить порог распознавания, прекрасно видит лица в складках одежды и ветках деревьев.