(no subject)
https://cantanapoli.livejournal.com/697881.html
...Deepseek меня крайне впечатлил своим режимом «внутреннего диалога», рассуждений, которые демонстрируют ПОЧЕМУ ответ ИИ получается именно таким, а не иным. Я знаю что подобный режим есть и в других новейших моделях ИИ, но вживую, а не в рассказах или роликах - я с ним столкнулся впервые.
И это выглядит очень серьезным шагом в будущее. Впервые ответ на вопрос возникает не из черного ящика, где на входе ваш вопрос, потом «там внутре неонка», а потом сразу ответ ИИ - а как некая последовательность самоинструкций.
ackforstpdcmnts
у вас не возникло впечатление, что "внутренний диалог" - это просто угадывание правдоподобной последовательности мыслей, возникающих у человека при ответе на заданный вопрос, а не раскрытие настоящей внутренней логики? Я сильно сомневаюсь, что нейросетевые "мысли", выраженные человеческим языком, могут настолько напоминать человеческое мышление.
он не думает такими предложениями, но даже если то, как он думает, можно, не соврав, выразить такими предложениями - это уже слишком человекоподобно для нейросети.
Нейросети сами охотно рассказывают, чем их способы генерации ответов отличаются от человеческих, и отсутствие строгого, формализуемого, последовательного мышления - фундаментальное "архитектурное" различие.
Поэтому, мне кажется, этот "внутренний диалог" - прикрученная свистоперделка для вау-эффекта, а не приоткрытая дверца в черный ящик.
Я про то, что вопросы "как ты получил этот ответ на вопрос?" и "как, по-твоему, человек мог бы получить этот ответ на вопрос?" - это разные вопросы.
truvor
Но люди действуют точно так же. Довольно часто ответ приходит как бы сам, непонятно откуда. А другим надо объяснить, почему ты так решил. И тогда задним числом ищешь и подбираешь логическую цепочку. Получается презентация идеи.
ffedd_ya
Нейросеть думает примерно так:
Ведь что значит "человек понимает текст"? Человек читает слова. Преобразует их в уме в некие идеи, понятия, которые в словах содержатся, но словам не равны и к ним не сводятся. Связывает эти понятия с другими, ранее усвоенными понятиями, выводит некое умозаключение и преобразует его обратно в слова.
Похожим образом работает и LLM. Он преобразует слова в векторы-эмбеддинги, которые словам не равны и однозначного соответствия с ними не имеют. Проводит ряд математических операций, перемножая эти векторы с матрицами, вычисленными на базе ранее усвоенных векторов; вычисляет итоговую последовательность векторов и декодирует обратно в слова.
Итак, человеческий ум работает по схеме "слова - понятия - слова", а LLM по схеме "слова - эмбеддинги - слова".
Итак, человеческий ум работает по схеме "слова - понятия - слова", а LLM по схеме "слова - эмбеддинги - слова". И я хочу сказать, что у LLM последнего поколения этот их внутренний мир эмбеддингов стал уже настолько обширен и богат, что чуть ли не равновелик человеческому миру понятий. И, видимо, соответствует ему структурно.
https://fortunatus.livejournal.com/376346.html