Мой комментарий к записи «Последнее время повторяюсь.» от paidiev
И да - и этого вытекает потолок биг даты, и текущего поколения нейронок.
Они не могут как люди обобщать данные. Они могут выделить корреляции между входными данными и выходом, но не могут в явном виде сделать макромодель, из большого объема микроданных. Просто архитектура так устроена. А люди как раз используют алгоритм агрегации, что и позволяет ( Read more... )
Comments 15
Это не совсем так для LLM на базе трансформеров.
Осваивают ли LLM модели мира, или лишь поверхностную статистику?
Reply
Трансформер учитывает зависимости на том уровне на котором идет внимание, т.е на текущем.
Обобщение - это зависимость от скрытого макропараметра - чего в любой архитенктуре с прямым распространением быть не может.
Пример это число пальцев в генерируемых картинках. С точки зрения сети множество отдельных рук на множестве отдельных примеров друг с другом не связаны. Такое понятие как кисть руки и то, что у нее 5 пальцев она сформулировать не может - т.е не может сделать макромодель. Соотв как ни обучай - все равно с некой вероятностью там будет их другое число. И это принципиально не решаемо для любой линейной сети.
Reply
Соотв правило сложения - трансформер может выучить, как сумму разных правил 1+1, 2+1 и т.д. В сумме считать может научится, но на гораздо большем числе примеров и гораздо медленнее. Там где нужно обощать - все будет плохо. Т.е модель они естественно строят, но закодирована она гораздо хуже, чем у людей. Соотв и качество таких обобщений существенно хуже.
Т.е. критерий качества модели - это соотношение ее объема к качеству предсказания. И тут у всех сетей, включая трансформеры, все достаточно плохо. А объем модели напрямую влияет на скорость обучения - чем компактнее модель тем быстрее обучается. Соотв сравнить людей с нейронкой можно по необходимому для обучения объему данных. И здесь все у нейронок плохо на порядки.
Reply
Это как Тегмарк, все порывается выкинуть промежуточные физ. понятия и оставить чистую мат. модель.
Reply
Если несложно, поделитесь пожалуйста,
своим мнением по поводу идеи "церебрального сортинга по мозгам у людей" от ученого, профессора Сергея Савельева?
Reply
Интересная новость стремительно меняющего мира вокруг:
Если взять недавнее промо Google о новой нейросети Gemini:
- то можно легко представить, насколько сильно может измениться мир в самое ближайшее время.
Насколько упростится и при этом сколько рабочих мест отнимет у людей новая технология.
Если мы откинем остальные возможности (тем более, что они не сильно далеко ушли от ChatGPT) и подумаем только о том,
что показано в ролике, то уже понятно, что бот на базе этой нейросетки легко заменит:
1️⃣ рабочие места, где нужна работа контролера качества (конвейерное производство, роботизированное производство);
2️⃣ рабочие места, где нужна скрупулезная работа статиста - того, кто фиксирует проезжающие мимо авто, хронометраж рабочего времени сотрудника, движение людей на КПП или на территории, движение финансовых, медицинских, таможенных и любых других документов;
3️⃣ менеджмент среднего уровня, который проверяет работу сотрудников (не важно - физическую или интеллектуальную) или роботов.
Пока в большей степени новые нейросети - это ( ... )
Reply
Leave a comment