"Конец ABBYY - это конец большой мечты. .... Мечты о том, что лингвистическая теория - то есть все те способы моделировать язык, которые придумали ученые-лингвисты, - поможет сделать наиболее точные инструменты автоматической обработки языка. ..... На самом деле нет...."
_______________________________
А ведь эта ситуация -- в первую очередь приговор самой лингвистике.
Если реальный язык может быть промоделирован на основе обучения на большом количестве реальных текстов -- что это значит? Это значит, что реальный язык имеет внутреннюю упорядоченность, структуру, которая может быть выявлена, зафиксирована и воспроизведена. Ну, типа морозных узоров.
А дальше вот что: морозные узоры прекрасно объясняются термодинамическими процессами в неравновесных системах, с учётом стохастических эффектов. И мы можем обучить ИИ на картинках морозных узоров, и попросить нарисовать такой же. А можем запустить программу, визуализирующую решение системы уравнений, описывающей неравновесный термодинамический процесс при генераторе случайных чисел. И, о
( ... )
Мне кажется, речь о разных типах знания. Лингвистика была направлена на отыскание закономерностей. И пока продвинулась недостаточно. А автоматический переводчик направлен на совсем иное - достижение результата, создание понятного перевода по множеству образцов. После прохождения этой работы мы так же не знаем закономерностей, как и прежде. То есть это вовсе не одно и то же, не победа в неком соревновании. Это две разные задачи. Посчитать их одной можно лишь в том случае, если считать, что познание языка нам не нужно, а нужен практический результат - перевод. Удивительным явилось лишь то, что можно достичь результата в обход познания, познания так и не получив. В некотором смысле - даром.
Это очень интересная тема. Наука конца XX-XXI вв. состоит в получении даров. Кроме лингвистики, можно найти и другие примеры. Наука старалась отыскать законы и понять некое явление. Ей это не удалось, ее заделы невелики. А вместо этого получен результат - в обход понимания. Просто готовый результат - на, бери, пользуйся. Мне кажется, это очень важный
Про разные типы знания - согласен с Вами. Но когда эти типы знания касаются одноо предмета, между ними должна быть смычка. А задача эту смычку найти лежит на той области знания, что ищет закономерности. Если нет смычки, значит и какие-то закономерности не найдены
( ... )
Нет, тут Вы не правы. Погуглите, как обучаются нейросети. Ну и очень сложная закономерность на самом деле закономерностью по факту не является. Собственно, нейросети как раз и работают именно так: моделируют очень сложную закономерность, не пытаясь ничего упростить (как делают люди в процессе понимания).
Слово "закономерность"имеет два значения: 1) нечто, регулярно повторяющееся; 2) некий описуеиый принцип, вызывающий регулярно наблюдаемые явления. С закономерностями второго рода нейросети не работают, они ничего не объясняют, да. А вот закономерности первого рода они как раз и выявляют. Да, они ничего не упрощают по-человечески, но вычленяют регулярные паттерны, например в словоупотреблении. Там где нет регулярных паттернов, не может быть и моделирования. А вот дальше вопрос уже не к нейросетям: Откуда в языке регулярные паттерны словоупотребления? Не стоит ли за ними некоторая закономерность второго рода? Может быть, кроме инструментов грамматики, язык обладает ещё какими-то инструментами управления? По аналогии с биологией, где кроме генетического кода и аминокислотных последовательностей есть ещё экспрессия генов и ее регуляция. Может в языке есть закономерности экспрессии словоформ?
/// Там где нет регулярных паттернов, не может быть и моделирования.
Ну, видите ли. В любой достаточно длинной СЛУЧАЙНОЙ последовательности всегда можно найти сколько угодно регулярных паттернов. Это ничего не значит.
В том смысле, что если у Вас есть формула длинной в километр (если писать 12-ым кеглем в строку) - вполне рабочая и учитывающая всё-всё-всё на том поле, откуда она получена - можно ли считать, что Вы нашли закономерность? Вот нейросети как раз так и делают: в процессе обучения собирают такую формулу. "Если А, то В, однако в случае если ещё и С, тогда Х, причём если С обладает свойством У, тогда...". Этакий брутфорс вычислительной мощью. Для некоторых полей ничего иного и не нужно (типа задачи сортировки мусора на конвейере распознаванием образов). Но их класс уже, чем кажется; применение такого подхода там, где это неуместно, чревато большими проблемами.
"Наука конца XX-XXI вв. состоит в получении даров. Кроме лингвистики, можно найти и другие примеры. Наука старалась отыскать законы и понять некое явление. Ей это не удалось, ее заделы невелики. А вместо этого получен результат - в обход понимания."
С Вами и согласен, и не согласен. Думаю, наука слегка ошалела от обилия новых методов наблюдения. И да, был значимый период, когда новых идей было мало, а в основном собирались конструкции из фактов. Но вот, физики сейчас зарубились: Что такое ускоренное расширение вселенной? Реально ли тёмная энергия всё расталкивает? Или между галактиками время течёт быстрее, а тёмной энергии и нет никакой? Ну и биологи, насмотрелись на обилие секвенированых геномов и метаболических путей, и задумались: а что должно было быть у нашего первопредка? И где он вообще из грязи собрался? Кажется, наука верна себе. Просто периодически фокус переводит: то на мысли, то на факты, но потом возвращается.
> ...Удивительным явилось лишь то, что можно достичь результата в обход познания, познания так и не получив. В некотором смысле - даром.
Классная формулировка. Но. Скорее, не даром, а бонусом. Данные для науки собирали всегда, а пригодились они заодно и для бигдаты. И стоили данные жутких денег. Я помню ряды испытательных машин, каждая из которых стоила стотыщ баксов, в каждой образец, и испытывают его сутками. Образец - чудо мех.обработки. При институте - цеха для изготовления образцов.
Вообще, хороший пример перехода количества в качество. Каждое остановленное (и затем пройденное) мгновение внезапно приобрело вечную ценность точки на графике. Началось кмк с изучения климата.
Предположим - экзамен. Вы трудитесь, задача не решается. Вы вспоминаете, прикидываете - никак. На телефон звяк - за некую сумму будет выслано решение. В этом смысле даром. Да, деньги вы потратите (если согласитесь). Не даром - по деньгам. Но по отношению к вашим усилиям выучить математику - даром. Вы учили зря. Могли и не учить, даром достался готовый ответ.
Даром - это когда помимо усилий, направленных на достижение.
Помните? Некий человек мечтал уехать в Америку, работал изо всех сил, экономил, побирался, собирал обертки конфет, бумажки, старые башмаки, всякий мусор - и копил. На отъезд. И усилия его увенчались успехом - в Америке померла его престарелая тетушка и завещала ему 20 миллионов. Это и значит - даром.
Я бы так сказал: Даром - когда лежишь. Бонусом - когда делаешь (всё равно что, но в конкретных целях)
Главное, что чувак хотел в Америку и делал для этого что умел. Возможно, тётушка завещала именно ему потому, что старался. At least I tried, как сказал Макмёрфи.
Как-то непонятно, зачем при таком уровне навыка общения с лоа нужна старушка-процентщица-миллионерша и какая-то там америка вообще. Видимо, обострённая сентиментальность.
"Конец ABBYY - это конец большой мечты. .... Мечты о том, что лингвистическая теория - то есть все те способы моделировать язык, которые придумали ученые-лингвисты, - поможет сделать наиболее точные инструменты автоматической обработки языка. ..... На самом деле нет...."
_______________________________
А ведь эта ситуация -- в первую очередь приговор самой лингвистике.
Если реальный язык может быть промоделирован на основе обучения на большом количестве реальных текстов -- что это значит? Это значит, что реальный язык имеет внутреннюю упорядоченность, структуру, которая может быть выявлена, зафиксирована и воспроизведена. Ну, типа морозных узоров.
А дальше вот что: морозные узоры прекрасно объясняются термодинамическими процессами в неравновесных системах, с учётом стохастических эффектов. И мы можем обучить ИИ на картинках морозных узоров, и попросить нарисовать такой же. А можем запустить программу, визуализирующую решение системы уравнений, описывающей неравновесный термодинамический процесс при генераторе случайных чисел. И, о ( ... )
Reply
только нынешней модели, будут и другие
Reply
/А ведь эта ситуация -- в первую очередь приговор самой лингвистике./
Существование египетских пирамид не приговор физике
Reply
То есть это вовсе не одно и то же, не победа в неком соревновании. Это две разные задачи. Посчитать их одной можно лишь в том случае, если считать, что познание языка нам не нужно, а нужен практический результат - перевод.
Удивительным явилось лишь то, что можно достичь результата в обход познания, познания так и не получив. В некотором смысле - даром.
Это очень интересная тема. Наука конца XX-XXI вв. состоит в получении даров. Кроме лингвистики, можно найти и другие примеры. Наука старалась отыскать законы и понять некое явление. Ей это не удалось, ее заделы невелики. А вместо этого получен результат - в обход понимания. Просто готовый результат - на, бери, пользуйся.
Мне кажется, это очень важный
Reply
Reply
Reply
С закономерностями второго рода нейросети не работают, они ничего не объясняют, да. А вот закономерности первого рода они как раз и выявляют. Да, они ничего не упрощают по-человечески, но вычленяют регулярные паттерны, например в словоупотреблении. Там где нет регулярных паттернов, не может быть и моделирования.
А вот дальше вопрос уже не к нейросетям: Откуда в языке регулярные паттерны словоупотребления? Не стоит ли за ними некоторая закономерность второго рода? Может быть, кроме инструментов грамматики, язык обладает ещё какими-то инструментами управления?
По аналогии с биологией, где кроме генетического кода и аминокислотных последовательностей есть ещё экспрессия генов и ее регуляция. Может в языке есть закономерности экспрессии словоформ?
Reply
Ну, видите ли. В любой достаточно длинной СЛУЧАЙНОЙ последовательности всегда можно найти сколько угодно регулярных паттернов. Это ничего не значит.
В том смысле, что если у Вас есть формула длинной в километр (если писать 12-ым кеглем в строку) - вполне рабочая и учитывающая всё-всё-всё на том поле, откуда она получена - можно ли считать, что Вы нашли закономерность? Вот нейросети как раз так и делают: в процессе обучения собирают такую формулу. "Если А, то В, однако в случае если ещё и С, тогда Х, причём если С обладает свойством У, тогда...". Этакий брутфорс вычислительной мощью. Для некоторых полей ничего иного и не нужно (типа задачи сортировки мусора на конвейере распознаванием образов). Но их класс уже, чем кажется; применение такого подхода там, где это неуместно, чревато большими проблемами.
Reply
С Вами и согласен, и не согласен. Думаю, наука слегка ошалела от обилия новых методов наблюдения. И да, был значимый период, когда новых идей было мало, а в основном собирались конструкции из фактов.
Но вот, физики сейчас зарубились: Что такое ускоренное расширение вселенной? Реально ли тёмная энергия всё расталкивает? Или между галактиками время течёт быстрее, а тёмной энергии и нет никакой?
Ну и биологи, насмотрелись на обилие секвенированых геномов и метаболических путей, и задумались: а что должно было быть у нашего первопредка? И где он вообще из грязи собрался?
Кажется, наука верна себе. Просто периодически фокус переводит: то на мысли, то на факты, но потом возвращается.
Reply
Reply
/китайская комната быстро превратилась в огромный дворец, населённый философскими зомби./
дом, который построил ЧатГПТ
Reply
> ...Удивительным явилось лишь то, что можно достичь результата в обход познания, познания так и не получив. В некотором смысле - даром.
Классная формулировка. Но.
Скорее, не даром, а бонусом. Данные для науки собирали всегда, а пригодились они заодно и для бигдаты. И стоили данные жутких денег. Я помню ряды испытательных машин, каждая из которых стоила стотыщ баксов, в каждой образец, и испытывают его сутками. Образец - чудо мех.обработки. При институте - цеха для изготовления образцов.
Вообще, хороший пример перехода количества в качество. Каждое остановленное (и затем пройденное) мгновение внезапно приобрело вечную ценность точки на графике. Началось кмк с изучения климата.
Reply
В этом смысле даром. Да, деньги вы потратите (если согласитесь). Не даром - по деньгам. Но по отношению к вашим усилиям выучить математику - даром. Вы учили зря. Могли и не учить, даром достался готовый ответ.
Даром - это когда помимо усилий, направленных на достижение.
Помните? Некий человек мечтал уехать в Америку, работал изо всех сил, экономил, побирался, собирал обертки конфет, бумажки, старые башмаки, всякий мусор - и копил. На отъезд. И усилия его увенчались успехом - в Америке померла его престарелая тетушка и завещала ему 20 миллионов.
Это и значит - даром.
Reply
Я бы так сказал:
Даром - когда лежишь. Бонусом - когда делаешь (всё равно что, но в конкретных целях)
Главное, что чувак хотел в Америку и делал для этого что умел. Возможно, тётушка завещала именно ему потому, что старался. At least I tried, как сказал Макмёрфи.
Reply
/собирал обертки конфет, бумажки, старые башмаки, всякий мусор...
И усилия его увенчались успехом - в Америке померла его престарелая тетушка/
Мужик в совершенстве владел культом вуду
Reply
Reply
Leave a comment