Компактная математика для описания всего. Чего всего? А всего всего.
Вот тут интересное обсуждение про компактификацию разного знания с использованием математического знания: http://sober-space.livejournal.com/125193.html (там главным образом теоркатегорный заход, поэтому слово "доктрина" и прочие странные слова нужно читать по теоркатегорному, а не по-философски -- вы предупреждены!).
Вытащу из того обсуждения свой коммент (всё одно хотел пост на эту тему писать, поэтому все ссылки под рукой оказались):
Классический заход на "символьные вычисления aka логика в распределённых представлениях aka линейной алгебре" http://verbs.colorado.edu/~llbecker/papers/Smolensky-TensorProductVariableBinding.pdf, и попытки выяснить, почему семантические пространства оказываются вдруг линейными -- http://research.microsoft.com/apps/video/default.aspx?id=258666&r=1 (и там на странице есть ссылка на скачать слайды с формулами).
Я встречал прямые указания на то, что всё это про одно и то же: логика, квантовая механика и неуловимость естественного языка -- они опираются на одну и ту же математику. Например, вот этот уже не слишком свежий текст (2007г.): This paper has been submitted to a symposium on Quantum Mechanics (QM) and AI, so what is the connection to QM? The mathematical theory of QM is based on Hilbert spaces; the objects in which we have situated word meanings are Hilbert spaces. The operator we have proposed for combining word meanings is the tensor product; composite systems in QM, formed by interacting quantum-mechanical systems, are represented using tensor products (Hughes 1989). This link suggests that work in NLP which uses vector spaces may benefit from borrowing more from the well-developed mathematical theory of QM.
Other possible links exist. NLP is currently dominated by probabilistic models. How to integrate probabilistic models with the distributional models described here is another interesting question. The mathematical theory of QM, as well as being based on Hilbert spaces, is a probabilistic theory. (Widdows 2004) suggests a link between quantum logic and the lattices he uses to model negation. (van Rijsbergen 2004) has proposed a quantum mechanical theory for modelling relevance in IR. Our proposal is that the interaction of QM and language is a fruitful area of research for AI.
Это из http://www.cl.cam.ac.uk/~sc609/pubs/aaai07.pdf
Основные исследования по этому стыку статистики, линейной алгебры и выражения в них сущностей реального мира происходят сейчас вокруг deep learning, там какие-то чудеса чуть ли не ежедневно в результатах. Вот краткий намёк на state of the art в понимании естественного языка -- https://drive.google.com/file/d/0B16RwCMQqrtdRVotWlQ3T2ZXTmM/view (и там нужно обращать внимание на language-agnostic vector space и даже -- ужас! -- modality-agnostic vector space, то есть какое-то вселенское пространство смыслов, общее не только для языков, но и для картинок, звуков и всех остальных воспринимаемых вещей -- конечно, в том числе и приборно воспринимаемых. Например, прочесть информацию с пары десятков приборов и перевести её на какой-то выбранный язык, а хоть тех же матриц с векторами!).
Отдельно замечание Осману: я хотел написать Cho письмо, не занимается ли уже кто переводом между языками программирования (напомню, что по-английски там слово используется одно и то же -- translation). При этом ведь тоже должно появиться "общее language-agnostic пространство значений" и все рассуждения о побуквенности, больших контекстах и даже modality-agnostic ;-)
И ссылки на то, что уже заметили в работах по распределённым представлениям (word vectors) связь с теорией категорий, я давал тут рядом, но повторю до кучи: типа http://arxiv.org/abs/1401.5980 или http://mlg.eng.cam.ac.uk/yarin/PDFs/TMS_talk_20150222.pdf
Происходящее сейчас в этой области deep learning и смежных с ней меня завораживает. Я уже несколько раз писал, что мне это напоминает происходящее сто лет назад в физике в связи с появлением квантовой физики и теории относительности. Тут примерно такого же интеллектуального масштаба явление, и всё по экспоненте развивается уже года три (с 2012 года, когда пошли реальные результаты в распознавании речи, распознавании изображений, повтор за неделю машинного счёта достижений десятков лет лабораторий классической компьютерной лингвистики -- одним алгоритмом для всех языков!, и т.д.).
UPDATE: много интересных замечаний (тема матроидов, эргодических систем и т.д.) в дискуссии к этому посту в фейсбуке -- https://www.facebook.com/ailevenchuk/posts/10206171397897971
Вытащу из того обсуждения свой коммент (всё одно хотел пост на эту тему писать, поэтому все ссылки под рукой оказались):
Классический заход на "символьные вычисления aka логика в распределённых представлениях aka линейной алгебре" http://verbs.colorado.edu/~llbecker/papers/Smolensky-TensorProductVariableBinding.pdf, и попытки выяснить, почему семантические пространства оказываются вдруг линейными -- http://research.microsoft.com/apps/video/default.aspx?id=258666&r=1 (и там на странице есть ссылка на скачать слайды с формулами).
Я встречал прямые указания на то, что всё это про одно и то же: логика, квантовая механика и неуловимость естественного языка -- они опираются на одну и ту же математику. Например, вот этот уже не слишком свежий текст (2007г.): This paper has been submitted to a symposium on Quantum Mechanics (QM) and AI, so what is the connection to QM? The mathematical theory of QM is based on Hilbert spaces; the objects in which we have situated word meanings are Hilbert spaces. The operator we have proposed for combining word meanings is the tensor product; composite systems in QM, formed by interacting quantum-mechanical systems, are represented using tensor products (Hughes 1989). This link suggests that work in NLP which uses vector spaces may benefit from borrowing more from the well-developed mathematical theory of QM.
Other possible links exist. NLP is currently dominated by probabilistic models. How to integrate probabilistic models with the distributional models described here is another interesting question. The mathematical theory of QM, as well as being based on Hilbert spaces, is a probabilistic theory. (Widdows 2004) suggests a link between quantum logic and the lattices he uses to model negation. (van Rijsbergen 2004) has proposed a quantum mechanical theory for modelling relevance in IR. Our proposal is that the interaction of QM and language is a fruitful area of research for AI.
Это из http://www.cl.cam.ac.uk/~sc609/pubs/aaai07.pdf
Основные исследования по этому стыку статистики, линейной алгебры и выражения в них сущностей реального мира происходят сейчас вокруг deep learning, там какие-то чудеса чуть ли не ежедневно в результатах. Вот краткий намёк на state of the art в понимании естественного языка -- https://drive.google.com/file/d/0B16RwCMQqrtdRVotWlQ3T2ZXTmM/view (и там нужно обращать внимание на language-agnostic vector space и даже -- ужас! -- modality-agnostic vector space, то есть какое-то вселенское пространство смыслов, общее не только для языков, но и для картинок, звуков и всех остальных воспринимаемых вещей -- конечно, в том числе и приборно воспринимаемых. Например, прочесть информацию с пары десятков приборов и перевести её на какой-то выбранный язык, а хоть тех же матриц с векторами!).
Отдельно замечание Осману: я хотел написать Cho письмо, не занимается ли уже кто переводом между языками программирования (напомню, что по-английски там слово используется одно и то же -- translation). При этом ведь тоже должно появиться "общее language-agnostic пространство значений" и все рассуждения о побуквенности, больших контекстах и даже modality-agnostic ;-)
И ссылки на то, что уже заметили в работах по распределённым представлениям (word vectors) связь с теорией категорий, я давал тут рядом, но повторю до кучи: типа http://arxiv.org/abs/1401.5980 или http://mlg.eng.cam.ac.uk/yarin/PDFs/TMS_talk_20150222.pdf
Происходящее сейчас в этой области deep learning и смежных с ней меня завораживает. Я уже несколько раз писал, что мне это напоминает происходящее сто лет назад в физике в связи с появлением квантовой физики и теории относительности. Тут примерно такого же интеллектуального масштаба явление, и всё по экспоненте развивается уже года три (с 2012 года, когда пошли реальные результаты в распознавании речи, распознавании изображений, повтор за неделю машинного счёта достижений десятков лет лабораторий классической компьютерной лингвистики -- одним алгоритмом для всех языков!, и т.д.).
UPDATE: много интересных замечаний (тема матроидов, эргодических систем и т.д.) в дискуссии к этому посту в фейсбуке -- https://www.facebook.com/ailevenchuk/posts/10206171397897971