Детальная информация

The paper explores the relationship between technology and semiosis from the perspective of natural language processing, i.e. signs systems automated learning by deep neural networks. Two theoretical approaches to the artificial intelligence problem are compared: the internalist paradigm, which conceives the link between cognition and language as extrinsic, and the externalist paradigm, which understands cognitive human activity as constitutively linguistic. The basic assumptions of internalism are widely discussed. After witnessing its incompatibility with neural network implementations of verbal thinking, the paper goes on exploring the externalist paradigm and its consistency with neural network language modeling. After a thorough illustration of the Saussurian conception of the mechanism of language systems, and some insights into the functioning of verbal thinking according to Vygotsky, the externalist paradigm is established as the best verbal thinking representation to be implemented on deep neural networks. Afterwards, the functioning of deep neural networks for language modeling is illustrated. Firstly, a basic explanation of the multilayer perceptron is provided, then, the Word2Vec model is introduced, and finally the Transformer model, the current the state-of-the-art architecture for natural language processing, is illustrated. The consistency between the externalist representation of language systems and the vector representation employed by the transformer model, prove that only the externalist approach can provide an answer to the problem of modeling and replicating human cognition.

В статье исследуется взаимосвязь между технологией и семиозисом с точки зрения обработки естественного языка, т. е. автоматизированного машинного обучения с помощью глубоких нейронных сетей. Сравниваются два теоретических подхода к проблеме искусственного интеллекта: интерналистская парадигма, которая рассматривает связь между познанием и языком как внешнюю, и экстерналистская парадигма, которая понимает когнитивную деятельность человека как конститутивно лингвистическую. Основные предположения интернализма широко обсуждаются. Убедившись в его несовместимости с нейросетевыми реализациями вербального мышления, в статье продолжается исследование экстерналистской парадигмы и ее согласованности с языковым моделированием нейронных сетей. После тщательной иллюстрации соссюровской концепции механизма языковых систем и некоторого понимания функционирования вербального мышления в соответствии с Л. С. Выготским, экстерналистская парадигма устанавливается как лучшая репрезентация, которая может быть реализована в глубоких нейронных сетях. Далее проиллюстрировано функционирование глубоких нейронных сетей для языкового моделирования. Сначала дается базовое объяснение многослойного персептрона, затем вводится модель Word2Vec и, наконец, проиллюстрирована модель Transformer, современная архитектура для обработки естественного языка. Согласованность между экстерналистским представлением языковых систем и векторным представлением, используемым в модели преобразователя, доказывает, что только экстерналистский подход может дать ответ на проблему моделирования и воспроизведения человеческого познания.

Technology and Language: interdisciplinary open-access scientific journal = Технологии в инфосфере : междисциплинарный научный журнал открытого доступа / Санкт-Петербургский политехнический университет Петра Великого. — Санкт-Петербург: СПбПУ, 2020-. — Периодичность: 4 раза в год. — Выходит с 2020 г. — Загл. с титул. экрана. — Свободный доступ из сети Интернет (чтение, печать, копирование). — Электрон. журнал. — Текст: электронный

Technology and Language: interdisciplinary open-access scientific journal = Технологии в инфосфере : междисциплинарный научный журнал открытого доступа / Санкт-Петербургский политехнический университет Петра Великого. — Санкт-Петербург: СПбПУ, 2020-. Т. 2, № 4, 2021. — 1 файл (3,83 Мб). — Свободный доступ из сети Интернет (чтение, печать, копирование). — Электрон. журнал. — <URL:http://elib.spbstu.ru/dl/2/j24-545.pdf>.