Поддерживает ли последний инструмент перевода Google гипотезу языка мысли Джерри Фодора?

Тезис, стоящий за менталезом, является алгоритмическим и репрезентативным. Это также постулируется на основе теории языка. Google переводчик — это искусственный интеллект, основанный на нейронных сетях, а нейронные сети не используют представление, а Google на самом деле не использует язык. Следовательно, Google Translate не может ни подтвердить, ни обнаружить репрезентативный ментальный язык, ни универсальный язык.

Это интерлингва?

Из бумаги :

Мы предлагаем простое и элегантное решение для использования одной модели нейронного машинного перевода (NMT) для перевода между несколькими языками. Наше решение не требует изменений в архитектуре модели по сравнению с нашей базовой системой, но вместо этого вводит искусственный токен в начале входного предложения, чтобы указать требуемый целевой язык.

Из Википедии :

Нейронный машинный перевод (NMT) — это подход к машинному переводу, который использует искусственную нейронную сеть для прогнозирования вероятности последовательности слов, обычно моделируя целые предложения в единой интегрированной модели.

Моделирование последовательности слов сначала обычно выполнялось с использованием рекуррентной нейронной сети (RNN). Двунаправленная рекуррентная нейронная сеть, известная как кодировщик, используется нейронной сетью для кодирования исходного предложения для второй RNN, известной как декодер, которая используется для предсказания слов на целевом языке. Рекуррентные нейронные сети сталкиваются с трудностями при кодировании длинных входных данных в один вектор. Это можно компенсировать с помощью механизма внимания, который позволяет декодеру сосредоточиться на разных частях ввода при генерации каждого слова вывода.

Так что, может быть .

Система, описанная в этой статье, переводит предложения в векторы (строка чисел фиксированной длины; это стандартный метод ), а затем переводит эти числа обратно в предложения. Эта система использует одну и ту же модель для перевода нескольких разных языков, рассматривая все языки как один и тот же язык с более сложной грамматикой. Предыдущие системы использовали отдельную модель для каждой пары языков.

Представление Apfel в одной модели может быть отображено на представление pomme в другой, потому что оба относятся к яблокам! Яблоки обычно описываются как красные или зеленые, независимо от того, какой язык вы используете, поэтому структура вокруг них одинакова. (Особенно, если вы используете корпус, состоящий из одного и того же документа, переведенного на множество языков — но я ожидал бы этого, даже если бы вы этого не делали.)

Так что в какой-то степени это внутреннее представление является промежуточным языком. Однако, вероятно, правильнее было бы описать это как корреляцию . См. раздел 5.2 статьи (выделено мной):

Например, на рисунке 3a показана проекция векторов внимания t-SNE из модели, которая была обучена португальскому → английскому (синий) и английскому → испанскому (желтый) и выполняла нулевой перевод с португальского → испанский (красный). Эта проекция показывает 153 семантически идентичных триплета, переведенных, как описано выше, что в сумме дает 459 переводов. Большая красная область слева в основном содержит нулевой перевод с португальского на испанский. Другими словами, для значительного числа предложений нулевой перевод имеет другое вложение, чем два обученных направления перевода. С другой стороны, некоторые векторы перевода с нулевым выстрелом, похоже, действительно близки к вложениям, найденным в других языках, как в большой области справа.

Естественно задаться вопросом, имеет ли какое-либо значение большой кластер «разделенных» нулевых переводов. Окончательный ответ требует дальнейшего изучения, но в этом случае нулевые переводы в отделенной области, как правило, имеют более низкие оценки BLEU.

Кроме того, этот «интерлингва» (вектор), вероятно, не имеет грамматики. Снисходительно, вы могли бы описать его как импрессионистское произведение искусства частей предложения, или числовое представление сложных понятий, или протокол, но я не думаю, что это действительно язык . Это лучше описывается статистикой, чем лингвистикой. ¹ Если это язык, то чужой.

Поддерживает ли это гипотезу языка мысли?

Из Википедии :

Гипотеза языка мысли (LOTH), иногда известная как упорядоченное мысленное выражение (TOME), представляет собой точку зрения в лингвистике, философии разума и когнитивной науке, выдвинутую американским философом Джерри Фодором. Он описывает природу мысли как обладающую «языковой» или композиционной структурой (иногда известной как ментальная). С этой точки зрения, простые понятия систематически комбинируются (подобно правилам грамматики в языке), чтобы строить мысли. В своей самой основной форме теория утверждает, что мысль, как и язык, имеет синтаксис.

Поскольку этот инструмент перевода не проявляет поведения, явно похожего на мышление, я не вижу, как он вообще поддерживает эту гипотезу. LOTH говорит о том, что человеческая мысль подобна языку, а не о том, что человеческий язык в некотором роде универсален. (Это даже не предполагает, что « mentalese » является универсальным.)

Поддерживает ли это существование универсальной грамматики?

Из Википедии :

Универсальная грамматика (UG) в современной лингвистике - это теория генетического компонента языковой способности, обычно приписываемая Ноаму Хомскому. Основной постулат UG состоит в том, что существуют врожденные ограничения на то, какой может быть грамматика возможного человеческого языка. Когда в процессе овладения языком получают лингвистические стимулы, дети усваивают определенные синтаксические правила, соответствующие УГ.

UG — это утверждение о человеческой психологии; эта технология машинного перевода не ограничивается естественным языком и будет демонстрировать такое же поведение на языках, которые находятся за пределами гипотетической UG (при условии, что они имеют достаточную локальность, чтобы быть понятными). Внутреннее векторное представление больше связано со смыслом , чем с грамматикой . Я не думаю, что это что-то говорит об УГ.

За исключением той степени, в которой мы можем смоделировать обработку человеческого языка так же, как эта модель машинного перевода. Но к тому времени, когда мы будем достаточно знать о человеческой психологии, чтобы понять, работает ли наша языковая обработка таким образом, UG уже будет урегулирован.

¹ : На самом деле, это формат, в который мы конвертируем письменный язык, чтобы применить к нему статистику. Вы можете вести статистику письменной речи напрямую, но обычно она весьма ограничена , если только вы не очень умны . (Не сказать, что цепи Маркова в каком-то смысле являются пределом того, что вы можете сделать, если вы очень хорошо разбираетесь в статистическом анализе языка.)