Трудно понять, как эксперимент с китайской комнатой опровергает компьютерный функционализм.

Я слушаю лекции Джона Сирла по философии сознания ( https://www.youtube.com/watch?list=PL039MUyjHR1wfJpULVP1a1ZeCBmIHmhxt ) и не совсем понимаю значение его мысленного эксперимента в китайской комнате. Мне кажется, это сводится к тому, что «представьте себе программу, которая работает только с синтаксисом, тогда эта программа не может работать с семантикой», но это не показывает, что ни одна программа не может работать с семантикой. Есть что-то, что мне не хватает?

Комментарии не для расширенного обсуждения; этот разговор был перемещен в чат .
Интересно, откуда взялось это «не может справиться с семантикой» . Это такой странный способ выразить это. Возможно, мы должны сначала попытаться правильно понять, что пытается показать аргумент . А затем обсудите, удалось это или нет.

Ответы (6)

Это один из наиболее обсуждаемых аргументов в философии сознания. Обсуждение охватывает почти все важные темы в дисциплине. Таким образом, я не буду касаться его последствий и влияния на поле.


Сначала давайте начнем с фактического аргумента (для простоты, взятого из Википедии ):

предположим, что исследования искусственного интеллекта привели к созданию компьютера, который ведет себя так, как будто он понимает китайский язык. Он принимает китайские иероглифы в качестве входных данных и, следуя инструкциям компьютерной программы, создает другие китайские иероглифы, которые он представляет в качестве вывода...

Затем Сирл предполагает, что он находится в закрытой комнате и у него есть книга с английской версией компьютерной программы, а также достаточное количество бумаги, карандашей, ластиков и картотечных шкафов. Серл мог получать китайские иероглифы через щель в двери, обрабатывать их в соответствии с инструкциями программы и выводить китайские иероглифы на выходе...

Серл утверждает, что между ролями компьютера и его самого в эксперименте нет существенной разницы. Каждый просто следует программе шаг за шагом, производя поведение, которое затем интерпретируется пользователем как демонстрация интеллектуального разговора. Однако сам Сирл не смог бы понять разговор. («Я ни слова не говорю по-китайски», — указывает он.) Следовательно, утверждает он, следует, что компьютер также не сможет понять разговор.

По сути, корнем аргумента Серла является концепция « интенциональности » (из SEP ):

интенциональность — это способность умов и ментальных состояний быть рядом, представлять или обозначать вещи, свойства и положения дел. Сказать о ментальных состояниях индивидуума, что они обладают интенциональностью, значит сказать, что они являются ментальными репрезентациями или что они имеют содержание.

Серл утверждает , что, учитывая тот факт, что я могу просто заменить ИИ, черный ящик (где я не могу сказать, имеет ли он интенциональность или нет) ситуацию белого ящика, где я могу доказать отсутствие интенциональности — я доказал что у ИИ нет интенциональности. Это помогает Сирлу возражать против того, что он называет «сильным ИИ», то есть против точки зрения, согласно которой ИИ не просто имитирует мозг, но на самом деле является точно таким же .


Вот тут-то и начинаются сложности, потому что, как и в любой философской идее, начинается обсуждение опровержений. Но я попытаюсь свести большинство опровержений к одному пункту:

В основе аргумента Серла лежит предположение о том, что ситуацию белого ящика необходимо разобрать (своего рода редукция ситуации), если предположить, что человек в ситуации не понимает китайский язык. Но мы можем легко возразить, что это предположение неверно, и вместо этого рассмотреть ситуацию в целом (т. е. вся комната работает как один организм/машина, что-то вроде целостного взгляда на ситуацию). Таким образом, мы можем утверждать, что сама комната понимает китайский язык, даже если путем сокращения человек внутри не понимает. Это затрагивает гораздо более широкую проблему философии в целом и, в частности, философии сознания — проблему холизма и редукционизма (которая наиболее ярко проявляется в обсуждении эмегентизма) ., прекрасно иллюстрированный в « Гёделе» Хофштадтера, Эшере, Бахе ).


Сейчас, конечно, есть много ответов и груды опровержений и отказов от них, и здесь не место обсуждать их все. Тем не менее, если вы хотите получить более полную картину, я бы посоветовал прочитать статью SEP на эту тему . Также в «Частично изученной жизни» есть несколько хороших эпизодов, посвященных функционализму (221–223).

но это не показывает, что ни одна программа не может работать с семантикой.

В каком-то смысле это так, если вы принимаете то, что означает определение программы Серла. Он имеет в виду то же, что инженеры-компьютерщики имеют в виду, когда говорят о программах, набор инструкций.

Значение аргумента китайской комнаты (CRA) состоит в том, чтобы показать, что искусственный интеллект никогда не может иметь истинного понимания, по крайней мере, в интуитивном смысле этого слова, но способ определения понимания сам по себе неоднозначен. Это также наблюдается в современных системах распознавания изображений ИИ, которые выполняют распознавание объектов по изображениям, а изображения, требующие распознавания фона и помещения объекта в контекст, часто отключают ИИ и дают неверные результаты. Это не потому, что ИИ не смог классифицировать геометрию объекта, проанализировав, где начинаются края и как меняются цвета, а то, что представляет собой фон (будь то солнечный пляж или автостоянка). Это может быть признаком того, что нам нужно будет создавать все более и более сложный ИИ, который может распознавать все целиком, а не только объекты на картинке, но тот факт, что это "

С учетом сказанного, давайте немного углубимся в анализ. CRA - это, по сути, человек, выполняющий инструкции, которые он читает в книге правил, но это предполагает, что человек «понимает» английский язык в книге. Снаружи комната понимает китайский язык, и этого вполне достаточно для носителя китайского языка, но внутри этого нельзя сказать ни о каком отдельном компоненте (стенах, столе, книге или человеке-операторе). Мы понимаем вещи благодаря нашей интуиции, однако смысл этого эксперимента в том, чтобы показать, что эту «интуицию» нельзя объяснить, изучая отдельные микровзрывы, происходящие в нейронных синапсах человека. Когда человек читает по-английски, что на самом деле происходит у него внутри? Энергия перемешивается движением, и это Это просто перегруппировка частиц, которая переводит человека из состояния непонимания в состояние понимания, как это видно извне. Однако с точки зрения человека «чувство» понимания совершенно иное. Это интуитивное чувство не может быть объяснено только механистическим описанием системы, что привело Сёрла к утверждению, что любая компьютерная система не может иметь истинного понимания или, по крайней мере, в том смысле, в каком это ощущается людьми, но абсолютно ничто не мешает этому в принцип. Если мы последуем этому аргументу про себя, то у нас тоже не будет истинного понимания чего бы то ни было. Это интуитивное чувство не может быть объяснено только механистическим описанием системы, что привело Сёрла к утверждению, что любая компьютерная система не может иметь истинного понимания или, по крайней мере, в том смысле, в каком это ощущается людьми, но абсолютно ничто не мешает этому в принцип. Если мы последуем этому аргументу про себя, то у нас тоже не будет истинного понимания чего бы то ни было. Это интуитивное чувство не может быть объяснено только механистическим описанием системы, что привело Сёрла к утверждению, что любая компьютерная система не может иметь истинного понимания или, по крайней мере, в том смысле, в каком это ощущается людьми, но абсолютно ничто не мешает этому в принцип. Если мы последуем этому аргументу про себя, то у нас тоже не будет истинного понимания чего бы то ни было.

У меня проблема в том, что он, кажется, задает вопрос: он хочет доказать, что ИИ не может иметь понимания, но он предполагает, что программа ограничена манипулированием символами.
@uninspiredUsername Можете ли вы доказать, что у людей есть понимание? Программы и люди внешне наблюдаемы как перетасовка символов, энергии, частиц. Его скрытая цель состоит в том, чтобы показать, что «qualia понимания» является неоспоримым фактом нашего опыта, который не схватывается простым наблюдением за механистическими процессами, будь то что угодно. Он не говорит о «понимании», поскольку признает, что проблема не решена, и его решение заключается в более глубоком понимании того, как нейроны обрабатывают информацию, и сопоставлении этого с традиционными вычислениями, чтобы найти разницу.

Это может показаться упрощением, но это не так: все сводится к следующему:
неважно, насколько хорошо машина может симулировать человеческое существо с помощью разума, внутри все равно остаются только шестерни и шкивы.

Это продолжает оставаться верным независимо от того, насколько хорошей становится симуляция. Даже если симуляция станет настолько хорошей, что не будет буквально никакой заметной разницы между живым человеческим разумом и китайской комнатной машиной, внутри все равно будут только шестерни и шкивы.

В какой-то момент после того, как он станет полностью самопрограммируемым и сможет имитировать свободную волю, эмпатию, личное понимание, человеческую личность с индивидуальными личными предпочтениями и установками, мы можем назвать его функциональным эквивалентом человеческого разума. В этот момент может показаться разумным предоставить ему права человека.

Так как исходный пост имеет плохую ссылку, вот хорошая ссылка
Аргумент китайской комнаты
https://www.youtube.com/watch?v=18SXA-G2peY

"но это не показывает, что ни одна программа не может работать с семантикой".
Да вы правы. Мне пришлось посмотреть это видео, прежде чем я смог понять вашу основу:
https://www.youtube.com/watch?v=18SXA-G2peY

Чтобы китайская комнатная машина идеально имитировала человеческий разум, она также должна идеально имитировать фактическое понимание полной семантики своего ввода.

Семантические правила задаются и обрабатываются синтаксически путем формирования таких же отношений между конечными строками, какие человеческий разум формирует между словами. (Проект Cyc делает это таким образом, используя свой язык CycL).

Поскольку китайская комната производит функциональный эквивалент человеческого понимания, мы можем сказать, что она демонстрирует понимание семантики.

В тот момент времени, когда он полностью демонстрирует все человеческие характеристики, включая: свободную волю, личные предпочтения, психологические установки и имеет полностью функциональную личность, мы можем просто дать ему презумпцию сомнения и предоставить ему человеческий статус.

Я думаю, что аргумент Серла еще более силен, чем здесь признается. Чтобы понять почему, рассмотрим определение машины Тьюринга: https://en.wikipedia.org/wiki/Turing_machine . Я не буду приводить здесь определение, но достаточно сказать, что это заученная манипуляция символами по преимуществу . И все же широко распространено мнение (тезис Черча-Тьюринга), что эта простая модель охватывает все, что можно сделать с помощью вычислений, включая любой искусственный интеллект, как мы его обычно понимаем. Конечно, он фиксирует все, что делает сегодняшний ИИ.

Теперь, как уже отмечалось, существует проблема масштаба. Если я подумаю о простой машине Тьюринга, я смогу последовательно вычислить ее шаги. Но если я подумаю о сложном ИИ, это уже не очень полезно — для меня слишком сложно пытаться смоделировать все шаги в своей голове. Для этого нам не нужно думать об искусственном интеллекте человеческого уровня; даже если я играю в го против AlphaGo, практичнее и эффективнее думать об этом как о понимании игры и попытке победить меня (и, конечно же, преуспеть в этом). Так что чисто с практической точки зрения имеет смысл думать об этом как о понимании игры.

Но есть также значения слова «понимание», из-за которых мы можем скептически относиться к тому, что AlphaGo понимает Go. Есть ли что-то, на что похоже быть AlphaGo? Есть ли у него квалиа? Действительно ли он понимает, что он на самом деле делает, когда играет в го? Многие, в том числе большинство исследователей ИИ, сказали бы, что это не так, потому что мы все еще знаем, что, по сути, все, что происходит, — это множество крошечных шагов вычислений, выполняемых механически, возможно, распределенных по нескольким машинам, и, кажется, нет оснований думать, что где-либо существует централизованное «осведомленность» об игре более высокого уровня.

Но теперь предположим, что мы действительно преуспели в создании ИИ человеческого уровня, и предположим, что мы делаем это способом, который не сильно отличается от того, как мы думаем о вычислениях сегодня — и в этом суть китайской комнаты, что то, как мы думаем о вычислений сегодня, все, что мы делаем, может быть реализовано китайской комнатой (хотя и очень медленно), потому что она имитирует машину Тьюринга. Тогда, если мы скептически относимся к тому, что AlphaGo действительно «понимает» Го, то почему бы нам не быть столь же скептичными в отношении того, что этот ИИ человеческого уровня действительно понимает то, о чем он говорит? Когда я что-то понимаю, есть что-то похожее на, существует своего рода явно централизованное осознание того, что понимается. Но неясно, почему мы должны думать об искусственном интеллекте человеческого уровня как о обладающем явно централизованным сознанием, если мы просто исследуем механику его работы, по той же причине, по которой мы можем думать, что у AlphaGo его нет.

И все же, конечно, есть сильная интуиция, и если мы спросим его, и он ответит, как человек, мы подумаем, что он действительно понимает. Так что я не говорю, что полностью согласен с аргументом Серла. Но я думаю, что это поднимает очень трудный вопрос, и он не был решительно опровергнут. Конечно, мы точно так же до сих пор не понимаем, как возбуждение всех наших собственных нейронов каким-то образом создает то сознание, которое у нас есть. В этом, на мой взгляд, суть аргумента — он поднимает некоторые трудные вопросы, указывая на то, что в нашем понимании этих вещей все еще существуют реальные пробелы, и, как вы, вероятно, можете сказать из вышеизложенного, я думаю, что они тесно связана с некоторыми сложными проблемами сознания.

Аргумент Серла был отвергнут или опровергнут — как вам больше нравится — в знаменитой книге Хофштедтера о Гёделе, Эшере и Бахе.

Он в основном сбивает вас с толку, смешивая весы. Ваш мозг состоит из нескольких миллиардов мозговых клеток. Эти клетки мозга выполняют всю обработку данных. Ни одна из клеток мозга не имеет ни понимания, ни сознания. Тем не менее , у вас есть сознание, и вы понимаете вещи.

Он изображает мозг в виде комнаты, заполненной не миллиардами огромных мозговых клеток, а одним-единственным человеком, манипулирующим символами. Этот человек не понимает ни одного из символов. Поэтому, говорит Серл, комната ничего не понимает.

Но он играет трюк. Имея одного человека, выполняющего манипуляции с символами медленно, а не миллиард клеток, делающих это гораздо быстрее, он создает разницу в скорости как минимум 1:10 миллиардов, а возможно, и больше. Так что то, что вы делаете за секунду, займет у этого бедняги как минимум сотни лет. Наш разум не стал бы приписывать понимание и интеллект системе, на реакцию которой требуется 300 лет. Но сделайте это в десять миллиардов раз быстрее. Теперь у вас есть нечто, что реагирует подобно человеку. С ним можно вести беседу. И в этот момент нет веских оснований говорить, что у этой комнаты меньше понимания, чем у вас.

И мы до сих пор не разработали программу, которая обладала бы таким пониманием, поэтому сейчас нет «понимающего» компьютера. Это не значит, что его нельзя создать.

Какое отношение скорость имеет к «пониманию»? Мой компьютер может произвести вычисления за секунду, но он понятия не имеет, что делает. Согласно вашим рассуждениям, у меня «нет оснований говорить, что мой компьютер разбирается в арифметике меньше, чем я». На что будет похож алгоритм «понимания»: набор инструкций, которые понимают такие понятия, как «инструкции»?