ИИ может угадать, гей вы или натурал — как они достигают 91% успеха?

В этой статье утверждается, что существует программное обеспечение, которое может сказать, является ли человек гомосексуалистом, основываясь только на изображении его лица. Однако в другой статье это называется «псевдонаукой»:

критики говорят, что мы возвращаемся к лженауке

Это правда или подделка? Как они измерили 91%? Если 7-11% людей являются гомосексуалистами, просто говоря "натурал" все время программа будет иметь 89%-93% успеха.

Я не удивлюсь, если статистически говоря, геи и гетеросексуалы используют разные фотографии на сайтах знакомств. Это, вероятно, не будет работать со стандартными фотографиями.
@JonathanReez Они продемонстрировали, что на самом деле алгоритм полагался на черты лица, а не на «вид» фотографии для классификации.
Я пробежался глазами по их системе - их система - проклятый лжец! джк. Искусственные нейронные сети завораживают. Можно ли их использовать для обнаружения других скрытых «признаков», таких как террористы, шпионы, национальность, религия? Кто знает, какие маленькие различия люди не могут заметить.
91% не так впечатляет, как кажется на первый взгляд. Это означает, что он ошибается один раз из десяти. Это не большой процент отказов.
В соответствии с тем, что сказал @GordonM — если в обществе распространенность гомосексуализма составляет около десяти процентов, и я программирую ИИ, чтобы он всегда говорил «прямо», тогда он должен иметь примерно такой же показатель успеха. Опрос показывает, что этот показатель на самом деле ниже, чем прежние оценки, составлявшие около 10% (один опрос Gallup оценивает его примерно в 4%), поэтому ИИ работает хуже, чем просто не удосуживается угадать.
Это проблема понимания статистики, в документе никогда не говорится о точности 91%, поэтому я бы хотел, чтобы комментарии и статья тоже этого не делали. «AUC = 0,91 не означает, что 91% геев в данной популяции могут быть идентифицированы или что результаты классификации верны в 91% случаев. Производительность классификатора зависит от желаемого компромисса. ."

Ответы (2)

Это правда или подделка?

Рассматриваемый исследовательский документ прошел экспертную оценку, что свидетельствует о том, что методология была признана надежной другими экспертами в этой области. Вполне возможно, что результаты были сфальсифицированы (что иногда случается в исследованиях), но это очень маловероятно, учитывая, насколько легко было бы воспроизвести и проверить результаты. На самом деле ничто не мешает вам воспроизвести их работу самостоятельно.

Но могут ли результаты быть ошибочными? Ну а сами авторы исследования написали следующее:

Наши выводы могут быть ошибочными. На самом деле, несмотря на доказательства обратного, мы надеемся, что ошибаемся. Однако научные выводы могут быть опровергнуты только научными данными и повторениями, а не благонамеренными юристами и специалистами по связям с общественностью, не имеющими научной подготовки.

в ответ на критику со стороны HRC и GLAAS ( источник ).

Как они измерили 91%? Если 7-11% людей являются гомосексуалистами, просто говоря "натурал" все время программа будет иметь 89%-93% успеха.

Как поясняется в статье , алгоритму было представлено равное количество фотографий гетеросексуальных и гомосексуальных людей. Другими словами, априорная вероятность того, что человек на каждом изображении гомосексуален, составляла 50%, а не 7-11% людей, которых вы встречаете на улице.

Можно также добавить, что 91% — это ROC AUC, я совершенно не слежу за бумажной статистикой, но мне никогда не нравилась статистика…» Другими словами, классификатор обеспечивает почти семикратное улучшение точности по сравнению со случайным ничья (47/7 = 6,71)».
«очень маловероятно, учитывая, насколько легко было бы воспроизвести и проверить результаты». Чтобы воспроизвести результаты, потребуется, чтобы кто-то, имеющий опыт работы с нейронными сетями, потратил много времени на обучение сети и проведение эксперимента. Сбор обучающей выборки, обучение на ней НС и оценка результатов займет много времени.
@BobTheAverage Обратите внимание, что ИНС часто имеют стохастический компонент (например, инициализацию веса), поэтому результаты могут быть неточными.
@Miguel Несмотря на это, общие выводы должны быть воспроизводимыми. Если бы кто-то переделал свою работу по извлечению изображений с сайта знакомств, я бы ожидал, что стохастический компонент будет гораздо важнее, чем первоначальные веса.
Следует отметить, что наиболее технически сложные аспекты их работы (например, компонент распознавания лиц и обучение NN) опирались на библиотеки с открытым исходным кодом, которые довольно просты в использовании. Вам не нужно быть экспертом в этой области, чтобы повторить это.
«Как поясняется в статье, алгоритму было представлено равное количество фотографий гетеросексуальных и гомосексуальных людей», — но метод по-прежнему имеет значение. Представьте, что у вас есть куча картинок и вам нужно разделить их на две группы А и Б. Некоторые точно похожи на А, а некоторые более загадочны. Допустим, вы нашли около 30% очевидных и уверены, что они имеют тип А. Теперь вы знаете, что осталось только 20% «неопознанных» А. Таким образом, вы говорите «это B» для остальных 70% и волшебным образом «угадываете» все изображения B с общим успехом в 70%.
Обученная нейронная сеть, по сути, представляет собой просто математическую функцию, о которой можно сообщить, как и о любой другой корреляции. Не знаю, решили ли они сообщать о результатах NN, но если это так, исследованиям репликации не нужно было бы связываться с ИИ.
@enkryptor: Вместо того, чтобы предполагать, что они могли использовать предвзятый метод, прочитайте статью и расскажите нам, как они на самом деле это сделали.
@nat Прочитав их обсуждение, они, похоже, очень обеспокоены тем, как можно использовать их инструмент. Я думаю, что они отказались поделиться своим кодом и обученной сетью из-за этих опасений. Зачем облегчать жизнь фанатикам?
Кроме того, геи в США (и, скорее всего, в других странах) обычно собираются в определенных «дружественных к геям» районах, таких как Сан-Франциско, Рехобот-Бич, Кейп-Код и т. д., и, как правило, предпочитают не жить в небольших, религиозно консервативных сообществах, если они может помочь. Таким образом, процент геев, проходящих мимо вас на улице, вероятно, будет варьироваться в зависимости от того, где вы находитесь.
Одна вещь, о которой, похоже, никто не упомянул, заключается в том, что все, что на самом деле нужно решить ИИ, это то, кажется ли человек А более геем , чем человек Б. Они уже знают, что один человек гей, поэтому все дело в относительных различиях. Таким образом, такая система может не выдержать фактического определения того, является ли какой-либо случайный человек геем (что, по-видимому, является главным опасением для тех, кто интерпретирует эти результаты).

Резюме: Эта статья является настоящей научной статьей, прошедшей рецензирование. Настоящим судьей того, верны их выводы или нет, является возможность их воспроизвести. С момента публикации исследования просто не хватило времени для публикации реплики. Кроме того, есть вопросы о том, что именно означают их результаты. Искусственные нейронные сети не объясняют пользователю, почему они сделали свои прогнозы; они черный ящик.

Искусственные нейронные сети (ИНС) — это инструмент машинного обучения, который можно научить распознавать закономерности в данных и делать прогнозы на основе этих закономерностей. Их структура была вдохновлена ​​структурой естественных нейронных сетей мозга. Подобно естественной нейронной сети, их процессы принятия решений представляют собой черный ящик . ИНС делают прогноз (гей или натурал) на основе входных данных (набора фотографий), но не объясняют свои рассуждения. Исследователи размышляют о том, что могла улавливать ИНС, но на самом деле они не знают.

Какие черты лица использовались алгоритмом для определения сексуальной ориентации? Средние лица, которые, скорее всего, принадлежали геям (см. рис. 1), были более женственными, в то время как лица, которые, скорее всего, принадлежали лесбиянкам, были более мужскими. Как правило, у мужчин более крупные челюсти, более короткие носы и меньшие лбы. Однако мужчины-геи, как правило, имели более узкие челюсти, более длинные носы, большие лбы и меньше растительности на лице. И наоборот, у лесбиянок, как правило, более мужественные лица (большая челюсть и меньший лоб), чем у гетеросексуальных женщин.

Гендерная атипичность гей-лиц выходит за рамки морфологии. Лесбиянки, как правило, использовали меньше косметики для глаз, имели более темные волосы и носили менее открытую одежду (обратите внимание на более высокий вырез), что свидетельствует о менее женственном уходе и стиле. Кроме того, хотя женщины в целом склонны больше улыбаться, лесбиянки улыбаются меньше, чем их гетеросексуальные коллеги.

Кроме того, в соответствии с связью между бейсболками и мужественностью в американской культуре, гетеросексуальные мужчины и лесбиянки, как правило, носили бейсболки (см. тень на их лбу на рис. 1; это также было подтверждено ручным просмотром отдельных изображений).

Возможно, ИНС в основном ориентировалась на черты лица, а может быть, и на другие сигналы, такие как улыбка или ношение бейсболки. Тренировочный набор был взят с сайта знакомств. Я ожидаю, что геи и лесбиянки будут выбирать фотографии, которые будут привлекательны для других геев и лесбиянок. ANN может уловить эти различия. Отвечая на эти вопросы , авторы утверждают, что:

Во-первых, мы протестировали наш классификатор на внешнем образце фотографий Facebook. Он достиг сопоставимой точности с образцом сайта знакомств, предполагая, что изображения с сайта знакомств были не более показательными, чем фотографии профиля Facebook. ...

Наконец, используемая здесь глубокая нейронная сеть была специально обучена фокусироваться на фиксированных чертах лица, которые нелегко изменить, например, на форме элементов лица. Это помогло снизить риск того, что классификатор обнаружит некоторые поверхностные и не связанные с лицом различия между изображениями лиц геев и гетеросексуалов, использованными в этом исследовании.

Примечание. Хотя они пытаются устранить любую зависимость от других вещей, кроме фиксированных черт лица, я не уверен, что им это удалось. Я не очень хорошо знаком с алгоритмами распознавания лиц или нейронными сетями.

ИНС в статье использовала тренировочный набор с полугейскими и полугейскими лицами. ANN представят одно веселое и одно серьезное лицо и спросят, что есть что. Когда лица были созданы с использованием 5 фотографий, он смог правильно выбрать, какая из них была геем в 91% случаев. Это сильно отличается от любого реального приложения, где примерно 10% населения являются геями.

Предположение: Наивысшая точность предсказания, точность 91%, была достигнута с 5 фотографиями одного и того же человека. Однако было только 219 геев и 223 лесбиянки с 5 фотографиями в их наборе данных, по сравнению с ~ 3500 каждым на 1 фотографию. Это может быть слабостью их методов, но 200 испытуемых — это все же немало. Возможно, их методы преувеличивают свою точность. Прогнозы на основе 4 фотографий имели значительно больше субъектов и лишь немного меньшую точность. Если бы я произвольно решил выбросить точность множественных фотографий, у нас все равно осталась бы точность 81% для мужчин-геев.

Если вы будете читать это в будущем, по этой ссылке Google Scholar будут показаны все статьи, в которых цитируется рассматриваемая статья. Надеюсь, через пару лет по этой ссылке будет приличный список статей. Мы надеемся, что статьи, которые будут опубликованы, будут более сильной формой рецензирования, чем рецензирование. Я ожидаю, что многие из них кратко и некритично повторят выводы этой статьи. Авторы этих статей, вероятно, не читали эту статью достаточно глубоко, чтобы дать реальную критику ее методов. Если один из них обсуждает это подробно, эти авторы, вероятно, достаточно хорошо понимают методы и выводы, чтобы относиться к ним должным образом скептически. Если эта статья также посвящена очень похожей теме или основана на этой работе, мне было бы очень интересно узнать мнение авторов статьи по этому вопросу.

ИИ может угадать, гей вы или натурал — как они достигают 91% успеха?
СпросиСетьПолитика конфиденциальности1y, 0v