Заслуживают ли доверия опросы, проведенные в ноябре 2019 года о превосходстве Демократической партии над Трампом?

В ноябре 2019 года многие опросы (например, этот опрос ABC/Washington Post от 5 ноября) утверждали, что кандидаты от Демократической партии опережают Трампа на двузначные цифры. Однако на выборах 2016 года опросы предполагали, что Клинтон победит Трампа, что оказалось не так.

Основываясь на этой истории, можно ли было доверять этим опросам? Или они могли быть предвзятыми или неточными?

По счастливой случайности, Нейт Сильвер в возрасте 538 лет только что опубликовал статью о состоянии политических опросов, в которой оцениваются точность и источники ошибок и предвзятости с течением времени и в самых последних циклах опросов: Fivethirtyeight.com/features/the-state-of -опросы-2019
Чтобы ответить на ваш вопрос, вам нужно будет указать, о каких именно опросах вы говорите.
Совокупность опросов 2016 года показала, что Клинтон, вероятно , победит, но, скорее всего, она будет близка. Многие эксперты превратили это в «Клинтон определенно победит» и разочаровали многих людей, когда этого не произошло. Так случилось, что Клинтон выиграла всенародное голосование с небольшим перевесом, и в трех колеблющихся штатах, в которых нуждалась Клинтон, общий перевес в победе составил всего 70 000 голосов. В целом, я бы сказал, что опросы были чертовски точными.
Я думаю, вам нужно яснее понять, что вы подразумеваете под «заслуживающим доверия». Вы можете прочитать это либо как справедливое и точное в пределах своих статистических пределов, либо как в трамповском смысле, что все опросы сговорились, чтобы представить ложные результаты.
@jamesqf, когда меня спросили, что я имел в виду оба варианта.
@SethR Это даже без учета погрешности. Обычно разница в опросах составляет несколько пунктов, для политических опросов характерно около 4%. 4% так или иначе влияют на выборы 2016 года, и нетрудно представить, что если бы Клинтон набрала еще один процент в целом, это изменило бы выборы в ее пользу в этих ключевых колеблющихся штатах.
@Anoplexian Действительно, и когда вы берете совокупность нескольких опросов, погрешность становится еще меньше. Я оспариваю само понятие «опросы в 2016 году были ошибочными». Нет, люди, которые не понимали или игнорировали то, что говорили опросы, были неправы. Реальность на самом деле подтвердилась с небольшой погрешностью, о которой говорили имеющиеся данные. Фактор неопределенности просто не колебался так, как многие предполагали.
На выборах 2016 года Клинтон победила Трампа (конечно, по количеству голосов, а не по тому, кто стал президентом).
Почему все эти вопросы о прошлых опросах появляются сейчас? Если вы не следили за новостями, выборы закончились. Трамп проиграл. Привыкайте к этому.

Ответы (4)

Полноценные опросы вполне заслуживают доверия с точки зрения того, что на самом деле показывают опросы . Их основные результаты не очень надежны.

Большинство людей неправильно думают об опросах. Самый распространенный (и наименее значимый) способ — прямое предсказание того, как люди будут голосовать в день выборов. Опросы почти никогда не пытаются указать на это. Даже когда хакеры представляют их таким образом, который предполагает, что они именно это и показывают, они обычно не настолько честны в этом.

Рассмотрим опрос, показывающий 85-процентную вероятность результата А (и это уже расплывчатый прогноз) и 15-процентную вероятность результата Б. Этот результат, безусловно, предполагает, что мы с большей вероятностью увидим А, но также указывает на ненулевую вероятность из B. Если результат оказывается B, это не означает, что опрос был неправильным . Это было предположение, что 85-процентный прогноз А означает, что А определенно произойдет , что неверно, и это не то, что утверждал опрос. И этот «вероятность 85% A» уже является странным способом думать о результатах опроса, хотя вполне возможно, что опрос может быть разработан для указания на что-то подобное.

Правильный способ интерпретации опроса довольно сложен — вы должны понимать их стратегию выборки, какие предположения «запекаются» в информации, полученной в результате опросов, допустимую погрешность, процент ответивших, размер эффекта, который опрос может определить на основе его статистической мощности и других факторов.

Различные группы определенно выпускают опросы в большей степени в контексте связей с общественностью, чем в математическом или научном контексте. Понимание того, как проводились эти опросы, может выявить любые махинации, предпринятые во время процесса голосования, но более серьезная проблема заключается в том, что группы с сильной защитой будут публиковать только те опросы, которые иллюстрируют результат, который они хотят видеть в сознании людей.

Статистическая информация, как правило, внутренне непротиворечива, и полностью определенный протокол сообщает вам, что именно означает статистика, и контекст, в котором это значение существует. Если вам не разрешено просматривать методологию опроса, разумно относиться к этому опросу очень скептически. Если вы можете ознакомиться с методологией, то опрос указывает именно то, что было указано, с математическими ограничениями на то, насколько точной может быть эта информация.

Таким образом, опросы об ожидаемых результатах федеральных выборов 2020 года могут быть очень надежными с точки зрения того, что они на самом деле измеряют (обычно это что-то вроде «если бы выборы состоялись завтра...»), и эта информация не совсем бессмысленна в отношении фактических результатов выборов 2020 года . Но они не очень сильно предсказуемы. Любой, кто говорит вам, что правильная интерпретация их опроса означает, что конкретный результат будет получен в ноябре 2020 года, либо лжет, либо плохо выражается, либо является некомпетентным социологом/интерпретатором опросов.


В качестве примечания: общенациональные опросы вокруг выборов 2016 года были довольно точными с точки зрения общего количества голосов — они ошибались в отношении распределения голосов относительно голосов коллегии выборщиков, что, как оказалось, более важно для обеспечения безопасности на посту президента. Результаты опросов в штатах различались, но не настолько, чтобы их можно было считать бесполезными.

Опросы имеют дело с вероятностями, основанными на текущей, неполной информации. Очень и очень редко опрос предназначен для предоставления (не говоря уже о возможности предоставления) надежной точечной оценки или предсказания четкого, конкретного бинарного результата.

Также следует отметить, что президентство определяется не общенациональным голосованием, а выборами в 50 штатах. Вдобавок к факторам неопределенности, которые вы отметили, опросы по штатам очень малочисленны настолько, что опережают фактические бюллетени.
@jeffronicus Выборы в 50 штатах плюс округ Колумбия с 3 голосами выборщиков.
«Правильный способ интерпретации опроса довольно сложен» означает ли это, что данные опроса не подходят для потребления общественностью? Означает ли это, что ему не место в основных новостях?
@Nacht-ReinstateMonica Изрядная часть населения, по крайней мере, немного осведомлена об опросах и статистике, а это означает, что общественное потребление может иметь ценность. Что касается основных новостей, то для новостных агентств вполне разумно, чтобы опросы представлялись общественности экспертами, которые объясняют, что на самом деле показывает опрос, в каком контексте, с какими ограничениями и с какой степенью достоверности. Это, по большому счету, то, что они заявляют, а также то, что они, насколько я могу судить, честно пытаются делать. Многие эксперты не так хороши в этом, так что есть место для совершенствования, но не «ничего не принадлежит».
@KRyan Я думаю, у вас также есть проблема, что даже если методология опроса и интерпретация должным образом объяснены общественности, всегда будет большая часть людей, которые предпочитают игнорировать весь контекст, посмотрите на число в конце, а остальное заполнить для себя, основываясь в основном на собственных предубеждениях. То же самое с тем, как люди интерпретируют процентный метр на Rotten Tomatoes или люди, которые комментируют обзоры продуктов типа «почему вы поставили ему X баллов?!» для других примеров этого.
@KRyan Я думаю, ты сильно переоцениваешь общественность. Если вы посмотрите на результаты экспериментов Канемана, Тверски, Ариэля и других, окажется, что даже высокообразованные профессионалы (я помню медицинских, но я думаю, что изучались и другие) не способны правильно интерпретировать вероятности. Я сильно сомневаюсь, что широкая публика может добиться большего. По моему опыту, большинство людей (включая меня как человека со степенью магистра математики) невероятно плохо оценивают вероятность того или иного результата...
@KRyan Кажется, что люди достаточно хорошо справляются с очень простыми вариантами выбора в середине пути, 60/40, 50/50, но чем ближе вы подходите к сторонам, тем хуже становится. Разницу между 85/15, 95/5, 99/1 и 2000/2001 довольно сложно понять интуитивно. Вы поймаете много из них только после того, как проведете много повторных экспериментов. Ситуация становится еще хуже, когда вы смотрите на кластеризацию, длину прогонов и т. д. Эффекты недавности, иллюзии случайности и индивидуальные предубеждения проявляются в огромных количествах.
@DRF Конечно. Означает ли это, что мы должны скрыть опросы? Притворяться, что мы ничего не можем знать о вещах заранее? Я не думаю, что это так. Проблем много-много, но я думаю, что они не универсальны и неразрешимы.
@KRyan О, я определенно не думаю, что есть смысл скрывать или запрещать опросы. Что может быть полезно, так это убедиться, что все опросы поставляются с их методологией, но это, вероятно, нереально. Я просто немного поспорил с вашим заявлением о том, что «значительная часть населения хотя бы немного осведомлена об опросах и статистике». Мой опыт и чтение/исследование, похоже, не подтверждают этот вывод. Если только у вас совсем другое определение «несколько образованного», чем у меня.
@DRF О, под «изрядной суммой» я говорил в абсолютном выражении - довольно небольшая часть общей публики по-прежнему представляет собой множество реальных людей.
@Upper_Case … для полного раскрытия, не могли бы вы указать, какой у вас опыт, если таковой имеется, в опросе?
@CGCampbell Я статистик (хотя и не социолог). В частности, что касается опросов, мои знания в значительной степени связаны со статистической стороной (процедуры выборки, оценка параметров и т. д.).
@Nacht-ReinstateMonica Я бы сказал, что способность широкой публики правильно интерпретировать опросы (вопреки интуиции) не является острой проблемой. Подавляющее большинство людей вообще не взаимодействуют с результатами опросов и не потребляют их . Они склонны полагаться на других, которые интерпретируют опросы для них (что-то вроде того, что полагаются на автомеханика или врача), чтобы дать правильное значение опроса. Если эти интерпретаторы нечестны или неспособны, это реальная проблема, но не проблема с данными опроса. Я думаю, что хорошо, когда данные доступны для всех, кто хочет их изучить.
@KRyan «Нигде не принадлежит» - это не то, что я сказал, я бы никогда не имел в виду, что сокрытие результатов опросов - это положительный момент. Я имел в виду, как ведущие новостные агентства вывешивают экран с двумя цифрами и на этом останавливаются. По моему опыту, это основной способ, которым широкая публика воспринимает результаты опросов.
@Nacht-ReinstateMonica Ну, хорошо, конечно. Я имею в виду, что «нигде не место» — это цитата из вашего комментария, так что я почти уверен, что вы это сказали , но, конечно, я могу согласиться с тем, что просто выводить несколько цифр на экран не очень полезно.
@KRyan Разве вы не видите огромную разницу в значении между «нигде не принадлежит» и «не принадлежит нигде в основных новостях»?
@KRyan Я разместил свой комментарий, чтобы попытаться научиться, а не делать заявление. Я даже проголосовал за ваш комментарий, потому что он ответил на мой вопрос. А потом я перечитал его и понял, что он пытался цитировать меня, и удалил ключевую часть цитаты, которая изменила ее из того, что я имел в виду, на что-то вроде цензуры данных, против которой я категорически возражаю. И теперь ты снова и снова повторяешь, что я ошибаюсь?
@Nacht-ReinstateMonica Достаточно честно, взад-вперед заставили меня защищаться; извини. Я чувствовал, что все мои комментарии были понятны в контексте основных средств массовой информации, поэтому было понятно (как я думал), что неполная цитата все еще была в этом контексте.
@KRyan Спасибо за извинения :) и то же самое за оборону, извините за это. Мне, наверное, даже не стоит оставлять комментарии на Politics.SE, пока я на работе...
Еще одна вещь, которую большинство людей не понимают, — это погрешность. Если статистика представлена ​​как x±y, это не означает, что реальное значение находится между x+y и xy. Это означает, что существует неустановленная вероятность z% того, что реальное значение находится между x+y и xy. В социальных науках z обычно равно 95. Таким образом, даже если нет других сложностей, 1 раз из 20 реальное значение не находится в пределах погрешности.

Не путайте настроения респондентов с результатами выборов.

По всей вероятности, следующие президентские выборы в США будут решаться несколькими колеблющимися штатами . Неважно, сколько победят демократы в глубоком синем штате. Не имеет значения, сколько республиканцы выиграют в темно-красном штате. Важно лишь то, кто выиграет в штатах вроде Флориды, Огайо или Вирджинии (среди некоторых других) с наименьшим отрывом.

Дональд Трамп кажется разгневанным тем, что Хиллари Клинтон на самом деле получила больше голосов, чем он, но факт в том, что в соответствии с избирательной системой США 62 984 828 избирателей Трампа победили 65 853 514 избирателей Клинтон. Потому что Трамп получил больше голосов коллегии выборщиков .

См. также: комментарий Нейта Сильвера . «Опросы иногда дают неверный ответ, но они примерно такие же точные, как и всегда». А также эту более свежую статью о состоянии опросов.
Решение о следующих президентских выборах могут принять колеблющиеся штаты, но мы все знаем, кто, скорее всего , победит, основываясь на истории, а не на опросах. А это действующий президент. Если он снова побежит и за это время не будет застрелен (как говорит нам история о ненулевом риске с президентами США) и глобальная война не разразится, шансы на победу превышают 50%. Вот как это происходит. Независимо от опросов и свинг-состояний.

Помимо предостережения относительно Коллегии выборщиков, опросы могут меняться довольно быстро. Буквально 30 октября другой прогнозировал, что Трамп выиграет всенародное голосование против неназванного кандидата от Демократической партии с небольшим отрывом. Еще более примечательно то, что испытуемые дали еще более высокую оценку шансам Трампа на победу в гонке (вероятно, потому, что люди знают о таких проблемах, как Коллегия выборщиков и колеблющиеся штаты):

введите описание изображения здесь

В опросе приняли участие 1000 зарегистрированных избирателей по всей стране с 23 по 26 октября, погрешность составляет 3 процентных пункта. Результаты опроса были обнародованы в среду, 30 октября.

И этот опрос также проведен довольно надежным социологом (Саффолкский университет) ( рейтинг A-538 ).

Кроме того, могут быть большие различия между хорошо оцененными социологами по, казалось бы, очень похожим вопросам.


И у NYT было гораздо более разумное мнение (чем, кажется, предполагает вопрос OP) о последних опросах (опубликованных 4-5 ноября).

Согласно общенациональным опросам, политическое положение г-на Трампа оказалось в серьезной опасности. Его рейтинг одобрения уже давно находится на отметке 40, и он отстает от Байдена почти на девять пунктов в среднем по стране. Но, как показала гонка 2016 года, история в штатах поля боя может быть совсем другой. Г-н Трамп выиграл выборы, победив в Мичигане, Пенсильвании, Висконсине, Флориде, Аризоне и Северной Каролине, при этом проиграв общенациональное голосование на два очка.

Демократам, вероятно, потребуется победить в трех из шести штатов, чтобы победить в Белом доме, если предположить, что другие штаты проголосовали так же, как они проголосовали в 2016 году — результат, который совсем не гарантирован.

Результаты Times/Siena и другие данные свидетельствуют о том, что преимущество президента в Коллегии выборщиков по отношению к нации в целом остается неизменным или даже выросло с 2016 года, что повышает вероятность того, что республиканцы смогут — в третий раз за последние шесть выборов — победить на президентских выборах, проиграв всенародное голосование.

До дня выборов остался целый год, и многое может измениться. [...]

введите описание изображения здесь

введите описание изображения здесь


AAPOR, которая провела обширную ретроспективную оценку опроса 2016 года (фиаско), отметила, что опрос на уровне штата, который имеет большое значение для окончательного результата, был довольно ненадежным в 2016 году отчасти из-за плохой компенсации выборки и отчасти из-за очевидной принятие решений в последнюю минуту неопределившимися избирателями.

Национальные опросы в целом были правильными и точными по историческим меркам. [...]

[Однако] Опросы на уровне штатов показали конкурентную, неуверенную конкуренцию… …но явно недооценили поддержку Трампа на Верхнем Среднем Западе.

В действительно важном состязании, Коллегии выборщиков, опросы на уровне штатов показали конкурентную гонку, в которой Клинтон, казалось, имела незначительное преимущество. В восьми штатах, набравших более трети голосов выборщиков, необходимых для победы на президентских выборах, опросы показали преимущество в три балла или меньше (Trende 2016). Как отметил Шон Тренде, «в окончательных средних показателях опроса RealClearPolitics в штатах на полях сражений Клинтон лидировала с наименьшим отрывом в Коллегии выборщиков, 272–266». Опросы в среднем показали, что Трамп был в одном штате от победы на выборах.

Опросы показали, что Хиллари Клинтон лидирует, хотя и с небольшим отрывом, в Пенсильвании, Мичигане и Висконсине, которые шесть раз подряд голосовали за демократов на пост президента. Эти зацепки подпитывали прогнозы о том, что Голубая стена демократов выстоит. Однако в день выборов Трамп одержал победу во всех трех. [...]

Многие опросы, особенно на уровне штатов, не корректировали свои веса, чтобы скорректировать чрезмерное представительство выпускников колледжей в их опросах, и результатом была завышенная оценка поддержки Клинтон. [...]

Согласно наилучшим имеющимся данным, около 13 процентов избирателей в Висконсине, Флориде и Пенсильвании приняли решение о своем президентском голосовании на последней неделе. Эти избиратели отдали предпочтение Трампу почти на 30 пунктов в Висконсине и на 17 пунктов во Флориде и Пенсильвании.

В то время как социологи могут решить проблему компенсации выборки для [менее] образованных избирателей, гораздо менее ясно, могут ли они что-либо сделать с избирателями, которые принимают решение в последнюю минуту.

@divibisan: я хочу сказать, что, в отличие от того, что утверждает OP (без источника), NYT не интерпретировала опрос как признак того, что Трамп обязательно проиграет выборы 2020 года. Я сделал правку на этот счет.
Проблема с первым опросом в том, что это всего лишь кандидат от Демократической партии. Фактические цифры, вероятно, будут значительно различаться в зависимости от того, кем окажется номинант. Например, Уоррен или Сандерс, скорее всего, оттолкнут многих беспартийных избирателей.
@jamesqf: Да, я действительно где-то это читал, но я не смог снова найти источник, и я не осмелился упомянуть об этом без источника (по такой спорной теме). Я думаю, что это была статья в WaPo или NYT...
@jamesqf: Насколько я помню, статья иллюстрировала проблему, показывая, что в том же опросе у общего кандидата от Демократической партии дела шли хуже (по сравнению с Трампом), чем у любого из трех ведущих кандидатов, когда он был назван. То, что я смог найти [снова], было статьей, показывающей опрос, в котором Хиллари Клинтон делала хуже, чем трио (но все еще побеждала Трампа в народном голосовании), хотя это не совсем то же самое. newsweek.com/…
Кроме того, часто бывают большие различия между разными опросниками, даже самыми качественными. Буквально на следующий день после этого NYT/Siena провел опрос ABC/WaPo, который показал, что Байден, Уоррен и Сандерс опережают Трампа на 17, 15 и 14 пунктов соответственно. У обоих есть A+ от 538, но различия в методологии могут иметь большое влияние на результат.
Голосование за это исключительно для ссылки на статью NYT. Это делает это пока единственным ответом, который нацелен на правильную вещь (штаты, а не национальные).
@TED ​​Было бы лучше взять совокупность всех опросов, проведенных в колеблющихся штатах, вместо того, чтобы полагаться на один источник с большой погрешностью. Например, вот матч Трампа против Уоррена во Флориде , который, насколько я могу судить, является ключевым колеблющимся штатом для победы, если прогнозы верны: 270towin.com

Можно ли доверять опросам? Для большинства из них да, они довольно надежны , а фактические результаты обычно находятся в пределах заявленной погрешности.

Однако будут ли эти результаты фактически транслироваться в результаты ночи выборов — это совершенно другой вопрос. До дня выборов еще целый год. Скорее всего, у нас все еще есть несколько (и как минимум несколько) месяцев, чтобы узнать, кто вообще будет баллотироваться против него. Таким образом, хотя опросы могут быть относительно точными с точки зрения демонстрации того, каким было бы общенациональное всенародное голосование, если бы внезапно, без ведома какой-либо из сторон, выборы были перенесены на сегодняшний день, это не обязательно хорошо отражает то, что произойдет через год. .

Прямо сейчас республиканцы в основном сидят сложа руки и позволяют кандидатам от Демократической партии выяснять отношения между собой. Однако после того, как кандидат будет выбран, все, скорее всего, быстро изменится на этом фронте. Стратегия республиканцев на президентских выборах во многом будет зависеть от того, кого в итоге выдвинут демократы. Им потребуется совсем другая стратегия против более умеренного демократа, такого как Байден, чем против крайне левого, такого как Сандерс или Уоррен.

Для сравнения того, как быстро все может измениться после начала всеобщих выборов, особенно когда баллотируется действующий президент, я бы рекомендовал взглянуть на то, когда это происходило в последний раз.

На этом этапе его президентства рейтинг Обамы по Гэллапу (42% на 5 ноября 2011 г.) был почти равен текущему рейтингу Трампа (41%). К 4 ноября 2012 г. он составлял 52%, и Обама переизбрался на второй срок. значительная маржа.

Конечно, также вполне возможно, что рейтинг благосклонности и одобрения Трампа может резко упасть в течение следующего года (особенно с учетом всех продолжающихся коррупционных расследований), и он может проиграть с большим отрывом. Год в политике — это большой срок, и многое может случиться. Таким образом, хотя текущие цифры, вероятно, являются точными мерами того, что они на самом деле измеряют (текущие настроения), они не обязательно являются отличным барометром того, как пройдут выборы через год.

Между опросами Quinnipiac и CNN только что была разница в 22 пункта . Это далеко за пределами погрешности. На самом деле это выходит за пределы погрешности более чем в 6 раз.
@SurpriseDog Какие опросы CNN и Quinnipiac? Самые последние противостояния Трампа и Байдена, которые я вижу в списке RCP, имеют спреды, которые отличаются всего на один пункт. Трамп против Уоррена был идентичным, а Трамп против Сандерса отличался на 2 балла.
@SurpriseDog О, вы говорите о первичном опросе. Честно говоря, я предполагаю, что догадка Физза верна в том, что вопросы, заданные до этого в опросе CNN, по сравнению с теми, которые не были заданы до этого в опросе Quinnipiac, имели значение, особенно с учетом того, что Уоррен не так хорошо известен многим людям, которые не следят за ним. политика тесно. Особенно с учетом того, что эти опросы проводились до нескольких недавних событий, которые донесли взгляды и планы различных кандидатов от Демократической партии до более широкой аудитории.