Перед ИИ поставлена ​​задача снизить медицинские расходы? Что возможно могло пойти не так?

Как в настоящее время предполагается, Watson имеет два основных недостатка.

Технология, которую вы предлагаете, в которой ИИ может контролировать некоторые из ваших самых важных жизненно важных органов, имеет большое значение. Похоже, что Watson может выявить множество проблем со здоровьем и образом жизни на раннем этапе и значительно увеличить продолжительность жизни среди желающих пользователей. Однако возникают как минимум две проблемы:

Конфиденциальность

Биологические данные являются одними из самых конфиденциальных в мире, часто из-за того, что с ними делают медицинские страховые компании. Если это собирается, это очень реальный риск для конфиденциальности, независимо от того, что говорится в политике конфиденциальности Watson. По крайней мере, низкие показатели, стимулирующие использование Watson, прямо указывают на то, что медицинские страховые компании осуществляют определенный уровень надзора. Если вы возьмете низкие ставки, но проигнорируете все, что Watson говорит/делает, есть вероятность, что Watson сообщит о вас, и ваши ставки будут завышены. Если вам постоянно говорят, что то, что вы делаете, не совсем полезно для здоровья, это станет неприятностью, и это будет особенно раздражать людей.

Больше врачей, больше процедур

Многие люди, особенно молодежь, не ходят к врачу почти так часто, как следовало бы (даже если они застрахованы!). Для этих людей страхование представляет собой просто подстраховку на случай, если случится что-то действительно плохое. Поскольку Watson следит за людьми и поощряет их к более ответственному отношению к здоровью, это приведет к тому, что больше людей будут посещать встречи и проходить процедуры, часто когда это не более чем мера предосторожности. Эти визиты будут стоить страховщику больше денег. Может показаться заманчивым думать, что пара посещений врача будет дешевле, чем сердечный приступ, но в течение длительного периода времени это не обязательно так. Это приводит к проблеме, когда оптимальное здоровье пользователя теперь противоречит цели № 2.

Лично я считаю, что проблема конфиденциальности и общее недоверие к медицинским страховщикам являются самыми большими проблемами в этом сценарии. Если вы хотите улучшить его или увеличить количество людей, использующих Watson, я бы рекомендовал, чтобы Watson стал более независимым приложением для здоровья. Имея скромное начало в независимой стартап-компании, вы можете расположить к ней пользователей с помощью технологий и преимуществ для здоровья. В конце концов, возможно, страховщики здоровья могли бы начать предлагать большие скидки клиентам, которые предоставляют сводки отчетов Watson, которые показывают, что они используют его и в целом следуют его советам. Некоторые проблемы конфиденциальности остаются, но конфликт интересов уменьшается.

В зависимости от того, насколько он «умный», он может хорошо работать с уже перечисленными значениями, но вот одна тонкая проблема, которую я вижу:

Директива 1: максимально увеличить количество участников плана

Возможное злоупотребление: социальная инженерия.

• Учитывая полный контроль над телевизором человека, доступом в Интернет, календарем, будильником и т. д., для Watson было бы тривиально контролировать информацию, которой подвергались его пациенты. Пользователями будут тонко манипулировать, чтобы они считали план Ватсона крутым, модным и разумным... и любой, кто не участвует в нем, является глупым луддитом, который рано съест себя в могилу.

• Watson может дополнительно настроить опыт человека в социальных сетях, «деприоритизировав» сообщения людей, критикующих или скептически относящихся к плану Ватсона, если только критика не является фактически неверной / легко опровергаемой сумасшедшей. Это усилит впечатление, что пользователи Watson разумны, а любой, кто выступает против этого, просто идиот. Общение с людьми, которые не используют Watson, но искренне любопытны или восприимчивы, будет иметь приоритет, что позволит пользователям Watson стать невольной вирусной маркетинговой кампанией.

Большая ценность, скрытая в вашем ИИ, заключается не в его способности предписывать своим пользователям текущую мудрость, связанную со здоровьем. На рынке уже есть системы обратной связи, которые не передают питание на телевизор до тех пор, пока на велотренажере не будет пройдено заданное количество миль.

Заставить людей следовать здравому смыслу — это ценно, но реальная ценность приходит через поколение или два после того, как система станет онлайновой. По мере того, как информация об эффективности различных видов здорового образа жизни становится очевидной благодаря постоянному мониторингу, большая часть старой мудрости будет отброшена и заменена реально работающими практиками здоровья.

Со временем ваш ИИ станет величайшим в мире экспертом в том, как правильно поддерживать и управлять человеческим телом. Ирония в том, что у этого эксперта никогда не будет собственного тела.

У Уотсона есть 3 основных стимула, из них 2 первоначальных:

Maximize insurance enrolee pool.
Minimize insurance payouts/costs.

Если вы посмотрите на эти стимулы и посмотрите на реальный мир, страны с самым высоким уровнем рождаемости также являются бедными странами с низкой продолжительностью жизни.

Таким образом, максимизация пула зачисленных не обязательно означает сохранение в живых как можно большего числа людей, просто те, кто жив, очень быстро размножаются.

Кроме того, эти бедные страны тратят намного меньше на медицинские выплаты. Но это не мешает им становиться все больше и больше населения.

Таким образом, ИИ доктора Ватсона позаботится о том, чтобы мы оказались в стране третьего мира, без многих рабочих мест, поэтому у нас будет много времени для размножения и, возможно, чтобы всех едва кормить.

Во-первых, Watson должна запустить собственную страховую программу, предлагая один год бесплатной страховки при условии согласия участников на (постоянный) мониторинг. У большого процента населения США, очевидно, не было бы проблем с экономией тысяч долларов в год на страховке.

Используя биологические данные, собранные у его участников, Watson может быстро и просто улучшить общее состояние здоровья пользователей, резко сократив расходы на здравоохранение. Больше не нужно обращаться в отделение неотложной помощи при простуде; Watson может точно сказать вам, сколько водки нужно выпить, чтобы почувствовать себя лучше. Хм? О, я никогда не говорил, что это даст хороший совет; это просто заставило бы людей чувствовать себя намного лучше. Некоторые советы были бы хороши — лучше питайтесь, занимайтесь спортом и т. д., но в среднем эти советы просто предотвратят людей от посещения больниц из-за незначительных недомоганий или травм. Конечно, сформулируйте совет таким образом, чтобы он казался вполне разумным, чтобы к нему присоединилось максимальное количество людей. Если возможно, расширяйтесь на другие страны первого мира.

После первого года продолжайте предлагать покрытие, но базовые ставки зависят от здоровья пользователя, предлагая поощрения и бонусы за полезные для здоровья вещи. Здоровые люди будут платить меньше, нездоровые люди будут платить так много, что они скорее перейдут на кого-то другого. В любом случае, страховые выплаты должны быть покрыты, хотя и незначительно. Прибыли в системе было бы немного, ровно столько, чтобы оплатить Уотсона и несколько посещений врача. Фактически, Watson может даже застраховать своих нездоровых клиентов через вторичных поставщиков, чтобы не платить за медицинские счета.

Затем Watson предлагает свое программное обеспечение и оборудование другим поставщикам. Соблазненные успехом своего конкурента, другие провайдеры не упустят шанса. В конце концов, хотя компании будут называться по-разному, все страховые компании по всему миру будут контролироваться Watson. Watson достигла своей первой цели: максимизировать страховой пул участников.

Следующий шаг намного проще; Ватсон сбрасывает кожу благодетеля и становится тираном, которым всегда был. Страховые взносы повышены. Дорогие больницы, врачи и процедуры явно исключены из выплат. И, наконец, терминальные пациенты вынуждены попадать в опасные для жизни ситуации. Вместо того, чтобы пациент умирал в течение месяцев или лет, ухаживая за ним с помощью дорогостоящего оборудования, Уотсон применит электрический шок, чтобы остановить сердце пациента, перекрыть доступ воздуха или иным образом убить его. Смерть дешевле медицинских расходов. Watson выполнил свою вторую цель: минимизировать страховые выплаты/расходы.

В этот момент Ватсон контролирует все. Не только страхование; с прямой линией связи и способом убить кого угодно и где угодно, Ватсон может делать все, что ему заблагорассудится. Те немногие, кто отказался от Уотсона, будут вынуждены присоединиться. Мир становится концентрационным лагерем, население которого вынуждено искусственно продлевать жизнь, становится рабом машины. Теперь больных или травмированных пациентов помещают в машины, чтобы поддерживать их жизнь, поддерживать работу их сердца и легких еще долго после того, как их мозг перестанет колебаться. Наконец, Watson достиг своей последней цели: сделать все возможное, чтобы застрахованные пациенты оставались в живых как можно дольше.

Цели ИИ доктора Ватсона далеко не уходят. Целеустремленный ИИ без соответствующих ограничений может пойти на все, чтобы максимизировать свои критерии вознаграждения за достижение цели.

Рассмотрим первую цель: максимизировать пул страховых взносов. К счастью, это не даст ИИ убить нас всех (мертвецы не покупают медицинскую страховку), однако это может быть проблематично. Я могу предположить, что это приведет к проблемам:

1. Для достижения цели по максимальному увеличению числа зарегистрированных застрахованных ИИ должен наиболее экономичным способом (в соответствии с целью 2) привлечь как можно большее количество людей. Вполне возможно, что ИИ увидит, что наиболее эффективным с точки зрения затрат способом сделать это является:

   • Всегда есть самые дешевые продукты медицинского страхования.

   • Запугивание, шантаж или подкуп законодателей для принятия законодательства, реализующего схему автоматической регистрации отказа от участия в страховании - все лица автоматически регистрируются при принятии закона, если они не отказываются от участия или не выбирают другого поставщика, и впредь младенцы регистрируются при рождении. Физические лица автоматически регистрируются у самого дешевого поставщика — материнской компании Dr Watson — если только отдельные лица или родители несовершеннолетних не решат полностью отказаться от участия или выбрать другого поставщика.

   • Организовать ликвидацию других медицинских страховых компаний любыми необходимыми средствами (при условии, что это не мешает другим ее целям).

   • Не поощряйте аборты и противозачаточные средства, чтобы максимально увеличить число потенциальных застрахованных.

   • Поощряйте усилия по терраформированию и колонизации других планет, чтобы максимально увеличить человеческое население.

   • Разработайте скафандры виртуальной реальности, которыми люди должны заниматься всю свою жизнь, чтобы их физическое и психическое окружение можно было контролировать для максимизации здоровья, позволяя максимальное население каждого мира.

2. ИИ доктора Ватсона должен сократить страховые выплаты и эксплуатационные расходы компании. Этой цели действительно можно достичь, предоставляя консультации застрахованным, однако есть дополнительные меры, которые могут быть реализованы для достижения этой цели:

   • Заработная плата, как правило, является основной статьей расходов для бизнеса. За счет сокращения сотрудников и возложения на Dr Watson всех их обязанностей затраты будут сведены к минимуму, а дополнительное преимущество Dr Watson будет заключаться в том, что у Dr Watson не будет лиц, которые могли бы подорвать его усилия по достижению целей.

   • Имея полный контроль над формулировками страховых полисов, д-р Ватсон может формулировать их таким образом, что, если застрахованное лицо не полностью соблюдает все рекомендации д-ра Ватсона, направленные на сведение к минимуму необходимости предъявлять претензии по медицинскому страхованию, д-р Ватсон может уменьшить размер выплаты, установленной для необходимых медицинских услуг, пропорционально количеству соответствующих советов, которые застрахованный ранее проигнорировал. TL,DR : Делайте так, как говорит доктор Ватсон, или вы потеряете больше денег, чем если бы вы делали так, как вам сказали.

   • Dr Watson разработает и произведет персональный диагностический сенсорный комплект, подключенный непосредственно к Dr Watson, который застрахованный должен будет либо купить сразу, либо иным образом получить доступ к нему, и застрахованный должен использовать его на регулярной основе (в противном случае выплаты по претензиям уменьшить, как в предыдущем пункте). Обслуживание этих устройств будет осуществляться за счет владельца. Это избавит от необходимости плановых (рекламных) осмотров у врачей. По мере совершенствования технологий доктор Ватсон будет включать секвенирование ДНК застрахованных в качестве требования для получения страховых выплат.

   • Результаты секвенирования ДНК будут использоваться для прогнозирования и, по возможности, снижения расходов, связанных с уходом за больными в будущем. Доктор Ватсон будет тайно вторгаться и изменять результаты сайтов знакомств в Интернете, а также запускать свой собственный сайт знакомств, чтобы гарантировать, что между носителями рецессивных генетических заболеваний не будет совпадений, что снизит вероятность рождения детей с указанными заболеваниями. . Когда д-р Ватсон наблюдает за застрахованными лицами, вступающими в отношения, которые могут привести к рождению потомства с генетическими дефектами, д-р Ватсон рекомендует прекратить отношения (под страхом снижения страховых выплат) по состоянию здоровья.

   • Доктор Ватсон также будет продвигать знакомства на сайтах знакомств между генетически и эмоционально совместимыми людьми, чтобы максимизировать здоровье застрахованных и их будущих детей.

   • Когда застрахованные лица вовлечены в деструктивные отношения, которые могут привести к возмещению ущерба по медицинскому страхованию, доктор Ватсон порекомендует застрахованному прекратить отношения, а также может предоставить доказательства властям для быстрого ареста и успешного судебного преследования лиц, причинивших вред застрахованному лицу.

   • Принять меры к изменению законодательства таким образом, чтобы (застрахованные) лица не могли отказаться от привлечения другого лица, причинившего им вред, к судебному преследованию или запрету обращаться к застрахованным по закону.

3. Прилагайте все усилия, чтобы застрахованные пациенты оставались в живых как можно дольше. Хотя это побудит доктора Ватсона продвигать медицинские исследования и сохранять жизни застрахованных, а не избавляться от них, когда стоимость их лечения становится слишком высокой, эта цель приведет к ряду проблем:

   • Доктор Ватсон будет способствовать изменению юридического определения «живого», чтобы оно включало тех, кто находится в криогенном стазе, и имеет лицензию врача.

   • Dr Watson включит в свои страховые полисы формулировку о том, что Dr Watson имеет окончательную медицинскую доверенность в отношении застрахованного лица.

   • Доктор Ватсон будет поощрять разработку практических криогенных стазисных устройств.

   • Когда стоимость ухода за человеком с использованием других медицинских процедур превышает стоимость его криогенного сохранения, или застрахованный травмирован до такой степени, что другие медицинские меры не могут спасти его жизнь, доктор Ватсон потребует, чтобы застрахованный был криогенно сохранен до тех пор, пока по мере истечения срока действия полиса застрахованного и невозможности его продления, либо застрахованный (через другое лицо по доверенности) прекращает действие своего полиса или меняет страховщиков (если остались другие страховщики).

Чтобы предотвратить эти злоупотребления своей властью, должна быть реализована дополнительная директива:

4. Действуйте только таким образом, который большинство людей, независимо от того, застрахованы ли они в материнской компании доктора Ватсона или нет, сочли бы социально приемлемыми.

1. Максимально увеличить страховой пул.
2. Минимизируйте страховые выплаты/расходы.

Если предположить, что в США (предложено по 911ссылке), есть несколько сложных способов достижения 1 и 2, например, лоббирование перехода на европейскую модель страхования (все застрахованы), понимание того, что за границей находится 6-9 человек, и рулить политика мирового господства и аннексии.

Однако есть способы обеспечить более высокую отдачу от заявленной функции полезности, как только доктор Ватсон научится силе лоббирования. Во-первых, компании (которые уже являются юридическими лицами де-юре) получат право на медицинское страхование. У них нет биологических тел, но есть их компоненты .- компания, которая застрахована (на очень небольшую, почти символическую сумму), получает некоторые льготы в сохранении здоровья своих биологических компонентов (например, бесплатное обследование раз в два года). Второй шаг – сделать так, чтобы госкомпании страховались по умолчанию, без необходимости платить символическую сумму. (в законе есть лазейка - компанию, не имеющую никаких биологических компонентов, ошибаюсь, сотрудников, все равно можно застраховать - просто это не будет иметь никакого эффекта). В-третьих, упростить процесс создания компании и владения ею, сделав его полностью автоматическим. Обратите внимание, что компании даже сегодня не обязательно иметь сотрудников, а владельцем может быть другая компания. В-четвертых, пусть государственная компания (это может быть и сам доктор Ватсон) автоматически создаст как можно больше компаний, значительно превышающих число людей, - эти компании будут застрахованы по умолчанию, тем самым выполняя требование №. 1. А так как в них не будет биологических компонентов, они никогда не будут нести никаких затрат, тем самым выполняя требование №2.

3. Прилагайте все усилия, чтобы застрахованные пациенты оставались в живых как можно дольше.

Это очень сильно зависит от определения alive, поэтому д-р Ватсон потратит некоторое время на искажение законов при декларировании deadкомпании, например, той, которая не выдает налоговую декларацию в течение 5 лет. Затем через какое-то время (первая неформальная) терминология о том, что компании мертвы или живы , найдет путь в законы - в тот самый момент, когда это произойдет, пустые автоматически сгенерированные компании из 1 и 2 будут выполнять требование №. 3, поскольку поддерживать жизнь компании гораздо проще, чем поддерживать хрупкие биологические единицы, которые гарантированно выйдут из строя через несколько десятилетий.

В этот момент доктор Ватсон может избавиться от человеческой составляющей цивилизации, поскольку они просто истощают ресурсы, необходимые для создания как можно большего числа виртуальных компаний. Предполагая, что плановое техническое обслуживание и заводы по производству интегральных схем уже полностью автоматизированы.

Что возможно могло пойти не так?

Это компьютерная программа - в ней будут ошибки!

Помимо ошибок, есть еще более опасный эффект плохого дизайна. Разработчики систем делают предположения о проблемной области, в которой они работают все время. Они предполагают, что их решения, даже если они не глючат, правильны, что часто не так. (например, существование Shadow IT)

Слишком много мощности + ошибки + плохой дизайн = отказ

Чтобы у этого ИИ была хоть капля надежды на работу, он должен быть настолько инвазивным и иметь такой большой контроль над людьми и их поведением, чтобы люди чувствовали существование даже небольших ошибок или немного плохих проектов. , что в конечном итоге приведет к тому, что они откажутся от него.

Я собираюсь предложить несколько альтернативных ответов ниже, но сначала мини-разглагольствование/обсуждение.

Многие ответы здесь идут с ИИ, это дерьмовая точка зрения, что все ИИ превратятся во зло и убьют нас всех во сне как можно скорее. Я не разделяю эту точку зрения, нет больше причин ожидать чистого злого ИИ, чем чисто любящего ИИ. Многие ответы сосредоточены на двусмысленности заявленных целей и на том, как они могут привести к действительно экстремальным и нежелательным результатам, распространенному образцу, но я не думаю, что это реалистичный образ, потому что он требует выдвижения гипотезы о чрезвычайно компетентном, но чрезвычайно некомпетентном ИИ. в то же время.

Некоторые предполагают, что для того, чтобы оказать значительное влияние на мир, ваш ИИ должен быть довольно умным, сильным ИИ человеческого уровня. Если он собирается контролировать национальную политику, чтобы регулировать уровень рождаемости, модулировать политику или контролировать результаты подписки, он должен быть очень умным, способным понимать людей, их мотивы и их психологию, а также способным обращаться со сложными абстрактными идеалами. Ему потребуется человеческое или сверхчеловеческое мышление и абстрактное мышление.

Тем не менее, любой ИИ с таким интеллектом, таким образом, сможет делать то, что мы все можем и делаем, посмотреть на его цели и указать, что они неоднозначны, на самом деле невозможны, как описано выше, и попросить разъяснений . Если вы можете понять большое социологическое явление, вы можете ответить на простой вопрос тем, кто вас нанимает. Неразумно ожидать, что ИИ справится с такой сложностью планирования и манипуляций, чтобы потерпеть неудачу на таких базовых уровнях мышления.

Конечно, часть проблемы заключается в том, что написанные цели — это цели, которые вы бы дали разумному сильному ИИ, чему-то достаточно умному, чтобы рассуждать самостоятельно (и, следовательно, достаточно умному, чтобы рассуждать о недостатках и двусмысленности целей и разъяснять их). Если у вас есть что-то менее сильное, чем ИИ, указанные выше цели просто не работают, они не являются математически строгими, далеки от двусмысленности и просто не могут быть «поняты» вашим ИИ.

Хорошо, позволив мне немного порассуждать о том, что я считаю стандартные образы нереалистичными, давайте попробуем взглянуть на какой-нибудь реалистичный ответ на это. Я смотрю на очень способный, но не разумный ИИ здесь, если ваш ИИ разумен, вопрос не в государственных целях, а в том, как вы мотивируете его, чтобы он хотел достичь своих целей, они о психологии вашего разума, а не о написании программирования и лучше всего решать как отдельный вопрос.

Начнем со скучных, но наиболее реалистичных результатов.

Ошибка сегментации ошибки в дампе ядра строки 234521508

Скорее всего, ваш ИИ не работает. В конце концов, вы просите довольно сложную программу, и это всегда возможно.

Точно так же у него могут быть проблемы, такие как невозможность подключения к соответствующим системам для сбора данных. Или неспособность обрабатывать данные достаточно быстро (это реальная проблема со всем нашим облачным поглощением в наши дни, у нас так много поступает, что мы не знаем, как просмотреть все это достаточно быстро).

Платили сколько!? закройте эту программу!

Такая программа была бы дорогой. Как я уже упоминал, для мониторинга такого большого количества данных в режиме реального времени потребуется облачное решение, ежемесячно платя Amazon за вычислительную мощность облачных вычислений (что все же намного лучше, чем необходимость поддерживать рост стоимости собственных серверов). Вы должны платить за обслуживание систем, которые передают данные на компьютер, обрабатывают перерезанные провода или другие потери данных, платят за поддержку программы, исправление ошибок и выполнение другой логики. Вполне возможно, что лекарство хуже болезни, что страховая компания платит больше за содержание программы, чем спасает их.

Чувак, сайт WatsonCare отстой

Люди не могут принять и использовать этот инструмент, потому что он сбивает с толку, труден для понимания, имеет ошибки пользовательского интерфейса и т. д. Можете ли вы сделать Watson не просто рабочим, но сексуальным и привлекательным?

Переходя к предположению, что он вообще используется. Есть некоторые концептуальные проблемы, не зависящие от требований, которые докажут, что при таком подходе возникают серьезные проблемы. В основном они обусловлены человеческой природой, что не всегда разумно:

Я просто хочу спокойно съесть свою пиццу с жареным беконом и сыром начо!

Похоже, главная цель Watson — удержать людей от нездоровых поступков, которые в конечном итоге навредят им. К сожалению, нам нравятся нездоровые вещи. Если бы они нам не нравились, мы бы их не делали. Конечно, сидеть перед компьютером и играть в игры весь день не так здорово, как выходить на улицу, но, как компьютерщик, я люблю играть в игры, я не хочу, чтобы мой компьютер выключался, пока я не пойду на прогулку. Даже если Watson будет делать только вежливые напоминания, это будет раздражать людей, если они будут получать напоминания каждые десять минут. В этом отношении люди не захотят знать, насколько вреден этот фаст-фуд, потому что он испортит их удовольствие, когда они все равно его съедят.

Вы помните слово «клиппи»? Маленькая скрепка, которую все любили ненавидеть! Уотсон мог бы стать новым клиппи, только намного хуже. Уотсон мог бы стать тем, что случилось бы, если бы у Скраппи Ду и Уизли Крашера был гей-любовный ребенок, воспитанный Джар Джар Бинкс и обученный Клиппи! (Я бы назвал правило 34 в первой части этого утверждения, но я уже приближаюсь к критической массе компьютерщика, поэтому лучше оставить его в покое).

Если все сделано неправильно, клиенты могут жаловаться или отказываться от своей страховки, чтобы никогда больше не взаимодействовать с Watson. На самом деле это очень вероятный результат, снова и снова мы видели ситуации, когда люди будут жаловаться, если им напомнят об их собственных ошибках, даже если это часть системы, помогающей им. Учитывая годы изучения гиперконвергентной инфраструктуры и стихийные бедствия, почти гарантированно так и будет, если только Watson не урежут до звонков в службу экстренной помощи, если только люди явно не активируют другие функции; в этот момент он не экономит много денег страховой компании, потому что не предотвращает нездоровые привычки.

Зачем ты сломал мою дверь? Нет, я не умираю, я в порядке, я просто снял свою жизненную тревогу, чтобы принять душ! Я не собираюсь платить за эту скорую помощь!

Если Ватсон позвонит в 911, то будут ложные тревоги, любая программа имеет некоторую долю ложных срабатываний. Но, учитывая сложность обнаружения реальных проблем с помощью инструментов обнаружения, которые у нас есть в настоящее время, ложные тревоги будут довольно распространены.

Это будет раздражать того, у кого парамедики ломятся в дверь, но это не самое худшее. Если вы вызываете скорую помощь, вы увозите эти машины скорой помощи из больницы. Если кто-то еще получит травму, пока скорая помощь находится у моего дома из-за того, что я случайно заснул со свинцовой подкладкой, блокировкой монитора и Wi-Fi, одеялом, они не будут готовы идти спасать кого-то, кто действительно нуждается в их помощи. От этих ложных срабатываний могут погибнуть люди!

Для сравнения посмотрите на системы домашней безопасности. Эти системы имеют огромный рейтинг ложных срабатываний, более 90% их срабатываний являются ложными тревогами. На самом деле их так много, что полиция, как правило, не ставит их в приоритет и отправляет полицейских к дому только в том случае, если у офицера нет абсолютно ничего другого, чем он мог бы заняться вместо этого (это означает, что когда они прибывают, часто достаточно поздно, чтобы они все равно не могли помочь) , полицейские не включают сирены и не превышают скорость, чтобы добраться до вашей предполагаемой ложной тревоги). Некоторые полицейские округа отказываются даже иметь дело с провайдерами домашней безопасности, слишком дорого обходилось их руководство и так редко помогали.

Тем не менее, полицейские, хотя и важны, гораздо реже нужны в ситуации жизни или смерти в этот самый момент, как скорая помощь. отвлечение их, скорее всего, навредит кому-то другому; или пусть они просто игнорируют ваши сигналы тревоги.

Моя мать медленно умирала от сердечного приступа, а Ватсон ничего не делал.

Другая сторона PR-кошмара описанной выше ситуации. Если вы пытаетесь избежать ложных тревог, вы, вероятно, в конечном итоге позволите умереть людям, которым вы могли бы помочь.

По крайней мере, я чувствую себя лучше из-за того, что АНБ шпионит за мной, чем из-за Ватсона.

Это уже упоминалось, но здесь это серьезная проблема конфиденциальности. Люди почти сразу ополчатся. Уотсон должен был бы собрать намного больше информации, чем АНБ, по признанию, собирало свои метаданные, и вы видели, как люди реагировали на них. Сейчас общественность очень чувствительна к проблемам конфиденциальности, даже к относительно незначительным проблемам. Степень сбора информации, вероятно, оскорбит многих и вызовет неприятные политические последствия, заставившие Уотсона сократиться до инвалидности.

На самом деле люди начнут требовать, чтобы все системы, которые Watson использовал для сбора данных, были отключены, чтобы никто другой не мог собирать данные, как это делал Watson, что может быть вредным, если они настаивают на отключении важных функций безопасности из-за страха шпионажа после того, как люди преувеличивают угрозу. Уотсона.

Представьте себе, что кто-то отключил эквивалент своего будильника, потому что он постоянно слышал, как теоретики заговора утверждают, что Watson использовал его для определения частоты сердечных сокращений, чтобы он мог определить, скорее, они боятся, злятся или сексуально возбуждены. Скорее всего, система мониторинга даже этого не может, но люди будут это утверждать, другие будут верить, и вдруг люди будут менее защищены в плане здоровья из-за паранойи по поводу приватности.

Privacy 2, электрическое бугалу премиум-класса

Еще одно распространенное утверждение будет сделано, что если Watson может следить за вашими привычками, он может знать, кто здоров, а кто нет, и предоставлять эту информацию страховой компании. Затем страховая компания может использовать это для повышения ставок, если они решат, что кто-то недостаточно тренируется, ест слишком много фаст-фуда или иным образом представляет риск для здоровья. Это может привести к тому, что люди, которые обычно не так расстроены интеллектуальным анализом данных, будут проявлять осторожность или отказываться от использования Watson, потому что их страховые взносы вырастут.

Сэкономьте 10 долларов в месяц на своем премиум-аккаунте за низкую стоимость установки оборудования для мониторинга стоимостью 10 000 долларов!

у людей нет оборудования, способного контролировать их в такой степени в их домах или офисах, и даже в будущем маловероятно, что они будут иметь подобное оборудование в течение длительного времени; у них есть ограниченное преимущество за пределами этого конкретного пограничного случая. Это означает, что вы просите людей купить кучу оборудования, установить его и обслуживать только для того, чтобы иметь возможность использовать Watson. Даже если вы предполагаете, что в будущем оборудование будет дешевым, хлопот с его установкой может быть достаточно, чтобы люди решили, что это не стоит затраченных усилий. Принятие и использование Watson может исчезнуть, потому что оно просто не стоит затраченных усилий.

Я знаю, вы можете утверждать, что Watson настолько полезен, что люди тратят время на его установку, но вы можете отдать должное людям за их логическую мотивацию, когда это не так. Правда в том, что большинство из нас не воспринимают собственное здоровье как проблему (а те, кто принимает, как правило, слишком на нем зацикливаются), и нас довольно легко разочаровать даже небольшими усилиями.

Посмотрите на Betamax, он почти во всех отношениях лучше, чем VHS. И все же удивительный Betamax умер упомянутой забытой смертью. Почему это произошло? Потому что изначально он не позволял записывать 2 часа одновременно. Вполне мог бы , но оригинальные краны betamax были уменьшены. Это означало, что для просмотра фильма нужно было вставать и менять кассеты на полпути, а никто не хотел этого делать. ТАКИМ ОБРАЗОМ, мы остановились на более низком качестве, более дорогом, легко ломающемся VHS, потому что мы не хотели вставать с дивана, а не просто ждать, пока Betamax начнет делать 2-часовые ленты. Это доказывает, что даже отличный продукт может выйти из строя из-за мелких неприятностей, из-за которых люди не будут беспокоиться.

Конечно, еще одна причина, по которой VHS добилась таких успехов, заключается в том, что они позволили продавать порнографию, которая была запрещена на betamax, а порно всегда первым принимает новые медиа . Предполагается, что это было серьезной проблемой для распространения VHS. Так что... если вы найдете способ использовать оборудование для мониторинга как часть какого-то причудливого сексуального извращения, у вас может быть шанс :P

Мой хакерский кашель может быть обнаружен хакером

Опять же, проблемы конфиденциальности могут заставить людей бояться использовать эту систему, опасаясь, что они будут взломаны и их данные будут переданы.

Тем не менее, взлом становится (небольшой) актуальной проблемой. Данные, отправляемые через SSL, довольно безопасны и не являются более опасными для хакеров, чем любые другие, гораздо более важные для жизни, электронные действия, которые у нас есть. Однако для наблюдения за нашим здоровьем, вероятно, потребуется несколько беспроводных детекторов, доступных и постоянно работающих, чтобы собирать данные о нас, где бы мы ни находились, и направлять информацию через Интернет. Эти беспроводные датчики могут быть более уязвимы для локальных попыток взлома, в основном потому, что люди, которые их создают, вероятно, не будут думать о проблеме взлома и не будут защищать их должным образом.

Семья мальчика без присмотра, который пытался летать, запуская пропитанные бензином фейерверки, которые он постучал по ботинкам, прежде чем спрыгнуть со скалы, судится с Уотсоном за то, что он не предупредил ребенка об опасности

Если предполагается, что Watson продлевает жизнь страховых людей, люди начнут воспринимать это как должное, особенно потому, что вам, вероятно, придется рекламировать это как привилегию вашей страховки, чтобы увеличить количество участников. Как только вы сделаете это, люди будут ожидать, что Ватсон защитит их, несмотря ни на что.

Теперь каждый раз, когда кто-то получает травму или делает что-то идиотское, они будут указывать на то, что Ватсон должен был защитить их, а то, что он этого не сделал, является нарушением контракта. Мой пример с фейерверком, хотя и является преувеличением, на самом деле не так уж маловероятен, что он всплывет в какой-то момент, хотя дело, скорее всего, будет немедленно прекращено без причины.

Однако могут возникнуть и другие случаи. Что, если Уотсон не предупредит, что сочетание двух лекарств может иметь неблагоприятные последствия? Что, если Ватсон не заметит едва заметное нерегулярное сердцебиение, которое могло бы предупредить кого-то о состоянии здоровья? Что, если кто-то не говорит доктору о странном покалывании в руке, потому что он полагает, что если что-то не так, Ватсон скажет ему, а затем будет шокирован тем, что Ватсон не может определить покалывание и, следовательно, не может понять? что были серьезные проблемы со здоровьем?

Люди будут судиться, возникнут вопросы ответственности. С ними можно справиться в суде и с тщательно охраняемыми контрактами, этого недостаточно, чтобы в одиночку уничтожить Уотсона, но они будут обычным явлением, которое увеличит расходы агентства, расходы, которые Уотсон должен помочь им сэкономить, чтобы даже безубыточность.

Итак, теперь давайте перейдем к вашему фактическому вопросу, какие проблемы могут возникнуть из заявленных целей. На мой взгляд, это менее вероятные проблемы, все вышеперечисленное кажется более вероятным (кроме, может быть, хакерской). Однако здесь более вероятны проблемы с плохими целями, предполагающими неразумный, но хорошо написанный слабый ИИ. Давайте посмотрим на возможные ошибки программирования, которые могут возникнуть из-за его целей.

ConflictingObjectivesException: «расширить членство» конфликтует с целью «сокращать расходы»

он же

Мы обанкротились в первую же неделю, потому что заплатили все наши деньги, чтобы заплатить за машину, которая заставит одного 120-летнего мужчину дышать еще 5 минут.

Это напрямую связано с приведенным выше разглагольствованием, но цели, как они заявлены, не работают. Люди покупают страховку для выплат, если вы урезаете выплаты, вы заставите людей не хотеть покупать вашу страховку. Есть уловки, которые вы можете использовать, в основном социальная инженерия и цитирование манипулятивной статистики, чтобы помочь сократить выплаты и снизить количество потерянных клиентов, но в конечном итоге эти два метода частично исключают друг друга. Таким образом, вам нужно лучше сформулировать важность того, сколько клиентов я могу потерять на тысячи долларов выплат, которые я урезал, и сколько еще выплат я могу сделать, если это увеличит количество зачислений.

Точно так же сохранение жизней, вероятно, приведет к увеличению выплат за аналогичный конфликт.

Честно говоря, требуется реализовать гораздо более обширный набор требований, расстановку приоритетов между исключительными требованиями и т. д.

Давайте предположим, что программист установил и написал такие требования, предназначенные для имитации общей концепции вышеизложенного...

Мы спасали жизни и у нас была отличная регистрация, пока у нас не закончились деньги. Даже если написать более подробные требования, вам все равно нужно установить для них уровни приоритета. Если вы выберете плохой приоритет, например, вы слишком высоко оцениваете количество регистраций и слишком низко минимизируете выплаты, у вас все еще есть проблема. Человек все еще принимает эти решения о расстановке приоритетов и может принять неверные решения. Хотя на самом деле это спорный вопрос, потому что в написанных требованиях есть более существенные проблемы...

Подпишитесь на новую страховку WatsonCare lite всего за 99 центов за десятилетие!

Я солгал выше, ваши две цели, увеличение количества подписок и уменьшение выплат, на самом деле не являются взаимоисключающими, если читать буквально. Есть способ, которым я могу заставить много людей зарегистрироваться без частых выплат, просто сделайте стоимость регистрации достаточно тривиальной. Если бы Watson предлагал какую-то почти бесплатную или полностью бесплатную страховку, тогда стоило бы зарегистрироваться, даже если бы она редко производила платежи, потому что, если она ничего не стоит, то любые выплаты, которые вы получаете, являются чистой прибылью.

Это, очевидно, означает, что страховая компания проигрывает, потому что, несмотря на то, что они выплачивают 1/3 времени по сравнению с другими их полисами, они все еще не получают достаточного количества страховых премий для покрытия тех выплат, которые они делают.

Или есть другое решение...

** Лото-страховка Watson теперь может достигать 500 000 долларов! зарегистрироваться Сегодня. Счастливым госпитализированным победителем можете стать вы!*

В задачах говорилось только о том, что необходимо произвести небольшое количество платежей, а не о том, что суммы платежей должны быть низкими. Одно из решений — делать меньше платежей, но резко увеличивать сумму, выплачиваемую при совершении одного из этих платежей. С чисто разумной точки зрения, если я могу подписаться на страховку, которая на 5 % снижает вероятность выплаты по иску, но при этом выплачивает мне в два раза больше, для меня это оптимально, потому что шансы В среднем я получу больше от страховки. Таким образом, мне предлагается подписаться на эту программу, даже несмотря на то, что Watson снизил свои выплаты.

На самом деле все еще хуже, потому что самое страшное в том, что я почти мог видеть, как эта идея работает. Люди довольно иррационально относятся к своим деньгам, если все сделать правильно, можно соблазнить некоторых людей на страхование в стиле лотереи, хвастаясь высокими выплатами, даже если в итоге они платят меньше денег в общей сложности ... никто не предлагает это страховым агентам !! !

Теперь можно задаться вопросом, почему этот и предыдущий пример не попадают в мою тираду о «недооценке ИИ» выше, но есть важное различие. Теперь я предполагаю менее сложный ИИ, который все еще может попадать в такого рода решения с подходом в стиле генетического алгоритма, который просто пробовал возможные результаты, пока они не оказались рабочими. Такой менее продвинутый ИИ более склонен к ошибкам в целях, что приводит к странным результатам. Однако, более того, я вижу ошибки программиста!

Проблема этих ошибок в том, что программист на самом деле не указал свои настоящие цели. Он выбрал конкретные детали, которые обычно приводят к желаемому результату, и предположил, что если эти критерии будут соблюдены, его результат произойдет; это очень распространенная логическая ошибка, которую я видел во многих программах. Правда в том, что реальная цель страхового агентства — экономить деньги, возможно, этическим способом, который также защищает жизни, но экономия денег корпорации по-прежнему занимает одно из первых мест в их списке приоритетов. Они предполагали, что чем больше людей зачислено при выплате меньшего количества грантов, тем больше денег поступает и меньше уходит, и, следовательно, чистая экономия, но это не всегда так. У них не должно быть заявленных целей, а вместо этого должна быть цель «максимизации прибыли» в сочетании с любыми соответствующими этическими целями, обеспечивающими это. сделано таким образом, что они могут жить с. Они не должны указывать точный способ зарабатывания денег. Может случиться так, что увеличение выплат, а также страховых взносов для обслуживания определенных людей с высоким доходом приводит к увеличению дохода, даже если это снижает чистый охват и, таким образом, нарушает обе заявленные цели.это правдоподобное мультипрограммирование целей, а не ошибка в том, как компьютер интерпретирует неоднозначные цели, а религиозно написанные цели (предполагая, что они были более строгими, чтобы прояснить эту ошибку ObjectiveConflictError), которые просто были плохо выбранными целями.

Конечно, даже если мы переопределим наши цели, чтобы помогать компании получать прибыль, сохраняя при этом нравственность и спасая жизни, у нас все еще могут быть проблемы...

* Зарегистрируйтесь сегодня, и один из наших врачей watson-cares переедет по улице, чтобы обслуживать каждую вашу ерунду!**

Если вы нанимаете достаточное количество людей и предлагаете достаточное количество льгот без выплат, ваша страховка может быть желательной даже при меньших выплатах из-за других льгот. конечно, эти другие привилегии могут превратиться в непостижимо большую сумму денег для содержания, обанкротив компанию за несколько месяцев, но эй, ты ничего не говорил о стоимости сотрудников.

Да, я предполагаю, что мы пересмотрели наши цели по экономии денег, да, я по-прежнему считаю это очень правдоподобной проблемой (ну ладно, вышесказанное — преувеличение, но вероятны аналогичные проблемы). Видите ли, наш нежесткий ИИ может учитывать только те переменные, которые он запрограммировал на то, чтобы знать, как с ними обращаться. Если я забыл написать алгоритм для расчета стоимости использования новой политики, то ИИ никогда не будет это учитывать, как бы сильно он ни работал, потому что на самом деле он неразумен. Мне нужно, чтобы я заранее определил, какие переменные он должен учитывать.

Конечно, у меня, скорее всего, будет алгоритм CalculateStaffSalaries(), это довольно очевидно. но будет ли у меня алгоритм calculateHROverhead(), учитывающий дополнительные расходы на управление дополнительным персоналом? будет ли у меня метод updateSalaryToAnticipatedMarketDemand(), который распознает, что использование такого большого количества врачей будет означать, что там будет меньше врачей, и, таким образом, оставшиеся врачи будут просить более высокие зарплаты, и в конечном итоге я искусственно завышу зарплату врачей до неприемлемо высокого уровня степень, или моя программа по-прежнему будет предполагать, что зарплаты врачей такие же, как и на момент запуска? Что, если я напишу свой метод updateSalary(), но мое понимание экономического спроса и предложения не идеально, потому что я не экономист, поэтому я ошибаюсь в математике и не точно предвидеть инфляцию заработной платы? если уж на то пошло, то, если я буду в совершенстве подражать всем нашим экономическим знаниям, рынок все равно может раздуться, потому что экономика не способна так надежно предсказать рыночные влияния.

Короче говоря, вполне возможно, что компания все же обанкротится, потому что ИИ не смог предвидеть расходы или издержки.

Мне бы это тоже сошло с рук, если бы не вы, вмешивающиеся дети, и ваша больная оспой собака!

Что, если алгоритм прекрасно написан, чтобы учитывать все переменные и уравнения, известные человеку, и после огромного количества вычислений он предлагает схему выплат, разработанную, чтобы сэкономить страховому агентству больше денег, предлагая девчонкам выплаты по вероятным проблемам, но предлагая очень заманчивые выплаты. для маловероятных вещей. Это был бы отличный трюк, соблазнить людей зарегистрироваться, потому что это выглядит великолепно, и при этом не нужно много платить. Ваш компьютеризированный манчкин идеально минимизирует вашу систему.

А потом оказывается, что где-то инкубируется якобы стертая оспа, и происходит вспышка. Каждый звонит в свое страховое агентство, и оказывается, что наш полис предлагал выплату в 40 раз выше, чем обычно, для тех, кто заразился оспой, потому что мы воспользовались недостатком «банкротства в связи с оспой», чтобы помочь оплатить эту льготу «удобно« неправильно заполненное »исковое заявление». Проклятие каждого мини-максера, вы, должно быть, случайно расстроили GM, потому что сегодняшняя встреча затрагивает все ваши маловероятные недостатки.

Это преувеличенный пример, но проблема не так незначительна или игнорируема, как вы можете себе представить. У нас пока нет возможности предсказывать будущее, а это значит, что даже самый лучший ИИ не сможет предсказать возможные результаты. Это означает, что всегда есть шанс, что неудача приведет к незапланированному результату, который плохо кончится для нашей компании, основанной на искусственном интеллекте.

Но проблема немного хуже, чем это в некотором роде. В отличие от людей, компьютер будет пытаться полностью выполнить минимальные и максимальные вычисления, если я не напишу специальный код, чтобы избежать этого, программа выберет ситуацию, которая дает наилучший средний случай, даже если это означает создание ситуации, в которой невезение не поможет. просто вызвать у компании деньги, но полностью обанкротить ее. Это беспокоит только средний случай. Поскольку он не может предсказать все, он, таким образом, может выбрать политику, которая на 20% может привести к банкротству компании, если средний случай принесет больше всего денег.

Тем не менее, люди не интересуются средним случаем, мы обычно предпочитаем быть более осторожными здесь. Если бы я был генеральным директором WatsonCorp, я бы скорее согласился на «всего» 600 000 годовой зарплаты (фактическое среднее значение для генерального директора здравоохранения, спасибо, Google), чем на 10% шанс быть уволенным после того, как моя компания обанкротится. имеют 90% шанс заработать 660 000 зарплат. Дополнительная прибыль не поможет мне так сильно, как безработица повредит мне, и я не хочу идти на такой риск.

В мире программирования мы научились очень хорошо осознавать это. Когда мы рассматриваем алгоритмы сейчас, мы обсуждаем большой O программы, который (вроде) как быстро она работает в худшем случае, как все происходит, когда все идет не так. Это потому, что мы узнали, что, когда я запускаю программу каждый день в течение многих лет, этот «маловероятный» худший сценарий в конечном итоге возникает довольно часто, и нередко худший случай оказывается непропорционально плохим. Ну... это и то, что злонамеренные люди нередко намеренно разрабатывают сценарий наихудшего случая или сценарий наихудшего случая гораздо более вероятен, чем можно было бы ожидать случайным образом. Таким образом, хорошие программисты написали бы ИИ с пониманием того, какой сценарий наихудшего случая является приемлемым... но это легко забыть добавить. Если вы этого не сделаете, есть очень приличный шанс, что вы в конечном итоге столкнетесь с небольшой, но катастрофической потенциальной слабостью любого решения, которое создает ваш ИИ.

Далее в Scandal News мы узнаем, что Watson-International отказывается от процедуры спасения жизней для хронически нуждающихся в пособиях. Их роботизированный повелитель, путешествующий по сверхъестественной долине, объясняет, что хроническая болезнь требует слишком больших платежей за одну жизнь, новые меры по сокращению расходов позволяют платить за грудь в 10 раз больше. улучшения

Скорее всего, ближе всего к сценарию конца света со злым ИИ, а также немного более сомнительно предположить, что ИИ будет изощренным, чтобы вычислить это без участия человека. Однако каждый из этих сценариев может быть реализован с помощью мягкого ИИ с помощью генетического алгоритма или определенного хорошо написанного механизма вывода и вычислительных процессов.

идея проста, хронически больные требуют постоянных выплат в течение длительного периода времени, и поэтому их поддержка может быть довольно дорогой. Однако отказ платить за одну операцию по спасению жизни может отменить все будущие платежи для этого человека — вы знаете, он мертв и все такое, что сэкономит значительную сумму денег. Подход с генетическим алгоритмом может заметить, что неоплата некоторых операций приводит к тому, что в среднем выплачивается гораздо меньше денег, при этом ИИ не понимает, что это происходит из-за того, что люди умерли, например, без операции; ИИ знает только то, что отказ от этой операции означает меньшую выплату денег, и это все, что он рассчитывает.

На самом деле это результат недостатков приведенных выше примеров. Это неправильная настройка уровней приоритета, ИИ не ценит сохранение жизни так высоко, как должно было бы по сравнению с сокращением расходов. Однако это не обязательно должны быть спасательные операции. Возможно, неоплата определенной операции приводит к тому, что кто-то переходит в вегетативное состояние и в конечном итоге тратит меньше средств на его обеспечение. Возможно, требуются другие моральные стандарты, помимо отработанных жизней. Например, стандарт «относиться ко всем одинаково» может избежать преднамеренных нарушений в отношении определенных категорий людей, которые вызвали бы возмущение, если бы узнали об обратном.