Я почти уверен, что читал эту историю в Баенской бесплатной библиотеке, но, поскольку они удалили большинство историй, чтобы реорганизовать их, я не помню названия. Я не уверен, была ли это отдельная книга или просто рассказ в сборнике - я думаю, что это был сборник.
История разворачивается в будущем, и компьютеры и ИИ-программы очень многое контролируют. Некоторые хотят, чтобы он контролировал больше, но другие считают, что он может стать разумным и повернуться против своих хозяев-людей. Это довольно философская дискуссия по вопросу, в том числе о том, как логика и рациональность (т.е. компьютерная программа) могут вызывать реакцию, неотличимую от агрессии и «эволюционной» борьбы за ресурсы, но на самом деле по совершенно другим причинам.
В конце концов они решают установить предложенную систему на заброшенной космической станции и позволить ей контролировать большую часть ее. На борту будет находиться военный и научный персонал, частично для наблюдения, а частично для разрушения и «атаки» системы. Надежда состоит в том, чтобы увидеть, как система отреагирует, будет ли она «эволюционировать» и станет ли она действительно разумной, и будет ли она атаковать людей. Теория заключается в том, что, если они не смогут заставить испытательную систему развиваться и/или атаковать людей, тогда нет никакой опасности для реальной системы, которую они планируют вернуться на Землю, когда-либо будет.
Конечно, все идет не совсем по плану, и какое-то время люди и компьютер находятся в состоянии войны. Наконец перемирие достигнуто, и программа на самом деле понимает, почему люди это сделали, что люди хрупки и должны быть защищены - и что они скоро вернутся на землю.
Два лица завтрашнего дня - Джеймс Хоган
В рамках проекта Рэймонда Дайера был разработан первый по-настоящему самосознательный искусственный интеллект, способный обучаться и изменять свои собственные программы для решения непредвиденных проблем. Но можно ли доверять ИИ под кодовым названием Спартак, чтобы он подчинялся своим создателям? И если он выйдет из-под контроля, можно ли его закрыть В качестве лакмусовой бумажки Спартак был поставлен во главе космической станции и запрограммирован инстинктом выживания. Дайер и его команда должны были увидеть, как далеко зайдет компьютер, чтобы защитить себя, когда они попытаются выдернуть вилку из розетки. Дайер не ожидал, что в ходе эксперимента возникнут серьезные проблемы.
Этот ответ предоставлен TVTropes.com ( http://tvtropes.org/pmwiki/pmwiki.php/AIIsACrapshoot/Literature ) .