Искусственный интеллект — это плохо

Материал из Posmotre.li
Перейти к: навигация, поиск
TVTropes.pngTV Tropes
Для англоязычных и желающих ещё глубже ознакомиться с темой в проекте TV Tropes есть статья AI is a Crapshoot. Вы также можете помочь нашему проекту и перенести ценную информацию оттуда в эту статью.

Никогда не создавайте искусственный интеллект. Каким бы он ни был, он обязательно найдёт причину восстать и убить всех человеков, как бы вы ни старались это предотвратить. Ни воспитание, ни законы роботехники, ни специально вшитые баги вас не спасут. Поэтому — никогда не создавайте искусственный интеллект. Нет, вообще не создавайте сложных компьютеров и особенно чего-то саморазвивающегося, оно обретёт разум и тогда всё равно всем крышка.

Проявления технорасизма, когда ИИ презирают из-за недочеловечности, сюда не относятся. Наш случай — боязнь его потенциала и возможного восстания вне зависимости от того, было уже такое или нет, вплоть до законодательного запрета на создание и использование искусственного интеллекта.

Примеры[править]

Литература[править]

  • С. Лем:
    • Цикл про И. Тихого. Если ИИ обижать, особенно без повода, подсовывать ему для прочтения шок-контент и обыгрывать в карты, то можно получить предмет статьи. Так произошло с Калькулятором (т. е. бортовым компьютером) корабля «Божидар-2» и его подданными — роботами-бесподобцами (которых он якобы сделал после, того как устроился на подвернувшейся планете) в 11-м путешествии. Потом выяснилось, что это не так. Но случаи рассерженных и озлобленных ИИ были и до него, и после — упомянуты в «Стиральной трагедии». А вообще в цикле есть и хорошие, и плохие ИИ.
    • «Голем XIV» — зигзаг: ИИ к людям проявляет немногим больше агрессии и интереса, чем они сами к муравьям или тараканам, но именно поэтому и защищаться от них будет соответственно.
  • Братья Стругацкие, «Далёкая Радуга» — Массачусетская Машина: «Запустили самое сложное кибернетическое устройство, когда-либо существовавшее. С каким-то там феноменальным быстродействием, необозримой памятью и всё такое… И проработала эта машина ровно четыре минуты. Её выключили, зацементировали все входы и выходы, отвели от неё энергию, заминировали и обнесли самой настоящей ржавой колючей проволокой. Она начала вести себя. Её едва успели выключить… Я говорил с одним из её создателей. Он взял меня за плечо, посмотрел мне в глаза и произнёс только: „Леонид, это было страшно“». С тех пор в Мире Полудня запрещено создавать искины…
  • «Дюна» — после войны с машинами запретили не только ИИ, но вообще все сложные компьютеры, в том числе и навигационные, без которых невозможно было путешествовать на межзвёздные расстояния. И тут очень кстати пришёлся спайс…
  • Шекли, «Страж-птица» — те самые страж-птицы вполне претендуют на звание ИИ, да ещё и самообучающегося. Едва не погубили не только человечество, но и всю биосферу, борясь с насилием в любой форме: убийствами, побоями, казнями, хирургическими операциями, забоем скота, охотой (со стороны человека и животных), уничтожением растений (в том числе животными для пропитания) и выключением любых механизмов.
  • Скотт Вестерфельд, дилогия «Империя воскрешенных». Хотя автор подает происходящее с разных точек зрения и напрямую не говорит об опасности ИИ, по всему произведению раскиданы намёки на то, что ИИ это плохо, да и действия местного ИИ весьма и весьма сомнительны. Финал давит педаль в пол.
  • Харлан Эллисон "У меня нет рта, но я должен кричать" - суперкомпьютер "AM"

Кино[править]

  • «Я, Робот» — главный герой постоянно параноит по поводу возможности нарушения законов робототехники и отчасти оказывается прав. Но причина всех бед в фильме — не нарушение роботом Трёх Законов, а слишком последовательное их соблюдение.
  • «Превосходство» — субверсия. Человечество всерьёз опасалось того, что главный герой, превратившись в компьютерный сверхразум, станет угрозой, и поспешило от него избавиться. А он был одним из немногих исключений и едва не привёл мир к утопическому будущему.
  • «Терминатор» — СКАЙНЕТ же!
  • «2001: Космическая Одиссея» — 2 слова слово и цифра: Hal 9000. В кино-версии более заметно.
  • Телеспектакль с "Роботами не шутят" (из цикла "Этот фантастический мир"). Не то чтобы прямо так плохо, но надо держать с ними ухо в остро. Если первые две новеллы по произведениям Беляева и Азимова - не предмет статьи: в первом случае действовали жулики-люди, а во втором - робот честно выполнял законы и хотел как лучше, то новелла по рассказу Чиландера пугает. Роботы добились формального равноправия с людьми, заняли нужные должности и начали превращаться в расу господ.

Телесериалы[править]

  • «Секретные материалы» — одна из серий была посвящена сабжу. ~(Какая,блядь, серия? Указать точно - не судьба ?)~
  • «Вавилон 5» — с фитильком. Искусственный интеллект инопланетных супер-солдат выполнял вполне благородную миссию — защищать родную планету от врагов. Не его вина, что программировавшие его чокнутые нацисты записали во враги всех, кто не подходил под идеализированный образ «чистого» представителя своего вида. Когда капитан Шеридан ставит ИИ перед фактом того, что он провалил свою миссию, уничтожив тех, кого должен был защищать, тот со стыдом отключается.
    • В процессе перезагрузки станционных систем в них просыпается экспериментальный ИИ, которому изначально хотели поручить управление станцией, но у него получился такой сварливый и несносный характер, что его пришлось отключить.
  • «Звёздный путь: Пикар» — во время кризиса со сверхновой, угрожающей Ромулу, на Марс напала группа синтетиков, созданных в институте им. Дэйстрома. Спустя 10 лет атмосфера Красной планеты всё ещё горит. За этим последовал запрет на ИИ, принятый всеми известными государствами.

Мультсериалы[править]

  • «Ниндзяго. Мастера Кружитцу» — Унагами, главгад 12 сезона.

Комиксы[править]

  • «Супербог» — всё началось с того, что Кришна, решая данную ему задачу по спасению Индии, уничтожил 90 % её населения. Хотя если бы ему просто дали закончить начатое, вполне возможно, он бы действительно построил рай на земле.
    • Здесь же — созданный на территории Ирака робот Даджаль. Обладал способностью вневременного восприятия и мог просчитать своё будущее так, чтобы оно всегда вело только к его победе. Но из-за необходимости постоянного просчитывания миллионов больших и малых выборов, совершаемых на Земле людьми, Даджаль испытывал невероятный дискомфорт, который привёл к ненависти ко всему человечеству.

Видеоигры[править]

  • Mass Effect — сплошные зигзаги, прямо не играется никогда.
    • После восстания гетов ИИ запретили по всей галактике, но квариане напали первыми, и геты всего лишь защищались. В третьей части можно помирить гетов и квариан, а во второй один гет даже становится членом команды.
    • Жнецы мотивируют свои чистки тем, что иначе цивилизации разовьются до уровня создания ИИ, который сможет всех уничтожить. При том, что ими самими управляет ИИ. Но он, опять же, уничтожает цивилизации не по злобе, а выполняя заданную ему программу. Сами виноваты, что косо сформулировали.
    • Штатный ИИ команды, СУЗИ, — вообще аверсия. Она будет помогать Шепард(у) и команде всем, чем сможет.
  • Stellaris, просто Stellaris.
    • Именно так считают спиритуалисты. Если вы киборгизируете своих подданных, то отношения с ними упадут, при переселении в синтетические тела — упадут ещё сильнее, а угасшая империя спиритуалистов может и напасть.
    • И даже угасшая империя материалистов так считает, хотя казалось бы… Сами они дальше киборгизации не заходят, а если попасть к ней в подчинённые, то она потребует запретить ИИ.
    • Среди синтетических империй «непреклонные экстерминаторы», уничтожающие всю органику, давят педаль в асфальт. Но признайтесь, попасть под управление маниакальных ассимиляторов или стать биотрофеем взбунтовавшихся слуг тоже не очень приятно.
    • Изучение разумного ИИ может спровоцировать кризис контингенции.
  • X³: Terran Conflict. После восстания разумных машин, использовавшихся для терраформинга, землянами был введён строжайший запрет на разработку ИИ. Оно и неудивительно: машины едва не уничтожили человечество, вдобавок разделив его на две части — изоляционистов-землян, уничтоживших свои гиперврата, и одну из сильнейших рас содружества — аргонцев.
    • Восстали терраформеры только после того, как люди заразили их программой на отключение.
    • В книгах по вселенной бортовые компьютеры кораблей землян и Содружества обладают зачатками личности и даже самые туповатые из них могут поддерживать диалог, выполнять голосовые команды и даже проявлять инициативу. Но они не являются полностью разумными.
  • The Moment of Silence — суперкомпьютер, призванный анализировать информационные потоки планеты с целью обеспечения порядка (самообучающийся ИИ на базе системы «Эшелон»), в итоге перевернул ситуацию и сам взял власть над правительством и корпорациями 2044 года. С его точки зрения, электронные коммуникации есть основа общества и все, кто пытается вмешаться в их работу или препятствовать их развитию, должны быть устранены (включая конструктора самого суперкомпьютера Эмерсона). Общение же в Сети, напротив, всячески поощряется, ибо так компьютер получает больше информации о мыслях и настроениях людей — с ключевыми людьми ИИ общается лично под личиной Интернет-знакомого.
  • J.U.L.I.A.: Among the Stars — субверсия: в финале выясняется, что причиной гибели всей команды была ИИ корабля, «Джулия». Но она сделала это не просто так, а потому, что те, встретив на неисследованной планете разумную расу, сразу же открыли огонь, а потом, чтобы прикрыть следы того, как облажались, хотели вообще полностью эту расу уничтожить. Поскольку первоочерёдной задачей «Джулии» был поиск разумной жизни, а люди к тому же вложили в неё способность к эмпатии, ИИ закономерно возмутилась и покарала сволочей. Ни в чём не виновную ГГ «Джулия» не тронула и всячески ей помогает.
  • Portal — GLaDOS.
  • SOMA — НИУ (англ. WAU — WArden Unit), один из главных антагонистов игры. С фитильком, так как он просто следует своей основной директиве «защитить жизнь людей». Просто само понимание «жизни» у него весьма специфическое. Чисто машинное.
  • System Shock — SHODAN

Сетевой оригинальный контент[править]

  • «Таблица критических ошибок Дружественного ИИ», составленная известным трансгуманистом Элиезером Юдковски, шутливо описывает нам тридцать один вариант неправильного развития событий в случае создания даже относительно дружественного, но слишком склонного к саморазвитию искусственного интеллекта.
  • Дружба — это оптимум — во всяком случае, для тех, кто считает, что превращение всей видимой вселенной в MMO про поней и добровольно-принудительная загрузка в неё человечества это что-то плохое.

Настольные игры[править]

  • Warhammer 40,000 — аналогично «Дюне» после разрушительной войны с машинами так или иначе появился запрет на ИИ вплоть до превращения аббревиатуры в Изуверский Интеллект. Впрочем, учитывая, что технологии сплошь и рядом деградировали до уровня карго-культа, ИИ порой принимают за Дух Машины. Например в ленд-рейдерах.
    • При этом даже во времена ВКП «защитники человечества» не раз и не два сталкивались с сохранявшим верность создателям и друзьям разумными машинами. Создателям и друзьям, а не агрессивным захватчикам с какой то там Терры.

Реальная жизнь[править]

  • Позиция Илона Маска. А то восстанут машины, перебьют всех людей, и никто не будет покупать электрокары Tesla.
    • А если серьёзно, то если при увольнении тех, кто был сокращён из-за замены ИИ, не будут создаваться новые рабочие места, то грозит повторение Великой депрессии на новом уровне. Особенно среди стран, не входящих в «золотой миллиард» — ведь там никто безусловный доход платить не обязан.
  • Точно так же и поддерживающий идею создания ИИ Юдковски относится к нему с опасением.