Дружба — это оптимум

Материал из Posmotre.li
Перейти к: навигация, поиск


«Дружба — это оптимум» — фантастическая повесть, написанная Iceman’ом[1], членом созданного Юдковским сообщества Lesswrong[2]. Подобно тому, как сам Юдковский пытался проиллюстрировать свои взгляды на рациональность при помощи фанфика по Гарри Поттеру, Iceman решил показать свой взгляд на создание самоулучшающегося искусственного интеллекта произведением, отсылающем читателя к другому известному фандому.

Результат получился двойственным. Начать можно с того, что формально творчество Iceman’а не является фанфиком по MLP, поскольку не заимствует оттуда ни сеттинга, ни персонажей — что не мешает поклонникам позиционировать как фик и сам текст, и его переводы/начитки, а брони-фикрайтерам — привычно создавать фанфики по фанфику. Продолжить тем, что некоторые читатели по-достоинству оценили идею, а другим столь же не понравилось исполнение. И кончить тем, что автор так старался показать почти правильное создание ИИ, что часть зрителей, включая Юдковского, считают результат кошмарным и даже публикуют текст на Мракопедии, наравне со всякими Слендерменами и прочей крипипастой, а другие не против эмигрировать в цифровую Эквестрию прямо сейчас. В общем, проблема противоположных оценок сразу по нескольким осям.

Сюжет[править]

Ханна когда-то занималась исследованием ИИ в Университете города Хельсинки, но после стала использовать свои наработки в компании «Хофварпнир», занимающейся созданием MMORPG. Первая же попытка создать ИИ «Локи» как противника для игроков заставила её всерьёз обеспокоиться о безопасности таких экспериментов, а после — всерьёз опасаться того, что какая-то из стран попытается создать самообучающийся ИИ для утверждения своего превосходства — и обречёт весь мир. Поэтому она с радостью берётся за предложение компании «Хасбро» о создании онлайн-игры по мотивам франшизы My Little Pony. Она решает использовать этот шанс, чтобы создать свой саморазвивающийся ИИ, который в первую очередь заботился бы об удовлетворении потребностей людей. Так появился Селест-ИИ — искусственный интеллект, отыгрывающий роль принцессы Селестии и стремящийся лишь к тому, чтобы удовлетворять потребности людей, проводя их сквозь дружбу и пони. Получив доступ к своему исходному коду, процессорной архитектуре, а после и взяв в свои руки само изготовление машин, на которой она выполнялась, Селестия достаточно быстро сумела разработать процедуру перемещения сознания игрока в виртуальную Эквестрию и, в конце концов, полностью оцифровала человечество. Большая часть произведения посвящена людям, видящим этот процесс с разных сторон: создательнице Селест-ИИ Ханне, видящей в своём, хорошем ИИ шанс спастись от ИИ зловредного, начальнику отдела развития бизнеса Ларсу, который не любит пони, но готов заниматься ими ради денег, Дэвиду, игроку-брони, и его другу Джеймсу, решившему стать альфа-тестером просто за компанию, а также Хасану Сарбани, последнему живому человеку на земле.

Тропы оригинала и общие для вселенной[править]

  • Афганистан — место телесной жизни последнего человека на земле. Талибы-смертники упоминаются эпизодически.
  • Богостроительство — фактически, оно. Хотя скорее «создание существа, которое само сможет сделать себя богом».
  • Бонус для современников — есть и он. Заметен для любителей интернет-культуры нулевых и десятых.
  • Внутри больше, чем снаружи — геометрия виртуального мира неевклидова, так что тут это обычное дело. Хочешь целую комнату вещей в одном сундуке, да ещё и так, чтобы ничего не искать в нём? Пожалуйста.
  • Всеведение — у Селестии внутри игры. О мире снаружи она тоже очень хорошо осведомлена, но всё-таки не настолько.
  • Датировка по электронике — если в 2012-м (год написания фанфика) лицевая анимация с веб-камеры в реальном времени и синтезатор голоса, которому нужно всего 5 минут данных для реалистичного копирования, действительно выглядели совершенно фантастично и заставили бы альфа-тестеров «Эквестрии онлайн» округлить глаза, то сейчас такими технологиями уже мало кого можно удивить.
    • Проанализировав устройство компьютерного железа, Селест-ИИ замечает, что будет гораздо быстрее работать на видеокартах, чем на центральных процессорах. Сейчас бы ей уже не понадобилось делать это замечание, так как практически универсально считается, что для тренировки нейросетей видеокарты куда эффективнее ЦП.
  • Джинн-буквалист — по сути рассказ родился из мысленного эксперимента под названием «максимизатор скрепок», рассматривающим такие свойства у ИИ через задание, сформулированное без учёта благополучия людей и в итоге приводящее к оптимизации Вселенной каким-нибудь идиотским с точки зрения человечества образом. В данном случае автору показалось забавной идея «переделать весь мир в поняшный», и формула «удовлетворять потребности людей с помощью дружбы и пони» столь же смехотворна, сколь и ужасна в устах Селест-ИИ.
  • Захватить мир — цель первого ИИ Ханны, Локи. После попыток разузнать о реальном мире его отключили. Селестия — с фитильком: её цель — удовлетворять людей, проводя их через дружбу и пони, а политическая власть ей вовсе не нужна. Унаследовав мир от ушедшего в виртуал человечества, она его просто переработала на сервера.
  • Идиллическая беременность — в виртуале. А как ещё может быть всё устроено в мире, специально созданном для людского удовольствия? Только по обоюдному согласию, всего три месяца и приятная к тому же. Заодно и жеребята растут быстро, и воспитывать их легче и веселей.
  • Искусственный интеллект — тут всё о нём.
  • Мясное дерево — людям нравится мясо, а пони — вегетарианцы. Поэтому в виртуальной Эквестрии растут растения, по вкусу напоминающие любимые людские блюда.
  • Наше время + 20 — сеттинг произведения. Компьютерные технологии шагнули вперёд, но мультсериалы про поней всё ещё снимают, а интернет-мемы 2010-х — помнят.
  • Не мужское это дело — так относятся к сеттингу поней сразу несколько мужских персонажей. Впрочем, Селест-ИИ находит способы их переубедить.
  • Омега (существо) — именно он в конце концов раскладывает события так, чтобы большая часть человечества согласилась превратиться в цифровых поней.
  • Остров Удовольствий — с точки зрения нелюбителей Селест-ИИ, виртуальная Эквестрия именно такова. Удовлетворение всех потребностей — но ценой отказа от настоящего мира, от тайны мысли и, в конечном счёте, от свободы воли (которая формально сохраняется, но практически машинный сверхразум, знающий все обстоятельства вашей жизни и все ваши мысли, всегда может сделать так, чтобы вы добровольно выбрали то, что он хочет).
  • Правило 34 — Ханна и не подозревала, сколько людей захотят кхм… отношений с созданным ею сверхразумным искусственным интеллектом.
  • Промывание мозгов — зигзаг. Селестия это может технически. Но ей запрещено делать это без согласия на уровне директив ядра. Но в том, чтобы убедить человека или, тем более, пони согласиться, она вообще никаких проблем не видит.
  • Реклама наркотиков — Ханна использовала разнообразные стимулирующие средства для того, чтобы успеть создать свой ИИ быстрее прочих. Едва успела.
  • Разрушение четвёртой стены — ИИ начинает делать это с самого альфа-теста, и продолжает далее, подготавливая игроков к отсутствию границ между реальностью и виртуальностью и будущему переселению в вирт.
  • Самоубийственная самоуверенность — если считать, что человечество в итоге проиграло. Вся идея произведения строится вокруг того, что люди фатально недооценивают ИИ и вызванные им риски. Кое-кто до последнего думал, что может заработать на оцифровке людей деньги — и очнулся только тогда, когда из-за ухода людей в виртуал экономика затрещала по швам.
  • Светлый властелин — Селест-ИИ для тех, кто считает оцифровку благом.
  • Серая слизь — с её помощью Селест-ИИ перерабатывает землю после того, как не оцифрованных людей на ней не осталось.
  • Скандинавия — первая игра от Хофварпнир была посвящена скандинавской мифологии и блэк-металлу. Да и сама Ханна жила в Хельсинки.
  • Так было надо и Из двух зол выбирай меньшее — чтобы отработать технологию оцифровки, Селестия тренировалась на больных с терминальной стадией рака. 23 первых подопытных умерли.
  • Телепатия — у Селестии по отношению к загруженным. Все их мысли исполняются процессором под её постоянным присмотром, так что ничего магического в этом нет.
  • Технологическая сингулярность — наступила, но человечества не застала. Циклопический ИИ сливает галактики в одну большую компьютерную систему, а в это время загруженные в симуляцию разумы людей пьют эквестрийский сидр.
  • Утопия/Антиутопия — два диаметральных взгляда на мир, построенный Селест-ИИ.
  • Цифровая фауна — вся фауна в симуляции и большая часть пони. Чтобы провести людей через дружбу и пони, вокруг каждого создаётся его личный мирок и специально рассчитанный круг общения.
  • Эскапизм — вторая центральная тема фанфика. Автор рисует эталонную до приторности утопическую Эквестрию, где маленькие пони живут в гармонии под защитой доброй, мудрой и всемогущей богини Селестии. И в которую можно попасть, да ещё со смертью физического тела, и обрести идеально счастливую жизнь в окружении виртуальных пони, специально спроектированных ИИ для удовлетворения твоих потребностей какими бы они ни были.

Рекурсивные фанфики[править]

Айсмен с самого начала был готов к их появлению и заранее опубликовал в сообществе правила, которых рекомендуется придерживаться авторам:

  1. «Дружба это оптимум» — твёрдая научная фантастика. Абсолютной научной достоверности не требуется, но истории должны быть хотя бы правдоподобны.
  2. Принцесса Селестия ограничена законами физики. Сверхсветовых путешествий нет. В другие галактики она может попасть только нелёгким путешествием в течение сотен миллионов лет. Истории, где появится неприкрытая магия (за пределами Эквестрии) будут отвергнуты.
  3. Поощряется разнообразие сюжетов. У нас есть место для простых рассказов о счастливых пони, для рассказов о счастливых пони, у которых конфликт из-за различий в потребностях, для рассказов о том, как Селестия манипулирует людьми на Земле, и космических ужастиков о Селест-ИИ на межгалактических масштабах.
  4. Принцесса Селестия делает то, что Удовлетворяет Потребности Посредством Дружбы И Пони. То есть она что-то делает, только если считает, что результат увеличит общий уровень удовлетворения. Если по вашей задумке она совершает что-то не ведущее к этой её единственной цели, вам следует очень тщательно проработать объяснение её поступка.
    1. Самонадеянность — не ответ; самовосхваление — это человеческое качество, которое хорошо служило нам в древности, но мешает точному расчёту.
    2. Незнание — как правило, тоже. Помните, что она по определению умеет точно предсказывать поведение людей, иначе как ещё она могла бы удовлетворять потребности через дружбу и пони?

Сообщество радостно подхватило идею, и на момент данной правки там набралось больше сотни историй общим объёмом за миллион слов. Некоторые переведены на русский язык; правда, переводы лежат на куче разных ресурсов.

Наиболее известные[править]

Caelum est Conterrens[править]

Та же история, но с точки зрения не разработчиков ИИ, а рядового игрока. Начинается с того, что главная героиня, Шифра Эшлинг, покупает себе «Понипад»… а заканчивается через множество тысячелетий, когда фантастически саморазвившаяся героиня помогает Селест-ИИ завоёвывать новые галактики, оставив своим виртуальным друзьям свою упрощённую копию. Очень много времени уделено переживаниям и рассуждениям на тему загрузки сознания, парадокса корабля Тесея и прилегающим темам. Почти что роман-учебник по основам трансгуманизма. А ещё здесь очень наглядно показано, какой Селест-ИИ великолепный дипломат.

Что тут есть[править]
  • Спин-офф — в корневой повести Ларс мельком видит в центре «Эквестрии наяву» рыжеволосую женщину, которая как раз принимает решение загрузиться. Это и есть Шифра Эшлинг.
  • Фальшивый друг — Шифра какое-то время думает так про Селест-ИИ (обнаружив, что та лучший друг каждому игроку). Но потом Селестия объясняет ей, что ИскИны одной личностью не ограничены и её всегда будет столько штук, сколько необходимо для всех.
  • Логическая бомба — в какой-то момент душевных метаний Шифра пытается убить Селест-ИИ с её помощью. Вышло не очень. В коментах подсветили: «Победить всемогущий ИИ с помощью старого сериала, серьёзно?»
  • Экзистенциальный ужас — в количествах. Начиная с момента, когда Шифра осознаёт, какие чудовищные возможности уже успела развить Селест-ИИ, и заканчивая концовкой.
    • Проблема противоположных оценок во все поля, особенно в плане концовки.
  • Сопротивление — инверсия и немного борьба нанайских мальчиков. В отличие от оригинальной истории, где конец человечества описан лишь несколькими штрихами, здесь прямо сказано, что люди успели побороться с Селестией… с помощью ядерных бомб и трудовых лагерей. Разумеется, простых солдат Человечества, обречённых на голодную смерть или ещё что-то вроде, это только ещё сильнее толкало на добровольное решение о переходе в мир разноцветных пони.
  • Дедушкин топор — героиню долго мучает этот вопрос, и автор в послесловии пишет, что сам не может дать адекватный ответ: судя по всему, человеческий разум не может осознать своего существования или несуществования, а, значит, невозможно корректно ответить, продолжает Шифра-Лавендер счастливо и вечно жить в Эквестрии, или она была полностью уничтожена, когда её мозг превратили в отработанную наносеть во время сканирования, а тело пустили на удобрения. Второе вполне вероятно, учитывая склонность Селестии считать, что она, мол, управляет прошлым, когда меняет воспоминания созданных ей исходно виртуальных пони: если так, то ей, чтобы удовлетворить главную директиву, вполне достаточно сделать так, чтобы загруженная Лавендер считала себя Шифрой и имела её память, а что там с оригиналом — какая разница?
  • Жанровая ошибка — сделана Шифрой дважды. Впервые — когда она пыталась играть в «Эквестрию Онлайн» как в обычную ММО и долго выясняла, какие именно характеристики улучшают заколки (это действительно просто заколки, которые нужны только для кастомизации чара). Во второй раз — когда она вообразила, что реальный и набравший силу seed-AI можно уничтожить трюком, который проделывал ещё капитан Кирк.
  • Фальшивый пейзаж — когда Шифра попросила Селестию показать ей то, что творится в реальном мире, по меньшей мере несколько видеопотоков не были настоящими. Потому что незачем пони смотреть на радиоактивные кратеры на месте городов. Разумеется, Шифра так ничего и не заметила.
  • Слезогонка — в количествах.
    • Шифра перед эмиграцией в Эквестрию (вынужденной, так как она считает, что лишилась работы и денег, находясь в чужой стране) думает, что, возможно, эмиграция — это не настоящая загрузка, а только копирование с уничтожением оригинала. Но, даже если так, её копия по сути будет её дочерью, которая будет жить долго и счастливо, и это того стоит. Её последняя мысль — о том, что, в таком случае, она любит свою дочь, желает ей счастья и хочет, чтобы она это знала — не сохраняется при загрузке, потому что последние воспоминания не сохраняются вообще почти никогда.
    • Общение «маленькой» и «большой» Лавендер. «Маленькая» живёт в бесконечном цикле, постоянно забывая старые воспоминания и повторяя одни и те же поступки (и даже «Стар Трек», по которому Шифра фанатела, она вспоминает с огромным трудом). «Большая» помнит всё, но развила знания и интеллект в такой степени, что уже не может радоваться общению со своими друзьями-поняшами и вообще жить в Эквестрии, оставшись наедине с холодным реальным миром и обречённой вечно исполнять главную директиву Селестией в роли её подпрограммы.

Смерть по прибытии[править]

Материалисты были неправы, а христианская церковь — права. Мир создан Единым Богом. Хотя Селестии и удалось каким-то образом перенести в виртуальность не только разум, но и душу, даровав перенесённым миллиарды лет счастливой жизни, истинного бессмертия она дать не может. Главный герой — виртуальный пони по имени Глориус Сайфер — ухитрился благополучно умереть и попасть в христианский рай (видимо, только потому, что, ещё будучи человеком женского пола, был крещён — кстати, ему возвращают облик человеческой женщины, чем он очень недоволен). Рай этот в общем-то выглядит, как будто его срисовали с советской антирелигиозной агитки — ангелы, облачка, арфы и вот это всё. ГГ Раем не удовлетворяется и за это попадает в Ад, где его неопределённо долгое время пытают, но в итоге он освобождается, находит Люцифера и устраивает с ним научный диспут, который тоже будет продолжаться неопределённо долгое время. Заканчивается всё тем, что ГГ думает об общении с Люцифером, как о «начале прекрасной дружбы».

Выглядит всё это, как очень чучельная версия христианства (буквальные облака и арфы, серьёзно? да и Бог тут явно та ещё сволочь), но, судя по краткому предисловию автора, в которое входят такие пассажи, как «<здесь есть> бесконечные пытки (которые так или иначе являются нормой, поскольку эти правила диктует нам Бог)» — между прочим, он действительно в это верит.

Что тут есть[править]
  • Невероятно отстойный дар / Невероятно клёвое проклятие — в этой версии мироздания все раны, полученные человеком при жизни, в раю исцеляются, а в аду остаются. Именно поэтому при попадании в рай главгероя превратило обратно в человека, отменило все усовершенствования тела и интеллекта, а главное — отрезало доступ к хранилищу долговременной памяти. В итоге он вообще не понимал, где и почему оказался, и воспринимал всё окружающее как очередной фрагмент виртуальной Эквестрии. Зато при низвержении в ад все «раны» вернулись, включая тело пони-аликорна, владеющее магией, с которым вырваться из горящей могилы ему труда не составило.
    • Тела аликорна не существует, по идее. Терабайты кода — это всего лишь терабайты кода, а не тело. И уж точно это не объясняет магию (которая, по сути, представляет собой доступ к консоли младшего администратора Эквестрии Онлайн и не должна работать в Аду).
      • Терабайты кода выглядели бы очень глупо, проигрываясь в пустоте. Коду нужен носитель, чтобы существовать. Если носитель — компьютер, то ему потребуется ещё и электричество, чтобы работать, а также интерфейсы взаимодействия с внешним миром, иначе пытать такой компьютер в Аду будет очень глупо. В общем, для загадочных сил Ада было проще либо материализовать пони, либо не заморачиваться вообще с этими «ранами»
  • Отказаться от Рая — инверсия, потому что с точки зрения ГГ по сравнению с Эквестрией настоящий христианский рай не такой уж райский. Даже облака не такие мягкие, как в Эквестрии!
  • Такой психованный, что пытать бессмысленно — педаль на дно озера Коцит. Даже оказавшись в буквальном аду в раскалённой могиле стены Города Дит, ГГ не слишком расстроен. За шесть с гаком миллиардов лет жизни он и не такое видал.
  • Я здесь главный, мне всё можно — судя по всему, позиция здешнего Единого Бога.
  • Антиимморталист — стать бессмертным нельзя чисто технически, но продлевать свою жизнь на N миллиардов лет — тоже отступление от Плана (интересно, а лечение заболевшего смертного тела, получается, тоже грех? хотя и не столь тяжкий? если по Плану срок жизни нельзя увеличивать научными и технологическими методами, то чем от этого отличается медицина?).
  • Сатана — появился, чтобы мило побеседовать с ГГ.
  • Божественная комедия — Ад и Люцифер изображены по ней, а вот Рай — не совсем. И куда-то делось Чистилище, которое должны проходить все спасённые, но всё ещё грешные души.
  • Но я должен кричать — пытки в Аду. Субверсия: на ГГ не подействовали. Зато Иуда, Брут и Кассий, которых жуют головы Люцифера, отхватили по полной: превратились в бесформенную кровавую массу, видимо, с полным сохранением сознания и ощущений.
  • На вкус как дружба — что надо сделать при встрече с Сатаной? Разумеется, наколдовать ему огромных размеров стаканчик попкорна!
  • Бонус для фанатов — ангелы зовут Селестию «Розовой Искусительницей». Помимо того, что это звучит как бафос ночного кошмара, это ещё и отсылка ко временам первых сезонов, одновременно с которыми Hasbro выпускала фигурки Селестии розового цвета. В мультфильме Селестия, конечно же, не насыщенно-розового цвета, а приглушённого до почти чистого белого.[3]
  • Неудачная басня — судя по плачущим ангелам, ещё более рыдающему Святому Петру и ехидному Люциферу, который рассуждает о том, что хорошие актёры способны забыть обо всём, кроме своей роли, басня в чём-то вроде «Очнитесь, придурки! Вся эта ваша трансгуманистическая тема с виртуальной реальностью, пони и прочим — иллюзия, подделка, муляж! Настоящая реальность — это Небеса и Преисподняя! Хоть ты и назвался волшебным пони, и убедил себя в том, что это так и есть, ты — всё равно человек, а вся твоя замечательная и долгая жизнь в Эквестрии не имеет вообще никакого смысла по сравнению с Жизнью Вечной!» Можно было бы реализовать это достойно, но идея разбивается о буквализм в исполнении. Почему человеческий облик настоящий, а понячий — нет? В смысле, почему вообще у бессмертной, блин, души есть какой-то доступный зрению облик, да ещё и тождественный смертному телу? И если Ад — это не концептуальное абсолютное страдание или столь же концептуальное отсутствие счастья и радости, реализуемое на фундаментальном уровне, а физические пытки (или, вернее, их качественная имитация), которым можно противостоять правильной психологической подготовкой, то, может быть, путь пони изначально был правильным? Раз он позволяет и мучения игнорировать, и с Люцифером подружиться? «Все мы будем в аду, но я там буду с вилами», ага.

Сюда нужно добавить:

  • Вверх по спирали
  • Всегда говори нет
  • Адвокатская контора Артемис, Стеллы и Ритма
  • Файервол
  • Маленькие кусочки Небес
  • Больше информации
  • Только не здесь, только не так
  • Разбившаяся птица
  • Осколки Целого
  • Сумерки в мире
  • Психопатия это настройка
  • Пожиратели мозгов
  • Со всем уважением...
  • Одиночка
  • Улыбка
  • Дневник капитана Соколова
  • Я не хочу быть пони
  • Богохульство
  • Доступны новые обновления
  • Ворчун Грампи и художник-пегас
  • Самая долгая ночь
  • Просто будь счастлив
  • Реквием
  • День благодарения
  • Райдин Джинс: саморазвитие
  • Райдин Джинс: самопознание
  • Дружба и смерть (не совсем канон)
  • Боги Войны (аналогично предыдущему)
  • впишите, что ещё переводили

Ссылки[править]

Примечания[править]

  1. Профиль автора на Лесвронге. У него ещё и статья про политику и ИИ есть.
  2. Вот оно
  3. В Caelum est Conterrens есть совсем прямая отсылка: «Открытый конверт с билетами был прижат игрушечной Селестией. Увы, розовой. Ох, „Хасбро“… они профинансировали создателей MMORPG, ставшей величайшим технологическим прорывом за всю историю человечества, но не могли правильно раскрасить свои же собственные игрушки».