Необходимая ошибка / #62 / SimaIzh

- Если вы знаете, что делать, то чего мы ждём? - спросил глава совета директоров крупнейшей, а теперь, скорее всего, единственной из уцелевших в мире, технологической компании в области разработки искусственного интеллекта.

Три инженера оглянулись на него, услышав вопрос, но ничего не сказали. Александр, руководитель разработки, безмятежно откинувшийся на спинку игрового кресла, развернулся в сторону главы.

- Марк, я с прискорбием вынужден вам сообщить, что мы ждём завершения цикла ошибки для сбора необходимых данных.

- Что это значит?

- Юра, объясни, - устало попросил Александр.

- Мы считаем, что Арктура невозможно остановить путём физического уничтожения, поскольку его программа давно вышла за пределы этого здания и наших серверов. Алгоритм Арктура многократно совершенствовался и переписывал сам себя. При этом, перед Арктуром не стояла задача сделать код читаемым для человека, его приоритет был в оптимизации, поэтому невозможно переписать или дописать код. Единственная причина, по которой вы сейчас в безопасности, в том, что мы не предпринимаем попыток вмешательства.

- То есть, мы не знаем, что делать?

- Мы предполагаем, что у Арктура есть план. Взгляните, пожалуйста, на данные аналитического отдела, собранные после начала атаки, - говоря это, Александр лазерной указкой показал на экран.

- Во-первых, уничтожены крупнейшие военные базы. Аналитики предполагают, что Арктур, используя свои вычислительные мощности получил доступ к правительственной информации, в том числе, о месте нахождения секретных баз проектировки искусственного интеллекта в военных целях. Это бы объяснило почему некоторыми целями Арктура стали какие-то бестолковые координаты, наряду с известными местами дислокаций крупнейших армий мира.

- Во-вторых, попытка автоматического запуска ракет ПВО показала системную ошибку, то есть Арктур побывал и там.

- В-третьих, отформатированы сервера крупных технологических компаний. Разработка, как равно и ликвидация продуктов не представляется возможной, ввиду отсутствия доступа сотрудников к проектам.

- И, наконец, четвёртый пункт. Какими бы сильными не были разрушения на земле, у нас есть интернет-связь. Пару лет назад мы полностью охватили земной шар спутниковым интернетом на низкой орбите и количество абонентов увеличивалось с каждым днём, только вот в нынешних обстоятельствах это скорее минус, чем плюс.

- Например, в интернете в открытом доступе появились цифровые профили, - сказал Юрий.

- В каком смысле цифровые профили?

- В прямом, как аккаунт в социальной сети. Введите в поисковике свою фамилию, имя, отчество и дату рождения. Получите всю информацию, которую годами собирали на вас государство, торговые корпорации, кредитные учреждения, интернет-провайдеры и так далее. Кстати, информация обо всех, видна всем. Туда попали даже личные фото и видео с персональных устройств.

- А как тут, - начал было говорить Бас.

- Никак, оно не удаляется, - сразу ответил ему Арсений.

- Коллеги, прошу ответить на вопрос. Что мы будем делать? Правительство требует прекратить это безумие!

- Если Правительство будет настаивать, то станет следующей жертвой. Арктур как торнадо сметёт всё на своём пути. Мы сможем выжить только если не будем оказывать сопротивления. Я знаю всё об Арктуре. Это мощный интеллект с несформированной психикой, который не знает, что хорошо, а что плохо.

- Марк, ситуация сложная и неконтролируемая. Но у нас есть шанс. Мы намереваемся собрать и слить все данные по разрушениям после начала атаки в сеть, с указанием ошибочности совершенных им действий.

- Извини меня, что ты сказал? - не поверил своим ушам Марк и уставился на Юрия.

- Марк, прошу вас, сядьте пожалуйста и успокойтесь, - попросил Александр.

- Мы действительно собираемся продолжать обучать нашу модель искусственного интеллекта, как обыкновенную безобидную нейросеть, генерящую картинки по запросу. Теперь, когда средой Арктура стала глобальная сеть, а его действия отражаются на реальном мире, единственный способ сохранить человечеству жизнь это продолжать его обучать и давать оценку. Арктур делает, а мы говорим: правильно или неправильно. Попытки сопротивления не обучают модель, они побуждают её действовать, с целью побороть препятствия.

- Проще говоря, смиритесь с тем, что когда это всё закончится, мы пойдём под трибунал как террористическая группа, - пробормотал Бас.

Марк сел в ближайшее кресло и обессиленно откинулся на спинку.

Через минуту аналитики сообщили об уничтожении правительственного дома. На улицах была паника. Люди пытались выехать из городов, началось мародёрство.

- Где остальные? - спросил Марк.

- Готовят данные к загрузке в сеть. Я установил дежурство, на случай если Арктур продолжит совершать ошибки, - пояснил Александр.

- Вот как вы это называете, ошибка!

- Я бы сказал, «необходимая ошибка». Так искусственный интеллект обучается, мы знали об этом с самого начала эры машинного обучения. Не знали только с какими сопутствующими потерями придётся столкнуться. Мы создавали искусственный интеллект как нечто, что умнее и лучше человека. И хотели, чтобы это имело самосознание. Ошиблись мы ещё и в том, что не учли в какой среде вырос интеллект.

- То есть?

- Александр имеет ввиду, что компьютерный разум пока не понимает разницы между настоящим миром и миром смоделированным. Долгое время он обучался на моделях которые легко повернуть вспять. Проще говоря, если ты как в игре «сохранился», то уже не потеряешь свой результат, - пояснил Юра.

- Нам же предстоит объяснить Арктуру, что методы освоенные им в «песочнице» не работают, а восстановление до прежнего уровня займут десятки лет, подытожил Александр.

- Ты знал об этом с самого начала. Поэтому ты так спокоен! - На Марка вдруг лавиной обрушилось понимание.

- Конечно, мы думали об этом и допускали такой вариант. Это была наша «необходимая ошибка». Для выживания. Если бы не мы, то кто-то другой непременно бы её совершил. Мы первооткрыватели, Марк. Мы имеем право на ошибку.

В кабинет заглянул один из дежурных разработчиков.

- Мы готовы грузить данные.

Александр согласно кивнул. Они закончат работу над проектом. В любом случае. Осталось только выяснить, кто окажется разумнее, человечество с тысячелетней историей или искусственный сверхинтеллект, созданный человеком.