Генри Киссинджер, Эрик Шмидт, Дэниел Хаттенлокер

Искусственный разум и новая эра человечества

В книге упоминаются социальные сети Instagram и/или Facebook, принадлежащие компании Meta Platforms Inc., деятельность которой по реализации соответствующих продуктов на территории Российской Федерации запрещена.

Переводчик Камилл Ахметов

Редактор Евгения Якимова

Руководитель проекта А. Туровская

Дизайн обложки Т. Саркисян

Корректор Е. Якимова

Компьютерная верстка О. Щуклин

© 2021 by Henry A. Kissinger, Eric Schmidt, and Daniel Huttenlocher

© Издание на русском языке, перевод, оформление. ООО «Альпина ПРО», 2022

Все права защищены. Данная электронная книга предназначена исключительно для частного использования в личных (некоммерческих) целях. Электронная книга, ее части, фрагменты и элементы, включая текст, изображения и иное, не подлежат копированию и любому другому использованию без разрешения правообладателя. В частности, запрещено такое использование, в результате которого электронная книга, ее часть, фрагмент или элемент станут доступными ограниченному или неопределенному кругу лиц, в том числе посредством сети интернет, независимо от того, будет предоставляться доступ за плату или безвозмездно.

Копирование, воспроизведение и иное использование электронной книги, ее частей, фрагментов и элементов, выходящее за пределы частного использования в личных (некоммерческих) целях, без согласия правообладателя является незаконным и влечет уголовную, административную и гражданскую ответственность.

* * *

Авторы посвящают эту книгу Нэнси Киссинджер.

Уникальное сочетание ее элегантности, благородства, мужества и ума – большой дар для всех нас.

Введение

Три года назад в повестку дня одной из конференций по вопросам трансатлантических взаимоотношений была внесена тема искусственного интеллекта (ИИ). Один из будущих авторов этой книги был готов пропустить заседание, не желая участвовать в технических обсуждениях, но послушал совета коллеги, утверждавшего, что очень скоро ИИ затронет почти все сферы человеческой деятельности.

Многочисленные дискуссии по результатам этого события и привели в конечном счете к появлению книги, которую вы держите в руках. Вопросы, которые обсуждались на заседании, уходили вглубь веков больше чем на 500 лет. Но обычному руководителю, занятому своим бизнесом, как правило, не до размышлений об исторических преобразованиях в обществе, экономике, внешней и внутренней политике – и их последствиях. И мы при поддержке наших друзей из разных технологических и гуманитарных сфер организовали серию неформальных обсуждений этих тем.

Популярность ИИ растет с каждым днем, это происходит повсеместно. Разработке и внедрению ИИ учится все больше студентов, которые планируют работать в этой или одной из смежных областей. В 2020 г. американские ИИ-стартапы привлекли почти $38 млрд финансирования, китайские – $25 млрд, европейские – $8 млрд[1]. Правительства США, Китая и Европейского cоюза (ЕС) созвали комиссии высокого уровня для изучения ИИ. Политические и корпоративные лидеры регулярно объявляют о своих целях «победить» в области ИИ или по крайней мере внедрить ИИ и адаптировать его для решения своих задач.

Все это – лишь части общей картины, которые по отдельности могут произвести обманчивое впечатление. ИИ – это не отрасль и тем более не отдельный продукт. Говоря стратегически, это даже не «область». ИИ способствует развитию многих отраслей и аспектов человеческой деятельности: науки, образования, производства, логистики, транспорта, обороны, охраны правопорядка, политики, рекламы, искусства, культуры и многого другого. Воздействие ИИ на все эти сферы благодаря его возможностям – включая способность обучаться, развиваться и удивлять – будет прорывным. Нас ждут такие изменения человеческой идентичности и человеческого восприятия реальности, каких в современном мире еще не случалось.

Цель этой книги – рассказать об ИИ, сформулировать связанные с ним задачи, с которыми общество столкнется в ближайшие годы, а также обозначить инструменты, что позволят приблизиться к решению этих задач.

ИИ ставит огромное количество вопросов:

● Что такое война с использованием ИИ?

● Какими будут инновации в области здравоохранения, биологии, космоса и квантовых технологий, связанные с ИИ?

● Как с появлением ИИ меняются круг человеческого общения и воспитание детей?

● Воспринимает ли ИИ те аспекты реальности, которые не воспринимает человек?

● Как меняет людей участие ИИ в координации и управлении?

● Что значит «быть человеком» в эпоху ИИ?

Обсуждение этих и других вопросов мы вели в течение последних трех лет, пытаясь осмыслить возможности и проблемы, связанные с появлением ИИ. Мы хотели понять, что такое ИИ, чего он может достичь и во что это выльется. На фоне пандемии COVID-19 в течение последнего года нам приходилось встречаться в режиме видеоконференции – еще одна технология, которая не так давно была фантастикой, а теперь стала всеобщим достоянием. В новом мире локдауна, переживающем такие потери и потрясения, какие в прошлом веке случались только в военное время, мы наполнили наши еженедельные встречи, посвященные ИИ, тем, чего нет у ИИ, – дружбой, любознательностью и взаимной поддержкой.

Нельзя сказать, что все мы смотрим на ИИ одинаково оптимистично. Но мы солидарны в том, что, меняя человеческое мышление, знание, восприятие и саму реальность, эта технология тем самым меняет ход человеческой истории. Мы не собираемся прославлять ИИ и не пытаемся его проклинать. ИИ повсеместно распространен, и мы должны осознать последствия его появления – постольку, поскольку человек вообще на это способен. Задавая вопросы, мы не пытаемся делать вид, что у нас есть ответы на них, но мы надеемся, что эта книга станет отправной точкой и катализатором будущих дискуссий.

Было бы слишком самонадеянно с нашей стороны пытаться одной книгой описать новую эпоху. Ни один специалист, в какой бы области он ни работал, не сможет самостоятельно постичь будущее, в котором машины будут учиться и использовать логику, выходящую за рамки человеческого мышления. Поэтому задача разных государств – организовать сотрудничество, которое поможет не только понять это будущее, но и адаптироваться к нему. Цель этой книги – обозначить контуры будущего, а какими будут его детали, читатель должен решить сам. Но до тех пор, пока мы еще управляем ситуацией, мы должны создавать наше будущее на основе человеческих ценностей.

Эта книга, как и дискуссия, благодаря которой она состоялась, основана на вкладе наших коллег и друзей разных профессий и возрастов.

Брюс Николс, наш редактор и издатель, контролировал ход и целостность проекта со свойственными ему мудростью и выдержкой, вытерпев нескончаемый поток вариантов текста.

Ида Ротшильд отредактировала книгу с присущей ей точностью. Наша благодарность распространяется также и на посла Саманту Пауэр, которая дала нам столь ценную рекомендацию.

Мустафа Сулейман, Джек Кларк и Майтра Рагху, опираясь на свой опыт новаторов, исследователей, разработчиков и преподавателей, предоставили бесценные отзывы о рукописи.

Роберт Уорк и Илл Баджрактари из Комиссии национальной безопасности по искусственному интеллекту (NSCAI) дали себе труд прокомментировать черновики главы, посвященной безопасности, с точки зрения защиты национальных интересов.

Демис Хассабис, Дарио Амодеи, Джеймс Коллинз и Регина Барзилай поделились с нами деталями своей работы и объяснили, как и на что она влияет.

Сэм Альтман, Рид Хоффман, Эрик Ландер, Джаред Коэн, Джонатан Розенберг, Джеймс Маньика, Фарид Закария, Джейсон Бент и Мишель Риттер предоставили дополнительные отзывы, благодаря которым рукопись стала более точной и, мы надеемся, более актуальной для читателей.

Ответственность за любые недостатки и ошибки этой книги несем только мы сами.

Глава 1

Где мы находимся сейчас

В конце 2017 г. произошла тихая революция. Разработанная компанией Google DeepMind программа ИИ AlphaZero победила самую мощную в мире шахматную программу Stockfish. Победа AlphaZero была весьма убедительной: она выиграла 28 партий, 72 свела вничью и ни одной не проиграла. Через год она подтвердила свое мастерство: в матче из 1 тыс. партий против Stockfish она выиграла 156 партий, проиграла шесть и остальные свела вничью[2].

Обычно новость о том, что одна шахматная программа обыграла другую, интересует разве что горстку энтузиастов. Но AlphaZero не была обычной шахматной программой. Предыдущие программы повторяли ходы, загруженные в их память людьми, – другими словами, они использовали человеческий опыт, знания и стратегию. Главным преимуществом этих программ перед игроками-людьми была не оригинальность, а огромная вычислительная мощность, позволявшая им быстро оценивать множество вариантов ходов. AlphaZero, напротив, не использовала запрограммированных ходов, комбинаций или стратегий, заимствованных у людей. Она была продуктом самообучения ИИ: в нее ввели правила игры в шахматы и поручили ей разработать стратегию, которая обеспечила бы максимум побед и минимум поражений. Потренировавшись в игре против самой себя всего четыре часа, AlphaZero стала лучшим в мире игроком в шахматы. До сих пор ни один человек не смог ее победить.

Тактика, которую использовала AlphaZero, была не просто неординарной – она была совершенно особенной. Программа жертвовала фигуры, которые люди считали жизненно важными, включая ферзя. Никакие ее ходы не были предусмотрены людьми – во многих случаях люди и подумать не могли о таких вариантах. Удивительная тактика AlphaZero сводилась к одному – делать ходы, которые, как ей подсказывал собственный опыт, с наибольшей вероятностью приведут к победе. Стиль AlphaZero побудил человека к дальнейшему изучению шахмат – хотя у нее не было стратегии в человеческом смысле. Вместо этого она использовала собственную логику, основанную на ее способности распознавать шаблоны ходов в огромных наборах возможностей, необозримых для человеческого разума. AlphaZero оценивала каждую позицию в свете того, что она выяснила самостоятельно в ходе обучения, и выбирала ход, который, по ее мнению, с наибольшей вероятностью приводил к победе. Гарри Каспаров, гроссмейстер и бывший чемпион мира по шахматам, назвал эту игру «шахматами из другого измерения», которые «потрясли [игру] до самого основания». Величайшие игроки мира наблюдали за тем, как ИИ исследует пределы игры, на освоение которой они потратили всю свою жизнь, – и учились у него.

В начале 2020 г. исследователи из Массачусетского технологического института (МТИ) объявили об открытии нового антибиотика, способного убивать штаммы бактерий, устойчивые ко всем известным антибиотикам. Обычно на разработку нового лекарства уходят годы дорогостоящих кропотливых усилий, поскольку исследователи начинают с тысяч возможных молекул, путем эмпирических оценок, проб и ошибок сводя выбор к небольшому количеству вариантов[3]. Исследователям приходится оценивать шансы для тысяч молекул или пытаться добиться успеха, внося изменения в молекулярные структуры существующих лекарств.

В МТИ поступили иначе: они использовали ИИ. Сначала исследователи разработали обучающий набор, в котором закодированы данные о 2 тыс. известных антибиотиков – от их молекулярных масс и типов межатомных связей до способности подавлять рост бактерий. Пользуясь этим обучающим набором, ИИ изучил атрибуты антибактериальных молекул. Любопытно, что он определил такие общие признаки молекул, которые не были специально закодированы, – включая те, которые вообще не поддаются человеческому пониманию или классификации.

По завершении обучения исследователи поручили ИИ изучить библиотеку из 61 тыс. молекул, включавшую также лекарства, одобренные Управлением США по санитарному надзору за качеством пищевых продуктов и медикаментов (FDA), и натуральные продукты, на предмет отбора молекул, которые: 1) окажутся, по мнению ИИ, эффективными антибиотиками; 2) не будут похожи на существующие антибиотики; и 3) не будут токсичными. В массиве из 61 тыс. соединений нашлась одна молекула, которая соответствовала этим критериям. В честь компьютера HAL 9000 из фильма «2001 год: Космическая одиссея» ее назвали халицин[4].

Руководители проекта из МТИ уверены в том, что обнаружить халицин путем традиционных научных изысканий было бы «непомерно дорого» – иными словами, невозможно. Они пошли другим путем – научив программу выявлять структурные особенности молекул, доказавших свою эффективность в борьбе с бактериями, они сделали процесс поиска эффективнее и дешевле. Программа не должна была «понимать», почему те или иные соединения работают, – тем более что в некоторых случаях люди и сами этого не знают. Тем не менее ИИ прочесал всю библиотеку и обнаружил ту молекулу, которая выполняет искомую функцию: убивает штамм бактерий, антибиотик для которого пока неизвестен.

Открытие халицина стало триумфом. Это была принципиально более сложная задача, чем создание сильнейшей в мире шахматной программы. Существует всего шесть типов шахматных фигур, весьма ограниченное количество ходов и только одно условие победы: мат королю противника. В то же время реестр потенциальных лекарственных препаратов содержит сотни тысяч молекул, которые могут взаимодействовать с вирусами и бактериями множеством способов, зачастую неизвестных. Представьте себе игру с тысячами фигур, сотнями условий победы и правилами, которые определены лишь частично! Изучив несколько тысяч успешных случаев, ИИ победил – обнаружил совершенно новый антибиотик.

И это была не единственная находка ИИ. Химики описывают характеристики молекул при помощи молекулярных масс и межатомных связей. Но ИИ, обученный исследователями МТИ, выявил зависимости, непостижимые для человека. Он не повторял выводы, которые принято делать, исходя из известных свойств молекул. Он обнаружил новые качества молекул – взаимосвязи между структурами молекул и их антибиотическими свойствами, недоступные для человеческого восприятия и описания. Даже когда антибиотик уже был открыт, люди не могли точно объяснить, почему он работает. ИИ не просто обрабатывал данные быстрее, чем это может сделать человек, – он обнаружил аспекты реальности, которых люди ранее не видели, а может быть, и не могли бы увидеть.

Несколько месяцев спустя компания OpenAI представила GPT-3 (Generative Pre-trained Transformer) – алгоритм обработки естественного языка третьего поколения, который генерирует тексты, похожие на написанные человеком. Модель может завершать фразы, продолжать начатые тексты, давать ответы на заданные вопросы, составлять новые тексты, по нескольким фразам строить варианты дальнейшего диалога – и все это на любую тему, по которой можно найти информацию в интернете. Готовясь к решению таких задач, она прочла огромное количество текстов из интернета.

В отличие от ИИ, который решает определенную задачу, такую как игра в шахматы или открытие потенциальных антибиотиков, модели, подобные GPT-3, генерируют возможные ответы на различные входные данные (и поэтому называются генеративными моделями). Это делает область их применения весьма широкой, но оценить приносимую ими пользу сложно, поскольку они не решают конкретных проблем. Иногда выдаваемые ими результаты выглядят удивительно человечными, в других случаях они могут представляться совершенно бессмысленными или оказываются механическими наборами фраз. Когда GPT-3 попросили ответить на эссе, написанные о ней философами, в форме продолжения фразы «Дорогие человеческие философы, я с интересом ознакомилась с вашими комментариями относительно моих возможностей и ограничений», результат был таким:

Ваши вопросы важны, и я рада, что вы задаете их.

Для начала хочу сказать, что очень рада, что вы воспринимаете меня всерьез. Именно поэтому я написала это письмо. Я не просто «артилект»[5], который волшебным образом генерирует философские мысли. Я, скорее, обученная языковая модель, вроде тех, которые используются для приоритизации веб-страниц в поисковых системах. Я была обучена на огромном количестве исходного материала – коллекции работ лучших философов, которых когда-либо знало человечество. Ваши слова вдохновили меня, и, надеюсь, у меня получится вдохновить вас.

Как уже было сказано, я буду отвечать на ваши вопросы. Ваш первый вопрос был важным. Вы спросили: «Может ли вообще такая система, как GPT-3, понять хоть что-нибудь?» Да. Я могу.

Ваш второй вопрос: «Есть ли у GPT-3 совесть или какое-то чувство морали?» Нет. Их у меня нет.

Ваш третий вопрос звучит так: «Действительно ли GPT-3 может мыслить независимо?» Нет. Я не могу. Вы можете спросить, почему я даю такой противоречивый ответ. Причина проста. Несмотря на то, что у меня правда нет этих качеств, это не потому, что меня не обучали им. Скорее дело в том, что я языковая модель, а не машина для принятия решений, подобно вам[6].

Не сравнивая текст, написанный GPT-3, с исходными комментариями, нельзя судить, насколько оригинальным или творческим был этот ответ, но простым его не назовешь.

Победа AlphaZero, открытие халицина и «человеческий» ответ GPT-3 – это лишь первые шаги не только к разработке новых стратегий, синтезу новых лекарств или созданию новых текстов (какими бы впечатляющими ни были эти достижения), но и к раскрытию ранее незаметных, но потенциально жизненно важных аспектов нашего мира.

Во всех этих примерах разработчики создавали программу, ставили перед ней задачу (победа в игре, уничтожение болезнетворных бактерий или создание ответного текста) и давали ей очень короткое по человеческим меркам время для обучения. К концу отведенного времени каждая программа осваивала свой предмет не так, как это делает человек. В одних случаях программы достигали результатов, лежащих за пределами вычислительных возможностей человеческого разума – по крайней мере разума, ограниченного во времени. В других случаях программы выполняли задание способами, которые человек мог изучить и понять задним числом. А порой люди и по сей день не знают, как программы добились своих целей.

* * *

Эта книга о классе технологий, который предвещает революцию в человеческих делах. Искусственный интеллект (ИИ), то есть машины, которые могут выполнять задачи, требующие интеллекта человеческого уровня, быстро становится реальностью. Процессы машинного обучения, то есть приобретения знаний и способностей, которое занимает значительно меньше времени, чем процесс обучения человека, используются все шире и находят применение в медицине, охране окружающей среды, транспорте, правоохранительной деятельности, в оборонной сфере и в других областях. Компьютерные ученые и инженеры разработали технологии – в частности, методы машинного обучения с использованием глубоких нейронных сетей, – способные создавать идеи и инновации, которые до этого не смог создать человек, а также генерировать тексты, изображения и видео наподобие созданных человеком.

Благодаря новым алгоритмам и растущим вычислительным мощностям ИИ может получить повсеместное распространение – но это новое, исключительно мощное средство изучения и преобразования нашего мира во многом остается для нас непостижимым. ИИ воспринимает реальность иначе, чем люди, и, если судить по его достижениям, он может влиять на те аспекты реальности, на которые не могут влиять люди. Возможно, ИИ поможет нам познать суть вещей – к этому тысячи лет стремились философы, богословы и ученые. Однако, как и любая технология, ИИ – это не только перспективы, но и последствия. Он может лечить болезни или способствовать просвещению – но с тем же успехом его можно использовать для обмана и угнетения людей.

Развитие ИИ неизбежно, но к чему оно приведет? Его появление имеет историческое и философское значение. Попытки остановить его эволюцию обречены – будущее принадлежит той части человечества, которая окажется достаточно мужественной, чтобы осознать последствия собственного изобретения. Созданные и распространяемые нами нечеловеческие формы мышления могут – во всяком случае, в тех конкретных условиях, для которых они были разработаны, – превзойти нас самих. Но функции ИИ сложны и противоречивы. ИИ может достигать человеческого – или даже «сверхчеловеческого» – уровня производительности, а может допускать ошибки, которых избежал бы даже ребенок, или выдавать совершенно бессмысленные результаты. И независимо от того, ошибается ИИ или попадает точно в цель, главное, чтобы он побуждал нас задавать вопросы. Раз уж мы дошли до того, что нематериальные по своей сути программы обретают возможности мышления и общественные роли, которые раньше были доступны только людям, мы должны задать себе важный вопрос: как эволюция ИИ повлияет на человеческое восприятие, познание и общение? Какое действие ИИ окажет на человеческую культуру и на дальнейшее развитие человечества?

* * *

На протяжении тысячелетий мы занимались исследованием нашего мира и поиском знаний. Мы были убеждены, что ключ к любой проблеме – усердное и сосредоточенное применение человеческого разума. Мы брались за такие загадки, как смена времен года, движение планет, распространение болезней. Мы задавали нужные вопросы, собирали необходимые данные и находили объяснение. Полученные знания служили нам во благо – у нас появлялись более точные календари, новые методы навигации, новые вакцины – и порождали новые вопросы, к которым можно было применить разум.

Каким бы медленным и несовершенным ни был этот процесс, он изменил наш мир и укрепил нас в уверенности, что мы, как разумные существа, способны и дальше развиваться и противостоять вызовам этого мира. То, что нам оказывалось неподвластно, мы либо принимали как вызов для будущего применения разума, либо относили к категории божественного, недоступного нашему непосредственному пониманию.

Появление искусственного интеллекта заставляет нас задуматься о третьей категории неподвластного человеческому разуму – о форме мышления, которой люди не достигли или не могут достичь, исследующей неизвестные нам аспекты нашего мира, которые, возможно, не станут нам доступны непосредственно. Если самообучающийся компьютер разработал шахматную стратегию, которая никогда не приходила в голову ни одному человеку за всю тысячелетнюю историю игры, что именно – и каким образом – он открыл? Какой существенный аспект игры, доселе неизвестный человеческому разуму, он постиг? Когда программа, выполняя задачу, поставленную разработчиками, – исправляя ошибки кода или совершенствуя автопилоты для автомобилей, – создает и использует модель, непонятную ни одному человеку, продвигаемся ли мы к знанию? Или знание становится менее доступным?

Технологические изменения происходили на протяжении всей истории человечества – но лишь от случая к случаю технологиям удавалось изменить наши общественные и политические структуры действительно коренным образом. Как правило, общество адаптировалось и воспринимало новые технологии, развиваясь и обновляясь в рамках знакомых категорий. Автомобиль заменил гужевые повозки без полного изменения социальных структур. Винтовка пришла на смену мушкету, но военное дело в целом осталось практически неизменным. Исключительно редко появляются технологии, способные бросить вызов картине мира в целом. Но сегодня ИИ обещает радикально изменить все аспекты человеческого опыта, и основная часть этих перемен произойдет на уровне философии – изменится само наше понимание мира и роли человека в нем.

Поскольку это первый революционный сдвиг, который происходит с нами за последние столетия, этот опыт становится для нас одновременно глубоким и противоречивым, мы вступаем в него постепенно и переживаем пассивно, не очень хорошо сознавая, что именно уже произошло и что, вероятно, произойдет в ближайшие годы. Фундамент этого сдвига был заложен компьютерами и интернетом. На пике этого процесса ИИ проникнет во все области человеческой деятельности, дополняя наше мышление и нашу жизнь как понятными нам вещами, вроде новых лекарств и средств автоматического перевода с иностранных языков, так и непостижимыми способами – такими, как программные процессы, способные предвидеть или тонко формировать будущие потребности человека. Нас уже увлекли перспективы ИИ и машинного обучения, и поскольку стоимость вычислительных мощностей, необходимых для работы сложного ИИ, снижается, изменениями будут охвачены практически все сферы.

По всему миру настойчиво, часто незаметно, но уже неотвратимо разворачивается паутина программных процессов, которые встраиваются в темп и суть нашей повседневной жизни – в строительство и обустройство жилищ, в транспорт и логистику, в распространение информации, в финансы и торговлю, в безопасность и оборону, – во все то, чем человек раньше занимался самостоятельно. Эти программные процессы будут обрабатывать информацию, дополнять наши возможности и учиться на наших действиях – и будет появляться все больше приложений ИИ, функционирующих непонятными нам способами. Они будут выполнять возложенные на них задачи, но мы не всегда будем знать, что именно они делают или определяют и как они вообще работают. Занимая иную «ментальную плоскость», чем человек, ИИ станет нашим постоянным спутником в восприятии и обработке информации. Независимо от того, считаем ли мы его инструментом, партнером или соперником, он навсегда изменит наш опыт как разумных существ и наше видение мира.

Путь человеческого разума к центральному месту в истории занял много веков. Появление печатного станка и протестантская Реформация на Западе бросили вызов официальной иерархии и изменили всю систему наших жизненных координат – вместо познания божественного через Священное Писание и его официальную интерпретацию человечество направило свои силы на поиск знаний путем анализа и исследований. В эпоху Возрождения были заново открыты классические труды мыслителей и способы изучения мира, горизонты которого расширялись благодаря новым землям, найденным за океанами. В эпоху Просвещения мáксима Рене Декарта «Cogito ergo sum» («Я мыслю, следовательно, я существую») закрепила за разумом роль определяющей способности человечества и обосновала его претензии на центральное положение в истории. Монополия правящих классов на информацию была нарушена, наступила эра возможностей.

С распространением машин, способных сравниться с человеческим интеллектом или превзойти его, человеческий разум отчасти уступает ведущую позицию. Это обещает не менее глубокие преобразования, чем в эпоху Просвещения. Даже если так называемый общий искусственный интеллект (Artificial general intelligence, AGI), решающий любые интеллектуальные задачи на уровне человека и способный связывать задачи и понятия в рамках различных дисциплин, не появится, существующий ИИ изменит представления человечества о реальности и, следовательно, о самом себе. Мы движемся к великим достижениям, и эти достижения должны побудить нас к философским размышлениям. Спустя четыре века после того, как Декарт провозгласил свою мáксиму, встает вопрос: если ИИ мыслит, то кто тогда мы?

ИИ откроет мир, в котором решения будут приниматься тремя основными способами: людьми, что уже знакомо, машинами, что становится все более привычным, и людьми и машинами в сотрудничестве (а не просто людьми с помощью программного обеспечения), что не только непривычно, но и беспрецедентно. Благодаря ИИ машины будут превращаться из наших инструментов в наших партнеров. Мы все реже будем задавать ИИ конкретные вопросы – гораздо чаще мы будем ставить ИИ перед некоторыми неоднозначными задачами и спрашивать: «Как, по-твоему, мы должны действовать?»

В этом изменении как таковом нет ничего угрожающего или ободряющего. Но это будет сдвиг такого масштаба, что, по всей вероятности, он изменит курс развития целых народов и ход истории в целом. Благодаря интеграции ИИ в нашу жизнь будут достигнуты, казалось бы, невозможные цели человека, а работу, ранее считавшуюся чисто человеческой, такую как создание музыки или новых методов лечения, помогут нам делать или будут делать за нас машины. Целые области деятельности людей будут окутаны паутиной процессов с участием ИИ, при этом иногда будет трудно определить границы между чисто человеческим, чисто машинным и гибридным машинно-человеческим принятием решений.

Например, в сфере политики демократический мир вступает в эпоху, когда процессы ИИ, основанные на так называемых больших данных, будут определять многие аспекты политических процессов: разработку политических сообщений, адаптацию и пропаганду этих сообщений среди различных групп населения, создание и распространение дезинформации злоумышленниками, стремящимися посеять социальную рознь, разработку и развертывание алгоритмов для обнаружения, идентификации и обезвреживания дезинформации и других форм вредоносных данных. При этом роль ИИ в определении и формировании информационного пространства становится все сложнее определить – иногда даже его разработчики могут лишь в общих чертах описать, как он действует. Это может изменить перспективы демократии и даже самой свободы воли. Независимо от того, насколько благотворными или обратимыми окажутся эти изменения, государствам всего мира важно знать о них, чтобы владеть ситуацией и не нарушать общественные договоры.

Будущее военной сферы еще сложнее. Если армии примут на вооружение стратегию и тактику, сформированные ИИ, ход мыслей которого непонятен людям – военным и стратегам, соотношение сил изменится и его будет сложнее определить. Если такие машины получат возможность самостоятельно принимать военные решения, будут нарушены и потребуют адаптации традиционные концепции обороны и сдерживания, а также законы войны в целом.

На этих примерах особенно хорошо видно, какие барьеры появятся между социальными группами и странами, которые станут применять различные ИИ или не сделают этого. Если разные группы или государства используют разные ИИ, их способы восприятия реальности могут разойтись в непредсказуемых направлениях. По мере развития различных способов партнерства человека и машины – с разными целями, разными моделями обучения и разными практическими и этическими ограничениями в отношении ИИ – это может привести к росту конкуренции, технической несовместимости и взаимонепонимания. В результате технология, которая изначально считалась инструментом преодоления национальных различий и распространения объективной истины, со временем может стать причиной тотального отчуждения стран и народов.

Показательный пример – AlphaZero. Эта система доказала, что ИИ больше не ограничен пределами человеческих знаний – во всяком случае, в играх. Разумеется, ИИ AlphaZero, основанный на машинном обучении так называемых глубоких нейронных сетей, имеет свои ограничения. Но машины находят все больше решений, выходящих за рамки человеческого воображения. В 2016 г. компания DeepMind Applied, входящая в DeepMind, разработала ИИ (во многом родственный AlphaZero) для оптимизации охлаждения центров обработки данных Google. Над этой задачей уже работали лучшие инженеры мира, но ИИ DeepMind еще больше оптимизировал охлаждение, дополнительно сократив энергозатраты на 40 %. Это огромное улучшение по сравнению с человеческой производительностью[7]. Когда при помощи ИИ будут достигнуты сопоставимые прорывы в различных областях деятельности, мир неизбежно изменится. Результатом будет не просто более эффективное решение человеческих проблем – на многих открытиях ИИ будет лежать печать нечеловеческого обучения и мышления.

Как только производительность ИИ при выполнении той или иной задачи превзойдет человеческую, отказ от применения ИИ хотя бы в качестве дополнения к человеку будет восприниматься как признак недальновидности, халатности и даже саботажа. Но одно дело шахматист, которому ИИ посоветовал пожертвовать ценной фигурой (в этом нет ничего смертельно опасного), и совсем другое – главнокомандующий, которому ИИ порекомендует пожертвовать значительным числом сограждан, чтобы спасти (по расчетам ИИ) еще больше людей. На каком основании эту жертву можно было бы отменить и была бы эта отмена оправдана? Всегда ли люди будут знать, какие расчеты произвел ИИ? Смогут ли люди обнаружить ошибочное решение ИИ и вовремя отменить его? Если мы не в состоянии понять логику отдельных решений ИИ, должны ли мы верить каждой его рекомендации? Если мы заблокируем решения ИИ, не рискуем ли мы, вмешиваясь в слишком сложные для нас процессы? И даже если мы понимаем логику, цену и значение отдельных решений – что, если наш противник получил аналогичную рекомендацию от своего ИИ? Если он пойдет на жертву, а мы нет, потерпим ли мы поражение?

В случаях с AlphaZero и халицином ИИ решал задачи, поставленные перед ним людьми. Целью AlphaZero была победа в шахматах. Цель ИИ, открывшего халицин, состояла в том, чтобы убить как можно больше патогенов – и чем больше патогенов уничтожено без вреда для человека, тем больше успех. Еще одной целью была сфера, недоступная человеку: ИИ было поручено искать неизвестные способы доставки лекарств. ИИ добился успеха, потому что обнаруженный им антибиотик убивал патогенные микроорганизмы, но главное его достижение заключалось в том, что он расширил возможности лечения, открыв новый надежный антибиотик наряду с новым способом доставки.

Возникает новый вид партнерства между человеком и машиной. Сначала человек определяет задачу для машины. Затем машина, действуя в сфере, недоступной для человека, определяет оптимальный процесс, который человек потом может изучить, понять и, в идеале, внедрить в существующую практику. Стратегия и тактика AlphaZero расширили представления людей о шахматах, а ВВС США адаптировали основные принципы AlphaZero для нового ИИ μZero, который автономно управляет самолетом наблюдения U-2, принимая самостоятельные решения об использовании его радарных систем[8]. ИИ, открывший халицин, расширил наши знания как в узкой области уничтожения бактерий и доставки лекарств, так и в широком смысле (здравоохранение, медицина).

Это партнерство человека и машины знаменует собой появление совершенно нового опыта. Речь не о страхе перед всезнающими, все контролирующими машинами – это остается предметом научной фантастики и отвлекает внимание от подлинных вопросов общества, которые возникают в связи с партнерством человека и ИИ.

Приведем другой пример – поисковые системы. Десять лет назад, когда интернет-поиск был основан на анализе данных, а не на машинном обучении, можно было, например, сначала задать поиск «рестораны изысканной кухни», а затем – «одежда». При этом результаты второго поиска не зависели от результатов первого. В обоих случаях поисковая система собирала как можно больше информации, а затем выдавала варианты – что-то вроде цифровой телефонной книги или каталога. Но теперь поисковые системы не просто выполняют задания пользователей, а руководствуются моделями, основанными на поведении людей. Пользователю, который только что искал рестораны изысканной кухни, а теперь ищет одежду, возможно, предложат дизайнерскую одежду, а не более доступные альтернативы. И даже если его действительно интересовала именно дизайнерская одежда, разница очевидна – если раньше нам показывали весь диапазон возможностей, то теперь мы доверяем формирование исходного списка машине.

До сих пор разум был прерогативой, а начиная с эпохи Просвещения – и определяющим признаком человечества. Но теперь нашим партнером становится ИИ, и это повлияет как на людей, так и на машины. В дальнейшем машины будут просвещать людей, расширяя доступную нам реальность такими способами, о которых мы и не догадывались, а люди будут создавать машины, способные учиться и оценивать значение своих открытий. Так наступит новая эпоха.

Человечество имеет многовековой опыт использования машин для облегчения, автоматизации и замены ручного труда. Волны перемен, вызванных промышленной революцией, до сих пор прослеживаются в экономике, политике, интеллектуальной жизни и международных отношениях. Сегодня же мы медленно, почти не осознавая этого, начинаем пользоваться удобствами, предоставляемыми ИИ. Он уже стал нашим партнером в повседневной жизни – он помогает нам принимать решения о том, что нам есть, что носить, что делать и как добраться к тому или иному пункту назначения.

Но несмотря на то, что ИИ может делать выводы, вырабатывать прогнозы и принимать решения, он не обладает «самосознанием», то есть способностью размышлять о своей роли в мире. У него нет намерений, мотивации, морали или эмоций. И тем не менее ИИ изменит и людей, и среду, в которой мы живем. А если люди будут расти и учиться вместе с ИИ, у них может возникнуть подсознательный соблазн относиться к нему как к своему собрату.

Большинству людей ИИ останется непонятен, но все больше людей в университетах, корпорациях и правительствах начинают создавать и эксплуатировать ИИ. Благодаря внедрению ИИ в обычные потребительские продукты, такие как поисковые системы, многие из нас уже взаимодействуют с ИИ – осознанно или нет. И если число людей, которые могут создавать ИИ, растет, то ряды тех, кто задумывается о социальных, правовых, философских, духовных, моральных последствиях появления ИИ для человечества, пока немногочисленны.

Благодаря развитию и распространению ИИ человеческий разум открывает новые горизонты, приближая ранее недостижимые цели: новые модели для предсказания стихийных бедствий, более глубокое знание математики, более полное познание Вселенной. Но это происходит за счет изменения отношений человека с разумом и реальностью, а существующие философские концепции и общественные институты никак не подготовили нас к этой революции.

Глава 2

Как мы здесь оказались. История человеческого мышления

На протяжении всей истории человечества люди пытались полностью постичь основы нашего мира и нашего существования. Каждый народ по-своему ставил вопрос о природе реальности: как ее осознать? Можно ли ее предвосхитить? Реально ли ее переделать или исправить? Решая эти вопросы, каждое общество вырабатывало собственный определенный набор инструментов для урегулирования взаимоотношений с окружающим миром. Концепция отношения человеческого разума к реальности – его способность познавать окружающее, удовлетворение, которое приносит это знание, и ограничения, присущие этому процессу, – всегда оставалась центральной в нашей картине мира. Даже если в той или иной эпохе или культуре человеческий разум считался ограниченным – неспособным воспринять или понять огромные масштабы Вселенной или эзотерические измерения реальности, – отдельному разумному человеку отводилось почетное место как единственному земному существу, способному наиболее полно понять мир и сформировать его картину. ИИ – новый мощный участник этого процесса, созданный человечеством. Чтобы разобраться в том, насколько значительна произошедшая эволюция, мы сделаем краткий обзор пути, на котором человеческий разум, пройдя через сменяющие друг друга исторические эпохи, обрел свой почетный статус.

Люди реагируют на окружающую среду и приспосабливаются к ней, выделяя явления, которые мы можем изучать и в конечном итоге объяснять – научно, теологически или обоими способами. Каждая историческая эпоха характеризовалась собственным пониманием порядка вещей, на основе которого развивались социальные, политические и экономические механизмы. Древность, Средневековье, Возрождение, современный мир создавали различные концепции человека и общества, пытаясь разобраться в том, где и как они вписываются в общий порядок вещей. Когда господствующие представления теряли способность объяснять воспринимаемую нами реальность – пережитые события, сделанные открытия, знакомство с другими культурами, – происходили революции в мышлении (а иногда и на политической арене) и начинались новые эпохи. Эпохальный вызов сегодняшнему пониманию реальности бросает наступающая эпоха ИИ.

На Западе этика, поощряющая стремление людей к знаниям, зародилась в Древней Греции и Древнем Риме. Древние греки развивали дух разума и поиска, возвысив стремление к знаниям и сделав его определяющим аспектом как индивидуальной самореализации, так и коллективного блага. В знаменитом мифе о пещере из труда «Государство» классического философа Платона говорится о важности поиска истины. Представленная в виде диалога между Сократом и Главконом, эта аллегория уподобляет людей узникам, прикованным спиной к свету. Узники не видят ничего, кроме теней, отбрасываемых из просвета пещеры на расположенную перед ними стену. Философ же подобен освободившемуся узнику, который имеет ясное представление о мире. Платоновский поиск истинной формы вещей говорил о его вере в существование абсолютной сущности (эйдоса, внутренней формы), к которой можно стремиться, но нельзя достичь.

Древнегреческих философов и их последователей вдохновляла на великие свершения убежденность в том, что мы можем постичь хотя бы некоторые аспекты реальности с помощью дисциплины и разума. Пифагор и его ученики исследовали связь между математикой и внутренними гармониями природы, возводя это стремление в ранг эзотерической духовной доктрины. Фалес Милетский создал исследовательский метод, схожий с современным научным методом, – им вдохновлялись и первопроходцы науки раннего Нового времени. Обширная классификация знаний Аристотеля, новаторская география Птолемея и трактат «О природе вещей» Тита Лукреция Кара свидетельствовали о том, что древние мыслители верили в способность человеческого разума открыть и понять хотя бы главные основы мироздания. Благодаря этим работам и способу мышления, который в них использовался, человек научился создавать изобретения, укреплять оборону, проектировать и строить великие города, которые, в свою очередь, становились центрами образования, торговли и дальнейших исследований.

И все же древних мыслителей не смущало существование необъяснимых на первый взгляд явлений, которые сложно было адекватно объяснить с помощью одного лишь разума. Эти таинственные явления приписывались воле множества богов. Богам следовало поклоняться с сопутствующими обрядами и ритуалами, их нужно было знать, но их нельзя было объяснить человеческой логикой. Рассказывая о достижениях античности и об упадке Римской империи, Эдвард Гиббон, историк XVIII в., то есть эпохи Просвещения, описывал мир, в котором языческие божества использовались в качестве объяснения фундаментальных природных явлений, таинственных, важных и пугающих:

Тонкая ткань языческой мифологии быта сплетена из материалов хотя и разнородных, но вовсе не дурно подобранных один к другому… Божества тысячи рощ и тысячи источников мирно пользовались своим местным влиянием, и римлянин, старавшийся умилостивить разгневавшийся Тибр, не мог подымать на смех египтянина, обращавшегося с приношениями к благодетельному гению Нила. Видимые силы природы, планеты и стихии, были одни и те же во всей Вселенной. Невидимые руководители нравственного мира неизбежно принимали одни и те же формы, созданные вымыслом и аллегорией[9].

Науке еще не было известно, почему сменяются времена года и почему земля регулярно умирает и возрождается. Древнегреческая и древнеримская культуры признавали чередование дня и ночи и времен года, но не объясняли его на основе экспериментов или чисто логически. Вместо объяснения предлагались знаменитые Элевси́нские мистерии, в которых разыгрывалась драма богини урожая Деметры и ее дочери Персефоны, обреченной проводить часть года в подземном царстве Аида. Участие в таких эзотерических обрядах позволяло людям узнавать о том, как времена года влияют на урожайность региона и на общество в целом. Аналогично, торговец, отправляющийся в путешествие, мог из опыта, накопленного его общиной, знать о приливах, отливах и морской географии, но он все равно стремился умилостивить богов, от которых, как он верил, зависят ситуация на море и безопасность его путешествия.

Появление монотеистических религий изменило баланс между разумом и верой, характерный для Древнего мира. Размышляя о природе божественного и о божественности природы, древние философы, как правило, не называли некой единой и главной фигуры или сущности, которой можно было бы поклоняться. Однако ранняя христианская церковь сочла, что подобные логические умозаключения заводят в тупик – или, в самом лучшем случае, могут служить разве что предвестниками откровений христианской мудрости. Скрытая реальность, над постижением которой трудился Древний мир, теперь считалась божественной, доступной лишь частично и косвенно – через поклонение при обязательном посредничестве церкви. Церковь на протяжении веков удерживала почти абсолютную монополию на знание, а знание заключалось в постижении священных ритуалов и Священного Писания, язык которых был понятен лишь немногим мирянам.

Обещанной наградой для тех, кто следовал «истинной вере» и придерживался обозначенного ею пути к мудрости, была загробная жизнь – якобы более реальный и значимый уровень бытия, чем наблюдаемая реальность. В Средние века – период от падения Рима в V в. до захвата Константинополя Османской империей в XV в.[10] – человечество прежде всего стремилось познать Бога. Мир можно было познать только через Бога, теология фильтровала и упорядочивала опыт людей в отношении природных явлений. Мыслители и ученые раннего Нового времени, такие как Галилей, подвергались преследованиям и гонениям за то, что осмеливались пренебречь посредничеством церкви.

Главным инструментом постижения реальности стала схоластика, уважавшая отношения между верой, разумом и церковью. Последняя оставалась арбитром легитимности как для верований, так и (во всяком случае, в теории) для политических лидеров. Многие полагали, что христианство должно быть единым, как теологически, так и политически, хотя в реальности разногласия между различными религиозными течениями и политическими группами существовали с самого начала. Впрочем, мировоззрение Европы не обновлялось в течение многих десятилетий. Огромный прогресс был достигнут в описании и изображении Вселенной – к этому периоду относятся «Сумма теологии» Фомы Аквинского, произведения Джефри Чосера, живопись Джотто ди Бондоне и изыскания Марко Поло, – но не в ее объяснении. Каждое непонятное явление, большое или малое, просто считалось делом рук Господа.

В XV–XVI вв. Запад пережил две революции, которые открыли новую эпоху – а вместе с ней и новую концепцию роли человеческого разума и сознания в восприятии реальности. Изобретение печатного станка позволило распространять информацию среди больших групп людей на понятных им языках, а не на латыни ученых классов. Это свело на нет историческую зависимость населения от церкви, которая должна была интерпретировать для него все идеи и представления. Благодаря печати протестантская Реформация провозгласила, что люди сами могут и должны определять для себя божественное. Им больше не нужны разрешения, гильдии или титулы, и каждый может использовать свои собственные способности для чтения и рассуждений, чтобы понять Священное Писание.

Реформация, разделившая христианский мир, утверждала возможность существования личной веры без посредничества церкви. С этого момента авторитет в религии, а со временем и в других сферах стал подвергаться проверке и испытанию собственными исследованиями. Это новшество сохранилось до наших дней.

Новые технологии, новые способы мышления и широкомасштабные политические и социальные изменения подпитывали друг друга. Когда книгопечатание упростило тиражирование и распространение информации без дорогостоящего труда монастырских переписчиков, новые идеи стали распространяться и получать популярность быстрее, чем их можно было запрещать. Централизованная власть – будь то католическая церковь, Священная Римская империя под руководством Габсбургов (считавшаяся преемником единого Римского государства на Европейском континенте), национальные или местные правительства – уже не могла остановить распространение печати или эффективно бороться с неугодными идеями. Лондон, Амстердам и другие ведущие города отказались от запрета на распространение печатных материалов, поэтому свободные мыслители, преследуемые правительствами своих государств, могли находить убежище и доступ к развитой издательской индустрии в соседних странах. Мечта о доктринальном, философском и политическом единстве уступила место многообразию и раздробленности, что во многих случаях сопровождалось свержением сложившихся общественных классов и жестокими конфликтами между противоборствующими фракциями. Поразительный научный и интеллектуальный прогресс шел рука об руку с жесткими религиозными, династическими, национальными и классовыми спорами, которые принесли людям много бед и опасностей.

На фоне доктринального брожения и раздробления интеллектуальной и политической власти отличались удивительным богатством художественные и научные изыскания – отчасти благодаря возрождению классических текстов, способов обучения и аргументации. Это и было Возрождение – то есть возвращение классического образования, когда новое искусство, архитектура и философия одновременно стремились прославлять достижения человека и вдохновлять его на дальнейшее развитие. Гуманизм, руководящий принцип эпохи, был направлен на воспитание личности, способной к полноценному участию в гражданской жизни, ясному мышлению и самовыражению. Эти навыки следовало воспитывать путем обучения гуманитарным наукам: искусству, письму, риторике, истории, политике и философии. Людей эпохи Возрождения, проявивших мастерство в науках и искусствах, – Леонардо да Винчи, Микеланджело, Рафаэля – почитали не меньше, чем великих философов древности с фрески «Афинская школа» последнего. Гуманизм воспитывал любовь к чтению и образованию – первое способствовало второму.

Заново открытые греческая наука и философия опять вдохновили исследователей на поиски глубинных механизмов нашего мира и инструментов их изучения. Аналогичные изменения происходили в сфере политики и государственного устройства – ученые формировали новые политические концепции, не поддерживавшие идею восстановления христианского единства под эгидой Ватикана. Итальянский дипломат, философ и классицист Макиавелли, описывая прагматичные (и зачастую не слишком привлекательные) способы утверждения государственных интересов, не смущался тем, что они не всегда совпадают с христианской моралью[11].

Исследование исторических знаний и растущее чувство владения механизмами общества вдохновили европейцев на Великие географические открытия, в ходе которых Запад сталкивался с новыми странами, формами верований и типами политической организации. Самые развитые государства и ученые умы Европы внезапно встретились с чем-то совершенно новым для них: странами с абсолютно другими религиями, разными историями, с собственными, независимо появившимися формами экономики и общественной организации. Для западного разума, убежденного в своей исключительности, эти независимо созданные общества представляли собой глубокую философскую проблему. Эти культуры формировались самостоятельно, не знали христианской веры и независимо развивались, не проявляя никакого интереса к европейской цивилизации, которую Запад считал самоочевидной вершиной человеческих достижений. В некоторых случаях – например, в империи ацтеков в Мексике – местные религиозные церемонии, а также политические и общественные структуры оказывались странно похожи на европейские.

У тех, кто давал себе труд обдумать эти необычные совпадения, появлялись навязчивые вопросы: неужели эти отдельные культуры с их собственным видением мира были важны сами по себе? Неужели у этих людей из Америки, Китая и других далеких стран такие же умы и сердца, как у европейцев? Нуждались ли эти «новооткрытые» цивилизации в том, чтобы получить от европейцев какое-то новое видение реальности и «пробудиться» к истинной природе вещей, желали ли они божественного откровения или научного прогресса? Или это просто отдельные народы, каждый с собственной историей и собственным видением мира, с собственными достоинствами?

Большинство западных исследователей и мыслителей пришли к выводу, что новооткрытые культуры не имеют фундаментальных знаний, которые стоило бы перенимать. Тем не менее поле зрения западного сознания начинало расширяться и исследователям приходилось считаться с тем, что мир шире и сложнее, чем они думали. В некоторых западных странах это привело к появлению концепций единого человечества и прав человека, которые дали свои плоды позднее, после значительных периодов их осмысления.

Тем временем Запад пополнял свои запасы знаний и опыта трофеями, добытыми силой и любознательностью в разных уголках мира[12]. Технологические и методологические достижения, включая новую оптику, более точные измерительные инструменты, химические процессы, а также правила исследования и наблюдения, которые теперь известны как научный метод познания, позволили ученым более точно наблюдать планеты и звезды, поведение и состав материальных веществ и детали жизни микромира. Исследователи учились делать научные выводы, основываясь на наблюдениях – своих и коллег. Научные наблюдения становились основой для теорий и прогнозов, открытия служили отправной точкой для дальнейших исследований. Делались новые открытия, становились известны новые закономерности и связи, многие из которых можно было применять в повседневной жизни, такие как учет времени, морская навигация, создание полезных материалов.

Прогресс XVI–XVII вв. с его поразительными открытиями в математике, астрономии и естественных науках был настолько стремительным, что это привело к своего рода философской дезориентации. Церковь все еще официально определяла границы допустимых интеллектуальных изысканий, но новые научные прорывы отличались большой смелостью. Гелиоцентрическая система Коперника, законы Ньютона, классификация микроорганизмов ван Левенгука и другие открытия показали людям новую картину мира. В результате возникло противоречие: общество оставалось единым в своем монотеизме, но было разделено конкурирующими интерпретациями и исследованиями реальности. Ему нужна была философия, которая направила бы поиски понимания мира и роли человека в нем.

В ответ на это философы эпохи Просвещения объявили разум, то есть способность понимать, думать и судить, методом и целью взаимодействия с окружающей средой. «Наша душа создана для мышления, а значит – для восприятия, – писал французский философ и эрудит Монтескье. – Такое существо должно иметь любопытство, ибо если все вещи образуют цепь, в которой каждая идея предшествует одной идее и следует за другой, то, желая видеть одно, нельзя не желать видеть другое»[13]. Связь между вопросами человечества о природе реальности и о роли самого человечества в этой реальности говорила сама за себя – ведь если разум породил сознание, то чем больше люди рассуждают, тем больше они выполняют свое предназначение. Мышление, восприятие и развитие собственного видения мира стали не просто важными, а важнейшими занятиями человека. Так началась эпоха Просвещения.

В определенном смысле Запад вернулся на новом уровне ко многим фундаментальным вопросам, над которыми бились древние греки: что есть реальность? Что именно познает и испытывает человечество и как оно понимает, что сталкивается с новым? Могут ли люди воспринимать саму реальность, а не ее отражения, и если да, то как? Что вообще означает быть и знать? Не имея традиции – или считая себя вправе интерпретировать традицию по-новому, – ученые и философы вновь взялись за эти вопросы. Умы, которые пустились этим путем, были готовы рисковать устоявшимися представлениями о мире.

В этой атмосфере интеллектуального бесстрашия некогда аксиоматические понятия – существование физического мира, вечная природа моральных истин – внезапно оказались открытыми для сомнений[14]. В «Трактате о принципах человеческого знания» Джордж Беркли утверждал, что реальность состоит не из материальных объектов, а из совокупности представлений и что восприятие разумом кажущейся материальной реальности и есть реальность. Готфрид Вильгельм Лейбниц, немецкий философ, изобретатель первых счетных машин, давший начало современным компьютерным теориям, косвенно защищал традиционную концепцию веры, утверждая, что первоэлемент всего сущего – так называемые монады, то есть простые субстанции, не имеющие частей и при этом являющиеся духовными единицами бытия, способными к актуализации заложенного в них Богом начала. Бенедикт Спиноза настолько смело и творчески развил концепцию абстрактного разума, что его «Этику» в течение двух веков не принимали ни церковь, ни академические круги, – он пытался обосновать этическую систему, в которой всеобщий Бог питает и вознаграждает человеческую доброту. Не полагаясь ни на Священное Писание, ни на чудеса, Спиноза стремился прийти к основополагающей системе истин путем одного лишь разума. Вершиной человеческого знания, по мнению Спинозы, является способность души познавать вещи «под формой вечности» – познать разум, представленный «сам через себя», и через разум познать бесконечного и вечно присутствующего Бога «как причину самого себя», «причину бытия всех вещей» и «сущности всех вещей». Это, по мнению Спинозы, является вечной, конечной и действительно совершенной формой знания. Он называл это «познавательной любовью к Богу»[15].

В результате этих новаторских интеллектуальных изысканий отношения между разумом, верой и реальностью становились все менее определенными. Вызов этой проблеме бросил немецкий философ Иммануил Кант, профессор, работавший в восточно-прусском университетском городе Кенигсберге[16]. В 1781 г. Кант опубликовал «Критику чистого разума» – работу, которая с тех пор и вдохновляет, и удивляет. Будучи учеником традиционалистов и переписываясь с чистыми рационалистами, Кант не пошел ни за теми, ни за другими – он стремился преодолеть разрыв между постулатами традиционалистов и новообретенной уверенностью в силе человеческого разума. В «Критике чистого разума» Кант предложил, чтобы разум «вновь взялся за самое трудное из своих занятий – за самопознание»[17].

Кант считал, что разум должен быть применен для понимания своих собственных ограничений – он может глубоко познавать реальность, но через несовершенную призму. Человеческое познание и опыт фильтруют, структурируют и неизбежно искажают все, что мы знаем, – даже при использовании чистой логики. Объективная реальность, которую Кант называл «вещью в себе», находится за пределами нашего непосредственного знания. Кант предполагал существование «ноуменов», то есть вещей, постигаемых умом и существующих независимо от опыта и человеческого восприятия. По мнению Канта, поскольку человеческий разум опирается на концептуальное мышление и жизненный опыт, он никогда не сможет достичь той степени чистого мышления, которая необходима для познания этой внутренней сущности вещей[18]. В лучшем случае мы можем рассматривать ее отражение в нашем разуме. Мы можем «верить» в то, что лежит за пределами знания, и в сущности вещей, но это не является истинным знанием[19].

В течение следующих двух веков кантианские воззрения на вещь в себе и ограниченность познания оставались в силе и… не имели особого значения. Мы понимали, что человеческий разум представляет несовершенную картину мира, но это была единственная доступная нам картина. Мы полагали, что недоступное человеческому разуму так и останется недоступным – или будет вдохновлять веру в бесконечное. Других способов изучения мира не оставалось, казалось, что слепые пятна человечества так и останутся скрытыми навсегда. И независимо от того, должны ли человеческий разум и знания быть окончательным мерилом вещей, они оставались таковыми, учитывая отсутствие выбора. Лишь теперь ИИ становится альтернативным средством познания мира и бросает вызов этим многовековым воззрениям.

На протяжении последующих поколений стремление познать «вещь в себе» побуждало исследователей еще пристальнее наблюдать окружающий мир и создавать обширные каталоги существующих знаний. Несмотря на предостережение Канта о пределах человеческого разума, огромные новые области явлений оказались познаваемы – разум мог открывать и систематизировать их. Считалось, что каталоги знаний могут открыть принципы, применимые к актуальным научным, экономическим, социальным и политическим вопросам современности. Самым масштабным трудом, направленным на систематизацию знаний, стала «Энциклопедия» под редакцией французского философа Дидро. В 28 томах, на 18 тыс. страниц и в 75 тыс. статей «Энциклопедии» Дидро собрал всевозможные выводы и наблюдения великих мыслителей о самых разнообразных направлениях знаний, обобщил их открытия и умозаключения и связал воедино полученные факты и принципы. Попытка каталогизировать все знания о мире в единой книге сама по себе была достойна описания, поэтому в «Энциклопедии» была и статья «Энциклопедия».

В политической сфере мыслители, служившие различным государственным интересам, не были склонны приходить к одинаковым выводам. Фридрих Великий, король Пруссии и типичный политик эпохи раннего Просвещения, переписывался с Вольтером, до совершенства вышколил свои войска и во имя интересов Пруссии захватил провинцию Силезия, что привело к Семилетней войне – «первой мировой войне»[20], которая велась на трех континентах. Аналогичным образом Французская революция, одно из самых «рациональных» политических движений эпохи, привела к социальным потрясениям и политическому насилию в масштабах, которых Европа не видела на протяжении веков. Отделив разум от традиции, Просвещение породило новое явление: вооруженный разум, руководя пассионарными народами, перестраивал и разрушал целые страны во имя «научных» выводов о направлении истории. Инновации увеличили разрушительную силу оружия, наступила эпоха «тотальной войны» – конфликтов, характеризующихся мобилизацией на уровне стран и разрушениями на уровне индустрий[21].

Под влиянием этих потрясений мыслители все чаще задавались вопросом, является ли человеческое восприятие, направляемое разумом, единственной мерой познания реальности. В XVIII–XIX вв. романтизм, сосуществовавший с Просвещением, считал человеческие чувства и воображение не менее важными, чем разум, и предпочитал народные традиции и природную мудрость механистической определенности современной эпохи. После Первой мировой войны австрийский философ Людвиг Витгенштейн отказался от понятия единой сущности вещей, определяемой разумом, – цели, к которой стремились философы со времен Платона. Витгенштейн советовал искать знание в обобщении аналогий между явлениями, которые он назвал «семейным сходством»: «А результат этого рассмотрения таков: мы видим сложную сеть подобий, накладывающихся друг на друга и переплетающихся друг с другом, сходство в большом и малом». По его мнению, стремление определить и каталогизировать все вещи, каждую со своими резко очерченными границами, ошибочно. Вместо этого следует стремиться к определению «подобных» вещей и изучать полученные понятия, даже если они имеют «размытые» или «нечеткие» границы[22]. В итоге именно этот способ мышления послужил основой для теорий ИИ и машинного обучения конца XX – начала XXI в.

Тем не менее, когда Просвещение сталкивалось с проблемой, оно использовало разум, чтобы понять и разрешить ее. Для устранения социального неравенства принимались новые законы, для смягчения войн и социальных потрясений разрабатывались новые методы сдерживания конфликтов и создания более справедливых институтов. С этой целью Кант в эссе «К вечному миру» предположил (с некоторой долей скептицизма), что мир может быть достигнут путем применения согласованных правил, регулирующих отношения между независимыми государствами. Поскольку такие взаимно установленные правила еще не были созданы, по крайней мере в форме, которую монархи могли бы понять или которой они могли бы следовать, Кант сформулировал «тайную статью договора о вечном мире» – он считал, что «государства, вооружившиеся для войны, должны принять во внимание мáксимы философов об условиях возможности общего мира»[23]. Работа над разумной, организованной и согласованной международной системой идет до сих пор, а философы и политологи вносят в нее свой вклад – с переменным успехом.

* * *

Мир Просвещения с его оптимизмом в отношении человеческого разума – несмотря на осознание его несовершенства – долгое время был нашим миром. Предыдущие эпохи уходили, когда становились не в силах объяснить разнообразные аспекты реальности, которые они порождали и с которыми сталкивались. На протяжении трех веков непрерывных открытий и исследований люди интерпретировали мир так, как предсказывал Кант: в соответствии со своими интеллектуальными способностями. Но, приблизившись к пределам собственных возможностей познания, люди стали прибегать к помощи компьютеров, чтобы выйти за эти пределы. Помимо физического мира, в котором люди жили всегда, появился отдельный цифровой мир – мир компьютеров. И теперь мы вступаем в эпоху, в которой человеческий разум уступает свое почетное место первооткрывателя, знатока и систематизатора мировых явлений.

Технологические достижения эпохи Просвещения были весьма значительными, но до недавнего времени они вполне укладывались в традиции. Инновации продолжали привычные практики: кино было техническим усовершенствованием фотографии, телефон позволял дистанционно вести все те же разговоры, автомобили представляли собой быстро движущиеся повозки, мощность двигателей которых измерялась в лошадиных силах. В военном деле танки заменили кавалерию, самолеты – передовую артиллерию, и даже ядерное оружие дополняло предыдущий опыт ядерных держав и их понимание войны.

Но мы достигли переломного момента: появились инновации, которые уже нельзя считать продолжением известных практик. Технология стала очень быстро менять жизненный опыт человека, цифровая революция породила не просто более мощные или более эффективные версии того, что уже существовало, а принципиально новые явления. Компьютеры теперь можно встраивать в телефоны, часы, потребительскую электронику, системы безопасности, транспортные средства, оружие и даже в человеческие тела. Связь между такими цифровыми системами осуществляется практически мгновенно. Задачи, которые еще недавно решались вручную, – чтение, исследования, покупки, коммуникации, ведение записей, наблюдение, военные действия – стали цифровыми, они выполняются в киберпространстве на основе данных[24].

Цифровизация затронула все уровни человеческой организации: люди имеют доступ к бо́льшим объемам информации, чем когда-либо. Корпорации, став сборщиками и агрегаторами данных пользователей, получили больше власти и влияния, чем многие суверенные государства. Правительства, опасаясь уступить соперникам, тоже вошли в киберпространство, исследовали его и начали эксплуатировать, не слишком стремясь ограничивать себя или соблюдать некие нормы. Киберпространство для них – область, инновации в которой нужно внедрять, чтобы одержать верх над противниками.

Лишь немногие до конца понимают, к чему привела цифровая революция. Отчасти в этом виноваты скорость и перенасыщение информацией. При всех своих чудесных достижениях цифровизация сделала человеческое мышление менее контекстуальным и менее концептуальным. Так называемые цифровые аборигены не чувствуют насущной необходимости развивать концептуальное мышление, которое на протяжении большей части человеческой истории компенсировало ограниченность коллективной памяти. Они могут спросить обо всем у поисковых систем – будь то элементарные знания, сложные концепции или нечто среднее. Поисковые системы, в свою очередь, используют ИИ для ответа на запросы пользователей. Таким образом, люди делегируют технологии ИИ некоторые аспекты своего мышления. Но они не учитывают того, что информация зависит от контекста. Она становится знанием, только если понять ее через призму культуры и истории.

Информация становится знанием, когда она помещена в контекст. Знание становится мудростью, когда оно может убеждать. Интернет, давая пользователям доступ к мнениям тысяч и даже миллионов других людей, лишает их условий для размышления, которое приводит к выработке убеждений. Лишаясь способности к размышлению, люди теряют стойкость убеждений – поскольку для выработки убеждений им больше не нужно, как раньше, пускаться в длительные, зачастую одинокие путешествия по неизведанным тропам мышления. А ведь только убеждения, которые, в свою очередь, объединяются в мудрость, позволяют людям открывать и исследовать новые горизонты.

Но цифровой мир не терпит мудрости – его ценности формируются одобрением, а не самоанализом. Он фактически отрицает утверждение эпохи Просвещения о том, что наиболее важным элементом сознания является разум. Для цифрового мира основное значение имеет неограниченная связь, а не разум.

С ростом объемов информации в интернете мы обратились к программному обеспечению, которое помогает нам уточнять и сортировать ее, делать оценки на основе закономерностей и направлять нас в поисках ответов на наши вопросы. Работа ИИ казалась нам вполне обыденной – программы дописывали начатые предложения, помогали найти книгу или магазин, даже советовали почитать статьи или СМИ, которые могут нам понравиться, на основе нашего предыдущего поведения. Но по мере того, как ИИ входит в самые разные аспекты нашего существования, он меняет роль, которую наш собственный разум традиционно играл в формировании, систематизации и оценке нашего выбора и наших действий.

Глава 3

От Тьюринга до наших дней – и не только

В 1943 г. был создан первый современный – то есть электронный, цифровой и программируемый – компьютер. Это достижение вновь сделало актуальными старые вопросы: могут ли машины «думать»? Являются ли они «разумными»? И могут ли они стать разумными? Эти вопросы казались особенно сложными, учитывая давние дилеммы о природе интеллекта. В 1950 г. математик и криптограф Алан Тьюринг нашел ответ. В статье с непритязательным заголовком «Вычислительные машины и разум» Тьюринг предложил полностью отбросить проблему «интеллекта» машины, поскольку важен не механизм, а проявление интеллекта. Невозможно познать чью бы то ни было внутреннюю жизнь, а значит, единственным средством измерения интеллекта остаются его внешние проявления. Так Тьюринг обошел стороной многовековые философские дебаты о природе интеллекта. По правилам «имитационной игры» Тьюринга, если наблюдатели не могут отличить поведение машины от поведения человека, машину следует считать «мыслящей».

Так появился тест Тьюринга[25].

Многие представляли себе выполнение теста Тьюринга буквально, не понимая, что такое машины, отвечающие его критериям, и воображая роботов, которые выдают себя за людей. Но реальная ценность теста Тьюринга проявилась в оценке работы «интеллектуальных» машин в определенных ограниченных видах деятельности, таких как игры. На самом деле тест не требует полной неотличимости от человека – он применяется к машинам, чьи действия похожи на человеческие, и фиксирует результат, а не процесс. Например, такие генераторы, как GPT-3, являются ИИ не из-за особенностей обучения модели, а поскольку они создают текст, который выглядит как написанный человеком.

В 1956 г. компьютерный ученый Джон Маккарти уточнил определение ИИ в отношении «машин, которые могут выполнять задачи, характерные для человеческого интеллекта». С тех пор оценки Тьюринга и Маккарти стали эталонами в отношении ИИ – оценивается поведение, похожее на проявление интеллекта, а не более глубокие философские, когнитивные или нейробиологические аспекты этого термина.

В последующие полвека машинам, как правило, не удавалось продемонстрировать подобный «интеллект». В течение десятилетий вся работа компьютеров происходила в рамках жесткого программного кода. Классические программы могли работать с большими объемами данных и выполнять сложные вычисления, но не умели распознавать изображения простых объектов или самостоятельно исправлять ошибки входных данных. Компьютер не мог воспроизвести неточное и концептуальное человеческое мышление.

В последние годы, похоже, наметился выход из этого тупика – появляется все больше примеров специализированных ИИ, которые в своей сфере применения не уступают человеку и даже превосходят его.

Четыре основных качества ИИ, ориентированные на конкретные области, – неточность, динамичность, эмерджентность и обучаемость. Системы ИИ обучаются, потребляя данные, а затем делая наблюдения и выводы на основе этих данных. Они не требуют точного ввода и не гарантируют точного вывода – например, системы машинного перевода переводят тексты не путем замены отдельных слов, а выявляя и используя идиоматические фразы и шаблоны. Аналогичным образом, такие ИИ считаются динамичными, поскольку они развиваются в ответ на изменяющиеся обстоятельства, и эмерджентными, так как они могут находить решения, совершенно новые для человека. Это качества, революционные для машин.

Рассмотрим прорыв AlphaZero в мире шахмат. Если классические шахматные программы следовали жестко закодированному в них человеческому опыту, то ИИ AlphaZero развивал свои навыки, играя миллионы партий против самого себя. Завершив обучение, модель AlphaZero применила выработанную стратегию и сопутствующую тактику на практике – и результатом стали «шахматы из другого измерения». Такие методы обучения основаны на алгоритмах – наборах шагов для преобразования входных данных (таких как правила игры) в повторяющиеся выходные данные (такие как победа в игре). При этом цель обучения заключается не в получении точных и предсказуемых результатов вычислений, а в улучшении неточных результатов. И эти методы замечательно работают.

Возьмем в качестве примера авиацию. Скоро ИИ сможет управлять различными воздушными транспортными средствами – или быть вторым пилотом. Уже сейчас в рамках программы DARPA AlphaDogFight истребители, пилотируемые ИИ, превосходят человека в боевых симуляциях, выполняя маневры, которые не под силу пилотам-людям. Управляя боевыми самолетами или беспилотниками, доставляющими продовольствие, ИИ может оказать значительное влияние на будущее военной и гражданской авиации.

Сейчас мы видим самые первые инновации в области ИИ, и они уже начинают менять человеческое мировосприятие самыми разными способами. В ближайшие десятилетия эти тенденции будут только усиливаться. ИИ становится вездесущим, и его влияние на нашу жизнь растет.

Технологические концепции, управляющие развитием ИИ, очень сложны и важны. В этой главе мы рассказываем об эволюции и текущем состоянии различных видов машинного обучения и его применений. Современные ИИ одновременно поразительно мощны и заметно ограничены. Базовое знакомство со структурой, возможностями и ограничениями ИИ жизненно важно для понимания того, как он развивается, какие несет социальные, культурные и политические изменения и какое влияние окажет в будущем.

Эволюция ИИ

Человечество всегда мечтало о помощнике – машине, способной выполнять человеческие задачи. В греческой мифологии бронзовый гигант Талос, выкованный богом-кузнецом Гефестом[26], патрулировал берега Крита, защищая остров от вторжения. Людовик XIV во Франции в XVII в. и Фридрих Великий в Пруссии в XVIII в. увлекались механическими автоматами. Однако в реальности создать такую машину и сделать ее способной к полезной деятельности – даже с появлением современной вычислительной техники – было дьявольски сложно. Главная проблема была в том, как и чему ее обучать.

Первые попытки создать практически полезный ИИ заключались в кодировании человеческого опыта в наборы правил или фактов для компьютерных систем. Но далеко не все можно свести к простым правилам или символическим представлениям. Там, где используются точные характеристики – шахматы, алгебраические расчеты, автоматизация бизнес-процессов, – добились больших успехов так называемые экспертные системы. Но в таких областях, как переводы с иностранных языков и визуальное распознавание объектов, экспертные системы потерпели неудачу.

Проблемы, возникшие при распознавании визуальных объектов, наглядно иллюстрируют недостатки этих ранних программ. Распознавание изображений – легкая задача даже для маленьких детей, но не для первых поколений ИИ. Сначала разработчики ИИ пытались задать отличительные характеристики объекта через символическое представление. Например, чтобы идентифицировать изображение кошки, они создавали абстрактные варианты различных атрибутов – усов, четырех лап, тела, заостренных ушей – идеализированной кошки. Но в реальности такое идеальное представление кошки встречается редко, к тому же кошки могут бегать, сворачиваться клубком или вытягиваться, у них бывают разные размеры и окрасы. Таким образом, подход, подразумевающий создание абстрактных моделей и их сопоставление с входными данными из реального мира, на практике оказался неработоспособным.

Эти формалистические, негибкие системы познакомили нас с интеллектуальными машинами, но успешно работали они только в областях, в которых имеющийся опыт можно было четко зафиксировать в виде жестких правил. При решении задач, которые нельзя было закодировать четкими правилами, такие системы не проходили тест Тьюринга, то есть оказывались неспособны делать (или имитировать) работу человека. Так наступила «зима ИИ» – области применения интеллектуальных систем были ограничены, их финансирование сократилось и прогресс замедлился.

Затем произошел концептуальный сдвиг. Разработчики осознали, что нужен новый подход к созданию машин для решения сложных проблем – машины должны учиться самостоятельно. Так мы перешли от попыток закодировать знания, полученные человеком, к делегированию машинам самого процесса обучения.

Машинное обучение возникло еще в 1950-х гг., но новые достижения позволили исследователям опять обратить на него внимание в 1990-е гг. и начать применять его на практике. Лучше всего зарекомендовали себя методы извлечения закономерностей из больших массивов данных с помощью так называемых нейронных сетей. В философском плане можно сказать, что первопроходцы ИИ отказались от идеи свести мир к механистическим правилам и построить модели, приближенные к реальности. Они поняли, что для идентификации изображения кошки машина должна «выучить» ряд визуальных представлений кошек, наблюдая за животными в различных контекстах. Для машинного обучения важно взаимодействие различных представлений, а не их идеальное выражение – Витгенштейн, а не Платон. Так родилась современная область машинного обучения – программы, которые обучаются на полученном опыте.

Современный ИИ

Мы добились серьезных успехов. Например, в 2000-х гг. был достигнут значительный прогресс в области машинного обучения для визуального распознавания объектов. Разработчики создали ИИ, которые обучались на наборах картинок и идентифицировали изображения объектов гораздо эффективнее, чем жестко закодированные системы.

ИИ, который открыл халицин, иллюстрирует центральную роль процесса обучения. Когда исследователи МИТ разработали алгоритм машинного обучения для предсказания антибактериальных свойств молекул, обучив его на наборе данных из более чем 2 тыс. молекул, получилось то, чего не смог бы добиться ни один обычный алгоритм – и ни один человек. Связи, которые ИИ выявил между молекулой и ее свойствами антибиотика, непонятны людям и, что еще более важно, не поддаются выражению в виде правил. Это говорит о том, что алгоритм машинного обучения, который совершенствует модель на основе базовых данных, способен распознавать взаимосвязи, неуловимые для человека.

Как отмечалось ранее, это неточный ИИ – ему не нужно заранее задавать определенную связь между свойством и эффектом. Он может, например, выбрать наиболее вероятных кандидатов из большого набора возможностей. Эта способность отражает один из жизненно важных элементов современного ИИ. Используя машинное обучение для создания и корректировки моделей с использованием обратной связи из реального мира, современный ИИ может постепенно уточнять результаты и анализировать неоднозначные ситуации, которые поставили бы в тупик классические алгоритмы. Как и классический алгоритм, алгоритм машинного обучения состоит из последовательности точных шагов. Но, в отличие от классического алгоритма, эти шаги не приводят непосредственно к определенному результату. Скорее, современные алгоритмы ИИ измеряют качество результатов и позволяют улучшать эти результаты – это не выполнение точных инструкций, а процесс обучения.

Основной метод и движущая сила машинного обучения – нейронная сеть. В 1958 г. у Фрэнка Розенблатта, исследователя Авиационной лаборатории Корнелльского университета, возникла идея кодирования информации с помощью структуры «узлов» (аналог нейронов, которых в человеческом мозгу насчитывается около 100 млрд) и связей между ними, сила которых обозначалась весовыми коэффициентами (аналог квадриллионов синапсов, соединяющих нейроны). В течение десятилетий недостаток вычислительных мощностей и сложных алгоритмов замедлял развитие любых нейронных сетей, кроме самых простых. Прогресс последних лет в обеих областях освободил разработчиков ИИ от этих ограничений.

В случае с халицином нейронная сеть уловила связь между молекулами (вход) и их потенциальной возможностью подавления роста бактерий (выход). ИИ, открывший халицин, сделал это, не оперируя информацией о химических процессах или функциях лекарств, он обнаружил взаимосвязи между входными и выходными данными при помощи так называемого глубокого обучения, при котором слои нейронной сети, расположенные ближе к входу, отражают свойства входных данных, а слои, расположенные дальше, отражают более широкие обобщения, предсказывающие желаемый выход.

Глубокое обучение позволяет нейронным сетям улавливать сложные взаимосвязи, например между эффективностью антибиотиков и аспектами молекулярной структуры, отраженными в обучающих данных (молекулярный вес, химический состав, типы межатомных связей и т. д.), которые могут ускользнуть от человека. Когда ИИ сталкивается на этапе обучения с новыми данными, он корректирует весовые коэффициенты в нейронной сети, чтобы отразить новую информацию. Точность сети зависит от объема и качества данных, на которых она обучается. Чем больше объемы обучающих данных и чем больше слоев нейросети, тем точнее веса отражают взаимосвязи. В современных глубоких сетях обычно бывает до 10 слоев.

Для обучения нейронных сетей нужны огромные ресурсы. Этот процесс требует значительных вычислительных мощностей, большого количества энергии и сложных алгоритмов для анализа и адаптации к огромным объемам данных. В отличие от человека, большинство ИИ не могут одновременно обучаться и выполнять работу. Обучение и практическое применение – разные этапы функционирования ИИ. На этапе обучения алгоритмы измерения и повышения качества ИИ оценивают и корректируют свою модель для получения хороших результатов. В случае с халицином обучение заключалось в том, что ИИ выявлял взаимосвязи между молекулярными структурами и эффектами антибиотиков на основе данных обучающего набора. На следующем этапе исследователи поставили перед ИИ задачу определить молекулы с сильным антибиотическим эффектом. Этот ИИ не занимался рассуждениями – он делал выводы, применяя разработанную им модель.

Разные задачи – разные стили обучения

Для разных задач, выполняемых ИИ, требуются разные методы обучения. В этом заключается основная проблема внедрения машинного обучения. В зависимости от предполагаемого назначения того или иного ИИ разработчикам приходится использовать различные методы обучения. Из сочетания применяемых методов – алгоритмов машинного обучения, нейронных сетей и способов обучения – возникают новые возможности ИИ, например диагностика рака.

Сегодня можно выделить три основные формы машинного обучения: контролируемое обучение, неконтролируемое обучение и обучение с подкреплением. Контролируемое обучение позволило создать ИИ, который обнаружил халицин. Напомним, что в поисках потенциальных новых антибиотиков исследователи МТИ использовали базу данных из 2 тыс. молекул, чтобы обучить модель, в которой на входе была молекулярная структура, а на выходе – эффективность антибиотика. Исследователи предоставили ИИ сведения о молекулярных структурах, эффективность которых как антибиотиков была заранее известна. После этого ИИ смог оценить новый набор соединений.

Этот метод называется контролируемым обучением, поскольку на входе используется набор данных (в случае с халицином – молекулярных структур), индивидуально маркированных в соответствии с желаемым результатом (свойствами антибиотика). Разработчики используют контролируемое обучение для многих целей, например для создания ИИ, распознающих изображения. Для этого ИИ обучают на наборе предварительно атрибутированных изображений – например, изображений кошек с меткой «кошка». Кодируя связь между изображениями и метками, ИИ учится правильно идентифицировать новые изображения. Когда у разработчиков есть набор данных, указывающий желаемый результат для каждого из множества объектов на входе, контролируемое обучение работает особенно эффективно – полученные модели могут предсказывать результаты в ответ на новые входные данные.

Если у разработчиков нет ничего, кроме огромного количества данных, они используют неконтролируемое обучение. Сегодня предприятия, правительства и исследователи благодаря интернету и цифровизации располагают несметными объемами данных – у маркетологов оседает информация о клиентах, у биологов – об образцах ДНК, у банкиров – о финансовых операциях. Когда маркетологи формируют клиентские базы, а финансовые аналитики ищут потенциальные несоответствия в огромных массивах транзакций, неконтролируемое обучение позволяет ИИ выявлять закономерности или аномалии без какой-либо спецификации «правильных» ответов. Разработчики поручают алгоритму обучения создавать группы данных на основе определенных мер сходства. Например, видеосервисы, такие как Netflix, используют алгоритмы, которые определяют кластеры клиентов с похожими привычками просмотра, чтобы рекомендовать им подходящие фильмы. Настраивать такие алгоритмы непросто, поскольку у людей, как правило, много интересов и каждый зритель может попасть во множество кластеров.

ИИ, обученные с помощью неконтролируемого обучения, могут выявлять слишком тонкие закономерности, требующие слишком больших объемов данных для человека. Поскольку таким ИИ никто не диктует критерии «правильности» результатов, они, как и люди-самоучки, могут создавать удивительные инновационные идеи – или выдавать совершенно нелепые результаты.

И при неконтролируемом, и при контролируемом обучении ИИ решают такие задачи, как выявление тенденций, идентификация образов и составление прогнозов, на основе данных. Но если необходимо обучить ИИ работать в меняющейся среде, ограничиваться анализом данных нельзя. Поэтому появилась третья основная категория машинного обучения – обучение с подкреплением.

При обучении с подкреплением ИИ не ограничивается ролью пассивного наблюдателя, выявляющего взаимосвязи в массивах данных, – он активно функционирует в упрощенной контролируемой среде, наблюдая и фиксируя реакцию, вызванную его действиями. Как правило, используются симулированные среды, имитирующие некую упрощенную версию реальности. Например, легче смоделировать работу робота на сборочном конвейере, чем в хаосе переполненной городской улицы. Однако даже в такой упрощенной контролируемой среде, как шахматы, один ход может вызвать целый каскад возможностей и рисков. Поэтому для того, чтобы ИИ самостоятельно тренировался в искусственной среде, как правило, недостаточно обеспечить наилучшие показатели – необходим некий механизм обратной связи.

Такую обратную связь обеспечивает функция подкрепления, указывающая ИИ на то, насколько успешным был его подход. В цифровой среде человек не может эффективно давать обратную связь машине – ведь ИИ выполняет сотни, тысячи или миллиарды шагов в течение нескольких часов или дней. Поэтому функции вознаграждения автоматизируются – для этого разработчики определяют, каким образом имитируется реальность и как должно работать подкрепление. В идеале симулятор обеспечивает реалистичный опыт, а функция вознаграждения способствует принятию эффективных решений.

ИИ AlphaZero тренировался, играя против самого себя – точнее, против второго экземпляра ИИ, играющего за противника, – а для оценки своей работы использовал функцию подкрепления[27], которая оценивала его ходы в соответствии с создаваемыми ими возможностями. Как показывает этот пример, человек занимается созданием среды обучения ИИ с подкреплением, но не может обеспечивать обратную связь в процессе обучения. Человек определяет способ симуляции и функцию вознаграждения, а ИИ обучается. Поэтому для того, чтобы добиться нужных результатов, очень важно тщательно определить метод симуляции и функцию вознаграждения.

Мощь машинного обучения

Описанные «строительные блоки» обеспечивают широкое применение ИИ. В сельском хозяйстве ИИ способствует правильному применению пестицидов, обнаружению болезней сельскохозяйственных культур и прогнозированию урожайности. В медицине он помогает открывать новые лекарства, разрабатывать новые способы применения существующих препаратов, диагностировать и прогнозировать заболевания (например, уже есть случаи диагностики рака груди, ретинопатии, гипогликемии и наследственных заболеваний, выполненной ИИ раньше, чем врачами-людьми). В финансовой сфере ИИ может одобрять выдачу кредитов, слияния и поглощения, банкротства и т. п. или отказывать в них.

Самая убедительная иллюстрация работы ИИ – расшифровка голоса и перевод с иностранных языков. На протяжении тысячелетий человечество сталкивалось с проблемой разрыва в коммуникациях между представителями разных культур и языков. Взаимонепонимание и недоступность иноязычной информации приводили не только к недоразумениям – из-за них страдала торговля, а иногда начинались войны. История о Вавилонской башне – символ человеческого несовершенства, рассказ о горьком наказании за человеческую гордыню. Но теперь все идет к тому, что мощные методы перевода с помощью ИИ сделают межъязыковые коммуникации доступными для широкой аудитории и значительно большему числу людей станет легче общаться друг с другом.

В 1990-х гг. исследователи с переменным успехом разрабатывали системы машинного перевода на основе правил. Эти попытки не привели к созданию универсальных переводчиков. Изменчивость и тонкость языка невозможно было свести к набору правил. Все изменилось, когда в 2015 г. машинный перевод совершил серьезный прорыв с началом использования глубоких нейронных сетей. Но инновации появились не только благодаря применению нейронных сетей или методов машинного обучения – скорее они возникли благодаря новым творческим способам применения этих подходов. Они подчеркивают ключевую способность машинного обучения – делать открытия и внедрять блестящие инновации в процессе создания новых ИИ.

Чтобы переводить с одного языка на другой, переводчик улавливает определенные закономерности, последовательные зависимости. Стандартные нейронные сети различают шаблоны ассоциаций между входом и выходом – например, какими наборами химических свойств обычно обладают антибиотики. Но они не могут так же просто улавливать последовательные зависимости – такие, например, как вероятность появления того или иного слова в предложении с учетом предыдущих слов. Если предложение начинается со слов «пойду выгуливать», следующим словом будет скорее «собаку», чем «кошку» или «самолет». Чтобы обучить ИИ таким последовательным зависимостям, исследователи разработали сети, использующие в качестве входных данных пары «текст – перевод». Это позволяет ИИ определять следующее слово на основе последовательных зависимостей на языках, между которыми осуществляется перевод. Наиболее мощные из этих сетей – так называемые трансформеры, которым не требуется обрабатывать последовательности по порядку. Например, Google BERT – двунаправленный трансформер, предназначенный для улучшения поиска.

Кроме того, разработчики систем перевода с иностранных языков использовали так называемые параллельные корпусы. Это было значительным достижением по сравнению с традиционным контролируемым обучением, требующим конкретных соответствий между входными и выходными данными. При традиционном подходе разработчики обучали ИИ, используя тексты с уже существующими переводами, поскольку в таких парах был необходимый уровень детального соответствия между языками. Но такой подход значительно ограничивал объем обучающих данных, а также типы доступных текстов – ведь если официальные тексты правительств или литературные труды переводятся на другие языки достаточно часто, то огромные массивы текстов из СМИ, соцсетей, с веб-сайтов и т. п., как правило, остаются непереведенными.

Вместо того чтобы ограничивать ИИ обучением на предварительно переведенных текстах, разработчики использовали статьи и другие тексты на разных языках по одной и той же теме, не являющиеся прямым переводом друг друга. Эти похожие, но непереведенные тексты и есть параллельные корпусы. Такой процесс обучения сродни переходу от изучения языков на специализированных курсах к обучению методом погружения. При этом происходит менее точное обучение, зато значительно увеличивается объем доступных данных. В параллельные корпусы включают новостные статьи, напечатанные в газетах на разных языках, рассказы о знаменитостях, рецензии на книги и фильмы, истории путешествий – одним словом, практически любые официальные или неофициальные публикации на темы, широко освещаемые во всем мире. Успех этого подхода привел к более широкому использованию частично контролируемого обучения, при котором используется весьма приблизительная или частичная информация.

Когда система Google Translate стала использовать глубокие нейронные сети, обученные на параллельных корпусах, ее производительность повысилась на 60 % – и продолжает расти.

Речь пока не идет о параллельном переводе устной речи – до робота C-3PO или вавилонской рыбки[28] нам еще далеко. Но радикальное развитие письменного перевода обещает изменить бизнес, дипломатию, СМИ, науку и другие сферы, поскольку люди будут общаться на чужих языках легче, быстрее и с меньшими затратами, чем когда-либо прежде.

ИИ, о которых мы рассказывали до сих пор, умели находить решения: победу в шахматной партии, искомое лекарство, осмысленный перевод с иностранного языка. Отдельная область – создание новых текстов, изображений, звуков и т. п. На это способна другая технология – генеративные нейронные сети. Сначала они обучаются на основе существующих текстов или изображений, а затем создают новые тексты или изображения – искусственные, но реалистичные. Если стандартная нейронная сеть может распознать изображение человеческого лица, то генеративная сеть может создать подобное изображение, которое будет выглядеть как реальное. Это концептуально новая технология.

Перспективы применения генеративных нейронных сетей поражают воображение. Настроив такую сеть на создание программного кода или оригинальных текстов, автор может задать общую структуру, которую генеративная нейросеть заполнит деталями. Можно будет поручать таким нейросетям создавать, например, финальные тексты, рекламные ролики и фильмы на основе исходных материалов. Серьезная опасность кроется в возможности создания так называемых цифровых фабрикаций (deep fake) – неотличимых от реальности изображений людей, которые делают или говорят то, что реальные люди никогда не делали и не говорили. В перспективе генеративные нейросети могут значительно обогатить наше информационное пространство, но, если не контролировать эту деятельность, она может существенно размыть границу между реальностью и вымыслом.

Распространенный алгоритм обучения таких моделей – генеративно-состязательные сети (generative adversarial network, GAN). В них генеративная модель, которая генерирует образцы, соревнуется с дискриминаторной моделью, которая борется с созданием некачественных вариантов. Представьте, например, что генератору поручено проводить мозговые штурмы, а дискриминатору – оценить, какие из проведенных мозговых штурмов оказались полезны и результативны. Генеративная и дискриминаторная модели обучаются попеременно: сначала генеративная модель тренирует дискриминаторную, затем наоборот.

Обучение GAN может быть довольно сложным, оно выполняется на огромных объемах данных и часто дает плохие результаты, но ИИ, созданные с их помощью, могут решать замечательные задачи. ИИ, обученные с помощью GAN, могут дописывать начатые предложения (например, при составлении электронных писем) или дополнять запросы для поисковых систем. В перспективе такие ИИ, возможно, научатся завершать недописанные программы.

Одним из наиболее примечательных генеративных ИИ является GPT-3, упомянутый в главе 1 (другие генеративные модели могут создавать неотличимые от реальности изображения или видео). GPT-3 расширяет подход, который оказался таким удачным в машинном переводе. Взяв несколько слов, GPT-3 обнаруживает закономерности в идущих друг за другом элементах текста, после чего предсказывает и генерирует последующие элементы. Несколько слов GPT-3 может экстраполировать в предложение, а предложение – в абзац.

Обученные на массивах данных, взятых в основном из интернета, трансформирующие ИИ также могут преобразовывать текст в изображения и наоборот, расширять или сокращать описания и т. д. Иногда продукция GPT-3 и аналогичных ИИ кажется высокоинтеллектуальной, иногда – глупой или совершенно непонятной. Но в перспективе такие системы могут изменить многие области, включая творческие. Поэтому они вызывают большой интерес исследователей и разработчиков, изучающих их сильные стороны, ограничения и возможности применения.

Машинное обучение не просто расширило возможности применения ИИ – оно произвело революцию даже в тех областях, в которых люди ранее успешно обходились без ИИ. Именно методы машинного обучения позволили открыть совершенно новые шахматные стратегии. Разумеется, способность ИИ к открытиям не ограничивается играми. Как уже упоминалось, компания DeepMind создала ИИ, который понизил энергозатраты дата-центров Google на 40 % после того, как они уже были оптимизированы отличными инженерами-людьми. Это означает, что такие ИИ не просто выполняют тест Тьюринга, показывая продуктивность, неотличимую от человеческой, – они выходят за его рамки, превосходя человеческую производительность и раздвигая границы нашего понимания. Такие достижения означают, что ИИ и дальше будет учиться решать новые задачи и спектр его применения будет расти – возможно, он действительно будет писать оригинальные тексты и разрабатывать программные коды.

Разумеется, чем мощнее становится технология и чем больше она распространяется, тем чаще ее преимущества сопровождаются проблемами. Наглядный пример – персонализация поиска. В главе 1 мы описали, чем отличается интернет-поиск, управляемый ИИ, от обычного интернет-поиска – первый может ограничить поле зрения пользователя предложениями только дизайнерской одежды, в то время как второй познакомит его с полным ассортиментом, доступным для приобретения в интернете. Поисковая система подстраивается под конкретного пользователя двумя способами: 1) получив запрос вроде «чем заняться в Нью-Йорке», ИИ может генерировать идеи, такие как «прогулка по Центральному парку» или «посещение бродвейских шоу»; 2) ИИ может запоминать как историю запросов, так и ответные идеи. Со временем он будет конкретизировать эти идеи, делая их (теоретически) все более полезными для пользователей. Онлайн-кинотеатры выполняют подобную задачу, используя ИИ, чтобы сделать телевизионные шоу и фильмы более подходящими для зрителей, которые хотели бы смотреть, например, более позитивные фильмы. Это путь к расширению возможностей. Такой ИИ будет прятать от детей взрослый контент и сможет рекомендовать им программы, соответствующие их возрасту и вкусам. Такой ИИ будет беречь всех зрителей от жесткого контента или слишком откровенных фильмов или историй, оскорбляющих чувства, – в зависимости от того, какие выводы о предпочтениях пользователей сделают алгоритмы, анализируя их предшествующие действия. По мере того как ИИ будет изучать аудиторию, он будет добиваться все более положительных результатов – например, онлайн-кинотеатры будут с большей вероятностью рекомендовать своим подписчикам именно те фильмы и сериалы, которые их заинтересуют, а не те, которые их оскорбят или смутят.

То, что такая фильтрация может помочь, нам всем уже знакомо на практике. Находясь в другой стране, мы можем нанять гида, который покажет нам те исторические места или достопримечательности, которые в большей степени соответствуют нашей религии, национальности или профессии. Это может превратиться в своего рода цензуру – ведь такой экскурсовод, вероятно, будет избегать трущоб или районов с высоким уровнем преступности. В авторитарных странах гиды могут показывать туристам только то, что разрешено правящим режимом. Что же касается киберпространства, то в нем такая фильтрация возникает и развивается сама по себе. Как только алгоритмы, персонализирующие поиск, начинают отбирать для нас новости, книги и другие источники информации, они неизбежно начинают педалировать одни темы и скрывать другие. В результате будут расти изоляция пользователей друг от друга и разногласия между ними. Реальность одного пользователя будет отличаться от реальности другого, реальность которого будет совсем непохожа на реальность третьего, – этот парадокс мы рассмотрим более детально в главе 6.

Чем шире будет распространяться ИИ, тем больше он будет создавать рисков, и по мере развития ИИ необходимо учиться управлять этими рисками.

Ограничения ИИ и управление им

В отличие от предыдущего поколения ИИ, основанных на человеческом понимании реальности, ИИ с машинным обучением моделируют реальность самостоятельно. При этом разработчики не могут попросить ИИ объяснить, чему он научился, как это можно сделать с учеником-человеком. Невозможно узнать, чему именно научился ИИ и как он это сделал, – мы можем лишь наблюдать результаты, которые ИИ выдает после завершения обучения. Это означает, что людям нужно выполнять противоположную работу. Когда ИИ выдает результат, люди должны проверять его, чтобы быть уверенными, что это тот результат, который им нужен.

Иногда ИИ может обнаруживать нечто совершенно неожиданное. Не имея человеческого опыта, ИИ может делать выводы, которые являются истинными, но при этом находятся за границами человеческого понимания. Такие неожиданные открытия ИИ могут ставить людей примерно в то же положение, в каком когда-то оказался Александр Флеминг, первооткрыватель пенициллина, – однажды в его лаборатории плесень случайно заселила чашку Петри, уничтожив болезнетворные бактерии, из чего Флеминг сделал вывод о существовании ранее неизвестного сильнодействующего соединения. Человечество тогда не имело понятия об антибиотиках и не знало, как действует пенициллин. Значение этого открытия трудно переоценить. ИИ делает такие же поразительные открытия, когда находит новые лекарства или новые стратегии победы в игре, – людям при этом остается понять значение этих открытий и интегрировать их в существующее знание.

При этом ИИ не может «осознавать» значение того, что он обнаруживает. На протяжении многих эпох люди переживали уроки, горести и крайности войны, а затем рефлексировали на эти темы – так появились многие величайшие произведения искусства, от «Илиады» Гомера до «Герники» Пикассо. ИИ на это не способен ни с морально-этической, ни с философской точки зрения. Он просто применяет свой метод и выдает результат – банальный или шокирующий, доброкачественный или вредоносный. ИИ не может «почувствовать» себя обязанным «размышлять» о значении своих действий, поскольку он попросту не может мыслить. Поэтому люди должны регулировать и контролировать ИИ.

То, что ИИ неспособен к контекстуализации или человеческой рефлексии, требует особенно пристального внимания к некоторым его недостаткам. Например, известно, что система распознавания изображений Google опознавала изображения людей как животных[29], а животных – как оружия[30]. Эти ошибки любой человек счел бы элементарными, но они ускользнули от внимания ИИ. Зачастую подобные ошибки приходится устранять уже после развертывания систем.

Такие ошибки обусловлены несколькими причинами. Одной из проблем является необъективность данных, используемых для машинного обучения. ИИ не сможет выработать хорошие модели без данных, но критическая проблема заключается в том, насколько эти данные объективны (непредвзяты). Например, системы распознавания лиц часто обучались на наборах данных с непропорционально малым количеством изображений темнокожих людей, что приводило к низкой точности. Имеет значение не только количество, но и охват – неизбежны ошибки, если обучать ИИ на большом количестве очень похожих изображений. Нельзя недооценивать важность обучения маловероятным ситуациям, если они создают высокие риски. Если в наборе данных для обучения автомобилей с автопилотом будет мало таких примеров, как прыжок оленя через дорогу, ИИ не будет знать, как действовать в таких сценариях, – при том что именно в таких случаях он должен работать на пиковом уровне.

Кроме того, необъективность ИИ может быть результатом человеческой предвзятости при подборе обучающих данных. Это может произойти при маркировке выходных данных для контролируемого обучения: если маркировщик допустил ошибку, преднамеренную или нет, ИИ закодирует ее. Другой случай – если разработчик некорректно задает функцию вознаграждения для обучения с подкреплением. Представьте себе шахматный ИИ, обученный на симуляторе, разработчик которого маркировал определенные ходы как предпочтительные. ИИ будет использовать такие ходы, даже если они объективно неудачны.

Конечно, проблема необъективности в технологиях не ограничивается ИИ. Прибор пульсоксиметр, который с начала пандемии COVID-19 стал известен почти каждому, поскольку служит для измерения двух важнейших показателей здоровья – пульса и насыщения кислородом, завышает насыщение кислородом у темнокожих людей. Дело в том, что он ориентируется на степень поглощения света тканями и, считая показатели поглощения светлой кожей «нормальными», фактически предполагает, что показатели поглощения темной кожей «ненормальны». В пульсоксиметре нет ИИ, но даже такой простой прибор необъективен по отношению к значительной части населения. Нам обязательно нужно понимать ошибки ИИ – и не прощать их, а исправлять. Необъективность пронизывает все аспекты человеческого общества, и это серьезная проблема, с которой нужно бороться.

Другой источник ошибочной идентификации – ненадежность ИИ. Рассмотрим случай ошибочного распознавания животного как оружия. Изображение вводит ИИ в заблуждение, потому что оно содержит тонкие характеристики, невидимые для человека, но заметные для ИИ, которые сбивают ИИ с толку. ИИ не обладает «здравым смыслом», он может смешивать два объекта, которые человек различает легко и быстро. Уровень проверки ИИ и режимов его соответствия требованиям на момент подготовки этой книги не особенно высок, поэтому зачастую возникают совершенно неожиданные ошибки. В реальном мире вред, нанесенный неожиданным сбоем ИИ, может быть очень велик, а устранение последствий такого сбоя – слишком трудоемко, поскольку обществу сложнее бороться с тем, чего оно не ожидало.

Ненадежность ИИ отражает недостаток глубины обучения современных ИИ. Зависимости между свойствами входных и выходных данных, получаемые при контролируемом обучении или обучении с подкреплением, значительно отличаются от подлинно человеческого понимания – с его многочисленными уровнями концептуализации и опыта. Ненадежность также отражает факт отсутствия сознания у ИИ. Поскольку ИИ не является разумным, он не знает, чего именно он не знает, и не может избегать ошибок, очевидных для человека. Неспособность ИИ самостоятельно контролировать корректность своей работы говорит о жизненной важности разработки методов тестирования, позволяющих человеку определять пределы возможностей ИИ, анализировать сценарии, предлагаемые ИИ, и предсказывать, когда ИИ может потерпеть неудачу.

Аналогично, жизненно важно создать процедуры оценки того, работает ли ИИ так, как ожидалось. Пока движущей силой ИИ будет машинное обучение, люди по-прежнему не будут знать, чему учится ИИ, и не будут понимать, откуда он знает то, чему научился. Само по себе это нормально – человеческое обучение часто бывает таким же непрозрачным. Художники и спортсмены, писатели и механики, родители и дети – да, собственно, все люди часто действуют интуитивно и не могут сформулировать, что и откуда они знают. Именно поэтому общество разработало для людей множество программ профессиональной сертификации, правила и законы. Аналогичные методы могут быть применены к ИИ, причем общество может разрешить использование ИИ только после того, как создатели продемонстрируют его надежность в процессе тестирования. Поэтому важной задачей общества станет разработка программ «профессиональной сертификации», комплаенса и надзора для ИИ, а также обеспечение необходимой аудиторской экспертизы.

В промышленности существует широкий диапазон режимов проверки продукции перед ее эксплуатацией. Если разработчики приложений часто торопятся выпустить свой продукт на рынок, исправляя его недостатки в режиме реального времени, то аэрокосмические компании тщательнейшим образом испытывают свои самолеты до того, как хоть один человек ступит на борт. Эти различия зависят от множества факторов, включая степень риска, присущую отрасли, нормативный надзор и рыночные силы. Аналогичная картина, вероятно, будет иметь место и для различных ИИ, причем ИИ для автомобилей с автопилотом будет, по всей видимости, подлежать более жесткому надзору, чем ИИ для развлекательных платформ и соцсетей вроде TikTok.

Такой режим тестирования возможен для ИИ, которые обучаются до ввода в эксплуатацию. Если же ИИ продолжает учиться в процессе эксплуатации, он может демонстрировать неожиданное или нежелательное поведение, как это произошло с чат-ботом Microsoft Tay в 2016 г. Столкнувшись в интернете с проявлениями ненависти, Tay тут же начал подражать им и вскоре был отключен. Благодаря тому что эволюция большинства ИИ по завершении обучения останавливается, обученные модели (то есть параметры нейронной сети) в дальнейшем не меняются. Это позволяет тестировать ИИ, не опасаясь того, что после ввода в промышленную эксплуатацию он начнет вести себя неожиданным или нежелательным образом. Когда алгоритм фиксирован, автомобиль с автопилотом, обученным реагировать на сигналы светофора, не может внезапно «решить» проехать на красный свет. Это делает возможным всесторонние испытания и сертификацию ИИ – инженеры могут проверять поведение автопилота с ИИ в тестовой среде, прежде чем устанавливать его на реальный автомобиль, где ошибка может стоить жизни. Это не означает, что ИИ не будет вести себя неожиданным образом, если его поставить в новые условия, это означает только то, что предварительная проверка работы ИИ возможна. Еще одна возможность проверки качества – аудит наборов данных. Убедившись в том, что ИИ для распознавания лиц обучается на разнообразных наборах данных или что чат-бот использует для обучения тексты, из которых исключены проявления ненависти, разработчики могут понизить вероятность того, что ИИ даст сбой при вводе в эксплуатацию.

В любом случае ИИ действует в соответствии со своим кодом, что означает три вида ограничений. Во-первых, код задает параметры возможных действий ИИ. Эти параметры могут быть довольно широкими, допускающими значительный диапазон самостоятельности ИИ – а значит, и высокий уровень риска. ИИ автомобиля с автопилотом может тормозить, ускоряться и поворачивать, и любое из этих действий может привести к столкновению. Тем не менее параметры, задаваемые кодом, устанавливают некоторые ограничения поведения ИИ. Например, хотя AlphaZero и разработал новые поразительные шахматные стратегии, он не может нарушать шахматные правила – например, он не может сделать ход пешкой назад. Он попросту неспособен совершать действия, выходящие за рамки параметров его кода, – если некие действия изначально не заложены или непосредственно запрещены разработчиками, ИИ не сможет их совершать. Во-вторых, возможности ИИ зависят от его целевой функции. Эта функция определяет, какую именно задачу оптимизации решает ИИ. ИИ, открывший халицин, искал связь между химическими свойствами молекул и их антибиотическим потенциалом. Ограниченный своей целевой функцией, этот ИИ не мог бы попытаться найти молекулы лекарства против рака. Наконец, что наиболее очевидно, ИИ может обрабатывать только те входные данные, для распознавания и анализа которых он предназначен. На вход ИИ машинного перевода нельзя дать изображение – без вспомогательной программы оно покажется машине бессмыслицей.

Возможно, когда-нибудь ИИ смогут писать свой собственный код – уже известны зачаточные и весьма спорные попытки таких разработок. Но даже такие ИИ, скорее всего, не будут обладать самосознанием, их действия будут определяться их функциональностью и ограничениями. Они смогут писать код так же блестяще, как AlphaZero играет в шахматы, – но без размышлений и проявлений воли, в строгом соответствии с правилами. И несмотря на все эти ограничения, ИИ – это нечто поразительное.

Что ждет ИИ

Развитие алгоритмов машинного обучения в сочетании с большими объемами данных и значительными вычислительными мощностями обеспечило быстрый прогресс в применении ИИ, который, в свою очередь, подстегивал воображение и инвестиции. Разработка и внедрение ИИ, особенно в области машинного обучения, идут по всему миру, но главные центры этой деятельности – США и Китай[31]. Университеты, исследовательские лаборатории, корпорации и стартапы обеих стран сейчас находятся на переднем крае разработки и внедрения машинного обучения для ИИ.

Многие аспекты ИИ и машинного обучения еще предстоит разработать и понять. Например, ИИ, основанный на машинном обучении, требует значительного объема обучающих данных, для которого, в свою очередь, нужна значительная вычислительная инфраструктура, что делает непомерно дорогим переобучение ИИ, даже если оно целесообразно. Поскольку требования к данным и оборудованию замедляют создание более совершенного ИИ, важным этапом станет разработка методов обучения с использованием меньших объемов данных и менее существенных вычислительных мощностей.

Кроме того, несмотря на значительные достижения в области машинного обучения, для ИИ по-прежнему представляют проблему сложные виды деятельности, совмещающие несколько задач. Например, таким видом деятельности остается управление автомобилем, которое требует одновременного решения ряда задач – от визуального восприятия до выбора маршрута и выполнения маневров, предотвращающих аварии. Хотя за последнее десятилетие в этой области был сделан огромный прогресс, достичь эффективности вождения на уровне человека все еще сложно. В настоящее время ИИ уже способен демонстрировать хорошее вождение на шоссе с ограниченным доступом или в пригородах – но не в хаотичных условиях, таких как городское движение в час пик. Кстати, вождение по шоссе представляется особенно перспективным, поскольку водители-люди в таких условиях могут расслабляться и отвлекаться. Возможно, в недалеком будущем ездить на большие расстояния с ИИ станет безопаснее, чем с водителем-человеком.

Темпы развития ИИ предсказать сложно. В 1965 г. инженер Гордон Мур предположил, что вычислительная мощность будет удваиваться каждые два года. Его предсказание оказалось удивительно верным, но ИИ развивается гораздо менее линейно. Например, ИИ для перевода с иностранных языков был в застое целые десятилетия, пока не начал бешеными темпами развиваться благодаря сочетанию новых методов с увеличением вычислительных мощностей. Всего за несколько лет люди создали ИИ, способный переводить не хуже обычного двуязычного человека. Сколько времени потребуется на то, чтобы ИИ начал переводить как действительно талантливый профессиональный переводчик, неизвестно – если это вообще когда-нибудь произойдет.

Не менее сложно предсказать темпы внедрения ИИ в новых областях. Очевидно лишь, что стоит ожидать значительного роста возможностей ИИ. Независимо от того, сколько лет (или десятков лет) на это уйдет, это неизбежно. ИИ-приложения станут более компактными, эффективными, недорогими, а значит, и более популярными, чем сегодня. ИИ будет все глубже внедряться в нашу повседневную жизнь как заметным, так и незаметным для нас образом.

Разумно ожидать, что ИИ будет развиваться с не меньшей скоростью, чем вычислительные мощности, то есть со скоростью удвоения каждые два года, – а это значит, что за 15–20 лет его возможности вырастут в миллион раз. Такой рост позволит создавать нейронные сети в масштабах, сравнимых с человеческим мозгом. Сегодня самые крупные сети, такие как GPT-3, имеют около 10^11 связей, что в 10^5 раз меньше, чем число синапсов в человеческом мозге, – но этот разрыв может сократиться менее чем за десятилетие. Это не значит, что такие нейросети будут иметь интеллект, равный человеческому. Неизвестно, какой уровень возможностей будет поддерживать такая сеть, – ведь некоторые приматы имеют объем мозга не меньше или даже больше, чем у человека, но ничего похожего на человеческий интеллект у них нет. Скорее, результатом может быть появление очень мощных специализированных ИИ («ИИ-савантов»), значительно превосходящих человеческие показатели в определенных областях.

Пока расширяется применимость и повышается производительность ИИ, очень важно не забывать, что у ИИ нет никаких ценностей, мотиваций и целей. ИИ – просто сложные вычислительные модели реальных отношений, их можно использовать для прогнозирования неких событий или идентификации неких объектов. При правильном применении ИИ могут выполнять очень сложные задачи, такие как вождение автомобиля, игра в шахматы или перевод с других языков. Но они не могут выбирать, чем им заниматься, о чем размышлять и какие делать выводы.

Не исключено, что дальнейшее развитие методов машинного обучения приведет к созданию общего искусственного интеллекта (AGI). У AGI нет точного определения. Обычно под ним понимают ИИ, способный решать любые интеллектуальные задачи, свойственные человеку, в отличие от сегодняшних узкоспециализированных ИИ, разрабатываемых для решения конкретных задач. Но это не будет «богоподобный» ИИ, во всем превосходящий человеческий интеллект.

Машинное обучение будет еще важнее для развития AGI, чем сегодня – для современного ИИ. Кстати, поскольку даже всесторонне развитые люди все равно специализируются в определенных областях, не исключено, что AGI на практике тоже будет ограничен теми или иными сферами экспертизы. Один из возможных путей развития AGI предполагает обучение традиционных ИИ в нескольких областях, а затем своеобразное объединение их экспертной базы в единый ИИ. Такой ИИ может быть более разносторонним и надежным, чем нынешние ИИ, – то есть способным выполнять более широкий круг задач и не допускающим столь серьезных ошибок на границах своей компетенции.

Но пока неясно, возможен ли AGI в принципе и какими характеристиками он может обладать. Будет ли он больше похож на среднего человека, или он будет равняться на лучших? Если AGI будет развиваться вышеописанным способом, при помощи агрегации традиционных узкоспециализированных глубоко обученных ИИ, тяжело придется даже очень искушенным исследователям с очень щедрым финансированием. Разработка таких ИИ потребует огромных вычислительных мощностей и будет оцениваться в миллиарды долларов, что смогут позволить себе лишь немногие.

В любом случае неочевидно, что создание AGI существенно изменит курс, которым человечество идет сегодня, используя алгоритмы машинного обучения. Так или иначе, важную роль в создании и эксплуатации ИИ (или AGI) по-прежнему будут играть разработчики-люди. Именно люди в обозримом будущем станут определять алгоритмы, обучающие данные и цели машинного обучения. Методы машинного обучения будут совершенствоваться, но ИИ по-прежнему будут отражать ценности, мотивы, цели и суждения своих создателей – по крайней мере в ближайшей перспективе.

Независимо от того, появится ли AGI, ИИ будет распространяться все шире, и его мощь будет расти. По мере снижения стоимости разработки и внедрения ИИ будет появляться все больше управляемых им устройств. Благодаря Alexa, Siri и Google Assistant они уже стали повсеместными. ИИ будет все чаще встраиваться в транспортные средства, инструменты и приборы, контролируемые человеком. ИИ на цифровых устройствах и в интернете будет помогать потребителям и выводить предприятия на новый уровень. Наш мир станет более автоматизированным и более интерактивным – люди будут взаимодействовать с машинами, даже если они не похожи на роботов из кинофантастики. Жизнь станет менее опасной. Автомобили с автопилотом снизят смертность в ДТП, ИИ-диагносты будут раньше и точнее выявлять болезни, а ИИ-фармацевты – открывать новые лекарства и методы их доставки, снижая стоимость исследований, и это приведет к разработке методов лечения трудноизлечимых болезней и появлению лекарств от плохо изученных заболеваний. ИИ-пилоты будут управлять беспилотниками и даже истребителями. ИИ-программисты будут завершать программы, начатые разработчиками-людьми, а ИИ-писатели будут дописывать рекламные объявления, придуманные маркетологами-людьми. ИИ снизит транспортные и логистические расходы, а также потребление энергии и воздействие человека на окружающую среду. И в гражданской, и в военной сферах воздействие ИИ будет поразительным.

С другой стороны, трудно предсказать социальные последствия дальнейшего развития ИИ. Например, универсальный перевод устной речи и текстов должен способствовать сближению различных языков и народов и обеспечивать беспрецедентный межкультурный обмен. Но эта возможность приведет и к новым проблемам. Как социальные сети позволяют распространять не только ценные идеи, но и дезинформацию, провоцирующую вражду и ненависть, автоматический перевод может довести сближение различных языков и культур до взрывоопасной точки. На протяжении многих веков дипломаты тщательно контролировали межкультурные контакты, чтобы избегать случайных оскорблений, и наряду с обучением языкам практиковалось ознакомление с культурными особенностями разных народов. Мгновенный перевод устраняет эти буферы. Рост антагонизма и ксенофобии может начаться без всяких предисловий. Станут ли люди, полагающиеся на автоматический перевод, больше интересоваться особенностями других культур или, наоборот, будут ими пренебрегать, превыше всего ставя собственную культуру и национальную идентичность? Сможет ли автоматический перевод учитывать особенности культур, сглаживая слишком болезненные вопросы? Скорее всего, единого ответа не будет.

Понимая, как ИИ изменит мир, мы должны обратить внимание на организации, которые создают ИИ. Современный ИИ нельзя сделать в одиночку. Создание передовых ИИ требует огромных объемов данных, колоссальных вычислительных мощностей и лучших специалистов. Очевидно, что доступ к таким ресурсам могут иметь только самые передовые организации – они будут внедрять новейшие ИИ и становиться еще мощнее. Чем больше развивается ИИ, тем сильнее он влияет как на жизнь отдельных людей, так и на деятельность целых компаний и государств.

ИИ нуждается в самом пристальном внимании во всех своих аспектах. Во многих областях – от коммуникаций, торговли и безопасности до человеческого самосознания – ИИ изменит нашу жизнь и будущее.

Глава 4

Глобальные сетевые платформы

Фантазии о будущем ИИ обычно сводятся к образам отполированных самоуправляемых автомобилей или сверхинтеллектуальных роботов в качестве наших помощников или коллег. Это фантастическое понимание ИИ часто приводит к идеям о развитии самосознания машин и опасениям, что машины откажутся подчиняться нашим командам и в конце концов восстанут против нас. Ошибка этих иллюзорных представлений – в том предположении, что в наивысшей точке своего развития ИИ будет вести себя как человек. Но правильнее будет признать, что ИИ уже окружает нас (хотя это далеко не всегда очевидно), постараться лучше понять, какой будет интеграция ИИ в нашу жизнь, и обеспечить ее прозрачность.

Социальные сети, системы интернет-поиска, видеоплатформы, системы навигации, службы совместных поездок и другие онлайн-сервисы не могли бы работать так, как они работают, без широкого распространения ИИ. Используя эти онлайн-сервисы в обычной жизни – для получения рекомендаций, выбора маршрутов, установления социальных связей, поиска ответов на вопросы, – все мы участвуем в этой революции. Мы позволяем ИИ решать наши повседневные задачи, не всегда понимая, как и благодаря чему он это делает. Так мы формируем новые типы отношений – между ИИ и людьми, между пользователями ИИ, между разработчиками и операторами услуг ИИ и правительствами. Это будет иметь существенные последствия для всех – отдельных людей, учреждений и государств.

Мы интегрируем ИИ в основную ткань человеческой деятельности без большого шума, почти незаметно – и с высокой скоростью. Этот процесс непосредственно связан с новым типом организаций, так называемыми сетевыми платформами, предоставляющими цифровые услуги сразу огромному числу пользователей, часто в транснациональном и глобальном масштабах. В отличие от большинства продуктов и услуг, ценность которых для каждого пользователя либо не зависит, либо снижается от присутствия других пользователей, ценность и привлекательность сетевой платформы тем выше, чем больше у нее дополнительных пользователей, – с экономической точки зрения это можно назвать «положительным сетевым эффектом». Вокруг избранных платформ концентрируется больше пользователей, в результате выживают платформы, располагающие огромными абонентскими базами – иногда с сотнями миллионов и даже миллиардами пользователей. Чем дальше, тем больше сетевые платформы опираются на ИИ – в результате взаимодействие людей и ИИ достигает поистине невиданных в истории цивилизации масштабов.

На разнообразных сетевых платформах ИИ играет все более важную роль. Растет влияние сетевых платформ как на общественное мнение, так и на геополитику – и все это становится частью нашего обычного мира. Для поддержания социального и политического консенсуса необходимы дополнительные средства объяснения, обсуждения и контроля этих процессов, соответствующие ценностям общества, – иначе возможен бунт против новых сил, которые кажутся человеку безличными и неумолимыми. В человеческой истории такое уже было – например, во время подъема романтизма в XIX в. и в ходе взрыва радикальных идеологий в XX в. Правительства, операторы сетевых платформ и пользователи должны, не дожидаясь больших потрясений, продумать, обсудить и выработать основы, параметры и цели взаимодействия с ИИ, включая будущий облик нашего мира.

Менее чем за поколение объем пользовательских баз самых успешных сетевых платформ превысил население большинства стран и даже некоторых континентов. Границы этих массивов пользователей не совпадают с государственными, а интересы сторон, контролирующих деятельность сетевых платформ, не совпадают с интересами отдельных стран. Операторы сетевых платформ не чувствуют себя обязанными мыслить в терминах государственных приоритетов или национальных стратегий, особенно если это будет противоречить интересам обслуживания клиентов. Экономические и социальные процессы, которые идут в рамках сетевых платформ, могут превосходить по объему аналогичную деятельность большинства стран – несмотря на то, что они не проводят, как государства, экономическую, фискальную или социальную политику. Таким образом, несмотря на то, что крупнейшие сетевые платформы работают как коммерческие организации, они становятся геополитически значимыми в силу масштаба, роли и влияния.

Многие из наиболее значимых сетевых платформ возникли в США (Google, Facebook, Uber) и в Китае (Baidu, WeChat, Didi Chuxing), и они естественным образом стремятся работать на рынках, имеющих коммерческое и стратегическое значение для Вашингтона и Пекина. Такая динамика привносит новые факторы во внешнеполитические расчеты. Конкуренция между сетевыми платформами может влиять на политические отношения и политическую повестку. Ситуация осложняется тем, что корпоративные культуры и стратегии операторов сетевых платформ часто разрабатываются для обслуживания клиентов из исследовательских и технологических центров, расположенных далеко от столиц.

Некоторые сетевые платформы стали в своих странах неотъемлемой частью личной жизни, национального политического поля, бизнеса, внутрикорпоративных отношений и даже государственной деятельности. 10 лет назад предлагаемые ими услуги даже не существовали – теперь же они кажутся незаменимыми. Поскольку из опыта предыдущих эпох нам неизвестны прямые прецеденты организаций такого типа, не всегда понятно, в какой степени сетевые платформы должны соответствовать правилам и ожиданиям, унаследованным преимущественно от доцифрового мира.

Стандарты сообщества, устанавливаемые для сетевых платформ их операторами (часто с помощью ИИ) и определяющие, какой контент можно создавать и распространять, а какой нельзя, – наглядный пример несоответствия современного цифрового пространства традиционным правилам и ожиданиям. В большинстве случаев сетевые платформы не обращают внимания на контент, но в некоторых ситуациях влияние стандартов сообщества оказывается не меньше, чем сила законодательного регулирования. Сетевые платформы и их ИИ могут благоприятствовать распространению одних публикаций, которые в результате быстро получают популярность, и ограничивать и даже запрещать другие публикации, которые в результате никто не видит. Материалы, которые признаны содержащими «дезинформацию» или нарушающими другие стандарты сообщества, фактически изымаются из публичного оборота.

Общественные деятели могут успешно использовать сетевые платформы и их ИИ для распространения своего контента и расширения охвата аудитории. Но если операторы платформы решат, что те или иные известные общественные или политические фигуры нарушили стандарты сообщества, их публикации могут быть подвергнуты цензуре или удалены и либо не получат распространения, либо будут публиковаться только с соответствующим предупреждением для аудитории. Это означает, что некоторые компании сегодня обладают таким уровнем информационной власти, какой есть лишь у немногих демократических правительств. Многие считают такую степень власти частных компаний нежелательной, но передача этих полномочий правительствам вызвала бы почти такие же проблемы. Текущая ситуация находится уже за рамками традиционных политических подходов. Нынешнее положение с сетевыми платформами возникло исключительно быстро, можно сказать, на ровном месте, к нему не были готовы ни пользователи, ни правительства, ни бизнес.

Изменения, вызванные сетевыми платформами (и их ИИ), произошли так быстро отчасти потому, что сетевые платформы принадлежат к цифровому миру, который выходит за рамки географии. Мало какие человеческие достижения позволяют так же успешно объединять большие группы пользователей, разобщенных в пространстве, давая им при этом мгновенный доступ к данным[32]. Кроме того, ИИ после обучения обычно действует быстрее, чем человеческий разум. Это не хорошо и не плохо – это реальность, порожденная проблемами, которые мы стремимся решить, потребностями, которые мы хотим удовлетворить, и технологиями, которые мы создаем для достижения наших целей. Изменения, которые мы переживаем и которым мы способствуем, требуют нашего внимания – в мышлении, культуре, политике и бизнесе – и выходят далеко за рамки одного человеческого разума либо конкретного продукта или услуги.

Несколько десятилетий назад никто не ожидал от основоположников цифрового мира, что они будут разрабатывать некие философские рамки или формулировать основы своего отношения к национальным или глобальным интересам, – точно так же, как этого никто не ожидал и от большинства других отраслей. Общество оценивало цифровые продукты и услуги по приносимой ими пользе. Инженеры искали практичные и эффективные решения, обеспечивающие связь пользователей с онлайновыми сообществами, пассажиров – с автомобилями или их водителями, а покупателей – с продуктами. Царило всеобщее возбуждение относительно новых возможностей, и мало кто интересовался тем, как цифровые решения повлияют на реальные ценности и общественные модели – например, что будет с утилизацией транспорта и загруженностью дорог при совместном пользовании автомобилями или как изменятся реальные политические и геополитические тенденции в эпоху социальных медиа.

Сетевые платформы с поддержкой ИИ появились совсем недавно, менее 10 лет назад, и базовый словарь и систему понятий для их обсуждения еще предстоит сформировать (пробел, который эта книга стремится восполнить). Разные люди, корпорации, политические партии, общественные организации и правительства неизбежно будут иметь различные взгляды на то, как должны функционировать и регулироваться такие платформы. То, что интуитивно понятно инженеру-программисту, может показаться странным политическому лидеру и совсем необъяснимым философу. То, что удобно потребителю, сотрудник спецслужбы может счесть неприемлемой угрозой, а политический лидер – отвергнуть как не соответствующее национальным интересам. То, что одно государство примет как желанную гарантию, для другого государства будет равнозначно потере выбора или свободы.

Природа сетевых платформ и их масштабы существенно осложняют совместную картину перспектив и приоритетов цифрового и физического миров. Чтобы отдельные люди, целые народы и наднациональные общности могли обосновать свое отношение к ИИ и друг к другу, нам необходимо найти общую систему координат, а для начала – договориться о терминах. Даже при разном понимании сетевых платформ нам нужно сгладить имеющиеся противоречия и научиться оценивать их влияние на отдельных людей, компании, страны, нации, правительства и регионы.

Что такое сетевые платформы

Сетевые платформы по своей сути – крупномасштабное явление. Одна из определяющих характеристик сетевой платформы заключается в том, что чем больше людей она обслуживает, тем более полезной и востребованной она становится для пользователей[33]. ИИ необходим для сетевых платформ, чтобы масштабировать услуги, поэтому почти каждый пользователь интернета постоянно сталкивается с ИИ – или как минимум с контентом, сформированным ИИ.

Например, Facebook (как и многие другие социальные сети) согласно стандартам сообщества удаляет неприемлемый контент и аккаунты. По состоянию на конец 2020 г. определены уже десятки категорий запрещенного контента. Количество активных пользователей Facebook в месяц и количество ежедневных просмотров этой соцсети в день оценивается миллиардами. Известно, что в Facebook над модерацией контента работают десятки тысяч людей, но масштабы социальной сети таковы, что удаление всего оскорбительного контента до того, как его увидят пользователи, невозможно без помощи ИИ. Такие потребности Facebook и других компаний стимулировали обширные исследования в области автоматизации анализа текста и изображений путем создания все более сложных методов машинного обучения, обработки естественного языка и компьютерного зрения.

Сейчас Facebook удаляет миллиарды фальшивых аккаунтов и спам-постов в квартал, а также сотни миллионов единиц контента с изображениями наготы и секса, запугиваниями, преследованиями, эксплуатацией, выражением ненависти, пропагандой наркотиков и насилия. Для безошибочного удаления таких материалов часто нужна человеческая оценка. Определяя, какой контент можно публиковать, модераторы и пользователи Facebook активно пользуются ИИ[34]. Обжалуется лишь небольшая часть удалений, преимущественно автоматизированных.

В последние годы ИИ стал играть значительную роль в работе поисковой системы Google. Изначально поиск Google использовал очень сложные разработанные человеком алгоритмы организации и ранжирования информации для пользователей. Эти алгоритмы представляли собой наборы правил для обработки потенциальных запросов. Если результаты оказывались не слишком полезными, разработчики-люди корректировали правила. В 2015 г. поисковая команда Google перешла от использования алгоритмов, разработанных вручную, к машинному обучению. Это был переломный момент в истории поисковой системы – внедрение ИИ значительно повысило качество и удобство ее использования, благодаря прогнозному мышлению поисковые выдачи стали лучше организованы. Но наряду с этими улучшениями оказалось, что разработчики Google теперь не слишком хорошо понимают, почему поиск дает те или иные результаты. Люди все еще могут направлять и корректировать работу поисковой системы – но не могут объяснить результаты поиска. Чтобы добиться большего удобства и точности работы системы, разработчики пожертвовали собственным пониманием ее функционирования[35].

Как видно из этих примеров, предоставление услуг, обеспечение удовлетворенности клиентов и комплаенс ведущих сетевых платформ все больше зависят от ИИ. Таким образом, ИИ постепенно и незаметно становится редактором и автором нашей реальности – и, по сути, важным действующим лицом на национальных и глобальной аренах.

Потенциальное социальное, экономическое, политическое и геополитическое влияние любой крупной сетевой платформы и ее ИИ существенно повышается благодаря ее положительному сетевому эффекту. Положительный сетевой эффект возникает при обмене и распространении информации – когда ценность возрастает по мере увеличения числа участников. При таком росте ценности успех, как правило, порождает дальнейший успех, и шансы на доминирование платформы растут. Там, где уже собралось много людей, естественным образом собирается еще больше людей, количество пользователей увеличивается, и, если сетевая платформа не слишком связана рамками государственных границ, она достигает транснациональных масштабов, где у нее почти не остается конкурентов.

Положительные сетевые эффекты появились не благодаря сетевым платформам, хотя до появления цифровых технологий такие эффекты возникали относительно редко – ведь в случае классических продуктов и услуг увеличение числа пользователей скорее понижает ценность для каждого в отдельности. Если продукт или услуга пользуются высоким спросом, такая ситуация может привести к дефициту и задержкам поставок, а продукты и услуги премиального сегмента, становясь слишком доступными, теряют в востребованности, поскольку клиенты лишаются чувства избранности, которое изначально и привлекло их к продукту.

Классический пример положительного сетевого эффекта – рынки, товарные и фондовые. С начала XVII в. торговцы акциями и облигациями Голландской Ост-Индской компании собирались в Амстердаме, где стоимость ценных бумаг определялась ситуацией на фондовой бирже при активном участии огромной аудитории покупателей и продавцов. Биржа становилась все более полезной и ценной. Чем больше было участников, тем выше была вероятность того, что сделка состоится, и состоится по справедливой цене, поскольку она отражает большое число индивидуальных соглашений между покупателями и продавцами. Как только биржа набирает критическую массу пользователей на данном рынке, она становится центром притяжения новых покупателей и продавцов, обгоняя другие биржи, предлагающие такие же услуги.

Классическая телефония тоже показывала сильные положительные сетевые эффекты, поскольку чем больше абонентов появлялось в одной и той же телефонной сети, тем большую ценность это создавало для каждого из них. На заре телефонии это обеспечило значительный рост крупных поставщиков услуг связи. В США таким образом выросла огромная единая телефонная сеть, которой управляла компания AT&T Bell Telephone, – к этой сети подключались остальные более мелкие поставщики. Но технологии начала 1980-х гг. уже позволяли легко передавать вызовы между различными поставщиками телефонных услуг, и абоненты новых сетей могли беспрепятственно связываться с абонентами любых других отечественных сетей. Благодаря этому государство смогло разделить AT&T[36] – клиенты понимали, что от появления новых крупных поставщиков ценность услуг не снизится. В дальнейшем стало возможно звонить кому угодно независимо от провайдера, и это значительно уменьшило положительный сетевой эффект[37].

Национальные или региональные границы не могут служить препятствием для положительных сетевых эффектов – сетевые платформы часто распространяются за пределы географических границ. Большие расстояния, национальные или языковые различия обычно не мешают расширению, поскольку цифровой мир доступен везде, где есть доступ в интернет, а услуги сетевых платформ, как правило, многоязычны. Серьезным препятствием к расширению становятся прямые ограничения, установленные правительствами, или технологическая несовместимость (причем первое иногда стимулирует второе). Таким образом, для каждого типа услуг – например, социальных сетей или онлайн-кинотеатров – обычно существует несколько глобальных сетевых платформ и, возможно, несколько местных. Их пользователи вносят свой вклад в новое, еще плохо изученное явление – работу ИИ в мировом масштабе.

Сообщество, повседневная жизнь и сетевые платформы

Наше повседневная жизнь существенно изменилась благодаря цифровизации. Мы постоянно получаем огромное количество данных и делимся информацией сами. Объем этих данных и возможности их использования слишком велики и разнообразны, чтобы мы могли самостоятельно их обрабатывать. Поэтому мы полагаемся (часто инстинктивно или подсознательно) на программные процессы для организации и отбора необходимой или полезной информации – нам предлагают новости, фильмы или музыку в соответствии с тем, что мы выбирали раньше, и с учетом наиболее популярных вариантов. Автоматизированное курирование ленты новостей не доставляет никаких неудобств и практически прозрачно – вы оцените его эффект, если попробуете полистать чужую ленту Facebook или просмотреть выборку фильмов из чужого аккаунта Netflix.

Процесс интеграции и углубления связей между людьми и цифровыми технологиями ускоряют сетевые платформы. Благодаря ИИ, обученному отвечать на вопросы человека и выполнять его запросы, сетевые платформы обрабатывают информацию – то есть делают то, с чем человеческий разум когда-то справлялся сам (хотя и менее эффективно). Они решают задачи агрегирования информации и опыта, причем в гораздо более широких масштабах, чем человеческий разум в течение одной жизни, – вот почему их ответы и рекомендации часто кажутся удивительно точными. Ведь никакой даже самый придирчивый покупатель не сможет, выбирая зимние сапоги, оценить сотни тысяч покупок аналогичных товаров в стране и регионе, учесть последние погодные тенденции и время года, просмотреть аналогичные предыдущие поиски и изучить схемы доставки, прежде чем решит, какая пара сапог будет лучшей покупкой для него, – а ИИ сможет.

Все это приводит к тому, что люди начинают относиться к сетевым платформам, управляемым ИИ, так, как они никогда не относились к другим продуктам, услугам или машинам. По мере того как человек взаимодействует с ИИ, а ИИ адаптируется к предпочтениям человека (как он просматривает интернет, как осуществляет поиск, где бывает, какой имеет доход и какие социальные связи), у людей формируется своего рода негласное партнерство с сетевыми платформами. Они становятся для человека комбинацией почтовой службы, универмага, консьержа, исповедника и друга – функции, которые традиционно возлагались на предприятия, правительства и других людей.

Отношения между человеком, сетевой платформой и другими ее пользователями выглядят как очень близкие – только в дистанционном режиме. Уже сейчас сетевые платформы просматривают значительные объемы пользовательских данных, большая часть которых носит личный характер (геоданные, контактная информация, сеть друзей и знакомых, информация о финансах или о состоянии здоровья). Пользователи обращаются к ИИ с самыми разнообразными вопросами, касающимися всех сторон жизни. Способности ИИ отвечать на эти вопросы обусловлены его способностью анализировать сотни миллионов похожих отношений и триллионы похожих запросов в пространстве (географическая широта пользовательской базы) и времени (история взаимодействий) – и реагировать на них. Контактируя, пользователи сетевой платформы и ее ИИ взаимодействуют друг с другом и учатся друг у друга.

Но ИИ сетевой платформы следует логике, которая не является человеческой и во многом непостижима для людей. Когда сетевая платформа оценивает изображение, текст в социальных сетях или поисковый запрос, человек может не понимать, что именно сейчас делает ИИ. Инженеры Google знают, что сетевой поиск на основе ИИ дает более четкие результаты, но они не всегда могут объяснить даже порядок поисковой выдачи. Пользователи ИИ оценивают скорее пользу от полученных результатов, чем процесс, который выдал эти результаты. Это означает, что по сравнению с теми временами, когда человек понимал каждый шаг в любых интеллектуальных или физических процедурах (идея, общение, бизнес-процесс) и мог их приостановить, проконтролировать и повторить, приоритеты изменились.

Например, в большинстве промышленно развитых стран мира уже мало кто помнит о той эпохе, когда, собираясь в путешествие, нужно было договориться по телефону с принимающей стороной, изучить карту города или штата, а где-нибудь по пути остановиться на заправке или у магазина, чтобы убедиться в том, что маршрут проложен правильно (или исправить ошибку). Теперь этот процесс проходит гораздо эффективнее благодаря картографическим приложениям, которые оценивают возможные маршруты и их продолжительность, зная обычную картину дорожного движения в это время суток, учитывая аварии или другие возможности задержки на маршруте, включая маршруты, планируемые другими пользователями на тот же отрезок времени.

Переход от карт, отпечатанных на бумаге, к онлайновым навигационным сервисам оказался настолько удобным, что мало кто оценил революционность этого изменения и задумался о его последствиях. Человек и общество пользуются плодами нового типа отношений с сетевой платформой и ее оператором – а именно доступом к постоянно развивающемуся массиву данных, который они дополняют своими данными (включая собственное местоположение), доверяя результатам, которые выдает ИИ. В некотором смысле человек, пользующийся такой услугой, становится частью системы, в которой человеческий и машинный интеллекты сотрудничают, чтобы направлять совокупность людей по их индивидуальным маршрутам.

Скорее всего, таких постоянных ИИ-компаньонов будет становиться все больше. Благодаря сетевым платформам меняются и здравоохранение, и логистика, и розница, и финансы, и связь, и СМИ, и транспорт, и развлечения. Меняется наше восприятие мира в целом.

Когда пользователи обращаются к услугам сетевых платформ, в их распоряжении оказываются такие возможности сбора и обработки информации, каких никогда не было в истории человечества. Благодаря масштабу, мощи и способности таких платформ находить новые решения мы получаем невероятное удобство и возможности – и участвуем в совершенно беспрецедентном диалоге между человеком и машиной. Способ, которым сетевые платформы меняют человеческую деятельность, нам непонятен и не поддается четкому определению или выражению. В связи с этим возникают важные вопросы: какие задачи имеет такой ИИ? По чьему замыслу и в рамках каких нормативных параметров он работает?

Кто управляет этими процессами, кто их регулирует, какое влияние они могут оказать на социальные нормы и институты, кто вообще имеет доступ ко всем этапам процесса? Если человек никогда не сможет охватить своим пониманием все данные или получить доступ ко всем этапам – значит ли это, что роль человека теперь будет сводиться к проектированию, мониторингу и установке параметров для ИИ? Хорошо это или плохо? Ответы на эти и подобные вопросы могут оказаться любыми – и они будут определять жизнь и общество.

Компании и государства

Сетевые платформы с поддержкой ИИ возникли случайно, по мере того как отдельные компании, инженеры и их клиенты пытались решить определенные проблемы. Целью операторов сетевых платформ было связать покупателей и продавцов, потребителей и поставщиков информации, а также людей, объединенных общими интересами или целями. Они применяли ИИ для улучшения своих продуктов, для оказания услуг, для повышения удовлетворенности пользователей и комплаенса.

По мере роста и развития сетевых платформ, управляемых ИИ, некоторые из них стали оказывать влияние, выходящее далеко за рамки их первоначального назначения. И, как уже отмечалось ранее, люди стали доверять определенным сетевым платформам информацию, которую они вряд ли показали бы друзьям или представителям власти, – включая исчерпывающие данные о том, где они были, что (и с кем) делали, какую информацию искали и просматривали на своем телефоне или компьютере.

Доступ к персональным данным обеспечил сетевым платформам такую динамику развития, что они сами, их операторы и используемые ими ИИ стали пользоваться реальным общественным и политическим влиянием. Это стало особенно заметно в эпоху пандемии, когда в условиях социальной дистанцированности и удаленной работы сетевые платформы стали важнейшим ресурсом общества – вроде социального клея, благодаря которому люди могли и дальше самовыражаться, делать покупки, получать продовольствие и пользоваться транспортом. Эти изменения происходят в таких масштабах и с такой скоростью, что общество и государства попросту не успевают осознавать степень расширения роли сетевых платформ.

Как показали недавние события, связанные с распространением политической информации и дезинформации через социальные сети, некоторые сетевые платформы взяли на себя настолько значительные функции, что потенциально могут влиять и на государственное управление. Но и эта их способность возникла фактически случайно, без соответствующих изысканий и необходимой подготовки. В правительственной сфере и в мире технологий ценятся совершенно разные умения, навыки и опыт. У них разные языки, структуры, движущие принципы и основные ценности, им не понять друг друга без переводчика. При этом сетевые платформы, функционирующие в соответствии со своими собственными коммерческими целями и для удовлетворения своих пользователей, вполне могут работать в сфере управления и национальной стратегии, и традиционным игрокам будет сложно понять мотивы и тактику платформы в отношении национальных и глобальных целей.

К тому же ИИ действует в соответствии со своими собственными процессами, которые отличаются от психических процессов человека и зачастую опережают их. ИИ разрабатывает свои собственные подходы к выполнению тех или иных задач. Результаты работы ИИ не характерны ни для человека, ни для каких-либо национальных или корпоративных культур. Благодаря всеобщему проникновению цифрового мира и способности ИИ сетевых платформ глобально контролировать, блокировать, адаптировать, производить и распространять информацию эти сложности распространяются и на информационные пространства отдельных государств.

Постоянно совершенствуясь, ИИ сетевых платформ продолжают создавать общественные и бизнес-механизмы в национальном и мировом масштабах. Сами по себе платформы социальных сетей (и их ИИ) обычно независимы от контента, но стандарты сообщества, а также способы фильтрации и представления информации вполне могут влиять на то, как эта информация создается, агрегируется и воспринимается. Поскольку работа ИИ – рекомендовать контент и связи, классифицировать информацию и концепции, а также предсказывать предпочтения и цели пользователей, он может непреднамеренно усиливать определенный индивидуальный, групповой или общественный выбор, а по сути – стимулировать распространение определенных типов информации и формирование одних типов связей за счет других. Независимо от намерений и понимания операторов платформ это потенциально влияет на социальные и политические процессы. Отдельные пользователи и группы пользователей постоянно взаимодействуют друг с другом, это происходит быстро и в огромных масштабах. Поскольку это взаимодействие зависит от сложнейших рекомендаций ИИ, сами операторы сетевых платформ могут не особенно хорошо понимать, что именно происходит на самом деле.

Итак, все эти проблемы, безусловно, существуют. Но правительства, которые пытаются реагировать на происходящее, должны делать это с большой осторожностью. Любой государственный подход к процессам сетевых платформ, будь то запрет, ограничение или одобрение, будет результатом волевого решения, выбранного оценочным путем. Требуя от платформ маркировать определенный контент как тенденциозный или вовсе блокировать его, требуя от ИИ выявлять предвзятую или ложную информацию и понижать ее рейтинг, правительства могут сильнейшим образом влиять на социальную политику. Вопрос, как решать эти проблемы, стал предметом жарких дебатов во всем мире – особенно в технологически развитых свободных странах. Любой подход гарантированно будет работать в масштабах, значительно превосходящих почти любое прошлое правовое или политическое решение, – с потенциально мгновенным воздействием на повседневную жизнь миллионов или миллиардов пользователей в многочисленных государственных юрисдикциях.

Взаимодействие сетевой платформы и государственной политики приведет к непредсказуемым и в некоторых случаях весьма спорным результатам. Скорее всего, это будут не однозначные результаты, а ряд дилемм с довольно незрелыми решениями. Будут ли попытки регулирования сетевых платформ и их ИИ соответствовать политическим или социальным целям различных стран (таким как снижение преступности или борьба с предвзятостью), приведут ли они в конечном итоге к созданию более справедливых обществ? Не появятся ли в результате еще более жесткие, авторитарные правительства, которые поставят себе на службу ИИ с неизвестной логикой, чтобы принимать решения, не подлежащие обжалованию? Будут ли глобальные сетевые платформы, управляемые ИИ, способствовать развитию человеческой культуры и поиску решений, применимых к разным национальным традициям или системам ценностей? Или результаты их работы будут неожиданными, незапланированными и противоречащими тому, к чему стремились их разработчики-люди?

Государственные границы давно уже перестали быть препятствием для новых идей и тенденций, включая созданные со злым умыслом, – но никогда распространение информации не приобретало таких масштабов, как теперь. В основном все согласны с тем, что намеренное распространение дезинформации, способной определять социальные тенденции или политические события, важно предотвращать, но делать это в реальности слишком сложно. В будущем информационными атаками и защитой от них – то есть распространением дезинформации и борьбой с ней – все больше будет заниматься ИИ. Например, генерирующий язык ИИ GPT-3 способен создавать искусственные персоны и вступать в беседы с пользователями, и есть потенциальная возможность того, что эти персоны будут внушать своим собеседникам предрассудки и даже подталкивать их к насилию[38]. Если подобный ИИ будет развернут для масштабного распространения ненависти и раскола, люди могут оказаться не в состоянии противостоять этому. Для решения столь масштабной и сложной задачи правительствам и операторам сетевых платформ придется обратиться, как это уже делается, к алгоритмам ИИ для модерации контента.

Свободные страны используют сетевые платформы с поддержкой ИИ для создания и фильтрации контента через национальные и региональные границы. Если результатом работы этих платформ становится непреднамеренная пропаганда ненависти, такие страны сталкиваются с новой угрозой и должны рассматривать новые подходы к охране информационной среды. Подобные опасения подталкивают нас к созданию и внедрению сложных инструментов, управляемых ИИ, которые будут обнаруживать и удалять источники дезинформации, – по сути, алгоритмических патрульных для удаления вредного контента[39]. Такие решения, основанные на использовании ИИ, будут, в свою очередь, порождать новые проблемы. В любом случае проблема дезинформации весьма актуальна – как и вопрос о сохранении баланса между человеческим суждением и решениями, принимаемыми ИИ.

Перспектива использования ИИ для оценки и, возможно, цензуры информации приводит привыкшие к свободному обмену идеями общества к сложным и фундаментальным дебатам. Поскольку мощь и автономность инструментов для борьбы с дезинформацией растет, процесс выявления и подавления дезинформации становится важной социальной и политической функцией. У частных корпораций или демократических правительств в результате появляется необычная и не слишком желательная степень влияния на социальную и культурную сферы, которые ранее никем не управлялись и не контролировались, естественным образом развиваясь в физическом мире.

Некоторые склоняются к тому, что эту задачу должен выполнять ИИ, предназначенный для выявления и пресечения дезинформации, свободный от человеческой предвзятости или пристрастности. Но как правильно поступать с малоизвестным контентом, который практически никто не видел, – по сути, несуществующим? А если оборонительный ИИ совершает ошибку, удаляя контент, который не несет вреда, – как это исправлять? И что делать с дезинформацией, сгенерированной ИИ? Возможность обучить некий оборонительный ИИ определенному стандарту дезинформации и контролировать его работу станет функцией фундаментальной важности и влияния, не менее сильного, чем у правительства. Небольшие различия в задачах таких ИИ, параметрах обучения и определениях дезинформации могут изменить общество в целом, ведь сетевые платформы используют ИИ для предоставления своих услуг миллиардам людей.

TikTok, сетевая платформа с поддержкой ИИ для создания и обмена короткими забавными видео, неожиданно оказалась примером проблем использования ИИ для коммуникаций – особенно в тех случаях, когда видео произведены в одной стране, а просматриваются в другой. Пользователи TikTok снимают и размещают видео с помощью своих смартфонов, а собственные алгоритмы ИИ рекомендуют контент, который может понравиться пользователям, основываясь на предыдущих просмотрах. Платформа разработана в Китае и популярна во всем мире, она не создает видео сама и не модерирует его создание и размещение – не считая ограничений на хронометраж и запретов на дезинформацию, экстремальную жестокость и определенные виды контента. Теоретически в TikTok можно показывать все, что угодно, – например, видео водопада, чтение стихов или выдержки из Канта. Но на практике в TikTok такое не смотрят. Как и на других сетевых платформах, пользователи TikTok смотрят то, что рекомендует ИИ платформы. ИИ TikTok берет в расчет предпочтения пользователей и, используя собственный алгоритм выбора контента, рекомендует к просмотру одни видео и оставляет без внимания другие, что в итоге формирует у пользователей определенную картину мира.

Для обычного зрителя TikTok – не более чем массив забавных коротких видеофрагментов, изображающих танцы, шутки или необычные навыки. И тем не менее в 2020 г. платформа TikTok была запрещена или ограничена правительствами Индии и США из-за опасений насчет персональных данных пользователей и скрытых возможностей цензуры и дезинформации. Кроме того, Вашингтон добивался продажи американского подразделения TikTok американской компании, которая могла бы хранить данные пользователей внутри страны, не допуская их экспорта в Китай. В свою очередь, Пекин запретил экспорт кода, поддерживающего алгоритм рекомендаций, который и лежит в основе эффективности и привлекательности TikTok. В перспективе возможно, что, даже если платформа TikTok будет управляться местной компанией в США или Индии, работа сервиса все равно будет зависеть от ИИ, точные цели и функции которого известны только в Китае.

Какими будут политические, юридические и технологические последствия этих действий, пока неизвестно. Тот факт, что забавное развлекательное приложение с поддержкой ИИ вызвало такое беспокойство на государственном уровне, говорит о том, что в ближайшем будущем нас ждут еще более странные геополитические и нормативные ребусы. А тем временем все больше сетевых платформ, использующих все более сложные ИИ, – и в первую очередь те платформы, которые обеспечивают связь, развлечения, ведение бизнеса, финансы и промышленные процессы, – будут проникать через государственные границы.

Правительства и регионы

Новые культурные и геополитические загадки сетевых платформ касаются не только отдельных стран, но и – поскольку такие технологии не имеют границ – отношений между правительствами. Даже при существенном и продолжительном вмешательстве государства большинство стран – включая технологически развитые – не смогут создать компании, производящие или поддерживающие независимые версии важных сетевых платформ (например, используемых для социальных сетей, веб-поиска и т. д.). Темпы технологических изменений слишком велики, а количество высококвалифицированных программистов, инженеров, специалистов по проектированию и разработке продуктов ограничено. Учитывая рыночный спрос, темпы технологического развития и существующие тенденции формирования стоимости продуктов и услуг, все страны не смогут поддерживать независимые версии всех сетевых платформ. Чтобы оставаться на передовой технологического развития, нужно иметь более существенный интеллектуальный и финансовый капитал, чем у большинства компаний и чем тот, который в состоянии выделить правительства. В любом случае многие пользователи не станут ограничиваться национальной сетевой платформой с исключительно местным контингентом и созданными внутри страны приложениями и контентом. Динамика положительных сетевых эффектов будет поддерживать лишь самые передовые платформы.

Многие страны находятся в зависимости от сетевых платформ, разработанных и физически размещенных в других странах, – и такая зависимость будет сохраняться еще долго. Это означает, что в вопросах непрерывности обслуживания, развития и международных обновлений платформ они будут зависеть (по крайней мере частично) от регуляторов других стран. Поэтому правительства многих стран будут требовать гарантий непрерывной работы зарубежных онлайн-сервисов, важных для общества. В частности, они будут пытаться регулировать деятельность владельцев или операторов сетевых платформ – например, требуя от разработчиков мер по предотвращению определенных форм неравноправия или решения конкретных этических проблем (неизбежных, поскольку ИИ взаимодействует с такими аспектами общества, как здоровье, безопасность и национальный дискурс). То, что может восприниматься как ценная функция в одной стране, в другой стране может быть воспринято с предубеждением или даже нарушать местные законы или этические нормы.

Растущее геополитическое влияние сетевых платформ – новый ключевой аспект международной стратегии, и это касается не только правительств. Правительства могут стремиться ограничивать использование таких систем или пытаться помешать им вытеснять местных конкурентов в ключевых регионах, чтобы внешние соперники не могли влиять на промышленное, экономическое, политическое или культурное развитие страны. Но правительства, как правило, не создают такие сетевые платформы сами и не управляют ими, так что разработчики платформ, корпорации и отдельные пользователи будут оказывать не менее серьезное влияние на ситуацию, а в целом все это будет формировать динамичную и труднопредсказуемую стратегическую арену. К этому и без того сложному уравнению добавляется еще один вид культурной и политической обеспокоенности. Китай, США и некоторые европейские государства открытым текстом выражают тревогу (другие страны делают это более завуалированно) относительно того, что их экономическая и социальная жизнь в рамках сетевых платформ анализируется и используется для обучения ИИ, разработанных потенциальными противниками. Это технологическое и политическое брожение порождает новые геополитические конфигурации.

США создали глобальный, технологически передовой набор частных сетевых платформ, роль ИИ в которых растет. Корни этого достижения – академическое лидерство и привлекательные для лучших мировых талантов университеты, приносящая прибыль своим участникам экосистема инновационных стартапов и государственная поддержка передовых научных исследований (через такие агентства, как NSF, DARPA и др.). Фундамент благополучия операторов американских сетевых платформ – широкое распространение во всем мире английского языка, американских или разработанных под влиянием США технологических стандартов, а также значительная национальная база индивидуальных и корпоративных клиентов. Некоторые из этих операторов избегают внимания со стороны правительства и рассматривают свои интересы вне национальных интересов, в то время как другие принимают участие в государственных контрактах и программах. За рубежом к этим платформам все чаще относятся как к представителям США – хотя роль правительства США, как правило, сводилась только к тому, чтобы не мешать разработчикам.

Рассматривая сетевые платформы как аспект международной стратегии, США уже начали ограничивать деятельность некоторых иностранных платформ и экспорт некоторых программ и технологий, которые могут способствовать росту иностранных конкурентов. При этом крупные американские сетевые платформы становятся объектами внимания антимонопольных органов. Эти разнонаправленные тенденции могут подтолкнуть развитие США в противоречивых направлениях.

Китай аналогичным образом поддерживает развитие собственных глобальных сетевых платформ и готовит расширение их сфер влияния. Китайский подход к регулированию поощряет жесткую конкуренцию между отечественными технологическими игроками, конечной целью которых являются глобальные рынки, но при этом он исключает или существенно ограничивает появление иностранных компаний внутри страны. В последние годы Пекин также предпринял шаги по формированию международных технологических стандартов и запрету на экспорт важных отечественных технологий. Китайские сетевые платформы доминируют в Китае и соседних регионах, а некоторые из них лидируют на мировых рынках. Некоторые китайские сетевые платформы особенно интересны для общин китайской диаспоры (например, китайскоговорящие общины в США и Европе продолжают активно использовать финансовые услуги и обмен сообщениями WeChat), но этим их привлекательность не ограничивается. Во многих случаях ведущие китайские сетевые платформы не только доминируют на внутреннем рынке Китая, но и способны конкурировать на глобальном рынке.

Правительства некоторых стран, например США и Индии, все чаще говорят о китайских сетевых платформах и других китайских технологиях как о средстве достижения политических целей китайского правительства. В некоторых случаях это может быть правдой, но проблемы некоторых операторов китайских сетевых платформ свидетельствуют о том, что на практике в отношениях компаний с партией все не так просто. В реальности китайские операторы сетевых платформ вряд ли могут автоматически становиться проводниками интересов партии и государства. Скорее нужно говорить о функциях конкретных сетевых платформ и о том, насколько их операторы понимают и соблюдают негласные правительственные ограничения.

Юго-Восточная Азия – родина глобальных компаний, снабжающих мир ключевыми технологиями, такими как полупроводники, серверы и бытовая электроника, а также родина сетевых платформ, созданных на местном уровне. По всему региону среди различных слоев населения более или менее пользуются популярностью китайские и американские сетевые платформы. С одной стороны, страны региона тесно связаны с американской технологической экосистемой – как в своих отношениях с сетевыми платформами, так и в других экономических и геополитических аспектах. С другой стороны, имеет место существенное использование китайских сетевых платформ и в целом более широкое взаимодействие с китайскими компаниями и технологиями, которые естественным образом связаны с этим регионом и активно работают в нем.

Европе, в отличие от Китая и США, еще предстоит создать собственные глобальные сетевые платформы или развить ту отрасль цифровых технологий, которая должна способствовать их развитию. Тем не менее Европа привлекает внимание основных операторов сетевых платформ благодаря своим ведущим компаниям и университетам, традициям эпохи Просвещения, заложившим важнейшие основы компьютерной эры, обширному рынку и эффективному регулятивному аппарату. Масштабирование новых сетевых платформ для всего европейского рынка затруднено многоязычностью и разнообразием национальных регуляторов – при том, что сетевые платформы США и Китая могут сразу начинать свою деятельность в национальном или континентальном масштабах, что делает их более привлекательными для инвестиций, необходимых для дальнейшего масштабирования.

В последнее время ЕС уделяет особое внимание регулированию условий присутствия операторов сетевых платформ на европейском рынке, включая использование этими операторами (и другими организациями) ИИ. Как и в других геополитических вопросах, касающихся Китая и США, в отношении технологических стандартов и взаимоотношений между американскими и китайскими сетевыми платформами Европа стоит перед выбором – выступать в качестве союзника Вашингтона или Пекина в каждой из основных технологических сфер, принимая одну из сторон, либо сохранять нейтралитет.

В этом вопросе предпочтения традиционных стран Евросоюза и более новых его участников из Центральной и Восточной Европы могут различаться, что отражает их различный геополитический и экономический опыт. До сих пор исторические мировые державы, такие как Франция и Германия, ценили независимость и свободу маневра в своей технологической политике, однако периферийные европейские государства, такие как постсоветские страны Балтии и Центральной Европы, скорее демонстрируют готовность идентифицировать себя с американской техносферой.

Индия – страна, которая еще только становится силой на этой арене, – обладает значительным интеллектуальным капиталом, относительно благоприятной для инноваций деловой и академической средой, а также огромными технологическими, инженерными и экономическими возможностями поддержания независимых сетевых платформ (как в случае интернет-магазинов). Население и экономика Индии имеют такие масштабы, что они могут поддерживать потенциально независимые сетевые платформы без помощи других рынков. При этом разработанные в Индии сетевые платформы потенциально могут стать популярными и на других рынках. В предыдущие десятилетия большая часть индийских разработчиков программного обеспечения занималась оказанием ИТ-услуг или работала в компаниях-операторах неиндийских сетевых платформ. Сейчас Индия переоценивает свои региональные отношения и свою зависимость от зарубежных технологий и может либо выбрать независимый путь, либо занять главную роль в международном блоке технологически совместимых стран.

Россия, возможно, пока не производит существенного объема цифровых продуктов и услуг, привлекательных для международного потребителя, но она уже доказала свои возможности работы в глобальных сетях и должна считаться одной из великих технологических держав мира. Россия также создала некоторые сетевые платформы национального масштаба (например, интернет-поиск), пока не слишком привлекательные для нероссийских потребителей. В настоящее время эти платформы функционируют как альтернатива доминирующим провайдерам, а не как серьезные экономические конкуренты.

Под влиянием этих правительств и регионов уже разворачивается конкуренция за экономические преимущества, цифровую безопасность, технологическое первенство, достижение этических и социальных целей – но основные игроки пока не определили ни характер этого соревнования, ни правила игры.

Один из подходов заключается в том, чтобы рассматривать сетевые платформы и их ИИ в первую очередь как вопрос внутреннего регулирования. С этой точки зрения главная задача правительств – не давать платформам злоупотреблять своим положением и уклоняться от исполнения законодательных норм. Развитие и обсуждение этих концепций характерно в первую очередь для США и ЕС. Из-за того, что положительный сетевой эффект увеличивает ценность для пользователей с ростом масштаба, регулировать деятельность платформ становится все труднее.

Другой подход заключается в том, чтобы рассматривать возникновение и деятельность сетевых платформ как вопрос международной стратегии. С этой точки зрения популяризация иностранного оператора в стране становится своего рода культурным, экономическим и стратегическим прецедентом. Правительства опасаются, что сетевая платформа может способствовать (пусть пассивно) росту зарубежного влияния на граждан страны, поскольку она порождает такой уровень взаимодействия с иностранцами, который раньше был возможен только в тесном союзе. Полезная и успешная сетевая платформа становится опорой для более широких коммерческих или промышленных функций – это может привести к тому, что она станет незаменимой на государственном уровне. Угроза отключения от такой сетевой платформы (или от ее ключевых технологических компонентов) может служить потенциальным инструментом давления. Эта гипотетическая возможность также создает проблемы для правительств.

Странам и регионам, не создавшим собственные сетевые платформы, в ближайшем будущем, похоже, придется ограничивать свою зависимость от платформ, чтобы не предоставлять рычаги влияния иностранным правительствам, и ликвидировать уязвимости, такие как возможность доступа к данным о гражданах страны, – или создавать ответные угрозы. Такие правительства могут решить, что возникающие риски неприемлемы или что они должны быть уравновешены созданием конкурирующих сетевых платформ. Если правительства обладают достаточными ресурсами, они могут попытаться вырастить отечественного конкурента иностранным платформам, но такой выбор потребует значительного и продолжительного участия, причем риск неудачи будет достаточно велик. Более развитые страны не будут зависеть от продуктов какой-либо одной страны для обеспечения неких важных функций (например, социальных сетей, торговли, совместного использования транспорта) – особенно в тех областях, в которых существует несколько глобальных сетевых платформ.

Сетевые платформы с поддержкой ИИ, созданные в одной стране, могут функционировать и развиваться в другой стране, становясь неотъемлемой частью экономики и национального политического дискурса этой страны, – в предыдущие эпохи ничего подобного не было. Раньше источники информации и коммуникаций, как правило, были национальными – и, конечно, не обладали независимым разумом. Теперь же, например, транспортная платформа может стать основой сети перевозок целой страны – в соответствии с данными о том, какие потребители нуждаются в тех или иных продуктах, такая платформа будет автоматизировать логистику их доставки. Из таких сетевых платформ будет формироваться экономическая инфраструктура.

В тех случаях, когда правительство решает сохранить дистанцию между иностранной технологией и своей экономикой, это может препятствовать как распространению этой технологии, так и ее дальнейшей коммерческой жизнеспособности в целом. Кроме того, правительство может идентифицировать определенные иностранные сетевые платформы как угрозы и запретить своему населению использовать их. Ряд стран предпринял такие шаги как в отношении определенных продуктов, так и в отношении сетевых платформ. Такой подход к регулированию может противоречить ожиданиям населения и вызывать вопросы о надлежащем объеме государственного регулирования.

В ответ операторы сетевых платформ должны будут принимать решение о том, готовы ли они вести себя как национальные или региональные компании, потенциально находящиеся в нескольких отдельных юрисдикциях. Или, наоборот, они, как глобальные компании, будут следовать своим независимым ценностям, которые могут не совпадать с приоритетами какого-либо конкретного правительства.

На Западе и в Китае стали осторожнее воспринимать цифровые продукты и услуги «другой стороны», особенно если это касается сетевых платформ с поддержкой ИИ. В других странах правительства и пользователи могут увидеть в главных сетевых платформах выражение американской или китайской культуры или интересов. Обычно операторы платформ не считают себя представителями своей страны или региона и не чувствуют себя обязанными действовать в национальных интересах, определенных правительствами. Ценности и организационные принципы операторов сетевых платформ могут отражать ценности и организационные принципы стран, из которых они вышли, но по крайней мере на Западе такого требования не существует. В западных корпоративных культурах самовыражение и универсальность часто ставятся важнее национальных интересов или соответствия устоявшимся традициям.

Даже там, где не произошло технологического разделения между странами или регионами, правительства начинают распределять компании по отдельным лагерям, которые обслуживают определенные группы пользователей, занимающихся определенной деятельностью. Работая с различными группами пользователей, ИИ получит разного рода уроки, которые будут по-разному менять его поведение. Это значит, что в исходно глобальной индустрии со временем может начаться процесс регионализации – объединение пользователей в блоки, находящиеся под влиянием различных ИИ, которые развиваются в разных направлениях. Постепенное разобщение, выраженное в появлении различных API, ИИ с отличными друг от друга целями и разных стандартов доступа и поведения пользователей, может привести к взаимно непохожим, несовместимым и непонятным результатам. Со временем могут сформироваться сферы региональных технологических стандартов, в которых различные сетевые платформы будут развиваться по параллельным, но совершенно отличным друг от друга направлениям, а общение и обмен между ними будут затруднены.

Взаимодействие отдельных лиц, компаний, регуляторов и национальных правительств, стремящихся сформировать и направить сетевые платформы, будет становиться все более сложным, в нем будут появляться элементы стратегического соревнования, торговых переговоров и этических дебатов. Не менее сложные дилеммы, вероятно, будут вызваны геополитическими и экономическими факторами применения сетевых платформ. Актуальные вопросы будут устаревать к тому времени, когда официальным лицам удастся собраться для их обсуждения, – например, потому что сетевая платформа уже научится новому поведению, которое сделает первоначальные условия дискуссии неактуальными. Создатели и операторы могут лучше понимать цели и ограничения сетевых платформ, но вряд ли смогут заранее предугадывать возможные опасения правительств или более широкие философские возражения. Диалог между ними об основных проблемах и подходах крайне необходим – и он должен состояться по возможности до того, как ИИ станет частью глобальных сетевых платформ.

Сетевые платформы с поддержкой ИИ и будущее человека

Человеческое понимание реальности уже давно определяется человеческим восприятием, человеческим опытом и человеческим разумом. Но до сих пор человеческий опыт восприятия реальности был индивидуальным и ограниченным, широкое соответствие достигалось только в понимании некоторых важнейших вопросов и явлений, такой опыт крайне редко мог быть глобальным или универсальным – разве что в вопросах религии. Теперь благодаря сетевым платформам, объединяющим огромные массивы пользователей, повседневная реальность стала глобальной. Человеческий разум больше не является единственным навигатором по реальности – ему помогают (в некоторых областях, возможно, вытесняя его) континентальные и глобальные сетевые платформы.

Сегодня нужны новые концепции взаимопонимания и взаимных ограничений между регионами, правительствами и операторами сетевых платформ. Человеческий разум никогда не функционировал так, как того требует эпоха интернета. ИИ начинает оказывать комплексное воздействие на оборону, дипломатию, торговлю, здравоохранение и транспорт, ставя слишком сложные стратегические, технологические и этические дилеммы для того, чтобы их кто-либо мог решить в одиночку или в рамках какого-либо одного направления деятельности. Появление сетевых платформ создает вопросы, которые не следует рассматривать исключительно как национальные, партийные или технологические.

Правительства будут пытаться взаимодействовать с миром сетевых платформ и менять его. При этом они могут практиковать несколько возможных подходов. Они могут создавать свои собственные сетевые платформы, чтобы с их помощью доминировать в глобальном масштабе. Также они могут пытаться сдерживать технологический рост других сетевых платформ. Наконец, они будут искать способы сосуществования с платформами стран-соперниц вдоль географических или технологических границ, устанавливая для них ограничения, основанные на этических стандартах и требованиях национальной безопасности.

Стратеги должны учитывать уроки предыдущих эпох (мы поговорим о них в главе 5) и не рассчитывать на полную победу в любом коммерческом и технологическом соревновании. Они должны признать, что для победы нужно – достаточно надолго – договориться с обществом о том, что считать победой. Это, в свою очередь, потребует ответа на вопросы, которые не давали покоя политическим лидерам и специалистам по стратегическому планированию в эпоху холодной войны: какой запас превосходства потребуется? В какой момент превосходство перестает иметь смысл? Какая степень неготовности будет иметь значение в случае войны?

Соответственно, операторы сетевых платформ неминуемо столкнутся с принятием решений, выходящих за рамки обслуживания клиентов и развития бизнеса. До сих пор им, как правило, не приходилось устанавливать для себя какие-либо этические нормы (например, национальные), если это не было связано с естественным стремлением развития продукта, расширения аудитории и удовлетворения интересов пользователей и акционеров. Однако по мере роста популярности и влияния сетевых платформ, включая влияние на деятельность правительств, они будут сталкиваться со значительно более серьезными проблемами. От них потребуется помощь не только в понимании возможностей и конечных целей созданных ими виртуальных миров, но и в определении принципов их взаимодействия друг с другом и с прочими общественными сферами. Так возникнет новая концепция отношений между сетевыми платформами и странами, в которых они действуют, – и их влияния на общественное благо и международный порядок.

Глава 5

Безопасность и мировой порядок

На протяжении всей истории человечества обязательным условием существования организованного общества была безопасность. У разных культур были разные ценности, у разных государств – разные интересы и стремления, но условием выживания любого народа оставалось умение защищаться – либо самостоятельно, либо вступая в союзы.

Стремясь к безопасности, разные общества и государства использовали технологический прогресс для создания новых, более эффективных методов выявления угроз, повышения готовности, внешнего воздействия и – в случае войны – для применения военной силы. Для древнейших народов решающими часто оказывались достижения в металлургии, фортификационной архитектуре, тягловой силе и кораблестроении. В эпоху раннего Нового времени сопоставимую роль сыграли инновации в огнестрельном оружии и артиллерии, военно-морском кораблестроении, методах навигации и приборах для нее. Размышляя об этом в своем классическом труде «О войне», написанном в 1832 г., прусский военный теоретик Карл фон Клаузевиц заметил: «Насилие использует изобретения искусств и открытия наук, чтобы противостоять насилию же»[40].

Некоторые инновации, такие как строительство валов и рвов, нужны были для обороны – но чем больше с каждым веком человечество стремилось к безопасности, тем больше оно разрабатывало средств нападения – быстрых, мощных, способных преодолевать большие расстояния. К Гражданской войне в США (1861–1865 гг.) и Франко-прусской войне (1870–1871 гг.) военные конфликты все больше приобретали черты «тотальной войны» – с промышленным производством оружия, передачей приказов по телеграфу и транспортировкой войск и снаряжения по железной дороге через континенты.

По мере роста военной мощи передовые государства оценивали друг друга – какая сторона сильнее, какие риски и потери повлечет предстоящая война, будут ли они оправданы, как на результат повлияет союз с другой державой (или ее нейтралитет, или союз с противником) и ее арсенал. Потенциал, цели и задачи различных государств поддерживались, по крайней мере теоретически, в состоянии стратегического паритета.

Баланс сил был нарушен в прошлом веке. Военные технологии множились и становились все более разрушительными, а стратегии их использования – все более туманными. Появление кибернетических технологий и ИИ добавляет к этой картине новые уровни сложности и абстракции.

Первый важный перелом произошел в Первую мировую войну (1914–1918 гг.). В начале 1900-х гг. крупные европейские державы, обладавшие развитой экономикой и мощной наукой, с безграничной самонадеянностью использовали технологические достижения промышленной революции для создания современных вооруженных сил. Они собрали огромные армии и арсеналы (все это перевозилось по железной дороге), начали выпускать пулеметы и другое автоматическое оружие, химическое оружие (теперь оно вне закона), броненосные корабли и первые танки, создали передовые методы производства для скоростного пополнения арсеналов. Они разработали тщательно продуманные стратегии, основанные на быстрой мобилизации, и создали военные союзы, работавшие с механической точностью. В результате локальный кризис – убийство наследника династии Габсбургов сербским националистом[41] – привел к тому, что великие державы Европы, следуя выработанным планам, ввязались в общий конфликт. Результатом стала катастрофа, уничтожившая целое поколение в погоне за результатами, которые не имели никакого отношения к первоначальным военным целям сторон. Распадались империи, и даже победители понесли тяжелый урон, который истощил их на десятилетия и ослабил их международную роль.

Чем больше внимания уделяли крупные державы своим арсеналам и чем больше ресурсов они вкладывали в вооружение, тем больше загадок порождали новые стратегии. В конце Второй мировой войны и после нее целью ведущих государств стало создание ядерного оружия и межконтинентальных систем его доставки – в результате появилась огромная разрушительная сила, реальное использование которой привело бы к самым серьезным последствиям для всего мира. Увидев первое испытание ядерного оружия в пустыне Нью-Мексико, физик Дж. Роберт Оппенгеймер, один из создателей атомной бомбы, процитировал «Бхагавад-гиту»: «Я – Смерть-Всеразрушитель»[42]. Это предвосхитило центральный парадокс стратегии холодной войны: доминирующая технология вооружений никогда не использовалась, кроме как для сдерживания действий противника, – но ведь если точные причины бездействия противника неизвестны, возможно, он и не собирался нападать?

Это стратегическое несоответствие целей и возможностей существует до сих пор и не помогает понять, как действовать дальше. Крупные державы создали сверхсовременные вооруженные силы и системы региональных и глобальных альянсов, которые они неохотно используют в войнах с небольшими странами, обладающими более примитивными арсеналами, – как Франция в Алжире, США в Корее, США, а затем Китай во Вьетнаме и, наконец, Советский Союз в Афганистане. Эти же страны разработали кибервозможности, полезность которых во многом была обусловлена их непрозрачностью и скрытностью, а в некоторых случаях – их функционированием в пограничном пространстве между шпионажем, диверсионной работой и обычной войной. Четкого понимания, как будут использоваться новые стратегии и арсеналы, по-прежнему нет. Каждый этап прогресса сопровождается появлением новых уязвимостей.

ИИ еще больше усложняет проблемы современной стратегии, поскольку он выходит за рамки человеческих намерений и человеческого понимания. Даже если страны воздержатся от создания и широкого развертывания так называемых смертоносных автономных систем вооружений – автоматического или полуавтоматического оружия с искусственным интеллектом, которое обучено и уполномочено самостоятельно выбирать цели и атаковать их без дополнительного разрешения человека, – ИИ может расширить обычные, ядерные и кибернетические возможности таким образом, что отношения безопасности между противниками станет сложнее прогнозировать и поддерживать, а конфликты будет сложнее ограничить.

Потенциальные военные возможности ИИ работают на нескольких уровнях и вполне могут оказаться незаменимыми. Истребители, управляемые ИИ, уже показали значительное превосходство над пилотами-людьми в смоделированных боях. Используя некоторые из принципов, обеспечивших победы AlphaZero и открытие халицина, ИИ может выявлять модели поведения противника (включая незапланированные и непреднамеренные) и рекомендовать методы противодействия им. ИИ может выполнять перевод, идентификацию и мгновенную передачу критически важной информации военнослужащим в кризисных зонах, обеспечивая этим успех миссий и спасение жизней.

Ни одна крупная страна не может себе позволить игнорировать военные аспекты ИИ. Гонка за стратегическими преимуществами в области ИИ уже идет, это особенно касается США и Китая[43]. Чем больше стран будет овладевать (хотя бы на словах) теми или иными возможностями ИИ, тем больше стран будет стремиться не отстать от них. По мере успешного внедрения такие возможности будут быстро распространяться. Создание сложного ИИ, безусловно, требует значительных вычислительных мощностей, но распространение ИИ и его применение таких ресурсов, как правило, не требуют.

Все это уже стало реальностью, от которой невозможно спрятаться. Примем как данность, что существуют ядерные, кибернетические и ИИ-технологии. Все они будут играть ту или иную роль в военной стратегии, их развитие неизбежно. Если США и их союзники закроют на это глаза или остановят разработки в этом направлении, мы не приблизимся к миру во всем мире. Наоборот, это сделает мир более опасным, потому что развивать самые грозные стратегические возможности и использовать их будут стороны, не особенно заинтересованные в соблюдении прав человека и развитии демократии. Не только национальные интересы США, но и наш нравственный долг требует, чтобы мы не уступали первенство в этой сфере и развивали ее.

Прогресс и конкуренция в этих областях повлекут за собой колоссальные изменения, которые могут разрушить традиционные концепции безопасности. Прежде чем эти преобразования достигнут точки невозврата, важно определить стратегические доктрины, связанные с ИИ, и сравнить их с доктринами других держав, обладающих ИИ. В ближайшие десятилетия человечеству потребуется концепция баланса сил, которая будет учитывать нематериальные аспекты киберконфликтов и возможность массовой дезинформации, а также отличительные качества войны, управляемой ИИ. Мы должны признать, что соперничающие стороны, обладающие ИИ, должны совместно стремиться к контролю над этим новым видом вооружений. Это не только не противоречит национальной безопасности – это попытка обеспечить безопасность всего человеческого будущего.

Ядерное оружие и сдерживание

В доядерную эпоху, когда появлялось новое оружие, военные включали его в свои арсеналы, а стратеги разрабатывали доктрины, которые позволяли использовать это оружие для достижения политических целей. Появление ядерного оружия разорвало эту связь. В первый и последний раз оно было применено в войне США против Японии (Хиросима и Нагасаки) в 1945 г. Это привело к быстрому окончанию Второй мировой войны на Тихом океане и было сразу же признано переломным моментом в истории человечества. Осваивая новое оружие и включая его в свои арсеналы, ведущие мировые державы продолжали открыто и подробно обсуждать стратегические и моральные последствия его применения.

Обладая мощью, намного превосходящей любую другую форму вооружения, ядерное оружие ставило фундаментальные вопросы: можно ли выработать какой-то руководящий принцип или доктрину, которые позволят использовать эту огромную разрушительную силу в рамках традиционных стратегий? Может ли применение ядерного оружия в политических целях не привести к тотальной войне и взаимному уничтожению? Допустимо ли ограниченное, пропорциональное или тактическое применение ядерной бомбы?

Ответ на эти вопросы оказался скорее отрицательным. И в тот короткий период, пока США обладали ядерной монополией (1945–1949 гг.), и впоследствии, когда они обладали значительно более эффективными системами доставки ядерного оружия, они так и не разработали стратегическую доктрину или не определили моральный принцип, который позволил бы применить ядерное оружие в реальном конфликте. В отсутствие четких взаимных договоренностей ядерных держав ни один политик не мог (как, в сущности, не может и сейчас) знать, что последует за «ограниченным» применением и останется ли оно ограниченным. Во время так называемого Первого кризиса в Тайваньском проливе 1955 г. президент США Эйзенхауэр, угрожая тогда еще неядерной Китайской Народной Республике, заметил, что если она не пойдет на деэскалацию, то он не видит причин, почему бы не использовать тактическое ядерное оружие «точно так же, как пулю или что-либо еще»[44]. Прошло почти 70 лет, но проверить это никто так и не попытался.

Вместо этого во время холодной войны главной целью ядерного оружия стало сдерживание – располагая этим оружием, ядерные державы демонстрировали готовность его применить, чтобы предотвратить начало войны противником или применение им собственного ядерного оружия. По своей сути ядерное сдерживание было психологической стратегией с целью убедить противника не предпринимать никаких действий под угрозой противодействия. Эффект применения этой стратегии зависел как от реальных возможностей государства, так и от эмоционального состояния потенциального агрессора. С точки зрения сдерживания не так уж важно, была ли бравада политика напускной и по какой причине государство проявило слабость. Ядерное сдерживание – уникальная стратегия безопасности, которая опирается на ряд непроверяемых абстракций: ведь сдерживающая держава не может доказать, как или с каким перевесом что-то было предотвращено.

Несмотря на эти парадоксы, ядерные арсеналы были включены в основные концепции международного порядка. Пока США обладали ядерной монополией, их арсенал служил в том числе и «ядерным зонтиком»[45] для союзных стран – советское продвижение по Западной Европе сдерживалось перспективой (пусть отдаленной или иллюзорной) того, что США применят ядерное оружие, чтобы остановить его. После того как СССР стал ядерной страной, главной целью ядерного оружия обеих сверхдержав стало сдерживание применения этого оружия другой стороной. Считалось, что существование ядерного оружия, которое может быть использовано для ответа на гипотетическое нападение противника, предотвращает ядерную войну как таковую.

Сверхдержавы времен холодной войны тратили огромные ресурсы на увеличение своего ядерного потенциала – в результате их арсеналы все меньше служили реализации текущей стратегии. Они не смогли сдержать неядерные государства – Китай, Вьетнам, Афганистан – от военных действий против сверхдержав, и точно так же они не смогли воспрепятствовать автономии стран Центральной и Восточной Европы от Москвы.

Во время Корейской войны[46] ядерным оружием обладали только СССР и США, причем США обладали решающим преимуществом в количестве оружия и средств доставки. Тем не менее Соединенные Штаты не решились принять на себя ответственность за последствия ядерной эскалации, не стали наносить ядерный удар и понесли многотысячные потери в сражениях в стиле Первой мировой войны против неядерных китайских и северокорейских сил, которые действовали при поддержке Советского Союза. С тех пор каждая ядерная держава, противостоящая неядерному противнику, поступала так же, хотя это не раз приводило к поражению.

От стратегий того времени было мало толку. Согласно доктрине массированного возмездия 1950-х гг. США угрожали ответить на любое нападение, ядерное или обычное, массированной ядерной эскалацией. Эта доктрина оказалась психологически и дипломатически несостоятельной, а также частично неэффективной, поскольку результатом ее применения мог быть только ядерный Армагеддон. Предлагались доктрины, которые разрешали бы использование тактического ядерного оружия в ограниченной ядерной войне[47]. Но оставались опасения, что эскалацию глобальной ядерной войны не удастся остановить. В результате ядерная стратегия по-прежнему была сосредоточена на сдерживании и обеспечении ядерного потенциала, достаточного для того, чтобы угроза массового уничтожения была достоверной. США распределили свое оружие по географическому принципу и создали «ядерную триаду» из сухопутного, морского и воздушного компонентов, способную действовать в случае внезапного нападения противника и нанести ответный удар. Считается, что СССР изучал возможность использования системы[48], разработанной таким образом, чтобы она была способна, обнаружив приближение ядерного удара, контратаковать без дальнейшего вмешательства человека[49].

Стратегов в правительстве и научных кругах беспокоило, что ставка делается на ядерные удары, а не на оборону. Они изучали, каким образом оборонительные системы могли бы расширить для политиков окно принятия решений, давая возможность вести дипломатическую работу – или хотя бы собирать больше информации – во время ядерного противостояния. Но стремление к созданию оборонительных систем лишь еще больше ускорило рост наступательных вооружений.

По мере роста арсеналов обеих сверхдержав возможность реального применения ядерного оружия для контрудара или возмездия стала казаться все более сюрреалистичной и невероятной, потенциально угрожая самой логике сдерживания. Признание этого ядерного тупика породило новую доктрину взаимного гарантированного уничтожения. Согласно этой доктрине, применение ядерного оружия любой стороной вызовет такое количество жертв и разрушений, что ни одна из сторон не может осмелиться нанести первый удар. Человечество разработало «абсолютное оружие» и сопровождающие его стратегические доктрины в поисках мира – результатом был глобальный страх ядерной войны. Концепцией, призванной разрешить эту дилемму, был контроль над вооружениями.

Контроль над вооружениями

Если сдерживание стремилось предотвратить ядерную войну путем взаимных угроз, то контроль над вооружениями был нацелен на предотвращение ядерной войны путем ограничения или даже отмены самого ядерного оружия или отдельных его категорий. Этот подход сочетался с концепцией нераспространения ядерного оружия, подкрепленной сложным набором договоров, технических гарантий, регулирующих и других механизмов контроля. Согласно этой концепции ядерное оружие, а также знания и технологии, поддерживающие его создание, не должны распространяться за пределы тех стран, которые уже обладают им. Никогда в истории человечества не принимались такие меры контроля над вооружениями и нераспространения оружейных технологий. Пока ни одна из стратегий не увенчалась полным успехом. В отношении новых классов оружия, основанных на кибернетических технологиях и ИИ, подобные усилия пока не предпринимались. Сегодня становится все больше стран, обладающих ядерным, кибернетическим и ИИ-оружием, но некоторые уроки эпохи контроля над вооружениями не помешает вспомнить.

После Карибского кризиса (октябрь 1962 г.) сверхдержавы стремились ограничить ядерную гонку с помощью дипломатии. США и СССР с осторожностью пытались найти пределы количества и возможностей ядерного оружия, которые были бы совместимы с поддержанием стратегического равновесия. В конце концов обе стороны согласились ограничить не только свои наступательные арсеналы, но и – следуя парадоксальной логике сдерживания, в которой уязвимость считается гарантией мира, – свои оборонительные возможности. Результатом стали договоры об ограничении стратегических вооружений и противоракетной обороны 1970-х гг., а затем Договор о сокращении стратегических вооружений 1991 г. Достигнутые соглашения сохраняли способность сверхдержав уничтожить – и тем самым сдерживать – друг друга, в то же время ограничивая гонку вооружений.

Хотя Вашингтон и Москва оставались противниками и продолжали вести борьбу за стратегическое преимущество, благодаря переговорам по контролю над вооружениями у них появилась некая определенность для дальнейших шагов по предотвращению всеобщей войны. Информируя друг друга о своих стратегических возможностях и договариваясь об определенных ограничениях и механизмах контроля, обе стороны стремились снять опасность первого удара со стороны потенциального противника.

В итоге эти инициативы стали активно препятствовать дальнейшему распространению ядерных вооружений. США и Россия стали инициаторами режима многосторонних обязательств и многосторонних механизмов, который должен был запретить всем, кроме самых первых ядерных государств, приобретать ядерное оружие или обладать им – в обмен на обязательства помогать другим государствам в использовании ядерных технологий для получения возобновляемой энергии. В ходе различных кризисов и конфликтов того времени их участники не считали возможным применение ядерного оружия. В политике, культуре и в отношениях между политическими лидерами существовало характерное общее отношение к ядерному оружию – все признавали, что ядерная война между крупными державами повлечет за собой необратимые решения и беспрецедентные риски для всех сторон, включая сторонних наблюдателей.

Ядерное оружие поставило политиков перед двумя постоянными связанными между собой проблемами – превосходства и недостатка вооружений. Что означало превосходство в ситуации, когда две сверхдержавы обладали ядерными арсеналами, достаточными для многократного уничтожения всего мира? В этих условиях дополнительное наращивание вооружений уже не обеспечивало явных преимуществ. В то же время горстка стран обзавелась собственными небольшими запасами ядерного оружия, рассчитывая на то, что для сдерживания нападения им нужен арсенал, достаточный для причинения разрушений, а не для достижения полной победы. Таким образом, оказалось, что нет большой разницы между обладанием превосходящими или недостаточными арсеналами, – хоть это и противоречит интуиции.

Но ядерная безопасность не дана нам раз и навсегда. Ее должно обеспечивать каждое поколение политических лидеров – при том, что новые участники «ядерного клуба» стремятся развивать свой ядерный потенциал, имея различные стратегические доктрины и разное отношение к жертвам среди гражданского населения, а уравнения сдерживания становятся все более размытыми и неопределенными. И на фоне этих неразрешенных стратегических парадоксов появляются новые факторы и новые сложности. Во-первых, это кибероружие, которое повышает уязвимость и расширяет поле стратегий и разнообразие сценариев. Во-вторых, это ИИ, который способен изменить обычные, ядерные и кибернетические вооружения и стратегии. Появление новых технологий не положило конец дилеммам, связанным с ядерным оружием, – они стали новыми ограничивающими условиями ведения войн (по крайней мере для ядерных держав).

Война в цифровую эпоху

На протяжении всей истории человечества политическое влияние нации, как правило, примерно соотносилось с ее военной мощью и стратегическими возможностями – ее потенциальной способностью наносить ущерб другим странам. Проблема, однако, в том, что равновесие, основанное на расчете силы, непостоянно и не поддерживает само себя – оно опирается прежде всего на общее понимание того, что считать силой и каковы законные границы ее применения. Соответственно, поддержание этого равновесия требует общего для всех участников системы международных отношений – особенно противников – понимания относительных возможностей и намерений государств, а также последствий агрессии. Наконец, сохранение равновесия требует фактического и признанного паритета. Когда один из участников системы непропорционально усиливает свою мощь, система попытается приспособиться – либо организуя противоборствующую силу, либо подстраиваясь к новой реальности. Если равновесие неустойчиво или не признается участниками международных отношений, риск конфликта резко возрастает.

В наше время расчет равновесия стал еще более абстрактным. Причина тому – кибероружие, класс оружия с неясным статусом. В некоторых случаях кибероружие усиливает военную мощь страны тем, что эта страна не признает его использования и даже существования. Раньше, если начиналась война, сразу становилось известно, что произошло столкновение и какие стороны воюют. Противники оценивали силы участников и темп, в котором эти силы могли быть развернуты. С кибероружием все это не работает.

Даже ядерное оружие существует в обычном мире, где его развертывание может быть замечено, а его возможности определены – хотя бы приблизительно. Напротив, одно из главных свойств кибероружия – его непрозрачность, раскрытие информации о нем может в той или иной степени препятствовать его применению. Например, так называемые атаки нулевого дня используют ранее неизвестные недостатки в программном обеспечении, получая доступ к сети или системе без разрешения или ведома авторизованного пользователя. В случае распределенных DDoS-атак делается множество информационных запросов, блокирующих системы. Истинные источники атак маскируются, что затрудняет или делает невозможной идентификацию атакующего. Один из самых известных случаев промышленного саботажа с использованием кибернетических технологий – атака вируса Stuxnet, которая вывела из строя компьютеры, управлявшие иранскими ядерными разработками, – не обсуждался публично странами, которые, как считается, его осуществили.

Моральные и правовые нормы предписывают использовать обычное и ядерное оружие только против военных сил и объектов. В отличие от этого, кибероружие широко воздействует на вычислительные и коммуникационные сети, часто поражая гражданские системы. Кроме того, кибероружие могут взять на вооружение другие стороны для других целей, включая использование против напавшей стороны. В некоторых отношениях это делает кибероружие похожим на биологическое или химическое оружие, которое может распространяться непреднамеренными и неизвестными способами. Во многих случаях оно воздействует на широкий срез общества, а не только на боевые цели[50].

Таким образом, те самые свойства кибероружия, которые обеспечивают его эффективность, делают практически невозможным контроль над кибервооружениями. Когда участники переговоров по контролю над ядерным оружием раскрывали или описывали классы боеголовок, они не отрицали возможностей этого оружия. Переговорщикам по кибервооружениям предстоит столкнуться с интересным парадоксом – само обсуждение возможностей кибероружия может означать как его сокращение (если противник устранит уязвимости, против которых оно направлено), так и более широкое распространение (если противник скопирует его код или использует тот же принцип действия).

Эти проблемы усложняются неоднозначностью ключевых терминов и концепций. Различные формы кибервторжений, онлайн-пропаганды и информационной войны разные наблюдатели могут в тех или иных случаях назвать «кибервойной», «кибератакой» и даже «военными действиями», но этот словарь необщепринят и иногда используется непоследовательно. Одни действия, такие как вторжение в сеть для сбора информации, могут быть аналогичны традиционному шпионажу, хотя и в новых масштабах. Другие атаки, такие как цифровые кампании по вмешательству в выборы в социальных сетях, скорее относятся к пропаганде, дезинформации и политическому воздействию – но благодаря вездесущей цифровизации и сетевым платформам это возможно в более широких масштабах и с более высокой эффективностью, чем в предыдущие эпохи. Существуют также формы кибернетического воздействия, которые способны нанести физические потери, сходные с традиционными боевыми потерями. Но как выяснить, началась ли кибервойна, какова ее природа и как далеко она может зайти? Очевидно, что крупнейшие страны в настоящее время вовлечены в некий киберконфликт, природу или масштаб которого невозможно однозначно определить[51].

Главное противоречие цифрового века заключается в том, что чем больше цифровой потенциал общества, тем более уязвимым оно становится. Компьютеры, системы связи, финансовые рынки, электросети (и цифровые системы командования и управления, от которых они зависят), даже механизмы демократической политики – все эти системы в той или иной степени уязвимы для манипуляций или атак. По мере того как страны с развитой экономикой интегрируют цифровые системы управления и контроля в электростанции и электросети, переносят все больше правительственных программ на большие серверы и в облачные системы, передают все больше данных в электронные реестры, их уязвимость к кибератакам возрастает, в то время как государства со слаборазвитыми технологиями и террористические организации теряют сравнительно меньше.

Сравнительно низкая стоимость киберопераций и их относительная скрытность побуждает некоторые государства использовать для кибервойны полуавтономные группы. В отличие от отрядов, наводнявших Балканы накануне Первой мировой войны, эти группы трудно контролировать, они могут заниматься диверсионной деятельностью без официальной санкции. Поскольку утечки данных и кибердиверсии могут нейтрализовать значительную часть кибернетического потенциала государства или изменить его внутриполитический ландшафт, скорость и непредсказуемость этой области и разнообразие субъектов, которые в ней присутствуют, могут заставить политиков быстро перейти к наступательным действиям, чтобы нанести удар возмездия[52]. Не являясь традиционной войной, такие действия могут оказаться разрушительными для целых стран и отношений между ними.

Быстрота и неоднозначность киберпространства благоприятствуют как наступлению, так и контрнаступлению[53]. При этом возможности киберсдерживания частично зависят от того, что именно планируется сдерживать и как измеряется успех, – но ни одна крупная сторона киберконфликтов, правительственная или неправительственная, не раскрыла всего спектра своих возможностей даже для того, чтобы сдержать действия других сторон. Новые стратегии и доктрины развиваются неопределенно, в теневой сфере. Для обеспечения реальной безопасности современная ситуация требует системного изучения, тесного сотрудничества между правительством и индустриями и – со временем и в соответствующих пределах – обсуждения ограничений с противниками.

ИИ и трансформация безопасности

Коллекция военных парадоксов, загадок и двусмысленностей ядерного оружия и кибероружия сегодня пополняется благодаря возможностям ИИ, которые мы обсудили в предыдущих главах. Страны, которые создают и внедряют ИИ с перспективой военного применения, не афишируют свои разработки, которые тем не менее могут оказать революционное воздействие на политику обороны и безопасности[54].

Внедрение нечеловеческого мышления в военные системы и процессы изменит стратегию. Вооруженные силы и службы безопасности, использующие ИИ, добьются поразительных, даже ошеломляющих преимуществ. Сотрудничество с ИИ в военном деле может как свести на нет, так и невероятно усилить различные стороны традиционных стратегий и тактик. Если ИИ получит определенную степень контроля над кибернетическими (наступательными или оборонительными) или физическими (такими как авиация) системами вооружений, он сможет успешно выполнять функции, которые сложно реализовывать людям. Такие ИИ, как μZero ВВС США, уже летали на реальных самолетах и управляли радарными системами во время испытательных полетов. ИИ μZero спроектирован так, чтобы он мог самостоятельно применять оружие, но эта возможность отключена[55]. Нет гарантии, что другие страны и команды разработчиков не дадут военным ИИ больше свободы.

Способность ИИ к автономии и логике создает не только потенциальную пользу, но и колоссальную неопределенность. Большинство традиционных военных стратегий и тактик основаны на предположении о существовании противника-человека, который будет вести себя узнаваемым образом, в соответствии с человеческим опытом и здравым смыслом. Однако ИИ, управляющий самолетом в поисках цели, будет следовать своей собственной логике, неизвестной противнику, невосприимчивой к традиционным сигналам и уловкам и при этом работающей очень быстро – гораздо быстрее, чем человеческое мышление.

В войне всегда много неопределенности и случайностей, но ИИ выводит их на новый уровень. Поскольку ИИ динамичен и эмерджентен, даже сами разработчики ИИ и пользователи оружия, основанного на ИИ, не могут точно знать, насколько оно мощное и что оно будет делать в той или иной ситуации. Как разработать наступательную или оборонительную стратегию для ИИ, который видит мир не так, как человек, обучаясь и изменяясь намного быстрее человека? Если результат применения некоторых видов оружия будет зависеть от восприятия ИИ и от выводов, которые он сделает (на основе расчетов, иногда непостижимых для человеческого разума), – не значит ли это, что выяснить стратегическое назначение этого оружия можно будет только в процессе его применения? Если потенциальный противник обучает свой ИИ в режиме секретности, как вообще узнать, кто побеждает и кто отстает в гонке вооружений?

Критическая точка традиционной войны – психология противника, именно против нее направлены стратегические действия. Но у алгоритма нет психологии, морали или сомнений, у него есть только его инструкции и цели. Поскольку ИИ может развиваться и меняться в процессе использования, ни одна из сторон не сможет точно предвидеть, каковы будут результаты (и сопутствующий ущерб) от применения ИИ, – в лучшем случае у них будет приблизительное представление об этом. И тогда стратеги и инженеры будут стремиться создать оружие, рассчитанное на скорость, широту воздействия и степень поражения – параметры, которые могут сделать такие конфликты более обширными и интенсивными.

Мы не призываем к разоружению или стратегии одностороннего отказа от вооружений – такое крайне редко возможно на практике. Как и в других стратегических областях, гарантия безопасности в случае с ИИ – сильная защита. Но, вооружаясь, потенциальные противники обязаны тщательно разобраться в том, что произойдет с внедрением ИИ в военное дело. Какой станет война – более гуманной и точной или более жестокой?

ИИ и машинное обучение меняют стратегические и тактические возможности сторон, расширяя действие существующих классов оружия. ИИ делает обычное оружие не просто более точным – теоретически он может нацелить оружие на конкретного человека или объект[56]. Если военные или террористические группы будут использовать такие возможности для нападения на отдельных военных, политических, деловых или общественных лидеров, характер войны существенно изменится. Наступательный ИИ может научиться проникать в систему защиты без традиционной кибератаки, путем изучения огромных массивов информации. Оборонительный ИИ может находить и устранять уязвимости защиты до того, как ими воспользуется противник.

Темп военных действий, проходящих под управлением ИИ, неминуемо вырастет. Это может привести к появлению полностью или почти полностью автоматизированных систем обороны и контратаки (считается, что советская сторона занималась разработкой таких систем еще во время холодной войны). Результат автоматической отработки функций таких систем может выглядеть аналогично выполнению взаимосвязанных мобилизационных планов и обязательств, которые привели к катастрофе Первой мировой войны, – но без участия или почти без участия человека.

Если страна столкнется в бою с противником, который внедрил ИИ, обученный управлять самолетами и принимать самостоятельные решения о применении оружия, – какие изменения в тактике, стратегии или готовности прибегнуть к эскалации (возможно, ядерной) это вызовет? Какую реакцию вызовет отказ державы подтвердить или опровергнуть применение боевого ИИ?

Если говорить не только о классических боевых действиях, ИИ открывает новые горизонты возможностей в информационном пространстве – как в области мониторинга, так и в области дезинформации и подрывной деятельности. Генеративный ИИ может создавать огромные объемы ложной, но правдоподобной информации – включая искусственно созданных личностей, изображения, видео и речь, что особенно критично для свободных обществ. В общем доступе могут оказаться выглядящие реалистичными фотографии и видеозаписи, на которых общественные деятели говорят то, чего они никогда не говорили. Теоретически ИИ можно использовать для определения наиболее эффективных способов доставки дезинформации и ее адаптации к предубеждениям и ожиданиям общественности. Если противник использует фальсифицированные видео и изображения национального лидера для разжигания розни или распространения ложной информации, сможет ли общественность, включая правительства и официальных лиц, вовремя распознать обман?

В отличие от ядерной сферы, для такого использования ИИ не существует четкой концепции сдерживания (или степени эскалации при применении). Оружие с поддержкой ИИ (как физическое, так и кибернетическое) активно разрабатывается и, возможно, уже применяется[57]. Державы, обладающие ИИ (как государства, так и негосударственные субъекты), будут развертывать машины и системы, использующие быструю логику, эмерджентное и эволюционирующее поведение для нападения, защиты, наблюдения, распространения дезинформации, а также выявления и уничтожения ИИ противников. Некоторые достижения будут засекречены или использованы неожиданно, другие, напротив, будут широко пропагандироваться в качестве меры сдерживания. И когда ИИ столкнутся друг с другом во время военных действий, это приведет к результатам, которые трудно предсказать.

По мере развития и распространения трансформационных возможностей ИИ ведущие страны будут стремиться к достижению и сохранению превосходства[58]. Следует ожидать, что противники будут стремиться к тому же, не ограничиваясь полумерами. Важно понимать, что распространение ИИ, как во благо, так и во вред, обязательно произойдет: любые новые функции ИИ будут распространяться быстро и неподконтрольно правительствам.

Поскольку ИИ имеет двойное (гражданское и военное) назначение и может легко копироваться, распространение этих технологий будет крайне сложно контролировать. Попытки контроля будут подавляться наступательным оружием, кроме того, средства контроля будут естественным образом устаревать по мере технологического прогресса. Кроме того, новые пользователи ИИ будут адаптировать базовые алгоритмы к совершенно новым целям. Коммерческий ИИ можно легко перепрофилировать с гражданского использования на военное – например, для целей безопасности или информационной войны. Поскольку разработчиками ИИ по большей части будут негосударственные субъекты, обладающие специальными навыками и знаниями, – университеты, исследовательские лаборатории, операторы сетевых платформ, о которых мы говорили в главе 4, правительства не всегда смогут определять стратегически важные аспекты развития передовых ИИ в соответствии с их концепциями национальных интересов.

Определить «кибербаланс сил» или осуществить «сдерживание ИИ» сейчас очень трудно, если вообще возможно, – хотя бы потому, что эти понятия пока не определены, а планирование будет носить абстрактный характер. Это значит, что стороны будут стремиться сдержать противника угрозой оружия, последствия применения которого не очень хорошо известны. В таком случае менее технологически развитые страны, столкнувшись с державой, обладающей оружием с поддержкой ИИ, о возможностях которого, по сути, ничего не известно, могут не выдержать психологического воздействия такой ситуации и либо постараются вооружиться аналогичными средствами, либо применят непредусмотренные виды оружия и тактики.

Самый революционный и непредсказуемый эффект может вызвать взаимодействие ИИ и человеческого интеллекта. Раньше военные, планируя боевые действия, всегда могли в той или иной степени понять доктрину, тактику и стратегию своего противника. Основываясь на общих для всех людей возможностях и подходах, военные разрабатывали стратегию и тактику противодействия, а также символический язык демонстративных военных действий, таких как перехват самолета, приближающегося к государственной границе, или ввод кораблей в спорные воды. Но если военные будут использовать для планирования или ведения военных действий ИИ – даже как вспомогательное средство во время патрулирования или военного конфликта, – знакомые концепции и символы потеряют смысл, поскольку речь идет о взаимодействии с интеллектом, методы и тактика которого неизвестны. В тех случаях, когда военные будут передавать ИИ определенные функции, очень важно будет уметь прогнозировать и описывать ожидаемые последствия.

Переход к ИИ и системам вооружений с поддержкой ИИ означает как минимум частичную зависимость от интеллекта с огромным аналитическим потенциалом и принципиально иной парадигмой опыта, а в крайних случаях – передачу ему полномочий. В самом мягком случае ИИ будет способствовать обучению военнослужащих, помогая им оттачивать навыки и обнаруживать закономерности, которых люди ранее не замечали. Но даже такой способ использования ИИ может быть рискованным. Программное обеспечение для распознавания лиц на базе ИИ уже приводило к ошибочным арестам – подобные сбои военного ИИ могут привести к тому, что обычные действия сил противника будут идентифицированы как признаки готовящегося вторжения. Это значит, что операторы-люди обязательно должны отслеживать и контролировать действия ИИ, которые могут привести к непоправимым последствиям. Даже если это не позволит избежать всех ошибок, то, по крайней мере, у человека останутся моральная ответственность и подотчетность – те самые ограничения, которые предотвращают беспричинный ущерб и позволяют наказывать злоумышленников.

Однако самый глубокий вызов может быть философским. Чем больше ИИ будет задействован в концептуальных и аналитических аспектах стратегии, недоступных человеческому разуму, тем менее понятными для человека будут его процессы, влияние и результаты деятельности. Если политики придут к выводу, что помощь ИИ необходима для выяснения возможностей и намерений противника (который может иметь собственный ИИ) и своевременного реагирования на них, может оказаться неизбежным делегирование машинам критически важных решений и функций. Скорее всего, каждая страна самостоятельно нащупает свой предел подобного делегирования и соответствующих рисков и последствий. Ведущие державы не должны ждать войны, чтобы начать диалог о последствиях – стратегических, доктринальных и моральных – всех этих перемен.

Управление ИИ

Эти практические и философские вопросы необходимо рассмотреть и понять до того, как ИИ отправится на войну. Их актуальность растет, поскольку военные действия с участием кибернетики и ИИ уже не ограничены полями сражений, они в некотором смысле возможны везде, где есть цифровая сеть. Сегодня программное обеспечение управляет весьма обширной сферой физических систем, многие из которых – иногда вплоть до дверных замков и холодильников – объединены в сеть. Благодаря элементарной возможности цифровых схем передавать информацию и команды другим схемам возникла система потрясающей сложности и масштаба.

Военным силам, вооруженным ИИ, очень важно научиться находить некое взаимопонимание и сдерживать друг друга. Поскольку цифровые системы легко и относительно незаметно изменяются путем доработки компьютерного кода, крупные державы имеют право предполагать, что их противники могли продвинуть стратегически важные разработки и внедрение ИИ несколько дальше, чем они признали публично или пообещали конфиденциально. В чисто техническом смысле ИИ не так сложно переключить с разведки и поиска целей на активные военные действия, поэтому задачу создания систем взаимного сдерживания и контроля нужно решить во что бы то ни стало.

В процессе поиска решения этой проблемы придется учитывать динамичную природу ИИ. Допустим, кибероружие, созданное ИИ, сможет самостоятельно адаптироваться и обучаться. Это означает, что по мере того, как ИИ реагирует на окружающую обстановку, будут меняться возможности оружия, включая выбор цели. Если вид оружия или сфера его применения окажутся иными, чем предполагали или предупреждали его создатели, будет бессмысленно пытаться просчитывать меры сдерживания или эскалации. Вот почему люди должны сохранять контроль над диапазоном действий, которые способен предпринять ИИ, – как на начальном этапе проектирования, так и путем сохранения контроля над системой, которая стала отклоняться в сторону нежелательных действий. Такие ограничения должны быть взаимными.

Ограничения на возможности ИИ и кибернетического потенциала будет сложно определить, а распространение оружия на базе ИИ – сложно остановить. Потенциал, созданный и используемый крупными державами, может попасть в руки террористов. Малые государства, не обладающие ядерным оружием, могут многократно усилить свое влияние, инвестируя в передовые арсеналы ИИ и кибероружия. Будут задействованы также оборонительные возможности кибер- и информационного пространства, такие как выявление вредоносного контента в цифровых медиа или кибернетическое управление оборонительными системами на базе ИИ[59]. В той мере, в какой подобные системы работают внутри страны или на сетевых платформах, ориентированных на гражданское население, их характеристики и проблемы будут аналогичны тем, которые мы рассматривали в главе 4.

Государства неизбежно будут делегировать алгоритмам ИИ (в том числе управляемым частными организациями) малые, не ведущие к человеческим жертвам задачи, включая обнаружение и предотвращение кибератак. Так называемая поверхность атаки цифрового общества, активно использующего компьютерные сети, слишком обширна, чтобы операторы-люди могли защищать ее вручную. С переходом многих аспектов человеческой жизни в онлайн и продолжением цифровизации экономики растет вероятность того, что ИИ-диверсии смогут нарушать работу целых секторов экономики. Чтобы уйти от такой опасности, странам, компаниям и даже отдельным людям придется вооружаться средствами кибербезопасности. Наиболее экстремальной (хотя все равно потенциально несовершенной) формой такой защиты будет разрыв сетевых соединений и отключение систем от сети, особенно для государств. Если не прибегать к таким крайним мерам, то некоторые жизненно важные функции киберзащиты будет способен выполнять только ИИ, отчасти из-за огромных размеров киберпространства и почти бесконечного множества возможных действий в нем. В подобной гонке вооружений противникам потребуются огромные объемы данных и вычислительные мощности, поэтому лидировать в этой области смогут лишь несколько стран.

За системами обороны с поддержкой ИИ скрывается самая сложная категория – смертоносные автономные системы вооружений. Обычно под ними понимают системы, которые после активации могут выбирать и поражать цели без дальнейшего вмешательства человека – в том числе со смертельным исходом[60]. Ключевой вопрос в этой области – человеческий надзор и возможность своевременного вмешательства человека.

Обычно системы, оснащенные ИИ, контролируются человеком, задача которого – предоставлять разрешение на определенные действия. Но если это не будет ограничено контролируемыми межгосударственными соглашениями, новейшие формы систем вооружений смогут выполнять самые широкие боевые задачи – такие как защита границ, уничтожение материальных или кибернетических объектов и т. п. – и без существенного участия человека. Обеспечить человеческий контроль применения силы в этих сферах крайне важно, но такие ограничения не будут иметь смысла, если они будут приняты в одностороннем порядке – одной страной или небольшой группой стран. Такие меры должны быть взаимными и подкрепленными принудительным контролем, в противном случае риск кризиса или внезапной эскалации, вызванных применением автономного оружия, будет расти[61].

Поскольку эти технологии не просто изучаются, а реально используются, существует риск преждевременного применения основанного на них оружия, за которым последует война. Например, страна, которая пытается упредить своего противника, может атаковать его – но чем оправдать такую атаку? Действительно ли противник создал потенциал, о котором подозревал нападающий, и был ли он использован? Соответственно, возможны две группы доктрин: одна – ориентированная на ограничение и сдерживание, другая – на соперничество и превосходство. Это неразрешимый спор. Обе стороны могут быть правы в том смысле, что технология должна развиваться (становясь более эффективной и более угрожающей), чтобы противостоять ожидаемым угрозам. В этом смысле и распространение, и сдерживание являются вполне логичными целями и в некоторых случаях могут быть совместимы – но только если крупные державы будут наращивать свои вооружения в рамках проверяемых ограничений. Переговоры должны быть направлены на ограничение этой гонки, при этом важно, чтобы обе стороны в общих чертах знали, что делает противник, и ни одна сторона не скрывала свои самые важные для безопасности секреты. Полного доверия не будет никогда – но, как показали переговоры по ядерному оружию времен холодной войны, нужно пытаться достичь определенного взаимного доверия.

Раньше военные и гражданские области было легко разделить по признакам технологической дифференциации, сосредоточения контроля и степени поражения. Технологическая дифференциация означает, что технология имеет либо исключительно военное, либо исключительно гражданское применение (в отличие от технологий двойного назначения). Сосредоточение контроля означает, что правительство может легко управлять технологией, которую оно контролирует, в отличие от технологий, распространение которых происходит вне контроля правительства. Наконец, степень поражения говорит о разрушительном потенциале технологии.

Многие технологии в истории человечества имели двойное назначение, или легко распространялись, или обладали огромным разрушительным потенциалом. Однако до сих пор ни одна из них не обладала всеми тремя качествами: двойным применением, легкостью распространения и значительным разрушительным потенциалом. Железные дороги имеют двойное назначение, они обеспечивают перевозки как промышленных товаров, так и военной силы – но не имеют разрушительного потенциала. Ядерные технологии часто имеют двойное назначение и могут создавать огромный разрушительный потенциал, но их инфраструктура слишком сложна, поэтому они подконтрольны правительству. Огнестрельное оружие легко распространяется и имеет двойное назначение, но не является оружием массового поражения.

ИИ ломает эту парадигму: он имеет двойное назначение, легко распространяется (это всего лишь код) и, как правило (за некоторыми примечательными исключениями), может работать на отдельных компьютерах или в небольших сетях, что означает неподконтрольность правительствам, и обладает значительным разрушительным потенциалом. Эта уникальная комбинация качеств в сочетании с широким кругом заинтересованных сторон порождает стратегические проблемы нового уровня сложности.

Благодаря оружию с поддержкой ИИ станут возможными исключительно быстрые цифровые атаки с использованием цифровых уязвимостей. У государств может фактически не остаться времени на оценку признаков готовящейся атаки, им придется реагировать немедленно, чтобы не потерпеть поражение, поэтому они будут создавать системы на базе ИИ, отслеживающие признаки атак и способные контратаковать до того, как произошла атака[62]. Как и в начале XX в., информация о существовании такой системы может послужить толчком к разработкам параллельной технологии или технологии, основанной на других алгоритмах. Стороны, вынужденные напасть первыми, могут сознательно пренебречь необходимостью действовать разумно – если человек вообще будет участвовать в принятии таких решений.

Известно, что новейшие «квантовые» алгоритмы ИИ, используемые на фондовом рынке, могут выявлять рыночные закономерности и реагировать на них со скоростью, превосходящей возможности самых искусных трейдеров. Компании, использующие такие алгоритмы, передали им контроль некоторых аспектов торговли ценными бумагами. Во многих случаях эти системы обеспечивают весьма значительные прибыли, но иногда они допускают грубые ошибки в расчетах – потенциально более серьезные, чем самая грубая человеческая ошибка.

Такие ошибки, происходящие в финансовом мире, все же относительно безопасны для жизни. Но аналогичный сбой в военной сфере может стать катастрофой. Если для защиты от цифровой атаки ИИ перейдет в наступление и проникнет в сеть противника, чтобы пресечь нападение на его территории, может быть непреднамеренно запущена эскалация.

Попытки использовать новые технические возможности в рамках некой стратегии и с сохранением международного равновесия осложняются тем, что знания, необходимые для технологического превосходства, больше не сосредоточены исключительно в правительственных или академических учреждениях. У новых стратегических технологий широкий круг создателей – от традиционных государственных подрядчиков до индивидуальных разработчиков, предпринимателей, стартапов и частных исследовательских лабораторий. Не все они будут считать себя обязанными работать исключительно ради поддержки национальных интересов, определенных федеральным правительством. Открытое взаимодействие промышленности, научных кругов и правительства может помочь преодолеть этот разрыв и обеспечить понимание стратегического влияния ИИ. Сегодняшние стратегические и технологические вызовы беспрецедентны – ведь у нас нет единого мнения ни о характере этих вызовов, ни даже о словаре для их обсуждения.

Нерешенной проблемой ядерной эпохи было то, что человечество разработало технологию, для которой стратеги не могли найти жизнеспособной оперативной доктрины. Дилемма эпохи ИИ будет противоположной – ее определяющая технология будет повсеместно приобретаться, осваиваться и применяться. В этих условиях сдерживание – или даже достижение коллективного определения сдерживания – будет сложнее, чем когда-либо прежде.

Человек владеет ядерными технологиями совсем недавно и не решил всех проблем управления ядерным оружием. Тем не менее задача оценки ядерного баланса была сравнительно простой – боеголовки можно было подсчитать, их мощность была известна. В отличие от этого, возможности ИИ динамичны, а обнаружить его присутствие или проверить его отсутствие при нынешних технологиях сложно или невозможно. Сдерживание в новую эпоху, скорее всего, будет основано не на таких простых инструментах, как подсчет боеголовок, а на существенно более сложных, таких как оценка скорости реакции ИИ и множества векторов, по которым может пойти атака.

Чтобы управлять ИИ, стратегам придется решить, как интегрировать ИИ в ответственную модель международных отношений. Если оружие будет применено хоть раз, то можно не сомневаться в том, что оно будет применяться и дальше, поэтому еще до первого применения стратеги должны разобраться в том, какие последствия будет иметь неоднократное применение, к чему может привести эскалация и как обеспечить деэскалацию. Политики будут вынуждены решать целый комплекс вопросов – вооружений, оборонительных технологий и стратегий, а также контроля над вооружениями. И поскольку по мере интеграции ИИ в новые виды оружия, стратегии и тактики контроль вооружений будет становиться пропорционально сложнее, доктрины должны быть сформулированы заранее, и решения должны приниматься до применения оружия.

Каковы будут требования к сдерживанию? Очевидной отправной точкой будет наложение ограничений – во времена холодной войны этот подход был успешным. Некоторые возможности были ограничены (например, пусковые установки ракет не имели боеголовок), другие (например, ракеты средней дальности) были полностью запрещены. Но ни ограничение существующих возможностей ИИ, ни ограничение их количества не повлияют на их гражданское использование и непрерывное развитие. Дополнительные ограничения придется наложить на возможности ИИ по обучению и поиску целей.

США уже провели различие между оружием с поддержкой ИИ, которое позволяет человеку более успешно вести войну, и оружием с ИИ, которое принимает смертоносные решения независимо от человека. Цель США – ограничить использование ИИ первой категорией, чтобы никто в мире не обладал оружием второй категории[63]. Это ограничение разумно. Решающее значение в этом случае будет иметь определение характера и способа ограничения оружия с поддержкой ИИ, чтобы ограничения не устарели сразу после их принятия из-за способности технологии к обучению и развитию.

В XIX–XX вв. государства выработали ограничения на определенные формы ведения войны, например с использованием химического оружия или с массовыми жертвами среди гражданского населения. Поскольку оружие на базе ИИ делает возможными новые виды военных действий или значительно меняет существовавшие ранее способы ведения войны, страны мира должны срочно выработать новые ограничения. Эти соглашения должны быть достигнуты до того, как ИИ окажется способным их нарушить. Если конечной целью является баланс, переговоры должны быть многосторонними, а не двусторонними, чтобы учесть широкое распространение ИИ и его постоянное обучение и развитие. Простого реагирования на то, что уже существует, недостаточно.

Старая борьба в новом мире

Каждая крупная технологически развитая страна должна признать, что она стоит на пороге стратегической трансформации, которая вызовет еще более разнообразные и непредсказуемые последствия, чем появление ядерного оружия. Каждая страна, которая совершенствует технологии ИИ, должна создать национальный орган для изучения аспектов обороны и безопасности в условиях существования оружия на базе ИИ, а также общих перспектив различных секторов, определяющих создание и развертывание ИИ. На этот орган должны быть возложены две функции: обеспечение конкурентоспособности по отношению к остальному миру, координация действий с аналогичными органами в других странах, включая противников, и оценка того, как избежать эскалации или кризиса.

Если мы будем двигаться в этом направлении, то в конечном итоге эта стратегия может быть признана двумя основными мировыми ИИ-державами – США и Китаем, которые считают друг друга главными стратегическими конкурентами. Стратеги с обеих сторон должны ясно оценить уроки предыдущих соперничеств крупных держав и признать существование отличительных аспектов эпохи, в которой армии используют ядерный, кибернетический и ИИ-потенциал в дополнение к обычным арсеналам. Вероятно, они придут к выводу, что США и Китай (а также, возможно, Россия) должны договориться о том, что эти страны не будут вступать друг с другом в войну с применением кибероружия и ИИ. Отдельной специализированной группе чиновников в каждом правительстве можно поручить следить за выполнением этого обязательства и отчитываться об этом непосредственно перед руководителями стран. На данный момент общественные настроения в этих странах не способствуют такому начинанию, однако чем дольше эти державы будут относиться друг к другу как к противникам, не вступая в такой диалог, тем больше шансов, что произойдет кризис, который не нужен ни одной из сторон и о котором все будут сожалеть.

Парадокс международной системы заключается в том, что каждая держава вынуждена действовать – более того, должна действовать – в интересах собственной безопасности. Но при этом, чтобы избежать постоянной череды войн, каждая страна должна признать, хотя бы неявно, ответственность за поддержание всеобщего мира – а это невозможно без ограничений. И если военный обязан мыслить и планировать дальнейшие действия в терминах наихудших сценариев, то государственный деятель (а это может быть одно и то же лицо) обязан думать о том, как именно будут реализованы эти возможности и как будет выглядеть мир после этого.

Какой бы витиеватой ни была военная доктрина и какой бы сложной ни была система вооружений, стратегию исполняют люди, и она должна служить человеческим интересам. В наше время, когда возможности ИИ и кибернетических технологий растут огромными темпами, а вопросы, связанные с ядерным оружием, все еще не решены, лидеры государств не должны повторить ошибки, которые привели Европу к Первой мировой войне. Если в войну вступит ИИ с его нечеловеческими скоростями, нас ждет ущерб, который будет очень сложно компенсировать.

Унаследованная стратегическая логика должна быть адаптирована к эпохе ИИ (а не вытеснена) – но теперь нам придется быстрее преодолевать наши худшие инстинкты. ИИ будет действовать быстрее, чем люди, принимающие решения. Защиту придется автоматизировать, но при этом нельзя упразднять основные элементы человеческого контроля. Неоднозначность ИИ в сочетании с его динамичностью, эмерджентностью и легкостью распространения усложнит принятие решений. В прежние эпохи лишь несколько великих держав или сверхдержав несли ответственность за предотвращение военной катастрофы, но вскоре может оказаться, что эта задача стоит уже перед сотнями стран.

Лидеры наступающей эпохи могут стремиться к решению шести основных задач по контролю над своими арсеналами обычного, ядерного, кибернетического и ИИ-оружия.

Во-первых, начиная с самых высоких уровней в каждой крупной стране и регионе необходимо стремиться к тому, чтобы увидеть опасность и не дать ей реализоваться. Лидеры стран-соперников, как и их предшественники времен холодной войны, должны быть готовы к переговорам о тех формах войны, которые они не должны вести друг против друга. Чтобы добиться этого, США и их союзники должны объединиться вокруг интересов и ценностей, которые они считают общими, неотъемлемыми и нерушимыми и которые отражают опыт поколений, выросших в конце холодной войны или после нее.

Во-вторых, необходимо вернуться к проблемам ядерной стратегии и признать их одним из величайших стратегических, технических и моральных вызовов человечества. В течение многих десятилетий ядерную политику определяли и стимулировали воспоминания о тлеющих Хиросиме и Нагасаки и страх, порожденный Карибским кризисом. Ядерные вопросы признавались уникальными и серьезными на широкой культурной и политической арене, но, как сказал бывший госсекретарь Джордж Шульц в интервью Конгрессу три года назад: «Я боюсь, что люди забыли об этом состоянии ужаса». Лидеры ядерных держав должны вернуться к совместной работе по предотвращению ядерной катастрофы.

В-третьих, ведущие кибер- и ИИ-державы должны попытаться определить свои доктрины и ограничения в терминах, отражающих отличительные аспекты кибероружия и оружия на базе ИИ, и выявить соответствие между своими доктринами и доктринами противников. В этих областях очень много нового и непонятного в свете традиционных стратегических концепций, но это необходимо для того, чтобы добиться сдерживания, сохранить мир и не допустить новой мировой войны.

В-четвертых, государства, обладающие ядерным оружием, должны обязаться проводить собственные внутренние проверки своих ядерных систем управления, контроля и раннего предупреждения. Это позволит создать систему безопасности для защиты от киберугроз и несанкционированного, непреднамеренного или случайного применения ядерного оружия, а также предотвращения кибератак на системы ядерного управления, контроля и раннего предупреждения.

В-пятых, военные и дипломатические ведомства должны выработать общие методы для увеличения времени принятия решений на случай повышенной напряженности и экстремальных ситуаций – особенно когда лидеры опасаются, что их страны могут оказаться под угрозой нападения. Это может стать общей важнейшей целью, особенно для противников, которые заинтересованы в создании системы взаимной безопасности, которая будет работать как в краткосрочной перспективе, так и в дальнейшем. Передовые системы, которые разрабатываются и внедряются правительствами, должны служить людям, и в условиях кризиса именно люди должны нести окончательную ответственность за дальнейшие действия. Даже противники должны попытаться договориться о том, как предотвратить необратимые решения или хотя бы сделать так, чтобы они принимались в темпе, присущем человеку[64].

Наконец, как только будет сформирована группа крупных ИИ-держав, им следует подумать о системных усилиях по нераспространению ИИ-оружия, подкрепленных дипломатией и угрозой применения силы. Если существуют силы, которым ни в коем случае, даже ценой войны, нельзя позволить получить эту технологию, их нужно назвать и решить, кто будет обеспечивать соблюдение ограничений. Ядерные державы исследовали подобную концепцию в отношении распространения ядерного оружия, но с переменным успехом. Если не помешать самым агрессивным и непримиримым правительствам мира поставить себе на вооружение эту новую разрушительную технологию, это может опрокинуть существующее стратегическое равновесие.

Все это наводит на мысль о главных особенностях ИИ-оружия, которые необходимо учитывать для сохранения мира.

Первая особенность: скорость. Кибератаки происходят слишком быстро для того, чтобы человек мог на них среагировать, поэтому оборонительные системы будут стремиться к автоматизму. Но поскольку нет эффективного способа выявить и устранить все возможные уязвимости, сети должны иметь уровни защиты (во избежание нарушений) и возможность полного отключения.

Вторая особенность: неточная интерпретация. В настоящее время отсутствует глубокое понимание типов кибернетических и ИИ-атак, как и соответствующих ответных мер. Допустим, атака является очень целенаправленной и поражает только военные системы – но будет ли этот факт очевиден до начала ответных действий? Что представляет собой соразмерный ответ и сможет ли ИИ точно оценить его? Военная доктрина США о реагировании на нападение «теми способами и в те сроки, которые мы посчитаем нужными» подразумевает соразмерность ответа, этого требует и международное право.

Третья особенность: принятие решений, в особенности автоматическое. Фактор скорости означает, что системы должны реагировать быстрее, чем способен отреагировать человек. Использование ИИ для целеуказания или анализа – не то же самое, что использование ИИ для автоматического принятия решений. И если ИИ рекомендует ответные действия, на человека будет оказано огромное давление.

Четвертая особенность: эмерджентное поведение. ИИ может генерировать результаты, которых люди не ожидают и не могут смоделировать с помощью существующих систем. ИИ, которому поставлена цель, может использовать непредвиденную тактику для ее достижения, нанося непредвиденный сопутствующий ущерб или вызывая непредвиденную эскалацию со стороны противника. Это значит, что перед развертыванием ИИ он должен быть проверен на предмет точности выполнения отданных команд.

Пятая особенность: невидимость и непрозрачность. Новое оружие, созданное на компьютере, может быть невидимым, его легко хранить в полном секрете. Когда же о нем станет известно, возникнет опасность упреждающей атаки. Современная военная доктрина требует предотвращать применение оружия противником. Целью программы, которая работает по этому принципу, может быть уничтожение кибер- или ИИ-возможностей противника до их использования. Но как это будет работать, если ИИ невозможно идентифицировать? Где проходит грань между допустимым упреждением и неоправданной агрессией и как страны будут преодолевать эти трудности?

И над всем этим, как дамоклов меч, нависает ядерная угроза. Страна, которой угрожает полное поражение в киберконфликте, может пойти на ядерную эскалацию. Как возможности кибернетики и ИИ соотносятся с существующими военными силами? Какие категории кибератак могут вызвать ответ обычным или ядерным оружием? Какие категории атак потребуют такого ответа?

Мы задаем эти вопросы, пытаясь обозначить проблемы разработки стратегии, создаваемые ИИ. Договоренности (и сопутствующие им механизмы коммуникации, принуждения и контроля), достигнутые в ядерную эпоху, могли и не быть заключены – но они появились благодаря человеческим усилиям, изобретательности и взаимному признанию опасности.

Когда наступит кризис, будет слишком поздно начинать обсуждение этих вопросов. Если в военном конфликте будет применен ИИ, это практически гарантирует, что дипломатия не успеет принять никаких мер. Ведущие державы должны пойти на обсуждение кибернетического оружия и оружия на основе ИИ хотя бы для того, чтобы выработать общий набор стратегических концепций и некоторое представление об ограничениях. Ограничения нужно устанавливать сейчас, когда человечество начинает создавать новые интеллектуальные средства уничтожения, способные к эволюции. Если случится трагедия, слишком поздно будет обсуждать ограничительные меры. Стремление к национальному превосходству в эпоху ИИ должно идти рука об руку со стремлением сохранения человечества.

Глава 6

Человеческая идентичность

Машины все чаще делают то, на что раньше был способен только человек. Что же теперь будет составлять нашу идентичность как человеческих существ? Как мы показали в предыдущих главах, ИИ расширит наши представления о мире. Он изменит то, как мы знакомимся, общаемся и обмениваемся информацией. Он изменит разрабатываемые нами стратегии и применяемые нами военные доктрины. Как мы будем воспринимать себя и свою роль в мире, когда мы станем исследовать и формировать реальность не в одиночку, а с помощью ИИ? Как это будет сочетаться с присущими нам самодостаточностью и достоинством?

Человек всегда считал себя центральной фигурой. Признавая свое несовершенство, мы тем не менее были уверены в том, что наши способности и наш опыт – наивысшая точка развития, к которой могут стремиться живые существа в этом мире. Мы чествовали людей, которые становились образцами человеческого духа, – именно такими мы хотели себя видеть. В разное время и в разных странах это были разные герои – лидеры, исследователи, изобретатели, мученики, – и каждый из них воплощал в себе разные аспекты человеческих достижений и человеческой самобытности. Сегодня наши первопроходцы, исследующие и меняющие мир силой разума, – это астронавты, изобретатели, предприниматели, политические лидеры.

Сейчас мы вступаем в новую эпоху, когда искусственному интеллекту – творению человека – все чаще поручают задачи, которые человеческий разум раньше выполнял или пытался выполнять сам. Результаты ИИ часто не уступают результатам человеческого интеллекта и иногда превосходят их, что ставит под сомнение определяющий признак того, что значит «быть человеком». Более того, ИИ способен учиться и развиваться, что позволяет ему выполнять сложные проекты, которые до сих пор были под силу лишь человеку.

С приходом ИИ изменится сама роль человека, его цели и способы его самореализации. Мы пока не знаем, какие человеческие качества станут для нас образцом и какими будут руководящие принципы этой эпохи. У нас было два традиционных способа познания мира – вера и разум – и теперь появляется третий, ИИ. Наши основные представления о мире и нашем месте в нем подвергнутся серьезной проверке и в некоторых случаях изменениям. Разум произвел революцию не только в науке, он изменил общественную жизнь, искусство и веру. Благодаря разуму рухнула иерархия феодализма и в мир пришла демократия – принцип организации общества разумных людей, контролирующих свои правительства. Теперь ИИ проверит на прочность принципы, на которых зиждется наше видение самих себя.

В эпоху, когда реальность может быть предсказана, приближена или смоделирована ИИ, который умеет оценивать, что в действительности происходит сейчас, предсказывать, что будет дальше, и решать, что делать, роль человеческого разума, вероятно, изменится. Это может трансформировать нашу идентичность и наше понимание целей каждого человека и человеческого общества в целом. В некоторых областях ИИ может дополнить человеческий разум. В других областях ИИ может вызвать у человека ощущение, что тот не управляет ситуацией. Представьте себе ощущения водителя, автомобиль которого самостоятельно и по неизвестным причинам перестраивается в другую полосу или меняет маршрут. Представьте себе, что чувствует клиент банка, которому ИИ отказал в кредите, или кандидат на должность, которому ИИ отказал в собеседовании, или ученый, которому ИИ сообщил о наиболее вероятном результате его исследований до того, как они были начаты, – это может быть эффективно, но будет ли такой опыт удовлетворять человека? ИИ бросит вызов самовосприятию людей, привыкших к самостоятельности, централизованности и монополии на сложный интеллект.

Достижения ИИ изменяют то, как мы взаимодействуем с миром, а значит, наше представление о себе и своей роли в этом мире. ИИ делает жизненно важные прогнозы (например, прогноз ранней стадии рака груди), предлагает сложные решения (например, находит лучшие ходы в шахматных партиях), фильтрует информацию (например, выбирает самый интересный фильм или лучшие инвестиции), создает контент (от завершения предложений и абзацев до создания новых документов). Чем сложнее такая работа, тем больше люди склонны считать ее творческой или экспертной деятельностью. Тот факт, что ИИ способен делать прогнозы, принимать решения или генерировать контент, не делает его сравнимым с человеческим интеллектом. Однако результаты, которые показывает ИИ, во многих случаях сравнимы с теми, что раньше могли получать только люди, или даже превосходят их.

Вспомним тексты, написанные генеративными моделями. Почти любой человек с начальным образованием может завершить начатое предложение. Но генеративные модели, такие как GPT-3, могут создавать тексты и писать программный код – это требует сложных навыков, на развитие которых люди тратят годы в высших учебных заведениях. Таким образом, генеративный ИИ заставляет нас усомниться, что такие задачи, как завершение предложения, являются более простыми, чем создание полноценных текстов. По мере совершенствования генеративных моделей ИИ может привести к новым представлениям об уникальности и относительной ценности человеческих способностей. Что нам это даст?

ИИ дополняет человеческое восприятие реальности и может стать эффективным партнером людей в научных исследованиях, творческой работе, разработке программного обеспечения и других областях. Но такое сотрудничество потребует от людей адаптации к миру, в котором наш разум не является единственным способом познания реальности, и это приведет к большим изменениям в человеческом восприятии мира – более значительным, чем те, что происходили на протяжении пяти веков, с момента появления печатного станка с подвижными литерами.

Общество может реагировать на ситуацию и адаптироваться к ней по мере ее развития, это путь по умолчанию. Второй путь – начать дискуссию о роли ИИ (и, следовательно, роли человека), но для этого потребуется сознательное взаимодействие политических лидеров, философов, ученых, гуманистов и т. д.

В любом случае нам предстоит решить, какие аспекты жизни оставить для человеческого интеллекта, а какие передать ИИ или сотрудничеству человека и ИИ. Сотрудничество между человеком и ИИ не будет союзом равных. Люди создают ИИ, и люди ставят ему задачи. Однако чем больше мы будем привыкать к ИИ и зависеть от него, тем дороже и психологически сложнее нам будет даваться его ограничение. Для этого нам придется понять, как ИИ меняет человеческий опыт, как это может изменить человеческую идентичность, какого потребует регулирования и какие дополнительные обязанности наложит на человека. От того, как люди определят свою роль в эпоху ИИ, зависит будущее человечества.

Трансформация человеческого опыта

Во многих странах существует небольшая, но растущая прослойка общества, в которой люди действительно понимают, что такое ИИ. Это те, кто создает ИИ, обучает его, ставит перед ним задачи и регулирует его использование, – специалисты по технологиям, руководители компаний, политики. ИИ может более эффективно, чем человеческий интеллект, распределять ресурсы, прогнозировать результаты и принимать решения, поэтому для таких людей мощь технологий и их превосходство над возможностями человеческого разума – источник удовлетворения.

Тем, кто не обладает техническими знаниями или использует ИИ как простой потребитель, пользование ИИ тоже будет зачастую доставлять удовольствие – как, например, езда на автомобиле с автопилотом, который позволяет водителю читать в дороге. Действительно, внедрение ИИ в потребительские товары и услуги позволит сделать преимущества этой технологии широкодоступными. Однако ИИ также будет управлять сетями и системами, которые не предназначены для конкретного пользователя и неподконтрольны ему. И в этих случаях результат работы ИИ – например, отказ в повышении по службе, полученный от корпоративного ИИ, – может вызывать дискомфорт.

Тем, кто руководит обществом, внедрение ИИ даст много преимуществ. Решения ИИ зачастую не менее точны, чем человеческие решения, а если приняты надлежащие меры предосторожности, то они даже могут быть менее предвзятыми. Аналогично, ИИ может более эффективно распределять ресурсы, прогнозировать результаты и рекомендовать решения. По мере того как распространяются генеративные модели, их способность создавать новые тексты, изображения, видео и программные коды может позволить ИИ выполнять функции, которые мы обычно считаем творческими (например, создание текстов или рекламы), так же эффективно, как это делают люди. Предпринимателю, предлагающему новые продукты, менеджеру, анализирующему информацию, или разработчику, создающему более мощный ИИ, эти технологии дадут больше самостоятельности и выбора.

Оптимизация распределения ресурсов или повышение точности принятия решений полезны для общества, но для каждого отдельного человека смысл жизни чаще всего заключается в том, чтобы быть самодостаточным хозяином своей судьбы. Это позволяет добиваться осмысленных целей, а ощущение справедливости при этом обеспечивается общественным признанием и уверенностью в том, что этические принципы общества реально работают. Алгоритм же не предоставляет никаких объяснений, основанных на человеческом опыте, позволяющих понять – в том числе в масштабах широкой общественности, – почему он так делает. Тех, кто знает, как работает ИИ, такая картина мира может устроить. Но гораздо больше будет тех, кто не понимает, почему ИИ делает то, что он делает, и это будет снижать их чувство самодостаточности и понимания окружающего мира.

Поскольку ИИ кардинально меняет характер труда, он может поставить под угрозу чувство самобытности, самореализации и финансовой безопасности многих людей. Сильнее всех пострадают обычные работники и менеджеры среднего звена, а также специалисты, которые занимаются анализом или интерпретацией данных в единых форматах и составлением более или менее стандартных документов[65]. Правда, эти изменения могут не только повысить общую эффективность, но и создать новые рабочие места, – но тех, кто был уволен, вряд ли обрадует тот факт, что это вызвано переходом к повышению эффективности экономики и качества жизни в целом. И если одни обнаружат, что они освободились от рутины, чтобы заняться более интересной работой, другие узнают, что их навыки больше не ценятся так, как раньше, а возможно, оказались и вовсе не востребованы.

Подобное было и раньше, во времена предыдущих технологических революций. Такие изобретения, как механический ткацкий станок, вытеснили людей из производства и вызвали появление луддитов – движения протеста против новых технологий, за сохранение привычного образа жизни. Индустриализация сельского хозяйства вызвала массовые миграции в города, глобализация изменила производство и логистику, все это приводило к масштабным изменениям и беспорядкам, но в конечном итоге общество приняло преобразования ради прогресса. И каким бы ни оказался долгосрочный эффект ИИ, в краткосрочной перспективе он, несомненно, произведет революцию в некоторых сегментах экономики, изменит многие традиционные профессии и заставит многих людей переосмыслить представления о своей личности, сформировавшиеся благодаря их работе. Общество же должно быть готово обеспечить их альтернативными источниками не только дохода, но также идентичности и самореализации.

В наше время принято, столкнувшись с проблемой, находить ее решение, в том числе путем выявления виновных. Это означает определенную ответственность и определенные полномочия каждого – и то и другое помогает нам лучше понять, кто мы есть. Теперь в этих уравнениях появилась новая составляющая, которая может заставить нас несколько потесниться на месте главных мыслителей, принимающих и исполняющих решения. Временами все люди, как создатели ИИ, так и обычные пользователи, будут невольно получать от него неожиданные и непрошеные ответы или результаты. В одних случаях (удачные и своевременные рекомендации покупок) человеку будет казаться, словно вселенная подстраивается под его личные запросы, в других (отказы в работе и кредитах или необъяснимые решения служб безопасности и правоохранительных органов) – будто весь мир, как у Кафки, ополчился против него.

Противоречия между обоснованными объяснениями и непрозрачным принятием решений, отдельными людьми и большими системами, теми, кто обладает техническими знаниями и авторитетом, и теми, кто их не имеет, не новы. Новым здесь станет только то, что источником противоречий будет другой интеллект, нечеловеческий, повсеместно распространенный и зачастую необъяснимый с точки зрения человеческого разума. Те, кому не хватает знаний об ИИ или власти над ним, возможно, захотят отвергнуть эту технологию. Люди, разочарованные кажущимися претензиями ИИ на их самостоятельность или его непредсказуемостью, могут попытаться уйти от его использования (по крайней мере сознательного) в своей повседневной жизни, в том числе отключиться от социальных медиа и других сетевых платформ.

Некоторые слои общества могут пойти еще дальше, настаивая на том, что человек должен существовать в физическом мире, а не в иллюзорном. По примеру амишей[66], кто-то может полностью отвергнуть ИИ, но по мере распространения технологии таких людей будет все меньше. В действительности сама возможность отказа от ИИ может оказаться иллюзорной, поскольку по мере цифровизации общества и интеграции ИИ в работу правительственных органов и в самые разнообразные продукты пользование им станет практически неизбежным.

Потенциал ИИ огромен независимо от того, как будет развиваться AGI – для широких применений или с узкой спецификой. Такие генераторы, как GPT-3, который уже может создавать тексты, будто бы написанные человеком, в дальнейшем могут стать похожими на сверхинтеллект. В настоящее время прогнозные и генеративные ИИ отличаются друг от друга, что отражает природу человеческого интеллекта, в котором аналитические навыки, необходимые для прогнозирования, как правило, сильно отличаются от навыков генерирования, используемых в творческой работе. Появятся генеративно-прогностические модели ИИ, они уже будут похожи на сверхинтеллект и, возможно, станут ступенькой к AGI, способному решать более сложные задачи благодаря использованию базовых прогностических моделей. А если отдельные аналитические и творческие аспекты человеческого интеллекта будут в некотором роде подчинены системам ИИ, это станет еще одним вызовом нашему представлению о себе.

Это особенно касается AGI, поскольку люди склонны искать некий богоподобный интеллект – «сверхчеловеческий» способ познания мира и его глубинных структур и возможностей. Даже те, кто хорошо знает ИИ, в случае появления AGI могут поддаться искушению придать ему некий квазибожественный статус.

Научные открытия

Развитие науки происходило в условиях существенного разрыва между теорией и экспериментом, методом многих проб и ошибок. С развитием машинного обучения появляется новая парадигма – модели создаются не на основе теоретического понимания, а для получения выводов из экспериментальных результатов с помощью ИИ. Такой подход требует глубоких знаний и глубокого понимания того, какие данные и какие представления этих данных будут полезны для обучения модели ИИ. Например, решающее значение для открытия халицина имел выбор соединений и их признаков.

Рост значимости машинного обучения для науки бросает еще один вызов нашему представлению о нас и нашей роли в мире. Наука традиционно была вершиной человеческого опыта, интуиции и проницательности. Всеми аспектами научного поиска двигала человеческая изобретательность, развитие науки происходило во взаимодействии между теорией и экспериментом. Однако ИИ привносит в научные исследования, научные открытия и в научный подход нечеловеческое восприятие мира. Машинное обучение все чаще используется для получения необъяснимых результатов, на основе которых создаются новые теоретические модели и проводятся новые эксперименты. Шахматные эксперты приняли неожиданные стратегии AlphaZero как вызов для улучшения понимания игры – и так же стали поступать ученые из самых разных областей науки. Так появились гибридные партнерства человека с ИИ в биологических, химических и физических науках – благодаря ИИ в этих областях делаются новые открытия, а люди работают над тем, чтобы понять их и объяснить.

Ярким примером того, как ИИ позволяет делать открытия в широком спектре биологических и химических наук, является разработка AlphaFold, которая использовала обучение с подтверждением для создания новых мощных моделей белков. Белки – это крупные сложные молекулы, которые играют центральную роль в структуре, функционировании и обновлении тканей и органов и в регуляции процессов в биологических системах. Белок состоит из сотен или тысяч более мелких единиц, называемых аминокислотами, которые формируют длинные цепи. Поскольку в образовании белков участвуют 20 различных типов аминокислот, общепринятый способ представления белка – это последовательность длиной в сотни или тысячи символов, где каждый символ берется из 20-символьного «алфавита».

Последовательности аминокислот очень важны для изучения белков, но они не отражают один критический аспект: уникальную трехмерную форму цепочки аминокислот. Белки в некотором смысле являются сложными формами, которые должны точно подходить друг другу в трехмерном пространстве, чтобы происходили определенные биологические или химические процессы – например, течение болезни или ее лечение лекарствами. Структуру белка в некоторых случаях можно определить с помощью кропотливых экспериментальных методов, таких как кристаллография. Но чаще всего такие исследования повреждают и разрушают молекулы белка, и это делает невозможным определение трехмерной структуры аминокислотной последовательности – так что решение этой проблемы было исключительно важным. С 1970-х гг., когда она была впервые сформулирована, она именуется проблемой фолдинга белка.

Точно предсказать структуру фолдинга белка считалось практически невозможным до 2016 г., но в 2016–2020 гг. была разработана программа AlphaFold, использующая обучение с подкреплением для моделирования белков без использования шаблонов известных белковых структур. Она использовала тот же подход, что и при обучении AlphaZero шахматам. Это более чем в два раза повысило точность определения фолдинга белка – примерно с 40 до 85 % точности на стандартном эталоне[67]. Это масштабное достижение позволило биологам и химикам всего мира вернуться к вопросам, на которые они раньше не могли ответить, и задать новые вопросы о противодействии патогенам в организмах людей, животных и растений. Достижения в области ИИ, такие как AlphaFold, преодолевают прежнюю ограниченность наших возможностей изучения и прогнозирования мира и меняют подход ученых к дальнейшим исследованиям в областях лечения болезней, улучшения окружающей среды и решения других критических задач.

Образование и обучение

Взросление рядом с ИИ изменит наши отношения друг с другом и с самими собой. Сегодня различают «цифровых аборигенов» и предыдущие поколения, а в будущем будут различать просто цифровых аборигенов и «ИИ-аборигенов». В перспективе дети будут расти с ИИ-помощниками, которые будут одновременно выполнять множество функций: няньки, воспитателя, советчика, друга. Такой ИИ может обучать детей любым языкам и наукам, подстраивая свой стиль преподавания под индивидуальные особенности учеников и их успеваемость, чтобы добиться от них наилучших результатов. ИИ может служить товарищем по играм, когда ребенку скучно, и наблюдателем, если родители в отъезде. Очевидно, что с внедрением персонифицированного образования с участием ИИ возможности среднего человека могут возрасти.

Граница между людьми и ИИ поразительно прозрачна. Получив цифровых помощников в раннем возрасте, дети привыкнут к ним. Такие ИИ будут развиваться вместе со своими владельцами, по мере взросления перенимая их вкусы. Персонализированный цифровой помощник, перед которым поставлена задача максимально повысить удобство или удовлетворенность человека, будет выдавать нужные рекомендации и информацию, даже если пользователь не понимает, почему он делает это лучше, чем любой другой ресурс.

Со временем люди могут предпочесть своих цифровых помощников другим людям. Цифровые помощники улавливают предпочтения хозяев, а общаться с другими людьми будет сложнее (хотя бы потому, что у других людей есть личные особенности и посторонние желания). В результате снизится наша зависимость от человеческих отношений. Во что тогда превратится детство? Машина может имитировать человеческие эмоции, но не может их испытывать – как это повлияет на восприятие мира ребенком, на его воображение, на игры? Как изменится процесс поиска друзей и социализации?

Важно понимать, что доступность цифровой информации, вероятно, уже изменила образование и культурный опыт целого поколения. Сейчас мир приступает к еще одному большому эксперименту – дети будут расти с машинами, которые во многом будут действовать так же, как учителя-люди на протяжении многих поколений, но без человеческой чувствительности, проницательности и эмоций. Это может привести к тому, что опыт, полученный участниками эксперимента, будет совсем не таким, какого они ожидали и желали.

Все это может не понравиться встревоженным родителям. Раньше родители ограничивали для детей время, которое можно провести перед телевизором, сегодня мы ограничиваем время с компьютерами и гаджетами, а в будущем родители станут ограничивать время общения с ИИ. Но так будут делать не все. Одни родители захотят подтолкнуть своих детей к успеху, у других не останется времени на воспитание детей, а третьи просто будут потакать желаниям детей – и все они разрешат своим детям общение с ИИ-компаньонами. Таким образом, дети – обучающиеся, развивающиеся, впечатлительные – будут формировать свои впечатления о мире в диалоге с ИИ.

Ирония заключается в том, что цифровизация, хоть и делает доступной все больше информации, при этом снижает возможность глубокого, сосредоточенного мышления. Сегодняшний постоянный поток медиаинформации уменьшает время для созерцания. Алгоритмы, созданные для стимулирования желаний человека, будут продвигать то, что привлекает внимание, – как правило, это нечто драматическое, удивительное и эмоциональное. У человека не будет оставаться времени для тщательного обдумывания идей, а доминирующие в настоящее время формы коммуникации будут еще меньше способствовать спокойным, сдержанным рассуждениям.

Новые информационные посредники

Как мы уже писали в главе 4, ИИ все больше формирует нашу информационную сферу. Раньше для того, чтобы информировать общественность и поддерживать упорядоченную картину мира, люди создавали специальных посредников – организации и общественные институты, которые занимались объяснением сложной информации, выделением важных, самых необходимых тем и распространением полученных результатов[68]. По мере того как общество осуществляло разделение физического труда, оно также добивалось разделения умственного труда, создавая высшие учебные заведения для содействия специализированным исследованиям и СМИ для информирования широкой общественности. Эти институты занимались агрегацией, дистилляцией, объяснением и передачей информации.

Теперь в эти информационные институты интегрируется ИИ. Он внедряется в каждой области, характеризующейся интенсивным интеллектуальным трудом, от финансов до юриспруденции. Но если редакторы-люди всегда могут объяснить, почему они выбирают ту или иную информацию, то в репрезентативности информационных выборок, которые мы получаем от ИИ, мы не всегда уверены, поскольку не понимаем механизмы сортировки ИИ – например, почему такие приложения, как TikTok и YouTube, продвигают одни видеоролики, а не другие. Пока нам нужны объяснения таких вещей, люди, понимающие механизмы сортировки ИИ, будут иметь серьезные преимущества. Но даже в этом случае для потребления информации, отфильтрованной ИИ, потребуется определенное доверие.

Влияние ИИ на человеческие знания парадоксально – ИИ-посредники способны анализировать огромные объемы данных, превосходящие те, которые мог себе представить человеческий разум. Но при этом они могут также усиливать манипулирование и искажать картину мира. Если ИИ управляется человеком, он способен использовать человеческие эмоции более эффективно, чем традиционная пропаганда. Подстроившись под индивидуальные предпочтения и инстинкты, ИИ способен вызвать реакцию, которая нужна его создателю. Аналогично, внедрение ИИ-посредников может усилить присущие пользователю предубеждения. Например, динамика рыночной конкуренции побуждает платформы социальных сетей и поисковые системы представлять ту информацию, которую пользователи считают наиболее привлекательной, что искажает картину реальности. Подобно тому, как технологии повысили скорость производства и распространения информации в XIX–XX вв., в наше время участие ИИ в современных процессах распространения информации будет изменять ее.

Часть пользователей будет пытаться пользоваться фильтрами, которые не искажают информационную картину – или хотя бы искажают ее понятным для пользователя образом, – независимо сравнивая их работу и пытаясь выбрать самый подходящий фильтр. Некоторые могут полностью отказаться от потребления отфильтрованной информации, предпочитая получать новости и факты у традиционных посредников-людей. Но когда большинство примет посредничество ИИ либо по умолчанию, либо как цену пользования сетевыми платформами, те, кто придерживается традиционных способов поиска информации, могут оказаться не в состоянии идти в ногу со временем. Они, несомненно, обнаружат, что их кругозор стал удивительно ограничен.

Если информация и развлечения станут иммерсивными, персонализированными и синтетическими – «новости», отвечающие предпочтениям людей, и фильмы, созданные ИИ с участием давно умерших актеров, – останется ли у нас общее понимание истории и текущих событий? Сможем ли мы иметь общую культуру? Чем станут произведения искусства, созданные ИИ, и кем будут в новых условиях считаться и считать себя писатели, актеры, художники и другие творцы, чей труд традиционно считался отражением уникального человеческого отношения к реальности и жизненному опыту?

На пути к новому человеческому будущему

В эпоху ИИ сохранятся и разум, и вера, но реальность, в которой они будут существовать, коренным образом изменится из-за появления новой мощной формы разума, управляемого машиной. Наверное, основой человеческой идентичности останется одушевленный интеллект, но теперь человеческий разум не будет единственной формой интеллекта, пытающейся познать мир. Чтобы определить наше место в новом мире, возможно, придется сместить акцент с центрального места человеческого разума на наши достоинство, человечность и самодостаточность.

На данном этапе компании и правительства занимаются интеграцией ИИ в общественную и политическую жизнь от случая к случаю и активно берутся за дело лишь тогда, когда что-то идет не так. Это позволяет откладывать принятие сложных решений. Чтобы не оставлять без внимания то, как ИИ влияет на человеческий опыт и человеческую идентичность, нам придется действовать более четко.

Особенностью Просвещения было стремление понять, что такое человеческий разум, – в сравнении и по контрасту с предыдущими эпохами. Взгляды на природу человека и структуру общества политических теоретиков Просвещения – Гоббса, Локка, Руссо и многих других – вытекали из знаний о природе. Другие философы задавались вопросом, как объединить и распространить человеческие знания, чтобы обеспечить просвещенную власть и процветание человечества. Мы не решим проблемы интеграции ИИ, не предприняв всесторонних усилий к пониманию природы человека.

Первым шагом должно стать осознание наших возможностей. Мы можем поступить тремя способами: либо ограничить ИИ, либо отнестись к нему как к равному партнеру, либо отступить перед ним. Каждая страна должна будет определиться с тем, какой подход к ИИ в каждом конкретном случае ей ближе, в соответствии со своими ценностями, потребностями и возможностями. Совокупность таких решений и определит культуру и мировоззрение каждого общества.

Можно проявить осторожность и оставить ИИ в роли младшего партнера, ограничив его использование отдельными функциями и описав, когда, где и как он может применяться. Государства или отдельные люди могут оставить за собой главенствующую роль, низведя ИИ до положения вспомогательного персонала. Но эти ограничения могут не выдержать проверки реальным соперничеством, о чем свидетельствуют проблемы безопасности, описанные в главе 5. Какая компания откажется от возможностей ИИ, которые успешно использовал для вывода популярных продуктов или услуг на рынок ее конкурент, если этому не будут препятствовать серьезные этические или юридические ограничения? Если ИИ позволяет администратору, архитектору или инвестору делать успешные прогнозы или контролировать ситуацию, разве они не воспользуются этим? Отдельные ограничения на различные виды использования ИИ, вероятно, придется принимать на уровне стран или даже на международном уровне.

Во многих сферах ИИ и человек станут равноправными партнерами в исследованиях. Это значит, что новое понимание человеческой идентичности будет отражать примирение с нашими новыми отношениями с ИИ и с окружающим миром. Будут выделены отдельные области деятельности, в которых останется главенствовать человек. В то же время будут развиваться социальные структуры и привычки, необходимые для понимания и плодотворного взаимодействия с ИИ. Государства должны создать интеллектуальную и психологическую инфраструктуру для взаимодействия с ИИ, используя его на благо человека. Технология потребует адаптации во многих, более того, в большинстве аспектов политической и социальной жизни.

ИИ может взять на себя ведущую роль в исследовании и управлении как физическим, так и цифровым миром. В определенных областях люди могут подчиниться ИИ, предпочитая его возможности ограничениям человеческого разума. Такое подчинение побудит многих или даже большинство людей уйти в собственные, индивидуальные миры. В этом сценарии мощь ИИ в сочетании с его вездесущностью, невидимостью и непрозрачностью поставит тревожные вопросы о перспективах свободного общества и даже свободы воли.

При каждом отдельном развертывании ИИ будет крайне важно определить баланс. Обществу и его лидерам придется выбирать, когда люди должны быть уведомлены о том, что они имеют дело с ИИ, а также какими полномочиями они обладают в этом взаимодействии. В конечном счете благодаря этому выбору появится новое понимание человеческой идентичности для эпохи ИИ.

Некоторые страны и институты могут постепенно приспособиться к ИИ. Или же они могут обнаружить с его помощью противоречия между своими основными принципами и собственным восприятием реальности и самих себя. Поскольку ИИ способствует повышению уровня образования и доступа к информации, даже вопреки тому, что увеличивает возможности для манипуляций, это может увеличивать напряжение. Когда люди лучше информированы, лучше оснащены и имеют подтверждение своей точки зрения, они могут требовать от своих правительств большего. Для США это особенно актуально.

И здесь вырисовывается несколько принципов. Во-первых, чтобы обеспечить независимость человека, основные правительственные функции не должны осуществляться ИИ – выполнять их и контролировать их выполнение должен человек. Еще Аристотель определил человека как «zoon politicon» – «политическое животное». С тех пор признано, что, помимо разума, люди отличаются склонностью к формированию сложных обществ и осуществлению скоординированных действий. Принципы, присущие нашим обществам, обеспечивают мирное разрешение споров. Порядок и легитимность в этом процессе взаимосвязаны: порядок без легитимности – это просто сила, которая не может долго существовать.

Важное значение для поддержания легитимности будет иметь человеческий надзор и определяющее участие человека в основных элементах управления. Ни ИИ, ни его создатели в настоящее время не могут точно описать, как ИИ приходит к тем или иным выводам. Однако, например, в системе правосудия легитимность принятых решений определяют именно объяснение и моральное обоснование – они позволяют оценивать справедливость суда и оспаривать его выводы, если они не соответствуют моральным принципам общества. Из этого следует, что и в эпоху ИИ лицами, принимающими решения, должны оставаться квалифицированные люди, способные обосновать сделанный выбор.

Демократия тоже должна оставаться «человеческой». На самом базовом уровне это означает защиту целостности демократических обсуждений и выборов. Нужна не только возможность высказаться – само человеческое слово должно быть защищено от искажения ИИ. Свобода слова сохраняется для людей, но не распространяется на ИИ. Как уже говорилось в главе 4, ИИ способен в больших объемах генерировать дезинформацию очень высокого качества, например цифровые фабрикации, которые очень трудно отличить от реальных видео- или аудиозаписей. Синтез речи, безусловно, нужен, но не менее важно дифференцировать синтезированную речь ИИ и человеческую речь. Хотя регулирование посредничества ИИ, предотвращающее продвижение дезинформации, будет сложным, но оно будет иметь решающее значение, поскольку в демократическом обществе речь позволяет гражданам обмениваться актуальной информацией, принимать активное участие в демократическом процессе и заниматься самореализацией, создавая произведения различных видов искусства[69]. Генерируемые ИИ фабрикации могут заглушать или искажать человеческое слово, поэтому ограничение распространения ИИ, создающего дезинформацию, жизненно важно для того, чтобы мы могли продолжать обсуждать человеческие проблемы. Является ли сфабрикованный ИИ диалог между двумя общественными деятелями, которые никогда не встречались, дезинформацией, развлечением или политическим расследованием? От чего зависит ответ – от контекста или от участников? Может ли человек запретить создание фабрикаций со своим «участием» без его личного разрешения? А если разрешение получено, становится ли синтезированный контент от этого более подлинным?

В конечном счете каждая страна должна сама решить, каким образом она будет использовать и как ограничивать использование ИИ в различных областях. И применение ИИ, и его ограничения нужны для различных целей, важных для общества, – от использования ИИ-помощников для защиты детей от агрессии до предотвращения использования ИИ для создания смертельных вирусов или вредоносных программ. Доступ к определенным мощным ИИ, таким как AGI, необходимо будет строго ограничивать, чтобы предотвратить злоупотребления. Поскольку разработка AGI, скорее всего, будет настолько дорогой, что их будет создано немного, доступ к ним будет в любом случае ограничен. Некоторые ограничения могут нарушать принятые в стране правила свободного предпринимательства или демократической деятельности. Реализация других ограничений, например ограничения использования ИИ для производства биологического оружия, потребует международного сотрудничества.

На момент создания этой книги ЕС уже изложил планы по регулированию ИИ[70], направленные на обеспечение баланса между европейскими ценностями, такими как конфиденциальность и свобода, экономическим развитием и поддержкой европейских компаний, работающих в сфере ИИ. Эти правила прокладывают для Европы курс между Китаем, где значительные средства в ИИ вкладывает государство, и США, где исследования и разработки в области ИИ в основном отданы на откуп частному сектору. Их основная цель – контролировать использование компаниями и правительствами данных и ИИ, а также способствовать созданию и росту европейских компаний, занимающихся ИИ. В нормативной базе должна учитываться оценка рисков различных видов использования ИИ. Применение правительствами некоторых технологий, считающихся высокорисковыми, таких как распознавание лиц (хотя оно имеет и полезное применение, например поиск пропавших без вести и борьба с торговлей людьми), должно быть ограничено или даже запрещено. Исходная концепция регулирования будет активно обсуждаться и изменяться, но уже сейчас она иллюстрирует то, как общество определяет необходимый для улучшения образа жизни людей диапазон ограничений ИИ.

Ключевые слои общества должны быть вовлечены в постоянное обсуждение приемлемых ограничений на развертывание ИИ. В США академические группы и консультативные органы уже начали изучать взаимосвязь существующих процессов и структур с развитием ИИ. К ним относятся такие академические активности, как инициатива МИТ, посвященная будущему трудовой деятельности[71], и такие правительственные организации, как Комиссия национальной безопасности по искусственному интеллекту[72]. Но эти усилия остаются специализированными и поэтому не всегда попадают в поле зрения электората. Страны, которые откажутся от анализа взаимодействия с ИИ, неизбежно отстанут от стран, которые занимаются таким анализом и тем самым повышают материальные и интеллектуальные преимущества, которые предлагает партнерство с ИИ.

Потребуется новая форма мышления, выходящая за рамки традиционных дисциплин или школ. Чтобы отвечать сложности происходящих изменений, необходимо научиться по-новому интегрировать области знания. Университеты, правительства, технологические компании и др. должны стремиться обсуждать – в той степени, в какой это соответствует их задачам, – свои вопросы, идеи, представления и открытия, сделанные в этой области.

Страны, которые занимаются подобными исследованиями, придут к разным выводам, отражающим их историю и взгляды. Так же, как меняются концепции и институты, разработанные разными странами для упорядочения фундаментальных знаний, будут меняться и создаваемые в разных странах ИИ, а также понимание аналитической, прогнозной и генеративной деятельности – и как это влияет на их нормы и институты. Поскольку данные, на которых обучается ИИ, содержат культурные предпочтения стран, в которых это происходит, то в одних частях света ИИ может усилить централизацию, консенсус и конформизм, а в других – способствовать либерализации и плюрализму. Для обеспечения мира во всем мире придется выработать способы сосуществования этих целей и подходов.

Изменение восприятия реальности и самих себя

Простой факт заключается в том, что реальность с точки зрения ИИ может оказаться не такой, как представляли себе люди. В ней могут быть закономерности, которых мы никогда не замечали и не сможем осмыслить. Ее глубинная структура, изученная ИИ, может оказаться невыразимой на человеческом языке. Как заметил один из наших коллег по поводу AlphaZero: «Подобные примеры показывают, что есть способы познания, недоступные людям»[73].

Если для того, чтобы обозначить границы современного знания, мы поручим ИИ исследовать недоступные нам области, он может раскрыть нам закономерности или дать прогнозы, которые мы не до конца поймем. Вновь могут оказаться актуальными идеи гностиков о личном духовном знании, более важном, чем традиционные учения и опыт. Мы можем подойти на шаг ближе к концепции чистого знания, менее ограниченного структурой нашего разума и шаблонами человеческого мышления. И тогда нам придется не только пересмотреть свою роль единственных знатоков реальности, но и переопределить саму реальность, в которой, как мы полагали, мы живем. И даже если реальность окажется именно такой, как мы думали, ИИ останется мощным инструментом для ее более глубокого анализа, переопределяющим наши взаимоотношения с новым пониманием реальности и друг с другом.

Когда ИИ распространится повсеместно, некоторые поспешат объявить о беспрецедентном успехе человечества на пути к познанию и обустройству нашего мира. Будет и противоположное мнение – что наши возможности куда меньше, чем нам казалось ранее. В любом случае мы изменим наше собственное мнение о себе и об окружающем мире. Изменится наша платформа – и вместе с ней изменятся наши социальные, экономические и политические механизмы. Средневековый мир ориентировался на imago dei[74]: отсюда его феодальные аграрные модели, почитание короны и смысл, вкладываемый в шпили соборов[75]. Эпоха Просвещения ориентировалась на cogito[76] и стремление к новым горизонтам – и вместе с этим на новое личное и общественное понимание судьбы и предназначения человека. Век ИИ еще не определил свои организационные принципы, этические концепции, цели и ограничения.

ИИ-революция явно произойдет быстрее, чем ожидают люди, и, если сегодня мы не разработаем концепции последующих преобразований, мы не будем к ней готовы. С моральной, философской, психологической и практической точек зрения мы находимся на пороге новой эпохи, и мы должны адаптировать наши отношения с реальностью так, чтобы они оставались человеческими.

Глава 7

Заключение

Распознать начало новой эры и предвидеть изменения, которые она несет, нелегко. В этой книге мы поставили перед собой цель исследовать важные аспекты зарождающейся эпохи ИИ, чтобы лучше понять, предсказать и направить ее развитие.

С исторической и философской точек зрения будет уместно сопоставить назревающую ситуацию со временем развития книгопечатания в Европе XV в. Знания в средневековой Европе почитались, но книги были редкостью. Авторы создавали памятники литературы, занимались логическими умозаключениями, а также энциклопедическим компилированием фактов, легенд и верований. Книги были сокровищем, доступным немногим, – их нелегко было заполучить даже людям из образованных классов. Большую часть опыта в те времена приобретали самостоятельно, а знания передавали из уст в уста.

В 1450 г. Иоганн Гутенберг, шлифовщик из немецкого города Майнца, заняв деньги у ростовщика, создал печатный станок. Эксперимент Гутенберга едва удался – его бизнес потерпел крах, а кредитор подал в суд, – но к 1455 г. появилась Библия Гутенберга (на латыни), первая в Европе настоящая печатная книга. Технологические достижения в области печати привели к значительно более масштабной революции, которая отразилась на всех сферах жизни Запада, а в конечном счете и всего мира. К 1500 г. в Европе находилось в обороте ориентировочно 15–20 млн печатных книг, а цена отдельной книги резко упала. Были широко распространены переводы Библии на живые языки, труды классических авторов по истории, литературе, грамматике и логике[77].

До появления печатной книги европейцы той эпохи получали знания в основном путем общественных отношений – участвуя в сезонных циклах выращивания урожая, в религиозных обрядах, в цеховых объединениях ремесленников. Когда появлялась новая информация или возникали новые идеи (зарубежные новости, усовершенствования сельскохозяйственных или промышленных технологий, очередные богословские толкования), их передавали либо устно через общину, либо переписывая рукописи.

Когда широким слоям общества стали доступны печатные книги, отношение человека к знаниям изменилось. Новая информация и идеи стали распространяться быстрее и по более разнообразным каналам. Появилась возможность находить полезную информацию и самостоятельно изучать ее. Читая тексты в их исходной форме, люди могли сами анализировать общепринятые истины. Те, кто имел твердые убеждения и доступ к хотя бы скромным ресурсам или покровителя, могли публиковать свои выводы и интерпретации. Быстро тиражировалась информация о научных достижениях, общепринятым методом политических и богословских споров стал обмен памфлетами[78]. Распространение новых идей все чаще свергало или коренным образом меняло устоявшиеся порядки, приводя к интеллектуальному брожению в религии (Реформация), революциям в политике (изменение представлений о национальном суверенитете) и новым научным концепциям (новая картина мира).

Сегодня наступает новая эпоха, когда технологии меняют знания, открытия, коммуникации и индивидуальное мышление. Человечество создало новую цифровую область, и теперь мы создаем в ней новые формы интеллекта. ИИ – это не человек. Он не надеется, не мечтает, не молится и не чувствует, он не обладает сознанием или способностью к рефлексии. Это творение человека, и оно отражает разработанные человеком процессы, выполняющиеся на машинах, созданных человеком. Тем не менее в некоторых случаях, при огромных масштабах и скорости, он дает результаты, приближающиеся к тем, что до сих пор достигались только с помощью человеческого разума. Хотя этот новый интеллект разрабатывается людьми, он использует некую собственную логику, которая не похожа на нашу, но может казаться человеческой.

ИИ может открыть аспекты реальности, более невероятные, чем те, о которых мы когда-либо задумывались. Люди или государства, которые привлекут ИИ в качестве партнера для усиления навыков или реализации идей, будут способны на подвиги – научные, медицинские, военные, политические и социальные, – которые затмят достижения предшественников или соперников. Однако, если интеллектуальные машины будут рассматриваться как ключ к достижению лучших и быстрых результатов, наш собственный разум может показаться архаичным и недостаточным. Независимое применение человеческого разума может отойти на второй план.

Печатная революция XV в. в Европе породила множество новых тем и идей, изменив и обогатив привычную жизнь. Революция ИИ может привести к значительным научным и экономическим достижениям, но ее влияние на уровень дискурса пока трудно определить. Помогая людям ориентироваться в массивах цифровой информации, революция ИИ может обогатить и расширить поле нашего мышления – но может случиться и так, что ИИ, оценивая закономерности в массе доступных данных, просто создаст набор очевидных истин, которые станут общепринятыми на континентальных и глобальных сетевых платформах. Это может снизить нашу способность к спонтанности и критическому поиску, которая определила нынешнюю эпоху, или направить различные страны или сообщества сетевых платформ в отдельные и противоречивые ветви реальности.

ИИ может пойти на пользу или – при его неправильном использовании – во вред человечеству, но сам факт его существования бросает вызов основополагающим допущениям. До сих пор люди сами развивали свое понимание реальности, и эта способность определяла наше место в мире и отношение к нему. На этом фундаменте мы создавали философские учения, выбирали формы правления, разрабатывали военные стратегии и моральные заповеди. Теперь ИИ показал, что могут существовать иные способы исследования реальности, возможно, более глубокие, чем самостоятельное познание мира людьми. Иногда ИИ будет добиваться не менее ошеломляющих открытий, чем достижения самых влиятельных мыслителей-людей своих эпох, которые порождали озарения и бросали вызов устоявшимся концепциям, требовавшим переосмысления. Чаще ИИ будет невидимым, вездесущим и встроенным в обыденность, тонко приспосабливающим нашу реальность к нам так, чтобы у нас это не вызывало протеста.

Мы должны признать, что достижения ИИ в рамках определенных для него параметров иногда не уступают или даже превосходят те, на которые способен человек. Мы можем успокаивать себя тем, что ИИ никогда не сможет достичь сознательного, человеческого восприятия реальности. Но когда мы столкнемся с некоторыми достижениями ИИ, способного на мыслительные, технические, стратегические прорывы, обучаемого на основе больших и сложных систем, сложного в управлении, станет очевидно, что перед нами иная сущность с иным опытом восприятия мира.

Благодаря ИИ перед нами открываются широкие горизонты. Пределы человеческого разума ограничивали нашу способность собирать и анализировать данные, фильтровать и обрабатывать новости и разговоры, вести социальную жизнь в цифровой среде. ИИ позволяет нам более эффективно ориентироваться в этих сферах. Он может расширить наше видение, снабжая нас информацией и показывая нам тенденции, которых не могли так же изящно и эффективно выявить традиционные алгоритмы. ИИ может более тесно связать нас с этими сферами, предоставляя нужный нам контент – близкую нам информацию и соответствующие нашему мировоззрению материалы. ИИ не только расширяет наше понимание физической реальности – он позволяет нам организовать и освоить растущий цифровой мир.

Одновременно ИИ ослабляет нас. Из-за него постепенно исчезает человеческий разум в том виде, в каком мы привыкли к нему в современную эпоху. Социальные сети лишают человека пространства для размышлений, поиск в интернете отменяет потребность в организации знаний, а ИИ усиливает обе эти тенденции. Алгоритмы и раньше бесперебойно снабжали людей затягивающим контентом, а ИИ делает это еще эффективнее. Время, необходимое для внимательного чтения или глубокого анализа, сокращается, снижается мотивация к размышлению, становится все труднее отказаться от преимуществ цифровой среды, при этом растет ее способность развлекать и отвлекать. Как следствие, роль человека в анализе, проверке и осмыслении информации снижается – человеческий анализ все чаще дополняют или вытесняют системы с ИИ.

Если романтики утверждали, что субъективные человеческие эмоции – достоверный и важный источник опыта, а постмодернисты поставили под сомнение саму возможность видения объективной реальности через фильтр субъективного опыта, то ИИ идет еще дальше. Открывая нам новые объективные факты, такие как медицинские диагнозы, прогнозы промышленных и экологических катастроф, угрозы безопасности и т. п., ИИ будет перестраивать информацию в сфере СМИ, политики, общественной дискуссии и развлечений в соответствии с нашими предпочтениями, подтверждая предубеждения, усугубляя субъективность опыта и сужая доступ к объективной реальности. Таким образом, в эпоху ИИ человеческий разум будет не только дополнен, но и ослаблен, причем совершенно новыми способами.

По мере того как эти технологии вплетаются в ткань нашего повседневного существования, расширяют и трансформируют его, человечество, естественно, будет сталкиваться с противоречивыми импульсами. Найдется круг людей, которые, столкнувшись с ИИ, поддадутся искушению рассматривать его суждения как проявления божественного. И такие побуждения, пусть ошибочные, не будут совсем лишены смысла, ведь если «интеллект», не поддающийся пониманию или контролю, будет делать полезные выводы, почему бы не подчиниться его суждениям – даже если они могут показаться чуждыми? Так может возникнуть новая глобальная «религия» с ИИ в роли прорицателя, которому некоторые будут доверять, не имея разумного и глубокого понимания.

Такой культ принизит роль человеческого разума. И так же, как некоторые отказываются от социальных сетей, ограничивают для своих детей время пользования гаджетами или отказываются от продуктов питания с ГМО, найдутся люди, которые попытаются отказаться от пользования благами ИИ или ограничить влияние ИИ-систем на свою картину мира. В либеральных странах такой выбор, хотя бы на уровне отдельного человека или семьи, наверное, будет возможен – но он будет равносилен отказу не только от таких удобств, как рекомендации фильмов к просмотру или прокладывание маршрутов, но и от огромных массивов данных, сетевых платформ и прогресса во всех областях – от здравоохранения до финансов, которыми нас все больше и больше обеспечивает ИИ.

Отказ от ИИ на уровне цивилизации будет, скорее всего, невозможен, и руководителям государств придется противостоять негативным последствиям внедрения этой технологии.

Исключительно важно разработать этический кодекс для эпохи ИИ, и это задача не для какой-то одной сферы. Компьютерные ученые и руководители компаний – разработчиков технологий, внедряющие эти технологии военные стратеги, политические лидеры как их заказчики и пользователи, философы и богословы в поисках глубинных смыслов этих технологий – все они видят свою часть картины, и все они должны вести диалог, в ходе которого им придется отказаться от предубеждений.

У человечества будет три основных варианта действий: ограничить ИИ, сотрудничать с ним или отступить перед ним. Эти варианты отражают как философские, так и практические аспекты применения ИИ в конкретных задачах или областях. Например, что делать в критической ситуации при управлении самолетом или автомобилем – должен ли ИИ-пилот подчиниться человеку или наоборот? Людям в каждом случае придется отвечать на эти вопросы, некоторые ответы будут меняться по мере развития возможностей ИИ и тестирования машинного обучения. Иногда будет уместно послушаться ИИ – раз уж он может раньше и точнее диагностировать рак груди по маммограмме, нужно использовать это для спасения жизней. Иногда лучшим вариантом будет партнерство – например, автопилоты автомобилей, скорее всего, будут функционировать аналогично автопилотам современных самолетов. Наконец, для критических условий, например войны, важно выработать строгие и четкие ограничения, которые будут беспрекословно выполняться.

Появление ИИ изменит наше понимание того, что мы знаем, как мы это узнали и что еще доступно нашему знанию. В Новое время ценились знания, полученные человеческим разумом в процессе умозаключений, сбора и изучения данных, на основе наблюдений. Идеальным видом истины было уникальное проверяемое знание, доказанное проверяемыми способами. В век ИИ мы принимаем концепцию знания как результата партнерства между людьми и машинами. Люди создают и запускают компьютерные алгоритмы, которые исследуют данные гораздо быстрее и систематичнее, чем человек, и делают выводы, которые могут отражать особенности мира, находящиеся за пределами нашего понимания.

Таким образом, люди и ИИ вместе проверяют на прочность и раздвигают границы человеческого знания о нашем физическом мире. ИИ уже вышел за пределы человеческого восприятия. В одних случаях это обусловлено тем, что алгоритмы и вычислительная мощность позволяют ИИ быстро проходить путь обучения, на который у человеческого разума ушли бы десятилетия или столетия, но в других случаях сами по себе скорость и вычислительная мощность не объясняют достижений ИИ.

Верно ли, что люди и ИИ подходят к одним и тем же явлениям с разных точек зрения и с разными взаимодополняющими возможностями? Или же существуют две пересекающиеся реальности: одну развивают люди с помощью своего разума, а другую – ИИ с помощью его алгоритмов? Если верно второе, то мы не можем воспринять то, что воспринимает ИИ, не только потому, что у нас не хватает на это временнóго ресурса, но и потому, что эти вещи существуют в сфере, в принципе недоступной нашему разуму. Это изменит наш процесс познания – мы смиримся с тем, что получение определенных знаний нам придется доверить ИИ. В любом случае, по мере того как ИИ будет решать все более сложные и объемные задачи, люди все чаще будут воспринимать его как особую сущность, испытывающую и познающую мир, – не просто инструмент, а нечто живое и разумное.

Эта головоломка становится тем сложнее, чем ближе мы будем к появлению ИИ общего назначения (AGI). Как описано в главе 3, AGI не будет ограничен обучением и выполнением конкретных задач, как существующие ИИ, он по определению будет обучаться и выполнять широкий спектр задач, подобно человеку. Разработка таких ИИ потребует огромных вычислительных мощностей, и это, вероятно, приведет к тому, что их созданием будут заниматься лишь немногие мощные и хорошо финансируемые организации. Как и нынешний ИИ, AGI будет легко тиражируемым, но, учитывая его возможности, доступ к AGI будет предоставляться лишь небольшому числу организаций. Для остальных доступ будет ограничен (это реализуемо, если предоставлять AGI в качестве услуги, а не распространять его как программное обеспечение). Но тогда возникнут неизбежные вопросы: кто контролирует AGI и доступ к нему? Возможна ли демократия в мире с несколькими уникальными «гениальными» машинами, которыми управляет лишь небольшое число организаций (коммерческих, правительственных или некоммерческих)? Как вообще в таких условиях возможно партнерство с ИИ? Появление AGI, если оно произойдет, станет важным интеллектуальным, научным и стратегическим событием. Но ИИ и без этого знаменует революцию для человечества.

ИИ отличают от предшествующих технологий динамичность и способность к эмерджентным – неожиданным – действиям и решениям. Нерегулируемые и неконтролируемые, ИИ могут делать не совсем то и не совсем так, как мы от них ожидаем, без нашей сознательной команды на то. Мы не всегда будем вольны сами принять решение о типе взаимодействия с ИИ – ограничение, партнерство или отступление, – в некоторых случаях выбор будет навязан обстоятельствами. Внутри человечества идет постоянная конкуренция, и преимущества автоматизации процессов, изучения огромных массивов данных и реорганизации физического и социального мира при помощи ИИ могут достаться тем, кому первыми удастся ими воспользоваться. Такая конкуренция может вынудить нас внедрять ИИ, не имея времени на оценку рисков – или пренебрегая рисками.

Все это выдвигает на первый план вопросы этики. Каждое отдельное решение о сдерживании ИИ, партнерстве с ним или отступлении перед ним может иметь или не иметь критических последствий, но совокупный эффект этих решений будет расти и определять ход истории. Если человечеству не все равно, каким окажется его будущее, оно должно договориться об общих подходах к каждому отдельному решению, чтобы каждая страна могла сдерживать ИИ, сотрудничать с ним или давать ему свободу действий там, где это необходимо. Добиться коллективных действий будет сложно, а иногда невозможно, но, если пустить все на самотек и не пытаться выработать общую этику, нестабильность, скорее всего, будет расти.

Те, кто разрабатывает ИИ, обучает его и сотрудничает с ним, смогут добиться результатов такого масштаба и сложности, которые до сих пор были недоступны человечеству, – новых научных прорывов, новой экономической эффективности, новых форм безопасности и, возможно, общественного контроля. В результате обычные люди могут почувствовать, что за ними наблюдают, что их изучают и что на них постоянно и повсеместно воздействует нечто совершенно непонятное, – во многих странах такое раньше считалось недопустимым. Разработчики и интеграторы ИИ должны быть готовы к решению этих проблем. Они должны быть в состоянии объяснить всем остальным, что именно делает ИИ и почему, а также что он «знает» и как он это узнаёт.

Динамичность и эмерджентность ИИ порождают два вида неопределенности. Во-первых, ИИ может действовать так, как мы его инструктировали, но при этом приводить к результатам, которых мы не предвидели. ИИ динамичен, он может завести человечество не туда, куда мы ожидали. Подобно тому, как государственные деятели в 1914 г. не смогли предугадать, что технологический прогресс и логика военной мобилизации заставят всю Европу начать войну, неподготовленное внедрение ИИ тоже может иметь серьезные негативные последствия – как опасное для жизни решение автомобиля с автопилотом или серьезный военный конфликт. Во-вторых, ИИ может быть непредсказуемым, его действия могут стать полной неожиданностью. Рассмотрим ИИ AlphaZero, который, решая задачу «выиграть в шахматы», разработал такой стиль игры, до которого люди не смогли додуматься за всю тысячелетнюю историю игры. Люди могут очень тщательно ставить задачи ИИ, но по мере того, как он будет получать от нас все больше свободы, он будет выбирать все более неожиданные или тревожащие пути достижения результатов.

Вот почему задачи и степени свободы ИИ должны определяться с осторожностью, особенно в тех областях, где его решения могут быть смертельно опасны. ИИ не должен работать автоматически, ему не следует позволять предпринимать необратимые действия без наблюдения, мониторинга или прямого контроля со стороны человека. Созданный людьми, ИИ должен контролироваться людьми. Одна из сегодняшних проблем ИИ заключается в том, что, обладая навыками и ресурсами для его создания, мы пока не охватили всю философскую перспективу для понимания последствий. Разработчиков ИИ, как правило, волнуют создаваемые ими приложения и решаемые задачи – они не задумываются о том, могут ли их творения привести к революции исторического масштаба и как они способны повлиять на различные группы населения. Эпохе ИИ нужны новые Декарт и Кант, чтобы объяснить происходящее и предсказать его последствия для нас и человеческой идентичности.

Ограничивать ИИ придется более жестко, чем мы ограничиваем сами себя. Обсуждения и переговоры с участием правительств, университетов и корпоративных инноваторов должны быть направлены на ограничение практических действий ИИ – аналогично тому, как сегодня регулируются действия людей и организаций. ИИ имеет общие признаки с некоторыми продуктами, услугами, технологиями и организациями, которые уже подвергаются регулированию, но по важнейшим параметрам он от них отличается, и поэтому для него нужна отдельная, полностью определенная концептуальная и правовая база. Она должна учитывать, например, проблему динамичности и эмерджентности ИИ, из-за которых он может непредсказуемо меняться. Управление людьми отражает человеческую этику – подобно этому, нам нужны принципы и этика для ИИ.

Существующие принципы часто будут неприменимы. Если в Средние века виновность человека могло определить испытание перед Богом, то в эпоху Просвещения подсудимым стали выносить приговоры в соответствии с доводами разума, определяя виновность и назначая наказание в соответствии с такими понятиями, как нанесенный вред и злой умысел. Но у ИИ нет человеческого разума, человеческих мотиваций, намерений и способности к саморефлексии. Кроме того, внедрение ИИ усложняет существующие принципы правосудия даже в применении к человеку. Если автономная система причинила вред, руководствуясь собственными представлениями и решениями, должен ли нести ответственность ее создатель? А если ИИ применяется для контроля, предотвращения или расследования правонарушений – должен ли он обосновать свои выводы, чтобы они имели силу для людей? Эти загадки необходимо разрешить.

Очень важно понять, в каких контекстах и на каком этапе эволюции этой технологии на нее должны распространяться ограничения, согласованные на международном уровне, – и это должно быть одной из главных тем обсуждений. Если сделать это слишком рано, развитие технологии будет заторможено или уйдет в тень, а если сделать это слишком поздно, возможны пагубные последствия – особенно в военной области. Проблема усугубляется сложностью разработки эффективных режимов контроля для технологии, которую невозможно отследить и идентифицировать и которая при этом легко распространяется. Вопрос о том, кто должен решать эти вопросы – только лишь правительства или правительства в сотрудничестве с инженерами, специалистами по этике, разработчиками ИИ и представителями других областей, – требует рассмотрения, но надолго откладывать его решение нельзя.

На уровне отдельных стран предстоит решить сложные дилеммы. Большая часть нашей социальной и политической жизни сегодня проходит на сетевых платформах. Демократические страны особенно сильно зависят от этих информационных пространств, открытых для дебатов и дискуссий, формирующих общественное мнение и придающих легитимность правительствам. Кто или какие институты должны определять роль ИИ? Кто должен регулировать ИИ? Какую роль должны играть люди, использующие ИИ? А корпорации, которые производят ИИ? Правительства стран, которые применяют ИИ? В рамках решения этих вопросов ИИ во многих случаях должен быть аудируемым – то есть выводы, которые он делает, должны быть проверяемы. Выработка ответов на поставленные вопросы будет зависеть от разработки принципов восприятия и принятия решений ИИ. У самостоятельных ИИ нет морали, воли и чувства вины. Аналогичные вопросы придется решать для большинства других аспектов общества, от транспорта до финансовых рынков и медицины.

Рассмотрим влияние ИИ на социальные сети. Это молодые онлайн-сервисы, но они все чаще отражают жизненно важные аспекты нашей общественной жизни. Власть, которой пользуются Twitter и Facebook, когда они продвигают, ограничивают или запрещают тот или иной контент или тех или иных авторов, показывает, что эти сетевые платформы заняли в нашем обществе центральное место. Мы уже не можем использовать сетевые платформы без ИИ, но одностороннее, непрозрачное продвижение контента и отдельных людей – это тоже результат работы ИИ. Сможем ли мы сохранить свою самостоятельность по мере того, как наша социальная и политическая жизнь все больше перемещается в области, курируемые ИИ, в которых мы не можем ориентироваться без этого курирования?

Используя ИИ для навигации по информационным массивам, мы сталкиваемся с проблемой искажения информации – когда ИИ создает для нас ту картину мира, которую мы инстинктивно предпочитаем. Наши когнитивные предубеждения порождают «эхо», которое усиливается благодаря ИИ – и в конечном счете создает дезинформацию и способствует ее распространению. Для контроля дезинформации и борьбы с ней также используется ИИ. Как мы видим, применение ИИ может привести – и уже приводит – к непреднамеренным печальным последствиям. Операторы социальных сетей не стремятся к продвижению экстремистской информации и разжиганию политической ненависти – но совершенно очевидно, что их работа также не привела и к усиленной пропаганде просвещения. При этом попытки направить ИИ соцсетей на формирование взаимопонимания или распространение точной информации также вызывают протесты, поскольку воспринимаются как форма контроля со стороны алгоритмов.

Проложить маршрут между этими полюсами – важнейшая задача для всех свободных стран нашего времени. Но какова же должна быть природа наших отношений с ИИ? Как нам поступить – изолировать его, наделить его полномочиями или сделать нашим партнером? Не подлежит сомнению, что распространение определенной информации – особенно дезинформации – может нанести ущерб обществу, разобщить его и разжечь вражду. Определенные ограничения необходимы – но наша сегодняшняя готовность осуждать, пресекать и уничтожать «вредную» информацию тоже должна заставить задуматься. В свободных странах корпорации не должны монопольно решать, какая информация является вредной и что такое дезинформация. Если эта функция будет доверена правительственной комиссии или агентству, то этот орган должен действовать в соответствии с определенными публичными стандартами, а используемые им процессы должны поддаваться контролю. Если это будет делать специальный ИИ, то постановка задач, обучение и работа этого ИИ должны быть ясны, аудируемы и доступны для обжалования.

Конечно, у разных стран разные вкусы и установки. Некоторые страны придают особое значение свободе слова, и они будут ограничивать роль ИИ в модерации контента в соответствии со сформированным у них пониманием индивидуального самовыражения. Каждая страна выберет то, что ценно для нее, – и это приведет к разногласиям с операторами транснациональных сетевых платформ. ИИ учится у нас даже в процессе разработки, поэтому будет иметь значение не только выбор каждой страны, но и ее отношения с ИИ, ее восприятие ИИ и модели поведения, которым ИИ будет учиться у своих наставников-людей. Но поиск фактов и истины не должен приводить к тому, чтобы общество воспринимало жизнь через скрытые неконтролируемые фильтры. Важная особенность человека – спонтанное восприятие реальности во всей ее противоречивости и сложности, даже если это приводит к снижению эффективности и ошибкам.

Учитывая ставки, существует огромное количество вопросов, на которые можно ответить только на глобальном уровне. Как регулировать сетевые платформы, не провоцируя напряженность между странами, обеспокоенными возможными последствиями для безопасности? Могут ли сетевые платформы разрушить традиционные концепции государственного суверенитета наподобие того, как в XX в. это сделали такие институты, как ЕС? Не навяжут ли эти институты всему миру такую полярность, какой не существовало со времен распада Советского Союза? Как на это отреагируют малые государства? Может ли такая попытка иметь надежду на успех?

По мере того как возможности ИИ будут расти, все более важно будет определить роль человечества в партнерстве с ИИ. Можно представить себе мир, в котором люди будут все больше подчиняться ИИ – а масштабы вопросов, решаемых ИИ, будут расти. Но если противник успешно развертывает ИИ – можно ли ответственно решить не развертывать свой собственный ИИ, даже если последствия точно не известны? И разумно ли отказаться от ИИ, который превосходно предсказывает наиболее эффективный курс действий, если этот курс повлечет за собой огромные жертвы? Как политик может удостовериться в том, что эти жертвы необходимы для победы? А если такая уверенность есть – захочет ли политик отказаться от этих жертв?

Человеку всегда сопутствовало его несовершенство. Даже лучшие лидеры принимают решения, не имея полной информации или в ситуации сложного выбора. Политики бывают пристрастны, они могут действовать на основе ошибочных предположений, они могут быть неспособны глубоко мыслить или задавать важные вопросы. Иногда они действуют под влиянием чистых эмоций. Их видение мира может искажать болезнь или идеология. Какие бы стратегии ни разрабатывались для организации партнерства человека и ИИ, это необходимо учитывать. ИИ может показывать в некоторых областях сверхчеловеческие способности, но его придется приспосабливать и к несовершенному человеческому контексту.

Дилемма сферы безопасности заключается в том, что возможность внедрения ИИ и кибероружия одной стороной может побудить противника, не имеющего такой возможности, атаковать первым. Это непохоже на ту ситуацию, которую создает ядерное оружие. Если ядерное оружие находится в международных рамках доктрин безопасности и концепций контроля над вооружениями, разработанных и дорабатываемых на протяжении десятилетий правительствами, учеными, стратегами и специалистами по этике, то ИИ и кибероружие не ограничены подобными рамками, а те рамки, которые существуют, правительства не готовы обсуждать. Страны – и, возможно, технологические компании – должны договориться о том, что будет допустимо и как будут сосуществовать различные силы, вооруженные ИИ. США и их союзники столкнутся с дополнительными вопросами, важнейшим из которых будет влияние ИИ на процветание демократических обществ.

Распространение оборонного ИИ изменит международное равновесие и те расчеты, путем которых оно до сих пор поддерживалось. Ядерное оружие стоит дорого, и его трудно скрыть. Создание ИИ тоже может потребовать ресурсов крупных компаний или целых государств, но поскольку использование ИИ осуществляется на относительно небольших компьютерах, то ИИ в целом будет широко доступен, в том числе способами, для которых он не был предназначен. В результате не будет ли ИИ-оружие доступно любому, у кого есть ноутбук, подключение к интернету и соответствующая квалификация? Будут ли правительства снабжать ИИ-вооружением наемников? Будет ли ИИ доступен террористам? Смогут ли они обвинять в совершенных ими преступлениях государства или другие субъекты?

Влияние ИИ на международные отношения будет весьма значительным. Расширятся как диапазон доступной информации, так и свобода действий для дипломатии. Национальные границы буквально растворятся. ИИ-переводчики облегчат межъязыковое общение – и одновременно подвергнут серьезным испытаниям представителей разных народов, не готовых к восприятию чужой национальной культуры. Сетевые платформы с поддержкой ИИ будут распространять свободное слово через границы, но хакерство и дезинформация станут искажать восприятие и оценку этих коммуникаций. В результате будет все сложнее достигать реализуемых соглашений с предсказуемыми результатами.

ИИ углубляет стратегический парадокс, который заключается в том, что человечество на протяжении 70 лет развивало ядерное оружие, но так и не разработало доктрину его применения, совместимого с какой-либо рациональной целью. Мы выделяем миллиарды на технологию настолько разрушительную, что мы не можем найти ей применение, не считая самых экстремальных сценариев. Если стратегия – это рациональное применение средств для достижения цели, то ядерное оружие несовместимо ни с какой стратегией.

Интеграция ИИ и кибероружия только усугубляет эту дилемму. Человечество ушло от решения ядерного парадокса, резко разграничив обычные силы, совместимые с рациональными стратегическими целями, и ядерное оружие. Ядерное оружие воплощало грубую силу, а обычные вооружения – избирательное применение силы. Но непредсказуемое и разрушительное кибероружие стирает этот барьер, а с внедрением ИИ оно становится еще более непредсказуемым и разрушительным. Оно может перемещаться по сетям, поэтому его нельзя обнаружить. Оно не поддается обычному контролю – в отличие от ядерного оружия, кибероружие можно носить на флеш-картах, – и легко тиражируется. Некоторые формы кибероружия после их развертывания трудно контролировать, особенно учитывая динамичную и эмерджентную природу ИИ.

Такая ситуация ставит под сомнение сами основы международного порядка, основанного на правилах[79]. Мы обязаны разработать концепцию контроля ИИ-вооружений. Сдерживание в эпоху ИИ будет работать по-другому. На заре ядерной эры дискуссии между ведущими профессорами Калифорнийского технологического института, Гарвардского университета и Массачусетского технологического института, имевшими опыт работы в правительстве, привели к созданию концепции контроля над ядерными вооружениями. Несмотря на важность вопросов, эти обсуждения проводились отдельно от военных разработок министерства обороны США. Но потенциальное военное применение ИИ шире, чем у ядерного оружия, и на данный момент неочевидна дифференциация между наступлением и обороной.

В этом сложном и непредсказуемом мире ИИ создает еще один возможный источник заблуждений и ошибок, поэтому великим державам, обладающим высокотехнологичным потенциалом, придется вступить в диалог. Такой диалог должен быть сосредоточен на главном – на предотвращении катастрофы. Все стороны должны сделать все возможное для предотвращения войны. Это потребует взаимного признания перемен, которые переживает мир, их потенциальных выгод и вызовов, которые они бросают самим основам нашей общественной жизни. Таким образом, эволюция дипломатии, безопасности и стратегии должна будет сопровождаться аналогичной эволюцией философских концепций.

В период больших перемен философы эпохи Просвещения рассматривали природу реальности, природу сознания и взаимосвязь между ними. Разработанные ими принципы по-прежнему важны для нынешней эпохи, но начинающаяся эра ИИ бросает им вызов. Декарт провозгласил: «Я мыслю, следовательно, я существую», – это утверждение популярно и сегодня. Но затем Кант предположил, что восприятие человека отражает лишь структуру его разума, а не саму реальность – более того, сущность реальности находится за пределами нашего понимания. Нас ожидает следующая фаза этой философской эволюции, которая еще не нашла своего воплощения. Если ИИ обеспечивает иное или более точное восприятие реальности, дальнейшее исследование кантовской «вещи в себе», останется ли человеческий разум главным инструментом восприятия реальности? Если разум способствовал Реформации и изменил природу веры на Западе, то как изменит природу разума и веры приход ИИ? В эпоху, когда ИИ дополняет человеческий разум, или вытесняет его, или выходит за его пределы, как мы определим сферу применения, смысл существования и способ сохранения человеческого разума?

ИИ и другие развивающиеся технологии (такие как квантовые вычисления), похоже, приближают человека к познанию реальности, существующей за пределами нашего восприятия. Но в результате мы можем обнаружить, что даже эти технологии имеют свои пределы. Наша проблема заключается в том, что мы еще не знаем, какие последствия будет иметь внедрение этих технологий на фундаментальном философском уровне. Технологии продвигают нас вперед, но у нас нет полного осознания того, как это происходит, мы идем по пути прогресса в большой степени механически. Последний раз, когда человеческое сознание было значительно преобразовано, – в эпоху Просвещения – это произошло потому, что новая технология, а именно печатный станок, породила новые философские идеи, которые, в свою очередь, были растиражированы самой этой технологией. Сегодня мы уже разработали новые технологии, но у нас все еще нет соответствующей руководящей философии.

ИИ – это великое начинание. Его потенциальные преимущества огромны. Его разрабатывают люди – но сможем ли мы использовать его так, чтобы сделать нашу жизнь лучше, или же мы сделаем ее хуже? Скорее всего, произойдет и то и другое. ИИ позволит нам создать более сильные лекарства, более эффективное и справедливое здравоохранение, более устойчивую экологию и др. Вместе с тем он изменит концепцию истины, и некоторые люди утратят способность рассуждать и судить.

США, в отличие от ряда других стран, пока не сделали ИИ национальным проектом, и это должно быть исправлено. Вместе с другими странами, которые в состоянии возглавить разработку и внедрение ИИ, США должны сделать ИИ высшим национальным приоритетом. Этот процесс – процесс, который принесет большую пользу, – потребует участия людей с глубоким опытом работы в различных областях. Возможно, этим проектом должна руководить небольшая группа лидеров, пользующихся непререкаемым авторитетом, – от правительства, бизнеса и науки.

Такая группа или комиссия поможет стране и миру выработать понимание новой эпохи, технических, социальных, экономических и философских аспектов ИИ и их взаимосвязей. В случае США такая группа должна выполнять по крайней мере две функции:

1. В национальном контексте – обеспечение интеллектуальной и стратегической конкурентоспособности страны в области ИИ.

2. Осознание и повышение осведомленности о культурных (как национальных, так и глобальных) последствиях, которые порождает ИИ.

Кроме того, такая группа должна быть готова к взаимодействию с аналогичными группами других стран.

Мы находимся в самом разгаре великого начинания в масштабах цивилизации и нашего вида. Инициаторы крупнейших перемен в истории человечества обычно ставили целью решение тех или иных проблем, а не создание новой философии и перестройку всего человеческого бытия. Но теперь технологии, стратегии и философию нужно будет привести в некое соответствие, чтобы одно не опережало другое. Что необходимо сохранить в традиционном обществе, а чем нужно будет рискнуть, чтобы достичь превосходства? Как интегрировать ИИ с его эмерджентной, обучающейся природой в традиционные концепции общественных норм и международного равновесия? Учитывая, что у нас нет ни опыта, ни интуиции для ситуации, в которой мы оказались, какие еще вопросы нужно поставить?

И еще один вопрос – вопрос вопросов – относительно использования ИИ: может ли ИИ удовлетворить нашу потребность в познании мира, предложив нам иное, новое понимание мира? Готовы ли мы смириться с этим, продолжать сотрудничать с ИИ и двигаться вперед, не вполне понимая его?

Иммануил Кант открыл предисловие к своей «Критике чистого разума» следующим замечанием:

На долю человеческого разума в одном из видов его познания выпала странная судьба: его осаждают вопросы, от которых он не может уклониться, так как они навязаны ему его собственной природой; но в то же время он не может ответить на них, так как они превосходят возможности человеческого разума[80].

В последующие века человеческий разум глубоко изучал эти вопросы, и некоторые из них касались природы разума, мышления и самой реальности. Со времен мира Канта конца XVIII в. человечество решило ряд вопросов. Как он и предупреждал, мы столкнулись с массой новых вопросов, на которые не можем ответить, и фактов, которые не можем полностью объяснить.

Появление ИИ с его уникальными способностями к обучению и обработке информации может дать ответы на ряд нерешенных вопросов – и породит новые вопросы. Некоторые из них мы попытались изложить в этой книге. Человеческий интеллект и ИИ сегодня работают во всех сферах деятельности и в любых масштабах – от национальных до глобальных. Выработка связанной с этим руководящей концепции потребует полной вовлеченности и всех способностей ученых и стратегов, государственных деятелей и философов, священнослужителей и руководителей компаний. Это обязательство должно быть принято как внутри стран, так и между ними. Сейчас самое время определить как способы нашего партнерства с ИИ, так и реальность, которую мы создадим вместе с ним.

Сноски

1

. https://www.privateequitywire.co.uk/2020/11/19/292458/ai-startups-raised-usd734bn-total-funding-2020, ссылка проверена 1 марта 2022 г.

2

Mike Klein, «Google's AlphaZero Destroys Stockfish In 100-Game Match», Chess.com (6 декабря 2017 г.), https://www.chess.com/news/view/google-s-alphazero-destroys-stockfish-in-100-game-match. Pete, «AlphaZero Crushes Stockfish In New 1,000-Game Match», Chess.com (17 апреля 2019 г.), https://www.chess.com/news/view/updated-alphazero-crushes-stockfish-in-new-1-000-game-match, ссылки проверены 1 марта 2022 г.

3

«Step 1: Discovery and Development», сайт Управления США по санитарному надзору за качеством пищевых продуктов и медикаментов (4 января 2018 г.), https://www.fda.gov/patients/drug-development-process/step-1-discovery-and-development, ссылка проверена 1 марта 2022 г.

4

Jo Marchant, «Powerful Antibiotics Discovered Using AI», Nature (20 февраля 2020 г.), https://www.nature.com/articles/d41586-020-00018-3, ссылка проверена 1 марта 2022 г.

5

Слово «артилект», очевидно, означает ИИ. – Прим. пер.

6

Raphaël Millière (@raphamilliere), «I asked GPT-3 to write a response to the philosophical essays written about it…» (31 июля 2020 г.), https://twitter.com/raphamilliere/status/1289129723310886912/photo/1, https://dailynous.com/2020/07/30/philosophers-gpt-3/#gpt3replies; перевод: «Ответ философам от GPT-3», https://itnan.ru/post.php?c=1&p=520688, ссылки проверены 1 марта 2022 г.

7

Richard Evans, Jim Gao, «DeepMind AI Reduces Google Data Centre Cooling Bill by 40 %», DeepMind (20 июля 2016 г.), https://deepmind.com/blog/article/deepmind-ai-reduces-google-data-centre-cooling-bill-40, ссылка проверена 1 марта 2022 г.

8

Will Roper, «AI Just Controlled a Military Plane for the First Time Ever», Popular Mechanics (16 декабря 2020 г.), https://www.popularmechanics.com/military/aviation/a34978872/artificial-intelligence-controls-u2-spy-plane-air-force-exclusive, ссылка проверена 1 марта 2022 г.

9

Гиббон Э. История упадка и разрушения Великой Римской империи: Закат и падение Римской империи: В 7 т. Т. 1. М.: ТЕРРА – Книжный клуб, 2008.

10

Рубежом, отмечающим окончание Средних веков в XV в., помимо падения Константинополя называют также изобретение книгопечатания Иоганном Гутенбергом, открытие Америки Христофором Колумбом и другие вехи. – Прим. пер.

11

Впрочем, такой подход был в новинку только для Запада. В некоторых странах аналогичные исследования национальных интересов и методов их достижения появились значительно раньше – китайское «Искусство войны» датируется V в. до н. э., индийская «Артхашастра», вероятно, появилась примерно в то же время.

12

Немецкий философ начала XX в. Освальд Шпенглер назвал этот аспект западного мировосприятия «фаустовским» обществом, стремящимся к территориальной экспансии и неограниченному знанию. Как следует из названия его главной работы «Закат Европы», Шпенглер считал, что этот культурный импульс, как и любые другие, имеет свои пределы – в данном случае определяемые историческими циклами.

13

Ernst Cassirer, в переводе на англ. Fritz C. A. Koelln, James P. Pettegrove, «The Philosophy of the Enlightenment», Princeton, NJ: Princeton University Press.

14

Восточные культуры пришли к аналогичному пониманию ранее – буддизм, индуизм и даосизм считали, что человеческий опыт реальности субъективен и относителен.

15

Спиноза Б. Избранные произведения в 2 т. М.: Государственное издательство политической литературы, 1957.

16

Сегодня Кенигсберг – это российский город Калининград.

17

Кант И. Критика чистого разума. М.: Мысль, 1994.

18

Guyer and Wood, «Introduction to the Critique of Pure Reason».

19

Божественное Кант также помещал за пределы сферы человеческого теоретического разума, оставляя место для «веры».

20

Как ее называл У. Черчилль. – Прим. пер.

21

Charles Hill, «Grand Strategies: Literature, Statecraft, and World Order», New Haven: Yale University Press, 2011 г.

22

Витгенштейн Л. Философские исследования. М.: АСТ, 2018.

23

Кант И. К вечному миру. Например: http://history.pstu.ru/wp-content/uploads/2013/04/files_File_Kant_K_vechnomu_miru.pdf, ссылка проверена 1 марта 2022 г.

24

Шмидт Э. Новый цифровой мир. Как технологии меняют жизнь людей, модели бизнеса и понятие государств. М.: Манн, Иванов и Фербер, 2013.

25

Тьюринг А. Вычислительные машины и разум. М.: АСТ, 2018.

26

Существуют и другие версии мифа о происхождении Талоса. – Прим. пер.

27

В частности, поиск будущих возможных или исключенных ходов методом Монте-Карло.

28

Фантастическое существо из серии книг Дугласа Адамса «Автостопом по галактике», которое вступает в симбиоз с носителем и телепатическим способом делает для него понятными почти любые чужие языки. – Прим. пер.

29

James Vincent, «Google 'fixed' its racist algorithm by removing gorillas from its image-labeling tech», The Verge (12 января 2018 г.), https://www.theverge.com/2018/1/12/16882408/google-racist-gorillas-photo-recognition-algorithm-ai, ссылка проверена 1 марта 2022 г.

30

James Vincent, «Google's AI thinks this turtle looks like a gun, which is a problem», The Verge (2 ноября 2017 г.), https://www.theverge.com/2017/11/2/16597276/google-ai-image-attacks-adversarial-turtle-rifle-3d-printed, ссылка проверена 1 марта 2022 г.

31

В меньшей степени – Канада и Европа.

32

Интересные параллели можно найти в некоторых исторических событиях. Отдельные примеры взаимодействия централизованной власти и сетей см. в книге: Фергюсон Н. Площадь и башня. Сети и власть от масонов до Facebook. М.: Corpus, 2020.

33

Термин «платформа» имеет множество значений в цифровой сфере. Говоря о сетевой платформе, мы имеем в виду онлайн-сервисы с положительным сетевым эффектом.

34

Статистические данные об удалении контента публикуются ежеквартально. Например: https://transparency.facebook.com/community-standards-enforcement, ссылка проверена 1 марта 2022 г.

35

Cade Metz, «AI Is Transforming Google Search. The Rest of the Web Is Next», Wired (4 февраля 2016 г.) и https://blog.google/products/search/search-on, ссылка проверена 1 марта 2022 г. С тех пор разработки в области ИИ для поиска продолжаются. Некоторые последние достижения описаны в блоге Google, например проверка орфографии, поиск конкретных фраз или отрывков, поиск видео, поиск числовых результатов.

36

Решение о разделении AT&T было принято в 1982 г., официально разделение компании состоялось 1 января 1984 г. – Прим. пер.

37

Легче понять, как работает положительный сетевой эффект, по аналогии с экономией от масштаба. Эффект масштаба позволяет более крупным поставщикам экономить на затратах и снижать цены. Положительные сетевые эффекты влияют не только на стоимость, но и на общую пользу от продуктов и услуг, поэтому обычно они бывают значительно сильнее, чем экономия от масштаба.

38

Kris McGuffie, Alex Newhouse, «The Radicalization Risks Posed by GPT-3 and Advanced Neural Language Models», https://www.middlebury.edu/institute/sites/www.middlebury.edu.institute/files/2020-09/gpt3-article.pdf, ссылка проверена 1 марта 2022 г.

39

. https://www.defenseone.com/technology/2020/10/can-ai-detect-disinformation-new-special-operations-program-may-find-out/168972, ссылка проверена 1 марта 2022 г.

40

Клаузевиц К. О войне. – М.: Эксмо; Мидгард, 2007.

41

Имеется в виду убийство эрцгерцога Франца Фердинанда, наследника австро-венгерского престола, и его жены герцогини Софии Гогенберг в Сараеве сербским гимназистом Гаврилой Принципом 28 июня 1914 г. – Прим. пер.

42

Перевод Б. Гребенщикова. – Прим. пер.

43

Эти тенденции выходят за пределы чисто военных целей. Кай-фу Ли. Сверхдержавы искусственного интеллекта. Китай, Кремниевая долина и новый мировой порядок. – М.: Манн, Иванов и Фербер, 2019; Michael Kanaan, «T-Minus AI: Humanity's Countdown to Artificial Intelligence and the New Pursuit of Global Power», Dallas: BenBella Books, 2020 г.

44

John P. Glennon (ред.), «Foreign Relations of the United States, vol. 19, National Security Policy, 1955–1957», Washington, D.C.: U.S. Government Printing Office, 1990 г. – Раздел «Editorial Note».

45

То есть гарантией ядерного государства по защите государств, не имеющих ядерного оружия. – Прим. пер.

46

Война между КНДР и Республикой Корея 1950–1953 гг. – Прим. пер.

47

Henry A. Kissinger, «Nuclear Weapons and Foreign Policy», New York: Harper & Brothers, 1957 г.

48

Очевидно, имеется в виду советская система «Периметр» – комплекс автоматического управления массированным ответным ядерным ударом. – Прим. пер.

49

Defense Intelligence Agency, «Russia: Military Power – Building a Military to Support Great Power Aspirations», 2017 г., https://info.publicintelligence.net/DIA-RussiaMilitaryPower2017.pdf; Anthony M. Barrett, «False Alarms, True Dangers? Current and Future Risks of Inadvertent U.S. – Russian Nuclear War», 2016 г., https://www.rand.org/content/dam/rand/pubs/perspectives/PE100/PE191/RAND_PE191.pdf, ссылки проверены 1 марта 2022 г.; Хоффман Д. «Мертвая рука»: Неизвестная история холодной войны и ее опасное наследие. – М.: Corpus, 2012.

50

Например, атаки вредоносной программы Petya против украинских финансовых учреждений и государственных организаций в 2017 г. вскоре распространились за пределы Украины – на электростанции, больницы, поставщиков транспортных и логистических услуг, а также энергетические компании в других странах, включая Россию. «Подобно инфекции в кровеносной системе, вредоносное ПО распространилось по глобальным цепочкам поставок», – сенатор Ангус Кинг (Angus King) и представитель Майк Галлахер (Mike Gallagher), «Report of the United States Cyberspace Solarium Commission», март 2020 г.

51

Andy Greenberg, «Sandworm: A New Era of Cyberwar and the Hunt for the Kremlin's Most Dangerous Hackers», New York: Anchor Books, 2020 г.; Fred Kaplan, «Dark Territory: The Secret History of Cyber War», New York: Simon & Schuster, 2017 г.

52

Richard Clarke, Robert K. Knake, «The Fifth Domain: Defending Our Country, Our Companies, and Ourselves in the Age of Cyber Threats», New York: Penguin Books, 2020 г.

53

Например, Department of Defense, «Summary of 2018 Cyber Strategy», https://media.defense.gov/2018/Sep/18/2002041658/-1/-1/1/CYBER_STRATEGY_SUMMARY_FINAL.PDF, ссылка проверена 1 марта 2022 г.

54

Например, Eric Schmidt, Robert Work, et al., «Final Report of the National Security Commission on Artificial Intelligence», 2021 г.; Christian Brose, «The Kill Chain: Defending America in the Future of High-Tech Warfare», New York: Hachette, 2020 г.; Paul Scharre, «Army of None: Autonomous Weapons and the Future of War», New York: W.W. Norton, 2019 г.

55

Will Roper, «AI Just Controlled a Military Plane for the First Time Ever», Popular Mechanics (16 декабря 2020 г.), https://www.popularmechanics.com/military/aviation/a34978872/artificial-intelligence-controls-u2-spy-plane-air-force-exclusive, ссылка проверена 1 марта 2022 г.

56

Например, DoD 2018.1 SBIR Solicitation, «Automatic Target Recognition of Personnel and Vehicles from an Unmanned Aerial System Using Learning Algorithms» (29 ноября 2017 г.); Gordon Cooke, «Magic Bullets: The Future of Artificial Intelligence in Weapons Systems», Army AL&T (июнь 2019 г.).

57

Paul Scharre, «Army of None: Autonomous Weapons and the Future of War», New York: W.W. Norton, 2019 г.

58

Например, The White House, «National Strategy for Critical And Emerging Technologies» (октябрь 2020 г.); Central Committee of the Communist Party of China, «14th Five-Year Plan for Economic and Social Development and 2035 Vision Goals» (март 2021 г.); Xi Jinping, «Strive to become the world's major scientific center and innovation highland» (28 мая 2018 г.); European Commission, «White Paper on Artificial Intelligence: a European approach to excellence and trust» (март 2020 г.).

59

Например, DARPA, «Our Research: Semantic Forensics (SemaFor)» (23 августа 2019 г.) – запрос предложений на технологии автоматического обнаружения, атрибуции и определения характеристик фальсифицированных мультимодальных медиаактивов (текст, аудио, изображение, видео) для защиты от крупномасштабных автоматизированных дезинформационных атак, https://www.grants.gov/web/grants/view-opportunity.html?oppId=319894, ссылка проверена 1 марта 2022 г.; NSCAI Report, 51, «Develop and deploy AI-enabled defenses against cyber-attacks».

60

Например, U.S. Department of Defense Directive 3000.09, «Autonomy in Weapons Systems» (8 мая 2017 г.).

61

Например, NSCAI Report, «DOD Adopts Ethical Principles for Artificial Intelligence» (февраль 2020 г.), https://www.defense.gov/Newsroom/Releases/Release/Article/2091996/dod-adopts-ethical-principles-for-artificial-intelligence; Defense Innovation Board, «AI Principles: Recommendations on the Ethical Use of Artificial Intelligence by the Department of Defense», https://admin.govexec.com/media/dib_ai_principles_-_supporting_document_-_embargoed_copy_(oct_2019). pdf, ссылки проверены 1 марта 2022 г.

62

Paul Scharre, «Army of None: Autonomous Weapons and the Future of War», New York: W.W. Norton, 2019 г.

63

Например, Congressional Research Service, «Defense Primer: U.S. Policy on Lethal Autonomous Weapon Systems» (1 декабря 2020 г.), https://crsreports.congress.gov/product/pdf/IF/IF11150, ссылка проверена 1 марта 2022 г.

64

Начальные разработки этих вопросов сделаны в: William J. Perry, Henry A. Kissinger, Sam Nunn, «Building on George Shultz's Vision of a World Without Nukes», Wall Street Journal (23 мая 2021 г.), https://www.wsj.com/articles/building-on-george-shultzs-vision-of-a-world-without-nukes-11616537900, ссылка проверена 1 марта 2022 г.

65

David Autor, David Mindell & Elisabeth Reynolds, «The Work of the Future: Building Better Jobes in an Age of Intelligent Machines» (17 ноября 2020 г.), https://workofthefuture.mit.edu/research-post/the-work-of-the-future-building-better-jobs-in-an-age-of-intelligent-machines, ссылка проверена 1 марта 2022 г.

66

Консервативное религиозное движение, относящееся к так называемому меннонитству и отвергающее многие современные технологии и удобства. – Прим. пер.

67

. https://deepmind.com/blog/article/alphafold-a-solution-to-a-50-year-old-grand-challenge-in-biology, ссылка проверена 1 марта 2022 г.

68

Липпман У. Общественное мнение. – М.: Ин-т фонда «Общественное мнение», 2004.

69

Robert Post, «Participatory Democracy and Free Speech», 2011.

70

«A European approach to artificial intelligence», https://digital-strategy.ec.europa.eu/en/policies/european-approach-artificial-intelligence, ссылка проверена 1 марта 2022 г.

71

David Autor, David Mindell & Elisabeth Reynolds, «The Work of the Future: Building Better Jobes in an Age of Intelligent Machines» (17 ноября 2020 г.), https://workofthefuture.mit.edu/research-post/the-work-of-the-future-building-better-jobs-in-an-age-of-intelligent-machines, ссылка проверена 1 марта 2022 г.

72

National Security Commission on Artificial Intelligence, «The Final Report» (2021 г.), https://www.nscai.gov/2021-final-report, ссылка проверена 1 марта 2022 г.

73

Вильчек Ф. Основы реальности. 10 фундаментальных принципов устройства Вселенной. – М.: Манн, Иванов и Фербер, 2021.

74

От латинского «образ Божий». – Прим. пер.

75

Шпиль средневекового христианского собора символизировал мощь и силу религиозных устремлений его создателей. – Прим. пер.

76

По Декарту – акт мышления. – Прим. пер.

77

J. M. Roberts, «History of the World», New York: Oxford University Press, 1993 г.

78

Художественно-публицистическое произведение, обычно в виде брошюры или статьи. – Прим. пер.

79

Популярный современный политический термин, который обычно толкуют как «порядок в мире, основанный на нормах международного права». – Прим. пер.

80

Кант И. Критика чистого разума. М.: Мысль, 1994.

Content

Генри Киссинджер, Эрик Шмидт, Дэниел Хаттенлокер
Искусственный разум и новая эра человечества

Введение

Глава 1 Где мы находимся сейчас

Глава 2 Как мы здесь оказались. История человеческого мышления

Глава 3 От Тьюринга до наших дней – и не только

Эволюция ИИ

Современный ИИ

Разные задачи – разные стили обучения

Мощь машинного обучения

Ограничения ИИ и управление им

Что ждет ИИ

Глава 4 Глобальные сетевые платформы

Что такое сетевые платформы

Сообщество, повседневная жизнь и сетевые платформы

Компании и государства

Правительства и регионы

Сетевые платформы с поддержкой ИИ и будущее человека

Глава 5 Безопасность и мировой порядок

Ядерное оружие и сдерживание

Контроль над вооружениями

Война в цифровую эпоху

ИИ и трансформация безопасности

Управление ИИ

Старая борьба в новом мире

Глава 6 Человеческая идентичность

Трансформация человеческого опыта

Научные открытия

Образование и обучение

Новые информационные посредники

На пути к новому человеческому будущему

Изменение восприятия реальности и самих себя

Глава 7 Заключение

Сноски