Угроза искусственного интеллекта: правда и выдумки

Россию ждет еще больший набор проблем, чем ее конкурентов по разработке ИИ.

Эта неделя выдалась богатой на новости об ИИ — но в куда менее восторженных тонах, чем те, к которым мы за последние месяцы привыкли. Сначала несколько тысяч экспертов и предпринимателей, связанных с разработками в области нейросетей, подписали открытое письмо с призывом на полгода заморозить релизы более мощных, чем GPT-4, нейросетей из-за угроз безопасности. А следом известный исследователь угроз ИИ Элиезер Юдковский призвал вовсе прекратить разработку генеративных нейросетей и бомбить дата-центры тех, кто этот запрет будет нарушать. The Bell рассказывает, о каких именно угрозах идет речь и что на самом деле может стоять за призывами к остановкам разработок нейросетей.

Что случилось?

Более двух тысяч исследователей и основателей стартапов подписали открытое письмо с призывом не менее чем на полгода ввести мораторий на обучение систем искусственного интеллекта (ИИ), более мощных, чем GPT-4. Среди подписантов письма, составленного Future of Life Institute (некоммерческой организацией, работающей над снижением экзистенциальных рисков, с которыми сталкивается человечество в связи с развитием ИИ), нашлось немало техноселебрити. Например, Илон Маск, Стив Возняк и теоретики ИИ канадский математик Йошуа Бенжио и британский ученый Стюарт Рассел.

По их мнению, гонку моделей универсального ИИ, способных выполнять «человеческие» задачи и работающих по принципу «черного ящика», пора остановить. «Нужно ли разрабатывать нечеловеческий разум, способный превзойти человечество по численности и разумности, а потом сдать его на свалку истории и заместить? Нужно ли рисковать потерей контроля над цивилизацией? Такие решения нельзя отдавать на откуп лидерам технологических компаний, которых никто не выбирал», — говорится в письме.

К разработке внешнего контроля для ИИ нужно привлечь власти, считают авторы письма. Минимальный набор мер: создать особых регуляторов с большими полномочиями; отслеживать не только продвинутые ИИ, но и кластеры вычислительных мощностей; создать системы верификации и маркировки искусственно сгенерированного контента; создать системы аудита и сертификации ИИ; установить ответственность за вред, нанесенный ИИ; заранее продумать механизмы компенсации последствий его внедрения в экономике и политике.

Прецеденты «сдерживания» прорывных технологий есть, напоминают авторы письма, — клонирование человека, наследуемое редактирование генома человека, совершенствование вирусов и евгеника. «Мощные ИИ-системы должны разрабатываться только тогда, когда мы будем уверены, что их суммарный эффект положителен, а риски управляемы», — говорится в письме.

В ответ на открытое письмо в журнале Time опубликовал колонку американский исследователь ИИ Элиезер Юдковский, который последние 20 лет изучает экзистенциальные угрозы, связанные с появлением Artificial general intelligence (General AI, AGI), или общего искусственного интеллекта. Юдковский предупредил, что полугодовой паузы в разработках мало, чтобы предотвратить угрозы, которые ИИ несет человечеству. Он посчитал, что авторы письма недооценивают серьезность положения, в котором мы оказались.

По мнению Юдковского, наиболее вероятным результатом появления ИИ с разумом, превосходящим человеческий, будет то, что «буквально все на Земле погибнут». Исследователь предупредил, что искусственному интеллекту «безразличны мы и разумная жизнь в целом» и прямо сейчас разработчики нейросетей все еще далеки от того, чтобы наделить их обратным качеством.

В итоге исследователь предложил ввести бессрочный и общемировой мораторий на разработки ИИ, а если кто-то откажется вступать в договор и будет по-тихому разрабатывать нейросети, его дата-центры нужно будет уничтожить «путем воздушной атаки».

Алармизм или реальные угрозы?

Как так вышло, что в одну неделю буквально весь техномир заговорил об угрозах ИИ, о которых раньше говорили лишь немногие? На самом деле ничего удивительного в этом нет, считают все опрошенные The Bell эксперты. Главная причина — в невероятной популярности ChatGРТи и хайпа, который благодаря чат-боту от OpenAI получили генеративные нейросети.

Другая вероятная причина, которую также не стоит списывать со счетов, заключается в том, что шестимесячный мораторий дал бы некоторым разработчикам шанс догнать лидеров рынка. В этом смысле примечательно, что никто из руководства OpenAI подписывать открытое письмо не стал. Зато это сделал Илон Маск, который стоял у истоков OpenAI и даже пытался ее купить, а теперь собирается строить свою систему.

Но тот факт, что часть подписантов могут просто преследовать свои интересы, не означает, что рисков в дальнейшем развитии ИИ нет, признают собеседники The Bell.

Новые модели вроде той же GPT-4 демонстрируют все более сложное поведение — и происходит это гораздо быстрее, чем многие ожидали, объясняет сооснователь Intento и специалист по ИИ и анализу данных Григорий Сапунов. Так, согласно прогнозу сайта Metaculus (это сервис, который при участии экспертов и представителей техсообщества строит прогнозы на разные темы), еще в прошлом апреле после появления новостей о будущей GPT-4 срок создания AGI был перенесен с 2042 года на 2028-й. А теперь техносообщество и вовсе считает, что с общим ИИ мы познакомимся уже в 2026 году.

Основной страх внушает как раз то, что технологии развиваются быстрее, чем ожидалось, считает Сапунов. «Возможно, мы быстро преодолеем пропасть между текущими моделями и общим ИИ. И хотя самого по себе GPT-4 бояться не надо, уже эта модель ярко подсвечивает проблему: разработки OpenAI непрозрачны. Так же как будут непрозрачны и все новые версии, которые вскоре появятся», — объясняет эксперт. И, действительно, после релиза GPT-4 OpenAI отказалась публиковать исследовательские материалы, лежащие в основе новой модели.

При этом риски, которые несет в себе стремительно умнеющий ИИ, по всей видимости, всерьез воспринимают не только исследователи-алармисты: у той же OpenAI есть целый отдел, занимающийся исследованиями угроз AGI для человечества. Отделы AI Safety есть почти у каждой компании-разработчика генеративных нейросетей. Они занимаются, условно, защитой самого ИИ от атак извне — чтобы нейросеть не ругалась матом и не писала расистские комментарии (а к компании-создателю потом не предъявляли судебные иски), объясняет автор телеграм-канала RationalAnswer Павел Комаровский. А вот отделов AI Alignment, которые в обратную сторону занимаются защитой людей от ИИ, гораздо меньше. И OpenAI в этом вопросе как раз довольно прогрессивна. В ее пользу говорит и то, что несмотря на то, что GPT-4 была готова к запуску еще в середине прошлого года, компания не спешила с релизом, чтобы еще раз убедиться, что нейросеть еще не способна убежать от своих создателей в Интернет и начать жить там своей жизнью.

Однако отношение к экзистенциальным угрозам, о которых много лет уже пишет и рассказывает Элиезер Юдковский, в сообществе специалистов по машинному обучению в массе своей достаточно скептическое, признает Комаровский. Главная претензия разработчиков в том, что Юдковский — не практик, а теоретик и не понимает, как все устроено на самом деле, говорят собеседники The Bell. Cооснователь ИИ-стартапа QuickPose.ai и автор телеграм-канала Transformer Денис Волхонский так объясняет популяризацию темы экзистенциальных рисков ИИ: «Люди со стороны видят, насколько мощными становятся нейросети, и опасаются этого. Однако угроза уничтожения человечества от AGI, на мой взгляд, не очень реалистична».

В научном сообществе апокалиптические теории не очень популярны, добавляет Senior AI Research Scientist, автор телеграм-канала «эйай ньюз» Артем Санакоев. «Мы пока что очень далеки от AGI, который может навредить человечеству. И еще не факт, что путь развития, по которому идут сейчас генеративные нейросети, вообще ведет к появлению AGI». У нейросетей нет разума или мышления, они просто генерируют ответ на вопрос слово за словом (подробнее о том, как это работает, читайте здесь). «Просто некоторые из них делают это очень хорошо, потому что их разработчики смогли их хорошо обучить», — считает Волхонский.

Странности в поведении ChatGPT обсуждают не только профессиональном сообществе. Например, журналист The New York Times Кевин Руз во время теста чат-бота в поисковке Bing за два часа переписки с нейросетью дошел до того, что ИИ попросил называть его Сидни, сообщил о желании взламывать компьютеры, а потом признался в любви. А вдова из Бельгии утверждает, что ее муж покончил с собой после того, как шесть недель общался с другим чат-ботом — и именно разговоры привели к трагическому финалу.

Не без участия СМИ отношение к ИИ меняется — об этом говорит и появление того самого открытого письма, число подписантов которого за несколько дней выросло до 2,5 тысяч, и то, что власти разных стран начинают беспокоиться о слишком быстром развитии технологии. Так, Италия первой среди западных стран временно заблокировала ChatGPT, правда, не из-за угроз выживанию человечества, а из-за утечки данных, которая на днях случилась у OpenAI. «Хотя Юдковский в научном сообществе — скорее маргинал, польза в его выступлениях все же есть», — признает Санакоев: задуматься о том, что будет, если человечеству все же удастся создать AGI, конечно, стоит.

Что за риски

Так о чем именно предупреждают технопессимисты и исследователи, разделяющие их опасения? Главная проблема в том, что у разработчиков ИИ нет стопроцентно надежного способа контролировать то, что генерируют их модели. И тот же Юдковский считает, что разработчики уже упустили момент (он дает 90% вероятности), когда они еще могли придумать эти сдерживающие механизмы, объясняет специалист по машинному обучению и автор телеграм-канала «Сиолошная» Игорь Котенков. Это не значит, что, как только появится общий ИИ, человечество сразу окажется под угрозой уничтожения, но точно спрогнозировать, как именно будут развиваться события, мы тоже не можем.

Риски, которые могут последовать за появлением сверхчеловеческого искусственного интеллекта, многочисленны, считают сторонники такого взгляда на проблему. «Например, ИИ может под видом лекарства от рака сгенерировать формулу смертельного яда. Или по какой-то причине начнет психологически давить на пользователей — ведь AGI, обученный на огромном количестве данных, с такой задачей справится», — объясняет Котенков. Это все теоретические примеры, и их вероятности, скорее всего, малы, но сейчас не существует гарантий, что подобного не произойдет, добавляет он (больше сценариев того, как AGI может нас убить, описаны в схеме футуролога Алексея Турчина, а сами идеи взяты у все того же Юдковского).

Главная проблема заключается в том, что задать условия, при которых нейросети ни в каком случае не будут вредить человеку, нельзя, продолжает эксперт: «Непонятно даже, в каких терминах это можно сделать, как составить действительно исчерпывающий список правил, которые должна соблюдать модель. Но, даже если бы он был, мы не можем заставить нейросеть соблюдать его в 100% случаев. Это хорошо видно на примере той же GPT-4: сколько бы OpenAI не ограничивала ее, чтобы она не отвечала на провокационные вопросы, все еще остаются prompt (запросы для нейросети), при которых модель на них отвечает».

Именно из-за этой неспособности контролировать ситуацию человечество и может оказаться под угрозой, считают Юдковский и его последователи. Усугубляет ситуацию и то, что разработчики генеративных нейросетей пока не очень озабочены проблемой его защиты. На каждый доллар, потраченный на AI Alignment, приходятся сотни и тысячи долларов, потраченных на разработку, предупреждает исследователь: диспропорция слишком велика.

Однако экзистенциальные угрозы — не единственная потенциальная проблема, с которой предстоит столкнуться человечеству. Есть и куда более приземленные и прогнозируемые риски. Например, то, что уже в ближайшем будущем сотни миллионов людей во всем мире могут остаться без работы. Goldman Sachs оценил число занятых, на работу которых сильно повлияет ИИ, в 300 млн. Но положительное долговременное влияние технологий на мировой ВВП, по прогнозу аналитиков, составит 7%. В США и ЕС замене ИИ в той или иной степени поддаются функции 70% занятых. Самая большая доля заменимых функций — в управлении, офисе и разработке, минимальная — в ремонте, строительстве и уборке.

Впрочем, старое правило прорывных технологий — пропавшие рабочие места замещают созданные ими новые — тоже должно работать. Например, Bloomberg пишет, что prompt engineers — люди, научившиеся стимулировать языковые модели ИИ типа GPT-4 к выдаче интересного или релевантного контента, уже зарабатывают от $15 тысяч в месяц.

Среди других потенциальных проблем, которые ИИ несет устоявшимся рынкам и сферам, — угроза системе образования. В мире, где с помощью ChatGPT за пару часов уже пишут рефераты и дипломы, устоявшийся подход к обучению работать вряд ли будет, считает Волхонский. Также все еще большой проблемой остаются ошибки нейросетей: кто виноват и что делать со все большим числом фейков, которые будут плодить ИИ-сервисы, пока непонятно.

Но при всех опасностях неконтролируемого развития ИИ даже заморозить разработки получится едва ли и уж точно не во всем мире: соблазн для нарушителя моратория, будь то государство или компания, попросту слишком велик. Потенциал ИИ сравнивали с освоением ядерной энергии, которое дало человечеству и АЭС, и атомную бомбу.

Россию ждет еще больший набор проблем, чем ее конкурентов по разработке ИИ, говорят эксперты. Хотя в стране есть разработчики нейросетей — например, «Яндекс» или «Сбер» — догнать конкурентов из OpenAI у них вряд ли получится. У «Яндекса» сейчас обучена модель, схожая с той, что была у OpenAI в 2020 году, говорит Котенков. Скорее всего, компания разрабатывает и аналог модели 2022 года, но результатов пока нет — по крайней мере публичных.

Но теперь из-за войны в России уже не купить передовые графические процессоры (GPU), необходимые для обучения нейросетей. Это не значит, что нужного железа в России нет в принципе — просто у конкурентов есть доступ к процессорам, на которых обучать нейросети можно в 5–6 раз быстрее. А учитывая, что OpenAI показали тренд на закрытость исследований и другие разработчики могут начать поступать так же, то и использовать их опыт российские компании тоже больше не смогут.

Отдельная проблема в том, что OpenAI уже закрыла доступ к своим сервисам пользователям и компаниям из России. Это не значит, что получить доступ к ChatGPT в России невозможно в принципе, но возможность строить сервисы с помощью нейросетей американской компании в стране будет ограничена.

Чтобы не пропустить самое важное, подписывайтесь на наш Telegram-канал.