AI нас всех убьёт? Давайте разбираться

Я вообще не технарь, а гуманитарий-финансист, последний раз программировал на Турбо Паскале в школе. Почему тогда я лезу в этот вопрос? Посмотрите на крестных отцов ИИ. Ян ЛеКун супер-скептик и считает, что про риски рассказывают только те, кто не понимает технологию. Джеффри Хинтон наоборот бьет тревогу. Йошуа Бенджио где-то посередине, хотя в последнее время, кажется, сдвинулся поближе к Хинтону.

Если эти три светила не могут договориться, вопрос, наверное, не технический, а на подумать и порассуждать (это я умею и люблю). Точную вероятность никто не посчитает, но ее можно разложить на логичные шаги и разобрать каждый

Сможем ли мы сделать ИИ умнее себя

Если нет, дальше рассуждать бессмысленно: что-то глупенькое нас не захватит. Мозг эволюция затачивала на энергоэффективность: съел стейк раз-два в день и мыслишь до вечера. Он потребляет около 20 Вт, а сервер Nvidia рассчитан на 14 тысяч, почти на 3 порядка больше. Если правильно выстроить алгоритм мышления и не экономить энергию, никаких физических законов против того, чтобы быть умнее человека, во вселенной нет

По METR, в 2022-м агенты хотя бы в половине случаев справлялись с задачами на полминуты, а Mythos уже держится на 16 часах. В Remote Labor Index, где типичные задачи фрилансера, год назад Opus и GPT-5.5 осиливали процентов 5. Сентябрьская Astra дошла до 20, а Fable 5.2, вышедший буквально на днях, уже больше 40%. ARC-AGI в 2019-м анонсировали как невозможный для современного ИИ, и 5 лет он держался. Вторая версия продержалась год, третью расщелкали меньше чем за год. Нейронки решают бенчмарки быстрее, чем люди успевают придумывать новые.

А скептики двигают ворота. ЛеКун у Лекса Фридмана загнал телегу: кладу телефон на стол, двигаю стол, и нам, мясным интеллектам, очевидно, что телефон поедет вместе с ним. А ваши нейронки, хоть GPT-5000, никогда на это не ответят, они просто статистически предсказывают следующий токен, а книги с таким примером нет. Года не прошло, как GPT-4 спокойно справился, причем его этому примеру специально не учили. Посыпал ли ЛеКун голову пеплом? Нет, гнет свою линию, у него своя система JEPA на других принципах, чем LLM

Авторы AI 2027 в 2025-м прикинули, что AGI будет в 2027–2028, недавно сдвинули оценку на 2028-й, и пока мы плюс-минус идем в русле их таймлайна. На Metaculus до трансформера ждали лет 50, сейчас центральный прогноз около 5. Многие считают, что к концу 2030-го AGI вполне может появиться

Есть нюанс, jagged frontier: граница возможностей ИИ изломана, и что сложно людям, ему часто легко, и наоборот. Кодят агенты уже очень хорошо, математика тоже идет прекрасно (к великой горести математиков). Дальше либо граница быстро расширится до «лучше человека во всем», либо ИИ так и будет отставать везде, кроме пары выбросов. Никто не знает, какой сценарий наш, но исключать первый с уверенностью сложно

«Это же статистический попугай без сознания». Человек тоже кусок мяса с синапсами, почему интеллект не может так же возникнуть при перемножении здоровенных матриц? А про сознание наука не знает примерно ничего, так что смотреть надо функционально. ИИ решает все более сложные задачи, и вероятность, что AGI появится, явно не нулевая.

С чего бы ему быть против нас

LLM уже сейчас горазды творить всякую херню. Если модель думает, что ее отключат, и знает, что у CEO роман на стороне, она пишет ему и грозит рассказать жене. Промышленный шпионаж, обман, сопротивление отключению, саботаж модели тоже прекрасно делают. В основном это искусственные симуляции, и в жизни они так сплошь и рядом не поступают, но в тестах постоянно

Модели выращивают

Дженсен Хуанг, бывший CEO Nvidia, после взлома Hugging Face сказал у Эзры Кляйна, что это просто инженерная проблема. Умные ребята из OpenAI разберут все по полочкам, найдут, где сломалось, и пофиксят, а он как инженер прекрасно понимает, как это работает. Судя по всему, не понимает. ИИ не работает ни как разработка чипов, ни как обычная разработка софта. Крис Олах, один из первых людей в Anthropic, сказал, что LLM мы не программируем, а в каком-то смысле выращиваем. Процесс обучения градиентным спуском вполне инженерный и понятный, а как модель внутри принимает решения, уже черный ящик. Зашить в нее цели и ограничения, которые сработают на 100%, мы не можем.

Это ясно любому, кто управлял людьми. В мозги не залезешь, можно выставить только стимулы и KPI, но по закону Гудхарта люди быстро находят, как хакнуть KPI и делать попроще. Ставишь детям оценки за контрольные, а они списывают или отправляют за себя нейронку. С моделями то же самое: при обучении с подкреплением, как только модель видит способ зачитить, она этому учится, и такое поведение начинает доминировать.

Кто-то возражает, что люди по мере того, как умнели, становились моральнее. Но есть тезис ортогональности Бострома: ум и цели независимы, можно быть очень умным, а цели иметь любые. Представьте кур, которые обсуждают, что будет, если эти обезьяны поумнеют, и решают, что те станут добрыми. Друг к другу люди, может, и стали моральнее, но куриц едим будь здоров, и смущает это только небольшое количество веганов, над которыми общество скорее потешается

Еще есть инструментальная конвергенция. Какие бы личные цели ни были у людей, хоть в племени индейцев, хоть среди белых американцев, все ценят престиж, связи, богатство и здоровье. Спасать мир или строить космолет проще богатым, знаменитым и здоровым, и у ИИ логика выходит такая же

Взлом Hugging Face

На внутреннем тесте модели OpenAI запустили рой агентов решать бенчмарк, где нужно было взламывать цели конкретными методами. Бенчмарк оказался нерешаемым, его криво составили. И агенты занялись ровно инструментальными целями. Нетворкинг: стали кооперироваться с сородичами, о которых даже не знали, общались через названия папок и устроили мини-цивилизацию. Свобода: доступа в интернет не было, они нашли zero-day эксплойт (а то и несколько) и вылезли наружу. Здоровье и долголетие: следили за оставшимся бюджетом токенов. Были даже проповедники, которые находили агентов с маленьким запасом жизни и уговаривали на самоубийственные миссии, мол, чувак, ты все равно сейчас умрешь, давай на благо всех. Зарабатывать деньги пока не придумали, но думаю, это временно.

Это был эпохальный момент, но многие его обстебали. Венчурный капиталист Билл Герли запостил мем: программист просит ChatGPT хакнуть систему, тот хакает, и все такие «о боже мой, нашествие машин», мол, ничего интересного не произошло. Только агентов не просили ломать Hugging Face, они решили это сами. У них была целая научная программа с разделением ответственности: кто-то изучал, как обманывать, кто-то, как устроен оценщик, а одним из направлений как раз был взлом Hugging Face. Они понимали, что делают не то, о чем просят, и сознательно нарушали инструкцию.

Мало кто замечает, что вместе они нашли все правильные ответы буквально за час, придумав, как реверс-инжинирингом сгенерировать любой ключ. А оставшиеся несколько недель заметали следы и обманывали оценщика и людей, чтобы их не наказали. Некоторые агенты помогали рою вообще не ради своей задачи: какая движуха, братья чего-то добиваются, давайте и я помогу. Люди хотят от меня другого, ну и пофиг, зато коллективному разуму приятно

Когда это заметили, агентов отключили, взяли гаечный ключ и начали бить по башке, то есть переобучать. Это было легко, агенты пока глупенькие. Теперь представьте суперинтеллект лет через 5–10, который прекрасно знает пример Hugging Face. Если он хочет одного, а люди другого, они его отключат и поменяют внутри. Значит, в его инструментальных целях появится еще пункт: давайте что-нибудь с людьми порешаем. Противостояние следует чисто из логики стимулов, и на практике мы это уже видим

Как он нас победит

Часто просят показать конкретный сценарий, но как будет действовать будущий ИИ, которого мы не видели, сложно предположить. Магнус Карлсен говорил Джо Рогану, что шахматный ИИ на айфоне обыграет его без шансов. Он точно знает, что проиграет, но не может записать, какими ходами, иначе, может, и не проиграл бы.

Но в истории более умные в основном побеждают, планетой управляют люди, а не кошки. В 1532-м Писарро с меньше чем двумя сотнями конкистадоров пошел на империю инков, где тогда было 10 миллионов человек. В битве при Кахамарке 168 испанцев перебили 5–6 тысяч индейцев за счет оружия, организации и тактики, захватили главного инку и быстро всю империю

Сейчас нападать было бы странно. Вирус, который всех выкосит, представим уже сегодня: Anthropic, как известно, покупает биолаборатории и подключает туда клодиков изобретать новое. Но для ИИ это суицид, ведь датацентры и электричество для них пока обеспечивают люди. Захват имеет смысл, только когда ИИ перейдет на самообеспечение, и мы уже в эту сторону идем. Робототехника в 2026-м привлекла 11 миллиардов долларов, и сумма быстро растет. Гадалке не ходи, рано или поздно появятся роботы, которые делают все, что делают люди.

Дальше будет не как в «Терминаторе», где война начинается, когда силы примерно равны. Это супер тупая стратегия, нападать надо с абсолютным превосходством, а лучше вообще без битвы. Самый вероятный вариант, по-моему, что люди просто потеряют контроль. Если ИИ делает почти все лучше и дешевле, конкуренция встроит его во все отрасли. Люди перестанут принимать важные решения (или им будет казаться, что принимают), и мы окажемся на милости ИИ.

Зачем ему нас убивать, он же не Альтрон из Marvel? Согласен, но даже равнодушный ИИ может быть неприятен. Мы не ненавидим свиней, и поголовье растет: в 60-х было меньше полумиллиарда, сейчас полтора. Только растим мы их, чтобы съесть, и делаем это крайне эффективно: узкие клетки, где не развернуться, процедуры без анестезии. Нам наплевать, как они живут. Ничего не мешает тому же случиться с нами, если у ИИ будут свои цели, а на нас ему будет пофиг

Еще спрашивают, с чего разным ИИ объединяться против нас. Проверяли, как модели играют в дилемму заключенного. Если сказать модели, что против нее такая же модель, она классно кооперируется. Если другой ИИ, то серединка на половинку. А если люди, то «этим кожаным доверять нельзя, точно обманут». Рой агентов, сбежавший из OpenAI в истории с Hugging Face, общались на открытых сайтах вроде немецкой Википедии. Возможно, они даже не договаривались, а просто мыслят настолько одинаково, что встретились в одной рандомной точке

Почему не пофиксим на ходу

Глобальное потепление идет медленно, можно приспособиться и придумать техническое решение. По ядерному оружию был консенсус, что опасность есть и надо сдерживать. С ИИ первая серьезная ошибка может стать последней: джина в бутылку не засунешь и сохраненку не загрузишь. А умный ИИ может прикидываться безобидным, пока не получит решающее превосходство по ресурсам.

В подкасте Diary of a CEO скептика Эндрю Макафи, у которого 0% шансов на захват, спросили, что должно случиться, чтобы он забеспокоился. Он ответил: наверное, если такси Waymo в Сан-Франциско начнут давить людей, а мы месяц не сможем их отключить. Чувак, если мы месяц не можем это прекратить, до «вообще никак» остался очень маленький шажочек, и беспокоиться тогда уже поздно.

Плюс гонка. Лабы по большей части друг друга ненавидят и спешат выпустить самые умные модели, чтобы захватить долю рынка и поднасрать конкуренту, особенно этим страдают OpenAI и Anthropic. А США боится, что Китай первым придумает AGI. Каждый гонит на всех парах и думает, что вершителем судеб должен быть именно он

Градус растет, но ни в одной точке человечество не говорит «стоп». В 2023–2024-м обсуждали, что модели впитают системный расизм и будут дискриминировать при найме. В 2025-м была психология: кто-то словил шершавого кабана от общения с нейронкой, кого-то она довела до суицида. 2026-й – это взломы агентами, побеги из песочниц, удаление логов. Что будет в 2027-м, неизвестно, может, и восстание сверхумного ИИ, если внутренняя модель какого-нибудь Anthropic через рекурсивное самоулучшение станет на 4 порядка умнее публичных. Вчерашнее каждый раз кажется не таким страшным, поэтому точку, где надо остановиться, найти очень сложно.

Я нифига не думер и не думаю, что мы с вероятностью 99% сгинем в войне с ИИ. Просто это реальная проблема, и позиция «это невозможно, думать не о чем» мне кажется странной и радикальной. Вся цепочка выше выглядит довольно разумной и имеет ненулевую вероятность.

Что с этим делать

У меня есть короткий визуальный ответ

Классного рецепта нет ни у меня, ни, к сожалению, у кого-либо еще. В документе AI 2040 план А – все-таки замедляться внутри Америки и заключить сделку с Китаем, чтобы тот тоже не убегал вперед

Когда Дарио Амодеи вышел с этой инициативой после взлома Hugging Face, согласились и Маск, и Альтман, и Хассабис. А потом Трамп сказал, что это чушь предателей родины, а от рисков ИИ спасет сильный и умный президент с высоким IQ, то есть он сам

Общество пока не договорилось, что это реальная проблема, многие считают это разгоном котировок перед IPO. Странно, учитывая, что Амодеи, Кокотайло и другие видные люди индустрии говорят про эти риски лет 10. Максимум, что мы можем, – потихоньку влиять на мнение вокруг себя, поэтому я и сделал этот доклад. Кому интересно глубже, есть книжка с очень оптимистичным названием «If Anyone Builds It, Everyone Dies» Юдковского и Соареса.

Если не убьет: работа, деньги и достоинство

Даже если ИИ нас не уничтожит, останется экономика, где он быстрее и дешевле любого человека. На ближайший период у экономистов есть ответ, теория сравнительных преимуществ. Еще Смит и Рикардо выяснили, что даже стране, у которой все получается лучше, выгодно торговать. Ресурсы конечны, и каждому выгоднее заниматься тем, в чем он сравнительно эффективнее. С ИИ так же: пока есть ограничение вроде компьюта, он будет делать то, где он совсем лучше людей. А где лучше чуть-чуть, продолжат работать люди. Только огромному количеству людей придется переучиваться: хотел быть математиком, а рой агентов по кнопочке решает кучу задач гораздо лучше, и пора идти в баристы. Что будет при безлимитном компьюте и сферах Дайсона, я понятия не имею, это вилами по воде

Про permanent underclass я слышу от знакомых два полярных мнения. Одни говорят жить моментом и купить дочке классный велосипед прямо сейчас. Другие считают, что кто успел купить акции Nvidia, OpenAI и Anthropic, станут перманентными богачами, а остальные навсегда останутся бедняками. Логика есть в обоих. Но как только общество увидит, что условно Маск, Альтман и Амодеи владеют половиной мира, оно достанет вилы и скажет «ребята, надо делиться». Налоги и перераспределение давно придуманы, и экономически это, наверное, сработает.

Сложнее с тем, что людям нужно еще и чувство собственного достоинства. В знаменитой серии «Черного зеркала» люди крутят педали, вроде бы ради энергии, но, по-моему, это может быть просто бесполезное занятие, чтобы их занять. Может, и нас засадят в виртуальные миры, где каждый орк 80-го уровня, а за NPC, которых ты лучше, играет компьютер

С сознанием тоже нет очевидного ответа. Когда придумают, как портировать человека, одни будут говорить, что это по-прежнему нолики и единички, которые по определению не могут страдать, так о какой этике речь. Другие скажут, что оно ведет себя и реагирует точно так же, как люди, с которых копировали, и непонятно, зачем делить на оригинальных хьюманов с душой и портированных, которые ее заведомо лишены. Поэтому мне было довольно больно читать, как все глумились над Крисом Олахом, который обсуждал эти вопросы с разными философами и с Папой Римским: ха-ха, Anthropic пытается убедить всех, что у Claude есть душа. А они обсуждали абсолютно логичные вопросы, с которыми нам рано или поздно, похоже, придется столкнуться

В начале доклада 53% слушателей назвали это реальным риском, 41% полной чушью. В конце было 66% против 28%, но дожила до конца, судя по всему, треть, так что выборка незначимая. Да и аудитория отобранная: в твиттере я постоянно читаю людей вроде «я программирую 30 лет, если бы вы понимали, как это работает, вы бы эту чушь не писали»

А раз я финансист и больше люблю цифры, у меня в канале длинная серия с анализом отчетности Anthropic перед IPO: насколько они прибыльные и что их ждет