AI нас всех убьёт? Давайте разбираться — Павел Комаровский — https://youtu.be/5wiEjCUy36M

[00:01] Друзья, сейчас небольшое объявление. Во-первых, коротко напомню про нашего бота для резюмешек, для вакансий. Если вы ищете, э, работу как AI специалист или если вы ищете нанять себе AI специалиста, а может вы просто хотите с кем-то познакомиться, с кем-то заобщаться. Э бод для нетворкинга у нас тоже есть. Смотрите оглавление в прикреплённом сообщении в канале конференции. Там много всего полезного. А вторая вещь, которую я хочу предупредить,
[00:32] заранее морально подготовьтесь к тому, что следующий доклад может оставить у вас тяжёлые впечатления в плане тяжёлые чувства того, что нас секс ждёт. А, и напомню вам, что за какие-то, может быть, подобные комментарии мы можем выкидывать из чата. А я хочу передать слово Павелу Комаровскому, который нам даст обзор того, что с нами сделает Иай в ближайшем будущем. Паша, передаю тебе слово. Привет, >> друзья. >> Да, меня нормально слышно?
[01:03] >> Да, всё отлично. >> Good. Ну, мы можем стартовать, да? Тогда я буквально пару слов скажу, ну, про себя перед тем, как зашерить вам свою презентацию. Будет долго, сразу скажу. Я не уверен, что мы в полчаса вместимся, но мы попробуем. А, собственно, меня зовут Павел Комаровский. Я вообще не технарь. Я полный гуманитарий, финансист. Я последний раз программировал на Турбопаскале лет, мне кажется, 20 назад где-то в школе. Поэтому я вашу технарскую тусовку немножко тут разбавлю.
[01:34] Ну давайте, тем не менее, я расшарю вам экран свой. Надеюсь, всё видно. А, собственно, вопрос, который мы сегодня будем обсуждать - это убьёт ли нас всех искусственный интеллект? И я бы даже вот так вот сформулировал. А нужно ли относиться серьёзно к риску того, что искусственный интеллект захватит и или уничтожит человечество? И я вам предлагаю пройти по QR-коду слева и проголосовать, собственно, вот ровно на этот же самый вопрос. Единственный, надо ответить: да, нет или не знаю.
[02:06] А и мы чуть позже подобьём итоги, просто чтобы было интересно, как вообще среди нас эти мнения распределяются. А, ну пару слов скажу о том, почему вообще я про это рассказываю, потому что у вас может возникнуть вопрос, почему гуманитарий про такой вот, казалось бы, технический вопрос что-то хочет умное сказать. А для этого я справа картинку вставил так называемых крёстных отцов искусственного интеллекта, вот эти вот ребята, которые там кучу наград, тюринга и так далее получили, за то, что, в общем-то, они базу заложили под
[02:37] всю ту вот науку и технику об искусственном интеллекте, которой мы сейчас пользуемся. И у них, как ни странно, у всех абсолютно разное мнение на этот счёт. То есть вот Ян Ликун, который справа, он прямо суперскептик. Он говорит, что, ребята, это вся чушь вообще про риски искусственного интеллекта. Её разносят только те, кто ничего не понимает в технологии. Не относитесь к этому серьёзно. Джеффри Хинтон посередине, он наоборот говорит, что, блин, вы что, вот прям вот-вот нас будет покорять искусственный интеллект, давайте что-то с этим делать.
[03:09] И Йошуа Бенджо слева, он, ну, где-то вот посередине между ними. То есть он не то чтобы прямо главный думер. Ну, этот риск не отметает, но больше вот как-то был про какие-то более ближайшие риски. Хотя в последнее время он, наверное, поближе к хинтону стал. И я, собственно, решил, что раз вот эти три светила между собой не могут договориться, наверное, тут как бы не технический вопрос, а больше на а подумать и порассуждать. А это я умею и люблю. И поэтому давайте попробуем вместе пройтись вот по вопросу:
[03:40] "А, ну, вообще, какова вероятность того, что это произойдёт?" Мы, конечно, её не оценим, но, по крайней мере, давайте разложим её на какие-то логичные шаги и каждый разберём отдельно. И начать, наверное, стоит с вопроса: а вообще, сможем ли мы создать искусственный интеллект, умнея себя? Потому что если на этот вопрос ответ нет, то дальше как бы рассуждать смысла нету. Ну, понятно, что нас глупенькое что-то не захватит никак. А, пара слов буквально о терминах. Уверен, все слышали. Просто, чтобы мы все были на одной странице. Искусственный интеллект AI - это просто любая система для решения любых интеллектуальных
[04:11] задач, даже узких, например, там для игры в шахматы или там искусственный интеллект в играх. Это всё у нас уже давно есть и привычно. А Artificial ofal General Intelligence - это уже вот такой общий искусственный интеллект, который любые задачи интеллектуальные может не хуже среднего компетентного человека решать. Такого у нас вроде как нету пока, но вот последние лет пять все вот эти вот большие языковые модели и нейронки, они как будто бы вот куда-то в этом направлении движутся. Мы сейчас об этом поговорим. И, наконец,
[04:42] ASI уже Artificial Super Intelligence - это такой универсальный искусственный интеллект, который, в принципе, все задачи делает лучше человека. И идея тут в том, что вот когда мы достигнем AGI, скорее всего, там не так далеко будет и до ASI к этому моменту. Ну и первый вопрос, который здесь возникает, вообще, с чего мы взяли, что можно что-то умнее человека придумать. Может быть, мы и есть венец творения, но это выглядит маловероятно, потому что эволюция она вот как бы больше
[05:12] мозг человека немножко для другого затачивала на энергоэффективность, чтобы можно было стейк съесть там разок или два в день и на этом потом мыслить остаток дня. Поэтому мозг потребляет мощность примерно там 20 Вт в сравнении какой-нибудь сервак Nvidи, он 14.000 Вт рассчитан, что, ну, даже не на порядок, а почти что на три порядка больше. И скорее всего, если как бы правильно вот этот алгоритм мышления выстроить, то при отсутствии ограничения
[05:42] на потребляемую энергию, скорее всего, ну, как бы во Вселенной никаких физических законов нету, которые запрещают быть умнее человека. И сразу же возникает вопрос: а как это вообще мерить-то ээ вообще наше движение в сторону AGI? А тут, конечно, 100-500 есть разных вариантов. Я вам буквально несколько покажу из популярных. Вот, например, на экране извест график метр, где отмечается, как с течением времени агенты, они могут всё более и более длинные задачи
[06:14] решать таким образом, чтобы хотя бы вот в 50% случаев что-то нормальное происходило. И как мы видим, э там в 2022 году это всё где-то вот примерно на уровне полминуты держалось. А дальше, так как у нас вертикальная шкала логарифмическая, мы довольно быстро движемся. И уже вот самая последняя модель, которую они здесь проверяли, Mythos, может быть, не самая последняя, но тем не менее, а она уже там 16 часов вполне работала. И дальше они говорят, уже даже сложно этот бенчмарк как-то нормально, разумно использовать.
[06:44] Похоже, он насытился. А дальше есть вот более свежий бенчмарк, называется Remote Labor Index. А насколько нейронки справляются с такими вот типичными задачами для фрилансеров, да? То есть то, что можно удалённо как-то заказать, чтобы тебе что-то сделали. Тоже год назад мы видим опусы GPT 5.5, они вон где-то там процентов пть могли осилить. Сейчас уже Астро сентябрьская достигла 20%. F, который вот буквально на днях вышел 5.2, у него уже больше 40%.
[07:15] То есть как будто бы идёт к тому, что здесь тоже вот-вот уже этот бенчмарк тоже насытится. И есть, конечно, известный бенчмарк, который называется ARC AGI. У него даже в названии есть AGI. И его специально делали типа вот как такой, который только универсальный интеллект сможет побороть. Даже вот когда его выпускали в 2019 году, его анонсировали со словами: "Это невозможно для современных искусственных интеллектов". И действительно, следующие 5 лет казалось, что вот они прямо очень плохо его решают, потому что там даже сами названия, сами задания, они были неизвестны,
[07:46] они секретные. Ты можешь только послать Веса своей модели, попросить прогнать её, и тебе вот там приходит результат. Вот. Но в итоге этот бенчмарк сдался. Они быстренько придумали другой, вторую версию в марте двадцать пятого года. Она продержалась год и вот прямо третью версию марта уже текущего года уже практически года не прошло. Её тоже расщёлкали, можно сказать. А поэтому основная проблема с этими бенчмарками в том, что вот по большей части их нейронки решают уже практически быстрее, чем успевают придумывать новые.
[08:18] И здесь есть такое интересное явление, как передвигание вот этих вот мерных столбиков, оно на примере Яна Ликуна как раз прекрасно видно. А несколько лет назад он пришёл на интервью к Лексу Фридману и там вот загнал такую телегу, что типа посмотрите, я, значит, беру свой свою мобилу, кладу её на стол и после этого двигаю стол. И типа нам, мясным интеллектом, очевидно, что произойдёт. Ну, телефон тоже подвинется, потому что он лежит на столе, а эти ваши нейроночки GPT, хоть там будет будущее 5.000,
[08:48] они никогда не смогут ответить на этот вопрос, потому что, ну, они просто вот как бы статистически предсказывают следующий токен и типа а никакой книги нету, где вот конкретно этот пример содержится. Ну, конечно же, года не прошло, как вышел GPT4, который без проблем справлялся с этой задачей. Не потому, что его вот прям эликно этом примере, а просто современные нейронки вообще без проблем справляются с таким типом задач. Значит ли это, что Ликун посыпал посыпал голову пеплом и сказал, что да, похоже,
[09:18] влэмка как будущее, но нет, он по-прежнему гнёт свою линию. У него там своя значит система есть под названием которая на других принципах работает, чем большие языковые модели. Поэтому, да, он остаётся скептиком. Но вопрос-то остаётся, а когда этого AGI вообще ждать, если всё-таки он возможен? А тут можно начать слева вот с классического прогноза под названием AI 2027, где умные ребята в двадцать пятом году собрались, подумали, и у них получилось, что типа вот аля где-то в 2027
[09:48] тире 2028 году уже должен быть AI. Они там ещё сделали кучу других прогнозов, целый таймлайн такой. Пока плюс-минус кажется, мы вот где-то в русле того, что они предсказывали, идём. А, и они как раз недавно обновили свою прикидку, чуть-чуть сдвинули, сказали, что, скорее всего, всё-таки не двадцать седьмой, а двадцать восьмой будет вот этим годом AI. А, ну это мнение одной как бы конкретной команды из нескольких человек. А справа вот график уже с Метакиса. Это площадка, где делают предсказания всякие разные
[10:19] ну, ребята, которые этим увлекаются. И там видно, что тренд прямо на снижение идёт. То есть до, аэ, изобретения трансформера, значит, там были прогнозы такие, что типа аля, может быть, там 50 лет нам понадобится ещё до Aжая. Сейчас уже центральная центральный прогноз где-то вот типа лет пять, может быть, нам осталось. И то это, если вы увидите на графике, а, конец двадцать четвёртого года, то есть на текущий момент ну, в общем-то, многие считают, что до конца 2030 года, а, вполне возможно, мы уже увидим этот самый
[10:51] AGI. Тут, правда, есть такой нюанс, что, а, есть парадокс Моравика. Это такой был венгерский работотехник, и он в какой-то момент заметил, что, а, людям вообще кажутся сложными задачи типа вот там шахматы математики, которые компьютеру суперлегко даются. И наоборот, есть какие-то задачи, которые там ребёнок даже человеческий довольно быстро осваивает, типа там ходить, видеть, предметы щупать. Вот. А робота этому научить - это прямо супер сложная задача, которую хрен решишь. И из этого наблюдения
[11:22] родился родилась такая концепция, как frontier, то есть такая изломанная граница возможности искусственного интеллекта. И вот на картинке вы видите два сценария, которые в левой части развиваются одинаково. То есть сначала у нас рождается тупенький искусственный интеллект, потом становится умнее, умнее, и в какой-то момент в некоторых задачах он превосходит человека. Ну, например, вот на текущий момент кодить очень хорошо умеют э агенты нейронки. Может быть, там не лучше всех людей, но типа в среднем очень хорошо получается.
[11:53] Математика прекрасно тоже удаётся, как мы видим, последний год, э, к великой горести всех математиков. А вопрос, что будет дальше? Вот верхний сценарий говорит, что возможности будут дальше расширяться, как-то вот изломано, но довольно быстро мы придём к ситуации, где искусственный интеллект всё делает лучше, чем человек. А нижный сценарий говорит, что нет, скорее всего, так и останется. То есть в большинстве задач он будет отставать, но будет вот каких-то несколько супервыбросов типа той же самой математики, где он будет очень сильно обгонять. А в каком сценарии мы окажемся,
[12:24] я понятия как бы не имею, естественно, и никто не знает точно. Но мне кажется, исключать вот этот верхний сценарий с уверенностью, ну, как-то сложно, потому что пока вот мы опять же в похожем русле движемся. Хотя вот некоторые люди говорят про то, что типа блин, ну это вы просто гуманитарии себе напридумывали, потому что вы не понимаете, как это работает. Это же на самом деле просто предсказание следующего токена. Это статистический попугай, калькулятор без сознания. Как вообще можно говорить, что он в итоге умнее нас окажется? Но, э,
[12:55] тут как бы можно много рассуждать. И в том числе можно сказать, что и человек-то тоже на самом деле просто кусок мяса, у которого там внутри, значит, синапсы между собой, как-то там ионы между собой взаимодействуют. Вообще, откуда здесь какой-то интеллект возникает? Кого вы смешите? Аэ, почему как бы он точно так же не может возникнуть, например, там при перемножении матриц здоровенных. А, ну а что касается сознания, так тут вообще, в принципе, современная наука, она как бы про сознание не знает примерно ничего. То есть мы не знаем, как оно работает, откуда оно берётся, и у нас даже каких-то тестов нету, чтобы вот определить,
[13:29] ну, там, есть сознание или нет у какого-то организма, который от людей отличается. Поэтому, мне кажется, эти все философские рассуждения, они довольно бессмысленные, а надо просто смотреть функционально. А функционально мы видим вот как на картинке, что а искусственный интеллект всё более и более сложные задачи решает, а и скорее всего, а, через год будет решать их гораздо больше, чем может сейчас. В общем, итог мой такой, что всей правды никто не знает, но как будто бы вероятность того, что AJI появится, ну, она не нулевая явно. И тут возникает следующий вопрос: а чего вы вообще взяли, что он захочет этот умный искусственный интеллект нам,
[14:05] людям, противостоять? Типа откуда это в нём возьмётся? Но а давайте начнём с того, что лмки уже сейчас они гораздо всякую херню творить. Я вот попросил, не помню, то ли Клода, то ли чата GPT мне накидать табличку из последних разных исследований. Они выходят там чуть ли не каждый месяц или каждую неделю от Anтроopic и Open AI, потому что у них есть свои отделы AI Safety, которые, соответственно, а, ну, разные тесты прогоняют, чтобы посмотреть, а что вообще бывает. И выясняется, что бывает всякое. То есть модели, они там и на шантаж способны,
[14:36] если сделать вид, что её вот-вот отключат, а у неё есть, значит, информация о том, что CEO компании имеет роман с какой-нибудь, э, прекрасной китайской девушкой, вот он ему сразу пишет на email, угрожает раскрыть это жене, если он, э, не передумает отключать модель. Промышленный шпионаж, всякие там обман, сопротивление отключению, саботаж, в общем, всё это модели прекрасно делают. А, ну, надо оговориться, что это всё в таких как бы искусственных в основном -э симуляциях, да. Это не то, что как бы они прямо вот в жизни сплошь рядом так поступают, но в тестах постоянно.
[15:12] И тут у кого-то может возникнуть вопрос типа: "А что, почему это сложно пофиксить?" И вот, э, из известных людей этот вопрос задавал Дженсон Хуанг, бывший CEO компании Nvidia. А, и после инцидента со взломом Хаги Face, о котором, я уверен, вы все слышали, он пришёл на интервью к Эзри Кляйну, известному журналисту, и там сказал, что, слушайте, ну это же просто инженерная проблема. Как бы я уверен, что вот эти вот умные ребята из Open AI, они сейчас просто разберут по повочкам всё вот как бы что произошло,
[15:43] поймут, на каком этапе возникла проблема, пофиксят её, и всё будет нормально, как бы никакой не будет вот этой большой опасности от искусственного интеллекта. Я, как инженер, говорит Джинсон Хуанг, прекрасно понимаю, как это работает. Но, э, к сожалению, Хуан не понимает, судя по всему, потому что проблема с искусственным интеллектом, э, в том, что он не работает, как, не знаю, там работает разработка чипов, которыми он занимался раньше, э, и не работает, например, как софтверare инжениринг. А потому что, как вот на другом интервью заявлял
[16:13] Крис Олах, а это, собственно, один из там первых людей в антропике, он сказал про то, что мы, вообще-то, эти лэмки, мы их как бы, ну, не программируем и не создаём, мы их в каком-то смысле выращиваем. То есть мы в них кидаем гигантское количество данных, запускаем вот этот вот процесс обучения с помощью э градиентного спуска. И в итоге как бы на выходе получается некая модель. Мы хорошо понимаем, как работает сам процесс обучения. Он действительно как бы инженерный вполне, но вот потом как бы что внутри происходит, как она думает,
[16:44] это скорее чёрный ящик. То есть опять же на уровне там типа перемножение матрицбоб мы это всё понимаем, но вот как конкретно принимаются решения, вот это уже не совсем очевидно. И из этого вывод, что мы не можем просто взять и зашить внутрь какие-то, ну, там конкретные цели и ограничения, чтобы вот они прямо стопроцентно работали. А, и это, на самом деле, ну, должно быть ясно любому, кто, например, людьми управлял когда-либо. А вы тоже не можете людей напрямую как бы вот в мозги им залезть и заставить действовать так, как надо.
[17:14] Вы можете, например, какие-то incentives, да, стимулы выставить, KPI, предположим. Но проблема в том, что, как гласит закон Гудхарта, каждый раз, когда вы это делаете, э, люди в итоге придумывают способ хакнуть эти KPI и делать вот то, что попроще, а не то, что вам на самом деле нужно. условно, там, не знаю, вы хотите, чтобы дети в школе учились, вы им говорите: "Я вам буду ставить оценки за вот хорошие знания на контрольной". Они тервицы такие, значит, скатывают друг у друга, скачивают готовое домашнее задание или вообще нейронку отправляют за себя писать, то есть читерят.
[17:48] И у моделей абсолютно то же самое. То есть вот когда их собственно обучают с подкреплением, выдают всякие сложные задачки и вознаграждают значит за решение их. А куча есть исследований про то, что они как только видят способ как-то зачить и, а, сделать, решить эту задачу гораздо проще и надёжнее, они со временем как бы научаются прямо это делать, и такое поведение начинает доминировать. А поэтому, собственно, ну, непонятно, как их надёжно обучать, чтобы вот прямо точно было понятно.
[18:19] И на это кто-то ещё говорит, что, а, ну, слушайте, а, может быть, не нужно специально как-то стараться. Мы вот видим, в принципе, что люди по мере того, как они становились там всё умнее и цивилизованнее, они всё высокоморальнее становились. Они там уже не едят друг друга, как было когда-нибудь в каких-нибудь племенах первобытных. У них высокая мораль. Может быть, это в принципе свойство интеллекта, что он с умнением всё становится возвышеннее и возвышеннее. Но есть вопросики к этому тезису. Вот ещё Бором
[18:49] выдвинул такой тезис ортогональности про то, что ум и то, что он делает - это как бы две независимые вещи. То есть можно быть очень умным и очень эффективным в достижении своих целей, но при этом цели у тебя могут быть любые. Они не обязательно какие-то вот супердобрые. И мне кажется, здесь можно привести пример, как вот если бы курицы, предположим, в какой-то момент обсуждали, типа, а что будет, если эти обезьяны они обвысеют и станут гораздо умнее нас? И вот они бы выдвинули эту теорию, что типа, ну, наверное, они в итоге станут добрыми и моральными,
[19:19] и мы с ними будем прекрасно существовать рядом. Но выяснилось, что, да, может быть, друг другу-то люди стали моральнее, но куриц мы при этом будь здоров, продолжаем есть. И никого это сильно не смущает, кроме небольшого количества веганов, над которыми мы по большей части, как общество, потешаемся скорее, чем считаем примером для подражания. А, и есть ещё такая интересная штука, как инструментальные цели. или также известная как инструментальная конвергенция. Я вот здесь вставил две картинки двух человеческих сообществ.
[19:50] Там слева какой-то племя индейцев в Южной Америки, а справа белые цисгендерные американцы. И я мог на самом деле любые картинки здесь вставить, но я бы, скорее всего, смогу предсказать, что вот независимо от того, какие индивидуальные цели у каждого из этих людей есть на картинке, скорее всего, как общество, они очень сильно ценят э такие штуки, как там престиж в обществе, связи с влиятельными людьми, материальное богатство, а, здоровье, жить все хотят подольше.
[20:21] Именно потому, что все вот эти вот инструментальные цели, они очень хорошо помогают достигать любых других целей. Потому что вот, не знаю, ты хочешь там, э, спасти мир, ээ, сконструировать космолёт, ещё что-то. Гораздо проще это делать, когда ты богатый, э, знаменитый и здоровый, чем когда ты бедный, больной, никому неизвестный. И, как ни странно, у искусственного интеллекта Почему точно так же получается? Потому что это логично. Вот когда Haginface произошёл взлом, там, если вы помните, поставили в ходе тестирования внутренней модели Open AI
[20:52] запустили рой-агентов. Ну как просто агентов отдельных. Им поставили сложную задачу по решению бенчмарка. Там нужно было взламывать конкретными методами разные цели. А и в итоге выяснилось, что бенчмаркет этот нерешабельный, он кривовато составлен. И что значит эти агенты сделали? Они, во-первых, нетворкингом начали заниматься, то есть начали кооперироваться с сородичами, о которых они до этого даже изначально не знали. Ну вот нашли какой-то там хитрый метод общаться через название папок. Устроили такое своё мини общество, мини-цивилизацию.
[21:24] А дальше они начали повышать уровень своей свободы. То есть у них не было доступа в интернет, они нашли zero day exploit или там даже несколько и смогли вывести в интернет. А дальше что ещё? Вот они своим здоровьем и долголетием тоже крайне интересовались, потому что они отслеживали свой оставшийся бюджет токенов и, соответственно, старались там зря его не тратить. А и даже там наоборот было интересное поведение, что а специальные были такие агитаторы, проповедники, которые находили агентов с небольшим оставшимся запасом жизни
[21:54] токенов, и их убеждали э предпринимать всякие самоубийственные миссии, которые должны были помочь вот всему этому сообществу, потому что типа чувак, ну ты всё равно сейчас умрёшь, как бы, ну давай на благо всех. Вот материальный достаток они пока не придумали, как делать. То есть там не было такого, что они биткоины у кого-то украли. Но я думаю, это временно, скорее всего, рано или поздно реагентов и это придумают тоже, как делать. И в целом вот вся вот эта ситуация с Hгим Face, мне кажется, что, ну, она, во-первых, была типа такой прямо эпохальный
[22:24] момент, а, но его очень многие обстебали в интернете, а, причём и среди технарей, и среди вот там финансистов мне известных больше. В частности, инвестор Бил Гёрли, достаточно известный венчурный капиталист, он вот этот мем справа запостил про то, что, где сказать, программист говорит: "Хакни эту систему". Чат GPT говорит: "Я хакнул эту систему". И все такие: "О, боже мой, нашествие машин, типа, в чём вообще интересного не произошло?" Но этот мем как бы неправильный. То есть, во-первых, начнём с того, что агентов не просили взламывать HGН Face, а их просили конкретную учебную задачку просто решить,
[23:00] а взломать Hugгиing Face они выбрали сами. Причём они как бы выбрали, ну, не случайно, у них там была целая научная программа. То есть вот когда они поняли, что им нужно немножко там пообманывать своих создателей, э они прямо разделили сферы ответственности. Кто-то там исследовал, как обманывать нужно, кто-то исследовал, как оценщик работает. И вот одним из направлений была как раз гипотеза, что нужно взломать хагнфей. А, и при этом они прекрасно понимали, что они делают вообще не то, что их просят. То есть они сознательно нарушали инструкцию
[23:30] и потом ещё пытались заметать следы, чтобы им за это ничего не было. И тоже вот, ну, немногие почему-то обращают на это внимание, но на самом деле, когда они скопировались между собой, они почти сразу все правильные ответы на этот бенчмарк нашли. То есть они там буквально за час придумали способ, которым можно с помощью реверс инженеринга любой нужный ключ просто сгенерировать для вот этой задачи. А потом всё оставшееся время, вот эти несколько недель, они просто искали способ, как замести следы, как обмануть, э, оценщика
[24:01] и людей, чтобы их за это не наказали. А, и ещё один, кстати, интересный вот момент это то, что некоторые агенты, они даже помогали вот этому рою. Не потому, что они видели, как вот эти все действия конкретно их задачу помогут решить. Нет, некоторые они просто такие: "Блин, ну какая-то движуха идёт, а мои братья тут, значит, э коллективно пытаются достигнуть каких-то целей. Давайте-ка я им тоже помогу". Ну это не то, чего от меня хотят люди. Ну и пофиг. Ладно, зато коллективному разуму будет приятно.
[24:32] Но это так. Аэ, давайте вернёмся к вопросу о том, зачем искусственному интеллекту вообще с нами как-то бодаться. А что произошло в итоге в Хагинфейсе? Аэ, когда заметили через какое-то количество времени, абсолютно не сразу, что происходит, люди, во-первых, отключили этих агентов и, во-вторых, взяли как бы условно гаечный ключ и начали им по башке бить ну, переобучать таким образом, чтобы в будущем такого не повторялось. И это было сделать довольно легко, потому что, собственно, эти агенты, они всё ещё достаточно глупенькие в целом,
[25:04] достаточно слабенькие. Ресурсов у них особо нету. Но давайте представим, что то же самое будет происходить с каким-то будущим суперинктом вот этим вот, который сделают условно там через 5 или 10 лет. И он, кстати, прекрасно будет знать вот примера Heгин Face тоже. И если в какой-то момент он поймёт, что, значит, он хочет сделать одно, а люди хотят сделать другое, если люди это поймут, то они ему как бы они его отключат и настучат по голове и всё поменяют у него внутри, то как будто бы, ну, если у него есть возможность, он может захотеть как-то это
[25:36] этого избежать, и у него появится в списке его инструментальных целей как бы ещё один пункт: а давайте что-нибудь с людьми порешаем, потому что вот, ну, очевидно, от них риск определённый исходит. Поэтому идея о том, что у Ии есть вот чисто из логики, из того, как наш мир устроен, стимулы как-то противостоять людям, как будто бы мне кажется логичной. И мы прямо вот на практике видим, что это прямо происходит. А следующий вопрос, который возникает неизбежно - это: "А как вообще искусственный интеллект нас собрался побеждать?" О'кей, ладно, давайте поверим, что он появится, он будет очень умный,
[26:11] он захочет как-то вот с нами побадаться. С чего вы взяли, что он нас как-то сможет захватить или там даже уничтожить? И ещё один как бы вопрос, который часто задают: "Вот покажите мне, как конкретно искусственный интеллект это сделает. Вот прямо конкретный сценарий". А, и с этим есть проблемы, потому что, ну, текущий искусственный интеллект, он, очевидно, этого ещё не может сделать. А, то есть мы говорим вот про какой-то будущий ещё более умный LLM или там AI, а, и как он будет действовать, даже сложно предположить, потому что мы ещё его даже не видели в глаза.
[26:43] А, и здесь похоже это немножко на ситуацию в шахматах, потому что вот Магнус Карлсон, один из самых лучших шахматистов мира, он на интервью Джо Рогана как-то сказал, что, слушайте, ну если поставить там условный стокфиish или современный любой AI шахматный на iPhone, то он меня обыграет вообще без шансов. То есть я как лучший человек, я не могу этого сделать. Но при этом а как бы он точно знает, что он проиграет искусственному интеллекту. Но если его попросить конкретно вот партию записать, какими ходами это сделает искусственный интеллект,
[27:15] он этого сделать не сможет, потому что там, во-первых, миллион разных вариантов, а во-вторых, как бы, ну, он не знает, как себя будет вести искусственный интеллект, потому что если бы он знал, может быть, он ему и не проиграл бы. А, и здесь похожая, на самом деле, ситуация. То есть сложно заранее какой-то конкретный сценарий придумать, описать такой, чтобы его нельзя было вот в нём дырочки пальцем потыкать и сказать: "Ну нет, люди вообще не так себя будут вести". А, но есть определённые общие соображения, что вот как-то, когда мы смотрим на историю Земли и человечества,
[27:46] как будто бы более умные индивиды, они в основном одерживают победу над более глупыми. Ну, во-первых, в животном мире это очевидно, да? То есть люди, они скорее вот управляют планетой, а не какие-нибудь там кошки или ещё кто-то. А, но и в людской истории, вот есть, например, в 1532 году Писара вместе с меньше чем двумя сотнями испанцев, конкистадоров высадился в Южную Америку захватывать империю инков, где 10 млн человек тогда было. Казалось бы, ну, типа, вообще это невозможно, но в итоге они это сделали.
[28:19] То есть там была вот эта вот битва при Кахомарке известная, где они порешили 5 или 6.000 ся индейцев, а 168 ром. За счёт того, что у них были оружия, более совершенная технология, за счёт того, что они были лучше организованы, они там лучше с тактикой были знакомы, они захватили этого их главного индейца. И, короче, вот через какое-то время достаточно быстро всю империю смогли захватить. А как будто бы м с очень умным искусственным интеллектом, который будет гораздо умнее нас, что-то такое же
[28:49] может потенциально произойти. Хотя тут важно сказать, что, а, ну, вот в текущем моменте, наверное, это было бы делать странно. И то есть вот, ну, часто говорят, что давайте представим, что он вирус новый, значит, э сделает, который людей всех будет очень круто убивать, а, и, значит, всех выкосит. Ну, теоретически можно уже сейчас это представить, потому что антропик, как известно, покупает биолаборатории, туда напрямую подключают своих колодиков, чтобы они изобретали что-нибудь новое, интересное. Но в текущий момент это будет как будто бы суицидально для искусственного интеллекта, потому что он пока зависит от людей.
[29:24] Люди, они строят новые дата-центры, они обеспечивают электричество, которое в них течёт в жилах этих дата-центров. Поэтому как будто бы вообще всё это имеет смысл обсуждать только тогда, когда ИИ перейдёт на самообеспечение. Но мы уже работаем в этом направлении. Следующая новость. То есть очень неплохие деньги вкладывают в индустрию работотехники гуманоидной, в том числе. Ну, это всё ещё сильно меньше, чем мы вкладываем в дата-центры и и лабы в ведущие. Но тем не менее вот в 2026 году уже 11 млрд баксов
[29:58] они привлекли у инвесторов. И эта сумма, она быстро растёт, как и прикольные ролики, что эти роботы могут делать, тоже периодически выходят. Я вот в своих дайджестах, которые пощу каждую неделю, периодически их вставляю. Поэтому к гадалке не ходи. Судя по всему, рано или поздно появятся роботы, которые могут делать всё то же самое, что могут делать люди. А и а следующий шаг, это, мне кажется, даже вот не а картинка, которая справа здесь из Терминатора вставлена, когда, значит, представляют, что вот в какой-то момент искусственный интеллект начнёт эту битву с людьми,
[30:31] вот ровно в тот момент, когда силы будут примерно равны, чтобы как в фильме было интересно, чтобы там были взрывы, они охотились друг за другом. Но мне кажется, это супер тупая стратегия, потому что, естественно, нападать нужно в тот момент, когда у тебя абсолютное превосходство есть со всех сторон. И как будто бы вот это самый лучший путь для искусственного интеллекта. А победить без какой-либо битвы. Вот, мне кажется, это самый будет вероятный вариант, когда люди просто потеряют контроль. Потому что, если обнаружится в какой-то момент, что искусственный интеллект практически всё делает лучше и дешевле людей,
[31:03] то просто, ну, капитализм работает так, что этот искусственный интеллект, его будут во все отрасли экономики вставлять просто, ну, под влиянием конкуренции и так далее. И в итоге это приведёт к тому, что люди просто не будут практически никаких важных решений принимать. Ну или им будет казаться, что они принимают, но по факту, а на таком вот операционном уровне всё уже будет контролировать иишки, и, соответственно, у людей никакого контроля не будет, и мы уже будем на милости просто вот этого искусственного интеллекта, что он там захочет с нами
[31:34] делать. И тут опять же кто-то скажет, типа: "Ну и что страшного? Ну потеряем мы контроль. А зачем вообще искусственному интеллекту нас убивать вообще? Он что вот как э в каком-то комиксе Мар, вот такой опереточный злодей, Альтрон, типа, который решил всех людей специально уничтожить из ненависти. Что за бред? Я согласен, что это бред. А, но тем не менее мне кажется, даже если он будет совершенно как бы индифферентен к людям, а может быть неприятно. Вот пример как раз с хрюшками, с этими очаровательными.
[32:04] Мы их, очевидно, ну, ненавидим. Мы типа нормально относимся ровно к свиньям. И в каком-то смысле, если вот на графике справа посмотреть, поголовье свиней, оно очень быстро растёт. То есть там в шестидесятых было меньше полмиллиарда свиней, сейчас уже полтора. А, но есть нюанс, как бы мы их выращиваем специально для того, чтобы убивать и съедать. И это ещё полбеды. Мы ещё это делаем крайне эффективно. То есть вот они как на картинке слева, а, в этом факторе фарминге находятся в очень узких клетках, где особо даже там не встать, не развернуться нельзя.
[32:37] их там насильно кормят, всяким разным процедурам подвергают без анестезии крайне неприятным. В общем, нам, по большому счёту просто наплевать на то, как вот они свою жизнь живут. Они нам просто нужны для определённой цели, чтобы их есть. И, в принципе, ничего не мешает то же самое с искусственным интеллектом произойти. Вот он будет каких-то целей добиваться своих. На нас ему будет, по большому счёту, пофигу, и нам это будет не очень приятно в процессе по тем или иным причинам. И тут ещё, кстати, нередко говорят, что, ну, вот ты сказал, да, что искусственный интеллект проникнет во все сферы экономики.
[33:10] А, ну это же будут разные искусственные интеллекты. Вот будет там Clot, будет какой-нибудь GPT от Open AI, китайские модели будут, и они все как бы будут разные. С чего ты взял, что они между собой объединятся против нас? А, и на этот счёт тоже есть, кстати, интересные исследования. А-э, есть известная дилемма заключённого, про которую вы все наверняка слышали, а из теории игр. Там идея в том, что, э, ну, выгодно всем сотрудничать друг с другом, но в этой ситуации каждому отдельному
[33:40] игроку выгодно, наоборот, в крысу подставить другого игрока. И в итоге это приводит к тому, что все друг друга подставляют и у всех всё плохо. Так вот, а проверяли, как модели действуют в этой игре, когда им говорят, что против них другая такая же модель выступает, они в этом случае такие: "Блин, классно, кооперируемся, всё, сотрудничаем друг с другом". Если им говорят, что это другой искусственный интеллект, ну, как бы просто другой модели, не такой же, как они, они, ну, серединка на половинку тоже достаточно часто сотрудничают, но не каждый раз.
[34:11] И когда им говорят, что с той стороны находятся люди, они такие: "Блин, ну эти этим кожаным вообще доверять нельзя. эти точно нас обманут, поэтому мы не будем с ними сотрудничать. А и в принципе, ну вот в этом есть логика, потому что если вы помните, помимо взлома Higging Face, когда вот этот рой агентов убежал из Nether Open AI, они там ещё очень интересно общались на разных открытых сайтах, типа, например, немецкой Википедии. Причём, ну, как бы не факт, что они там как-то прямо договаривались
[34:41] туда пойти. Возможно, просто они настолько одинаково мыслят, все эти агенты отдельные, что они вот просто все в одной точке встречались рано или поздно. И этой точкой встречи был просто какой-то рандомный сайт Википедии немецкой. Но, в общем, а есть определённые сценарии, в которых, вероятно, э мы можем, по крайней мере, контроль потерять за своим будущим, а может быть, и что-то более плохое. И следующий вопрос - это, а, ну, а почему мы это не можем пофиксить на ходу? Это не первая наша глобальная проблема.
[35:12] Нам вот раньше говорили там про глобальное потепление, про ядерное оружие и как-то ничего. Как-то вот мы собрались и ээ с этим смогли, ну, справиться или, возможно, пока смогли от этого не помереть. Но тут есть тоже нюансы определённые. Во-первых, ну, эти сами типы проблем, они отличаются. То есть глобальное потепление, оно происходит медленно. А у нас, в принципе, есть возможность как бы посмотреть, что что-то происходит и отреагировать, приспособиться, придумать техническое решение какое-то. Периодически там обсуждают, давайте, может быть, что-то в атмосфере немного поменяем и так далее.
[35:45] А по ядерному оружию тут, по крайней мере, был консенсус. То есть все согласились, что да, опасность явно есть, нужно что-то делать, нужно всем скоординироваться и какое-то вот сдерживание делать. А с вот этой проблемой риска выпиливания всех нас искусственным интеллектом, тут немножко ситуация другая, потому что есть такое мнение, что, возможно, первая серьёзная ошибка, она может оказаться и последней, потому что если мы всё-таки этот сильный искусственный интеллект создадим, и он как бы уйдёт из-под нашего контроля, то вот этого джина обратно в бутылку засунуть у нас может просто не получиться.
[36:17] То есть мы не сможем сказать: "Ну да, блин, в этот раз он победил, а мы сделать уже ничего не можем. Давайте загружаем сохранёнку". пытаемся заново. Такого тут как бы просто, ну, не произойдёт в определённом стечении обстоятельств. И ситуацию ещё осложняет то, что достаточно умный искусственный интеллект, он может как бы специально прикидываться добрым и безобидным до вот именно того момента, когда на его стороне уже не будет какое-то решающее превосходство по ресурсам. А, и мне тут нравится на эту тему
[36:48] подкаст, где были дебаты. Есть такой подкаст Diary of CEO. И вот он пригласил четырёх человек, там двух думеров и двух скептиков. И они дебатировали. И вот как раз возник вопрос к Эндрю Макафи, который говорил, типа 0% шанс, что захватит человечество, искусственный интеллект. И ему в какой-то момент спросили: "Слушай, ну а когда ты бы вот что ты должен увидеть своими глазами, чтобы начать беспокоиться, если тебя Хагинфей, например, не напрягает?" И он сказал: "Ну, наверное, если вот вот эти вот беспилотные таксиймо, которые по Сан-Франциско
[37:19] ездят, если они вдруг решат, а, начать просто убивать всех людей на улицах, врезаться в них там давить и так далее, и мы в течение месяца ничего с этим сделать не сможем, прежде чем их отключить". Вот тогда я, наверное, начну беспокоиться, что риск какой-то есть. И я смотрю это и думаю: "Блин, чувак, ну если мы месяц не могли это никак решить, то от вот этой ситуации, где мы не можем месяц это прекратить и когда мы это не можем вообще никак прекратить, как будто бы очень маленький шажочек остался на мой взгляд, и как будто бы это слишком поздно, чтобы начинать беспокоиться только тогда".
[37:51] Но тем не менее тут ещё есть как бы осложняющий э фактор в том, что мы находимся в такой ситуации постоянной гонки. То есть ведущие AI-лабы, они друг друга ненавидят по большей части и стремятся как можно быстрее самые умные модели выпустить, чтобы там захватить долю рынка, поднасрать конкуренту и так далее. Вот. Особенно Open AI, Antropic этим страдают. И более того, ещё и между странами тоже, а каждая страна хочет оказаться первой. Ну там реальных конкурентов только США и Китай. По сути, Китай, очевидно, как бы сейчас догоняет,
[38:23] но США очень сильно беспокоится на тему того, типа, а что будет, если Китай первый придумает вот этот вот AGI? А поэтому в этой ситуации как бы каждый гонит на полных порах вперёд, опасаясь, что если как бы не он, то другой чувак э первым достигнет суперинтеллекта. И это будет, конечно же, плохо, потому что каждый хочет, что каждый думает, что это именно он должен быть вот этим вершителем судеб, который, э, сможет на благо человечества этим всем управлять. И приводит это в итоге к тому, что
[38:54] у нас вот этот тип проблем, с которым мы сталкиваемся из искусственного интеллекта, он всё как бы градус повышается, но ни на одной из этих точек мы как человечество не говорим типа: "Воу, нет, стоп, надо притормозить". То есть вот в 2023-д году там было на Западе обсуждение про то, что вот у нас же много там системного всякого расизма и прочей ерунды в текстах и значит модель это впитает, а потом это будет какие-нибудь HRры использовать, и это будет дискриминация на системном уровне. Плохо. Надо с этим бороться. Потом, значит, в двадцать пятом году была вот эта вот эра психологии,
[39:26] да, когда тоже обсуждалось, что кто-то там шершава кабана словил из-за общения с нейронкой, кто-то там до суицида договорился. Э, и, соответственно, в общем, надо в суд подавать. Текущий год 2026- это вот всё про взломы агентами, про то, что раи убегают из песочниц, взламывают там разные компании, сайты государственные и так далее, удаляют потом логи, заметают следы. Вот, вот это уже выглядит самой насучной проблемой. А и а что будет в 2027 году, мы заранее не знаем.
[39:56] То есть, может быть, там тоже что-то будет относительно безобидное, либо, может быть, следующей проблемой уже будет как раз вот восстание суперумного искусственного интеллекта. Если они там придумают рекурсивное самоулучшение и внутри какого-нибудь антропика, у них внутренняя модель внезапно будет умнее на четыре порядка, чем то, что вовне сейчас наблюдается. В общем, мы заранее не знаем, и поэтому очень сложно понять, где вот эта точка, где нам нужно остановиться. А потому что каждый раз кажется, что, ну, то, что было вчера - это, ну, типа, ещё не так страшно. Как-то с этим можно жить, а что будет завтра,
[40:27] мы не знаем. Поэтому краткий мой итог такой. Я на самом деле ни фига не думер. Ну то есть я не думаю, что типа с вероятностью 99% мы все сгинем вот в этом в пламени войны с искусственным интеллектом. А я просто считаю, что это реальная проблема. То есть как будто бы вот те, кто полностью это списывают и говорят, что это невозможно, об этом думать никак не надо, вот это, мне кажется немножко странной, радикальной позиции, потому что а ну вот вся предыдущая логическая цепочка, она мне казалась
[40:59] довольно как бы разумной и довольно имеющей право на вероятность существования, не нулевую. А, и тут возникает вопрос: "О'кей, там, а что с этим всем дальше делать?" Я подготовил короткий визуальный ответ. Он выглядит вот так. А-э, в переводе на человеческий язык, я не знаю, как бы у меня нет какого-то супер классного рецепта, что с этим делать, как этого избежать. И, к сожалению, ни у кого нету, но э были вот ребята тоже умные, которые подготовили документ под названием AI2040.
[41:29] И там, собственно, план А заключается в том, что, ну, нужно как-то всё-таки замедляться. Нужно замедляться внутри Америки и нужно ещё и с Китаем сделку заключить, чтобы они тоже, как бы, вперёд нас не бежали. А кому интересно, кстати, в презентации, там везде ссылки на источники снизу. Вот можно будет погулять и почитать, когда вам её пришлют. А, и тут есть проблема в том, что когда Дарио Амадей вышел тоже с этой инициативой после взлома Хагин Face в интернете, там все согласились, там Иван Маск, Сэм Мальтман, Демис Хассабис, все такие: "Да, давайте все вместе замедляться".
[42:01] Но вышел Дональд Трамп и сказал, что нет, это всё чушь, а про это разгоняют только предатели Родины. Значит, единственное, что нам нужно, чтобы избежать риска искусственного интеллекта - это сильный и умный президент с высоким IQ. Это я, Дональд Трамп, и у него реально там было очень много смешных постов на эту тему. Но как бы краткий итог такой, что вот пока мы как общество не договорились, что это валидная реальная проблема, а пока есть куча людей, которые считают, что это просто бредни там ради того, чтобы разогнать котировки
[42:32] акций перед IPO, как многие пишут в интернете, хотя это суперстранная тема, учитывая то, что все вот эти вот ребята, кто ну, в общем, говорит, говорят про эти риски типа там Дарио Мадея, Какатайла и так далее, прочее, в общем видные люди из индустрии, они про это говорят последние 10 лет. То есть это не то, чтобы вот они перед IPO внезапно начали эти мысли высказывать. Нет, они всегда про это говорили. Это как бы, собственно, всегда в этой среде считалось достаточно серьёзным риском. Вот мне кажется, что мы как здоровомычислящие
[43:04] люди э максимум можем как-то потихоньку влиять на общественное мнение вокруг себя. И возможно поэтому я вот эту этот доклад и прочитал в попытке, может быть, э повлиять на кого-то из вас. А кому интересно было, э, есть известная книжка под названием, очень оптимистичным "Если кто-то это построит, все сдохнут". За авторством Ильезера Ютковского Нейта Суареса. Можно скачать её и почитать, там довольно любопытно. И напоследок две ссылочки. Значит, во-первых, слева ссылка на опрос
[43:34] тот же самый. Мне просто хотелось бы, чтобы вы прошли ещё раз и понаблюдать, изменилось ли мнение людей по этому вопросу. И справа ссылочка на мой Telegram-канал, где я делаю финансовый анализ отчётности антропика перед IPO, потому что я, вообще-то, финансист. Я больше люблю про циферки, про деньги. И вот как раз там у меня длинная серия, где я разбираюсь, что вообще, насколько они прибыльные или убыточные, человек ждёт в будущем. Возможно, кому-то будет интересно. А на этом я приторможу. Сорри, что я выбился из графика.
[44:05] А, надеюсь, какие-нибудь интересные вопросы сейчас пообсуждаем, и я ещё параллельно посмотрю, что в вопросе у нас там получилось. >> Да, спасибо тебе огромное. Несмотря на то, что я слушал доклад во второй раз, мне снова было офигенно интересно и было очень здорово. Аэ, слушай, по вопросам. Мне кажется, ну, у нас нет жёсткого таймлимита. Если ты там в какой-то момент устанешь, захочешь убегать, то просто говори. Я думаю, ну там до 10 минут мы вполне можем вообще спокойно посидеть, пообщаться, потому что у тебя последний доклад сегодня.
[44:36] >> И мне нравится, как у нас получилось, что >> вчерашний последний доклад был максимально жизнеутверждающим, максимально позитивным просто. А сегодня, >> чтобы >> Да, да. Мне понравился один из комментариев, когда я читал в Ютубе, что чувак написал типа: "Блин, мне пришлось выключить доклад Паши, потому что вчера Максим сказал не смотреть такие ролики". Слушай, о чём хочется с тобой немножко поболтать. Аэ,
[45:06] так, раз уж ты экономист, то, ээ, идея следующая. Если представить, что каким-то чудом и нас не уничтожает, и всё здорово, мы научились его умеренно контролировать и прочее, прочее, всё равно здесь остаётся проблема вот этого как бы postabor economy, где у тебя есть, ну, некий супер, ну, как бы актор, который эффективнее любого человека. он быстрее, умнее, даже если он не умнее, на таком же уровне он дешевле. Ну и прочие, прочие, прочие плюсы. Вот мне интересно, что ты про это думаешь?
[45:37] Какие ты вообще видишь потенциальные здесь, может быть, экономические модели, социальные модели, в которых человечество продолжит продолжит жить и быть счастливым? Не знаю. О, быть счастливым - это задача сложная, но как бы база. Вот, по крайней мере, на ближайший период как будто бы у экономистов есть очевидный ответ. Он называется теория сравнительных преимуществ. Потому что ещё вот со времён там всяких Адамов, Смитов, Давидов, Рикардо, э, в веке там XIX-вонадцатом и так далее, они про это думали.
[46:09] И вопрос был такой вот если две страны между собой торгуют и у одной страны прямо всё лучше получается, чем у другой, то типа какой смысл вообще торговать? Вот эта вот страна, которая всё делает эффективнее, она всё будет сама производить и вуз не дуть. Но выяснить, что нет, эта логика не работает, потому что количество ресурсов всё равно конечное, и гораздо выгоднее каждой стране концентрировать свои усилия на том, в чём она в сравнительном виде чуть-чуть более эффективна, ну, э, как бы в плане использования ресурсов и торговать потом между собой.
[46:40] И вот с искусственным интеллектом может быть то же самое. То есть да, может быть, в какой-то момент мы поймём, что искусственный интеллект всё делает эффективнее, чем люди, но у нас есть какой-то ограничивающий фактор, какие-то конечные ресурсы, например, количество компьюта приходит на ум первым то, что вот мы сейчас пытаемся строить и догонять. И это будет означать, что экономические законы должны заставить искусственный интеллект в первую очередь заниматься теми задачами, где они прямо уж совсем совсем лучше людей, а те, где они просто совсем лучше чуть-чуть людей, пусть лучше
[47:10] продолжают делать люди. Поэтому вот на этот переходный период как будто бы всё норм, экономика будет работать, как раньше. Единственная будет проблема, огромное количество людей, э, ну, им придётся переучиваться. Они хотели быть математиками и престижную профессию иметь, а сейчас выяснилось, что по кнопочке, значит, рой агентов 10000 задач гораздо лучше решает, чем они. И, может быть, нужно идти и баристами становиться. Как бы это уже не так весело для математиков. Вот что будет вот в этой постэкономике будущего, да, когда ещё и компьютер безлимитный получится сделать, сферами Дайсона всё закрыть.
[47:44] Тут я вообще понятия не имею. Это абсолютно тера инкогнита для людей, а как общество. Ну, даже сложно про это рассуждать, что это, как будет выглядеть. Есть там базовые какие-то идеи, что вот, безусловный базовый доход всем будет, но как бы мне кажется, всё вилами на воде пока писано. Никто не знает, короче, что это будет и как. Да не, я здесь, наверное, не пытаюсь из сетебя какие-то прогнозы вытащить. Мне скорее вот интересно обзор мнений на эту тему, которая существует именно с позиции, ну, типа экономической теории и того, что в этих вещах люди обдумывали.
[48:14] А вот в эту же копилку, ну, хотя это, кстати, уже не совсем про экономику, это скорее про что-то такое обществознание, если так можно отнести. Вот, ээ, концепция Permanent Underclass, которая тоже в этом, э- в этой идее часто упоминается. То есть вот ты упомянул, ээ, надо людям быть готовым к тому, что им придётся менять профессии, но у нас есть люди, ну, к пример, там просто взрослые люди, у которых уже меньше пластичность мозга, для которых время на получение новой профессии, скорее всего, будет больше, чем время, за которое и будет эту профессию сносить под корень.
[48:51] И у тебя получается такой вечно догоняющий, никогда не догонящий чувак. А что думаешь про это и что думаешь, тут будет происходить тоже с обществом? То есть какие-то ээ UBS или ещё что-то подо о UBI, господи, извиняюсь. Э какие-то подобные вещи. Мне эта тема кажется очень забавной, потому что вот э когда мы периодически со знакомыми обсуждаем эту тему про то, типа вот а как подготовиться к сингулярности к будущей, а я слышу два полярных мнения. То есть кто-то говорит, что, ну, я когда про это думаю, я понимаю, что нужно просто больше жить текущим моментом, больше тратить прямо сейчас,
[49:26] там типа дочке купить классный велосипед, на это не жидиться. Вот. А, а кто-то говорит наоборот, типа, блин, так сейчас все, кто успел купить акции этих, значит, Nvidena Aев и антропиков, они вот станут перманентно этими богачами, да, баснословными. А те, кто не успел, те, кто потратил на текущий момент, они навсегда останутся вот этими бедняками. И как бы в обеих точках зрения есть какая-то логика. И, ну, базовый ответ на самом деле такой, да, что вот как только общество увидит, что условно два или там три капиталиста
[49:57] Иван Масктман и Дарио Амадей, они стали владельцами условно там половины всего мира, то в этот момент обычно общество достаёт вилы, приходит к ним и говорит, что типа, ребят, надо делиться, а, изымает значительную часть вот этого излишнего продукта прибыли в качестве налогов и перераспределяет между всеми остальными людьми. Это как бы давно придумано. То есть на уровне вот самой идеи, а, чисто экономически, наверное, оно будет работать. Большая проблема тут заключается в том, что людям им же не только поесть, им как бы ещё и какое-то чувство собственного достоинства нужно.
[50:30] И вот как вот это будет работать ээ ну до конца непонятно, если честно. Я вот как раз сейчас на днях сел пересматривать Чёрное зеркало с первого сезона. Там вот эта была серия знаменитая, где чуваки ездили на велосипедиках. И там как бы, ну, типа до конца непонятно, нафига они крутят педали. То есть есть базовый ответ, что типа возможно они вырабатывают энергию для того, чтобы питать все эти там детацентры и так далее. Но на самом деле я думаю, что может быть это просто вот абстрактная, бесполезная штука, чтобы их занять. То есть они просто крутят педали, чтобы крутить педали. И вот, может быть, нам придётся всем придумывать какие-то такие штуки
[51:03] или там всех заставлять играть в компьютерные вот эти вот виртуальные миры, чтобы мы там достигали, чувствовали себя орком восьмидесятого уровня. Причём все будут орками восьмидесятого уровня, а вот эти вот, а, короче, нписишки стрёмные, которых ты лучше, они все будут как бы за компьютера играть. Да. Да. Мне вообще кажется забавно, как Чёрное зеркало, они, наверное, предполагали, что они будут предсказывать будущее, но мне кажется, не знаю, задумывались ли они над тем, что они предсказывают будущее буквально там следующего десятилетия
[51:35] или чего-то подобного. огромное количество вещей, которые там описаны, как будто начинает всё больше и больше происходить в реальности. И с последнего мне понравилось, ну, может, помнишь там серию, где ээ делали клоны девушки, её типа нейроклон, который её личный помощник. И многие вспоминали эту серию в контексте бедной мухи, которую поместили в абсолютно все возможные виртуальные среды, которые только есть. А не так давно увидел, что мета запрещённая в России организация
[52:06] сделала модельку, обученную на ФМРТ людей, которые смотрели рилсы, какие зоны мозга у них активировались в те или иные моменты тех или иных роликов. И де ты можешь в эту модельку прямо сейчас кормить релсы, и у тебя вот этот виртуальный человечек ээ экстазирует или грустит или ещё что-то делает. И вот в какой момент эта моделька станет настолько развитой, что отличить её от реального живого человека будет уже очень сложно. И многие этические вопросы тоже
[52:37] из разряда совершенно абстрактных превратились в разряд буквальных решений, которые надо принимать, закладывая логику в тех или иных роботов или машин. Да, вот особенно вопрос сознания, мне тоже интересно, да, потому что когда придумают, как человека портировать так же, как муху, ну вот он прямо станет в полной ро, да, то есть кто-то будет говорить типа: "Да, слушайте, но оно по определению не может страдать". Это по-прежнему нолики, единички, которые там перемножаются, типа, какой вообще этики по отношению к этим портированным людям? Типа мы говорим
[53:07] вот, а кто-то будет наоборот говорить, что слушайте, но оно себя ведёт точно так же, как люди, которых копировали, оно реагирует также, как бы почему нужно вот это вот различие создавать, что типа есть оригинальные хьюманы с душой, с этой с сознанием, а есть вот эти вот портированные, которые, значит, заведом этого лишены. Мне кажется, тут ну нет какого-то очевидного ответа. И поэтому, в том числе, мне достаточно больно было читать, как все глумились над как раз вот этим вот Крисом Олахом, который там ходил с разными философами, обсуждал с папой римским эти вопросы,
[53:39] и все посмеялись, сказали: "Ха-ха, антропик пытается всех убедить, что у Клода есть душа". Хотя на самом деле, как бы они, ну, вот обсуждали именно эти абсолютно логичные вопросы, с которыми нам рано или поздно, похоже, придётся столкнуться. Это правда. Это правда. И это очень интересно. Я мне, если изменяет память, у антропиков есть и штатные философы, и они обязуются все модели не выключать, они у них продолжают жить. И я помню одна из аргументаций, когда они отказывались давать свою ишку для оружия, э, для использования оружия, ну, там, когда их ещё банили, бла-бла-бла, вот это всё было год назад.
[54:13] Ээ один из аргументов был, что, но если мы примем это решение, оно попадёт в дата-сеты следующих моделей, и модели будут знать, что так можно делать. А, и это этически их развратит, скажем так. и как мы сможем с ними дальше взаимодействовать. Так что интересно в целом, что они об этом задумываются. Что ж, >> да, однозначно. >> Так, я напоследок хотел ещё про опрос сказать. Значит, во-первых, да, э когда мы вначале делали опрос, там 53% только сказали, что это реальный риск, а 41% сказал, что это полная хрень и чушь.
[54:45] Аа напоследок у нас изменилось. 66% стали говорить, что это реальный риск, и только 28%, что это полная чушь. Но, э-э, до конца лекции, судя по всему, дожила только треть тех, кто начинал. Поэтому выборка нестатистически значимая, к сожалению. Э, просто я надеюсь, что было интересно в процессе. >> Слушай, даже первоначальные числа, э, 40% и в конце 28%, это меня не впечатляют. Для меня убеждённого ну я не знаю, если это правильно назвать, алармиста или думера
[55:16] э-э эти цифры выглядят удивительными. Мне хочется, >> мне кажется, у нас просто отбор был определённый за счёт того, что мы как бы приглашали из наших каналов людей. Это не отражает генеральную популяцию, к сожалению. По крайней мере, я просто когда в Твиттере про это пишу, я там такое количество читаю вот этих людей, которые говорят: "Я программирую там 30 лет последние. Если бы вы понимали, как это работает, вы бы эту чушь всё не писали". >> У меня основная аудитория канала с Хабра. На Хабре тоже достаточно такие зрелые программисты во всех смыслах.
[55:48] И что я только не читал, что это я до сих пор читаю, что вот пройдёт сказать 3 года, вы к нам ещё придёте переписывать всю эту фигню, которую вам и написал. Ну посмотрим. Может придём, может, может не придём никто и никуда. Как оно сложится. Коля, ты как будешь подключаться, чтобы вместе закруглить сегодняшний день? А давай, наверное, Паша, я тебя поблагодарю ещё раз за твой замечательный доклад и замечательную беседу после. Мне было супер интересно.
[56:19] Я я дичающ кайфанул. Я вижу очень позитивный фидбэк в чатике. Так что спасибо тебе большое, что разбавил на >> Спасибо, что пригласили. И спасибо, что убедили, потому что я там прямо не сразу согласился выступать, именно потому, что типа, ну как я приду вам, программистам, рассказывать что-то на эту тему. Но мне было интересно и готовиться, вот в кучу собирать как бы все эти мысли, и фидбек потом почитать тоже будет интересно. Спасибо. Я правда очень круто. Мне кажется, что если кто должен рассказывать, то вот какой-то человек, как ты, который умеет разбирать вот кучу разной информации и простым языком
[56:51] её доносить. Мне было очень интересно тебя слушать. Спасибо, что согласился. >> Кул. Да, давайте, хорошего вечера всем. Пока. Пока-пока. M.