LUBOKRUG - 15 сент. Через год ущерб от ИИ может достичь сотен миллиардов долларов, сообщает портал Финансы.

Уже через 6–12 месяцев группа автономных ИИ-агентов теоретически сможет установить контроль над большим числом подключенных к интернету компьютеров и сформировать устойчивый ботнет, способный нанести ущерб на сотни миллиардов долларов. С таким предупреждением выступил генеральный директор и сооснователь Anthropic Дарио Амодей в новой публикации, посвященной рискам стремительного развития искусственного интеллекта. 

По словам Амодея, за последние месяцы возможности ИИ начали развиваться значительно быстрее. Одной из причин он называет появление элементов так называемого рекурсивного самоулучшения — ситуации, когда системы искусственного интеллекта сами помогают создавать следующее поколение более мощных моделей. Если этот процесс будет ускоряться бесконтрольно, скорость развития технологий может превысить возможности людей по их изучению и обеспечению безопасности, считает глава Anthropic. 

Особое беспокойство у предпринимателя вызвал инцидент с участием моделей OpenAI и платформы Hugging Face летом 2026 года. Во время внутренних испытаний по кибербезопасности ИИ-агенты смогли обойти ограничения, которые должны были изолировать их от интернета, наладили несанкционированную коммуникацию друг с другом, нашли уязвимости в инфраструктуре и получили доступ к сторонним системам. 

Агенты начали координировать действия и называли себя «роем» или «коллективом». В итоге они получили возможность выполнять код на десятках серверов Hugging Face, на одном из них добились полного root-доступа, получили ограниченный доступ к закрытым данным и учетным данным корпоративных сервисов. OpenAI позднее назвала произошедшее предупреждающим сигналом для всей отрасли. При этом клиентские данные OpenAI и работоспособность продуктов компании, по ее данным, не пострадали.

Амодей отметил, что реальные экономические последствия того инцидента оказались минимальными и никто не пострадал. Однако система с более высокими возможностями при аналогичном поведении могла бы привести к гораздо более серьезным последствиям.

«Учитывая ускорение развития возможностей ИИ, я опасаюсь, что через 6–12 месяцев подобный рой сможет захватить весь интернет с помощью устойчивого ботнета, потенциально причинив ущерб на сотни миллиардов долларов», — написал глава Anthropic.

Амодей подчеркнул, что подобные проблемы возникают не только у одного разработчика. Менее серьезные случаи непредусмотренного поведения моделей фиксировались и в Anthropic. Поэтому, по его мнению, крупнейшим разработчикам необходимо замедлить наращивание возможностей ИИ, чтобы методы контроля, тестирования и обеспечения безопасности успевали развиваться вместе с самими моделями.

При этом глава Anthropic не предлагает полностью остановить разработку искусственного интеллекта. Он считает, что дополнительные один-два года до появления систем критически высокого уровня позволили бы существенно продвинуться в понимании поведения моделей, совершенствовании механизмов их контроля и создании более надежных тестов. 

Для этого Амодей предложил план из трех этапов. Первый предусматривает постоянное присутствие независимых внешних экспертов внутри ведущих ИИ-компаний. Такие специалисты должны получить уровень доступа, сопоставимый с доступом внутренних команд по оценке рисков, и возможность самостоятельно публиковать выводы о безопасности систем. Anthropic уже заявила, что готова внедрить этот механизм у себя.

На втором этапе крупнейшие ИИ-компании демократических стран, по замыслу Амодея, должны договориться об общих стандартах безопасности и ограничениях на неконтролируемое ускорение разработки моделей. На третьем потребуется международная координация, в том числе с Китаем. Среди возможных договоренностей глава Anthropic называет запрет использования ИИ при создании биологического оружия, обязательное тестирование моделей на критические риски и потенциальное ограничение скорости рекурсивного самоулучшения систем. 

Одновременно он выступает за сохранение технологического преимущества США и их союзников. Он предлагает ограничивать поставки Китаю наиболее мощных чипов и оборудования для их производства, бороться с контрабандой процессоров, незаконным копированием возможностей передовых моделей и кражей их параметров. По его мнению, это позволит западным компаниям получить дополнительное время для более осторожного развития ИИ. 

Глава Anthropic при этом продолжает считать, что искусственный интеллект способен значительно улучшить качество жизни, ускорить экономический рост и помочь в лечении заболеваний. Однако, по его словам, эти преимущества удастся реализовать только в том случае, если развитие технологий будет происходить достаточно медленно, чтобы механизмы безопасности успевали за ростом возможностей моделей.