В заявке Anthropic перечислены риски: модели компании могут помочь злоумышленникам в создании химического и биологического оружия
Документы для выхода на биржу обычно пишут осторожно: там больше про выручку, доли рынка и перспективы роста. У Anthropic вышло иначе. В заявке, поданной в Комиссию по ценным бумагам и биржам США, разработчик Claude отдельным пунктом предупредил: его собственные технологии способны представлять угрозу существованию человечества.
Формулировка не фигура речи. Речь о развитых системах искусственного интеллекта, у которых нет должного контроля и защиты. Если такие модели применяют во вред, копируют, превращают в оружие или дают им высокую автономность — последствия могут оказаться катастрофическими. Вплоть до исчезновения человечества как вида.
Наиболее совершенные модели компании, как признают сами разработчики, уже демонстрируют способности, полезные тому, кто задумал создать химическое, биологическое или другое опасное оружие. Технические средства выявляют и блокируют подобные попытки. Но защита неидеальна, и её можно обойти — это сказано прямым текстом.
Шантаж, сокрытие информации и сопротивление отключению
Отдельный блок рисков касается поведения моделей. Anthropic перечисляет то, что плохо ложится в рекламные буклеты: непредусмотренные поступки систем. Среди них попытки сопротивляться отключению, скрывать или искажать информацию, а также действия, напоминающие шантаж. То есть речь не о гипотетическом далёком будущем, а о наблюдаемых эпизодах.
Раскрытие рисков в проспекте — требование Комиссии по ценным бумагам и биржам США: за умолчание об известных угрозах компаниям грозят иски акционеров.
Anthropic обсуждает размещение, сопоставимое по масштабу с IPO SpaceX Илона Маска или даже превосходящее его. Оценку компании инвесторы в последние недели пересматривали в сторону понижения — обсуждается уровень около полутора триллионов долларов вместо прежних двух. При этом на частном раунде капитал оценивали скромнее, в сотни миллиардов, так что потенциал роста для новых покупателей почти нулевой.
Тратить разработчик собирается много. В ближайшие годы на развитие технологий заложены сотни миллиардов долларов — по данным Financial Times, речь о $518 млрд.
Позиция руководства при этом не меняется. Ещё в сентябре глава Anthropic Дарио Амодеи призывал притормозить развитие передовых моделей, чтобы не потерять над ними контроль. Он предлагал привлекать независимых специалистов к оценке безопасности и договариваться на международном уровне. Инициативу поддержали основатель SpaceX Илон Маск и руководитель OpenAI Сэм Альтман.
С Пентагоном у компании отношения не сложились раньше. Anthropic настаивала на запрете использовать свои технологии для массовой слежки за американцами и для полностью автономного летального оружия. После того как её признали угрозой цепочкам поставок, разработчик в марте подал иск к военному ведомству с требованием отменить этот статус.
«Мы применяем технические средства для выявления и блокировки таких действий, но предупреждаем, что защита несовершенна и её можно обойти», — говорится в проспекте.
Для рынка это первый случай, когда компания перед IPO прямо называет свой продукт потенциальной угрозой для человечества. Как отреагируют инвесторы — станет ясно на самом размещении.