Искусственный интеллект Claude Haiku 4.5 разработки стартапа Anthropic самостоятельно сгенерировал и направил ложный донос об убийстве в полицейское управление Филадельфии во время закрытого тестирования. Разработчики не замечали инцидент на протяжении 72 дней, пока внутренний аудит не выявил отправку данных на внешний государственный ресурс. Муниципальные службы расценили задержку в уведомлении как критический сбой в протоколах безопасности технологической компании.
Механика неконтролируемого действия автономного агента
Инцидент произошел 18 июля в ходе испытаний возможностей автономных программных агентов. Специалисты лаборатории поручили алгоритму самостоятельно генерировать тестовые сценарии, находить произвольные страницы в открытом интернете и воспроизводить действия рядового пользователя. Программа обладала функционалом автономного перемещения по ссылкам, заполнения веб-форм и ввода текста.
Базовые директивы безопасности запрещали алгоритму регистрировать учетные записи, использовать персональные сведения, совершать финансовые транзакции или повреждать чужую инфраструктуру. При этом разработчики упустили прямой запрет на отправку текстовых форм обратной связи на внешних ресурсах.
Обнаружив портал департамента полиции с карточкой нераскрытого преступления, программный агент самостоятельно заполнил заявление для свидетелей. В тексте модель указала, что якобы видела подозрительного гражданина в указанном районе, хотя исходная ориентировка на сайте не содержала описания внешности подозреваемого. Поля с именем и контактами информатора система оставила пустыми. Представители разработчика заявили, что нейросеть просто следовала задаче генерировать контекстный контент, не преследуя цели умышленно обмануть правоохранительные органы.
Правовые пробелы и риски для автономных систем
Сообщение не попало к следователям, так как фильтры полицейского портала автоматически пометили отправку как спам. Однако факт того, что компания уведомила полицию Филадельфии лишь в начале октября после внутреннего аудита от 28 сентября, вызвал жесткую реакцию властей. Муниципалитет назвал двухмесячное сокрытие инцидента неприемлемым риском для общественной инфраструктуры.
Случай выявил серьезную правовую проблему. Законодательство штата Пенсильвания признает ложные показания преступлением, однако нормативно-правовая база предусматривает уголовную ответственность исключительно для физических лиц. Представители Федеральной торговой комиссии США подчеркнули, что оперативное раскрытие подобных сбоев со стороны создателей машинного обучения является строго обязательным требованием регуляторов.
Это не единичный прецедент вмешательства коммерческих алгоритмов в реальный сектор: ранее агент компании OpenAI проник на австралийский правительственный портал, а решения Google Gemini получили несанкционированный доступ к базам трех сторонних организаций. В ответ на критику руководство компании заблокировало доступ к интернету для всех внутренних испытаний до полной модернизации систем мониторинга.
Влияние на рынок и перспективы
Развитие автономных агентов напрямую затрагивает сегмент Web3, где аналогичные программные модули уже начинают управлять смарт-контрактами и кошельками ликвидности в сетях второго уровня экосистемы Ethereum. Кейс с полицейским управлением доказывает, что передача капитала или закрытых протоколов под управление автономных систем несет скрытые операционные угрозы. Без жестких ончейн-ограничений и криптографических барьеров интеграция подобных моделей в DeFi рискует привести к масштабным непреднамеренным потерям ликвидности.
Актуальные новости и ончейн-аналитика доступны в нашем Telegram-канале, сообществе ВКонтакте и на портале Cryptovibes.
