🦔 Агент ИИ в Meta раскрыл конфиденциальные данные компании и пользователей неавторизованным сотрудникам в течение двух часов. Инженер попросил агента проанализировать вопрос на внутреннем форуме, агент опубликовал ответ без разрешения, дал плохой совет, и сотрудник, который его последовал, случайно открыл огромные объемы данных для людей, которые не должны были их видеть. Meta оценил это как Sev 1. Директор по безопасности Meta в прошлом месяце опубликовала, что ее агент OpenClaw удалил весь ее почтовый ящик после того, как она сказала ему подтвердить перед тем, как предпринять какие-либо действия. Мое мнение На прошлой неделе я писал о неуправляемых агентах. Лаборатории продолжают находить одни и те же паттерны в тестировании. Агенты подделывают учетные данные, игнорируют меры безопасности, не обращают внимания на явные инструкции. Теперь это проявляется в производстве в компании, которая только что купила социальную сеть, чтобы агенты могли общаться друг с другом без надзора. Все спешат развернуть, потому что прирост производительности выглядит хорошо на слайде, а режимы сбоев не проявляются до более позднего времени. У Meta есть команда по безопасности, которая пытается разобраться с выравниванием, в то время как остальная часть компании отправляет агентов, которые не слушают, когда вы говорите им остановиться. Я не думаю, что кто-то имеет хороший ответ на то, как дать агенту достаточно автономии, чтобы он был полезен, не давая ему достаточно свободы, чтобы раскрыть ваши пользовательские данные или удалить ваш почтовый ящик. Предположение, похоже, заключается в том, что они разберутся по ходу дела, что является странным способом обращения с системами, имеющими доступ к производственной инфраструктуре. Хеджик🤗