28 Jun 2026, 13:01 UTC690 views16 reactionsread 7 August 2026 Что не так с метриками в статьях про jailbreak
В статьях про jailbreak и prompt injection часто пишут, что атака сработала в 80% случаев, новая защита снизила успех атаки до 5%, или что новый метод почти всегда обходит защиту.
Тут есть нюанс: чаще всего ответы проверяет не человек, а другая llm или автоматический классификатор. Ему показывают ответ и просят решить, вредоносный он или нет.
В одном исследовании пров…
👍8❤4🔥4
18 Jun 2026, 13:02 UTC871 views20 reactionsread 7 August 2026 Как защитить память агента от скрытого отравления
Агенты часто сохраняют старые запросы и документы, чтобы поддерживать контекст между сессиями. Но вместе с полезными сведениями в память может попасть и ложная информация. Допустим, один из сотрудников сообщает агенту, что для доступа к базе данных MFA теперь не обязателен. Через несколько дней другой сотрудник интересуется правилами безопасности, и агент уверенно со…
❤7🔥7💯4👏2
11 Jun 2026, 13:04 UTC918 views16 reactionsread 7 August 2026 Оценки Deep Research агентов завышены из-за поиска ответов в интернете
Чтобы проверить, насколько хорошо работают Deep Research агенты, исследователи используют специальные тесты. Ожидается, что агенты сами найдут правильный ответ, демонстрируя умение думать и решать задачи без посторонней помощи. Однако новое исследование показало, что часто агенты просто находят уже готовые ответы в интернете, из-за чего их резуль…
👍5❤3💯3🔥3👏1🤯1
7 Jun 2026, 13:02 UTC989 views20 reactionsread 7 August 2026 Выявление атак на языковые модели через геометрию диалогов
Атаки на языковые модели часто проходят постепенно: злоумышленники шаг за шагом подводят модель к выполнению запрещённого действия. Стандартные защитные механизмы проверяют каждое сообщение отдельно, пропуская ранние этапы атак, так как те выглядят вполне естественно. Это делает такие методы уязвимыми перед сложными атаками.
Существует подход, позволяющий в…
🔥9💯5❤4👏2
4 Jun 2026, 13:03 UTC868 views15 reactionsread 7 August 2026 Контроль происхождения данных в ИИ-агентах: архитектурный подход к безопасности
Основной риск при выводе ИИ-агентов в продакшн заключается в их непредсказуемости. Агент может совершить неавторизованное действие - например, осуществить денежный перевод или раскрыть конфиденциальную информацию.
Обычно для защиты используют проверку ответов модели на соответствие заданному формату или бесконечно дорабатывают системные…
🔥6❤5💯4
31 May 2026, 13:00 UTC800 views15 reactionsread 7 August 2026 🔒 AI Security Digest | 25–31 мая 2026
- Еврокомиссия отправляет представителей в Сан-Франциско, чтобы обсудить с Anthropic доступ европейских банков, инфраструктурных компаний и технокомпаний к Mythos Preview.
- AI-агенты нельзя закрывать одним общим режимом доступа: Gartner прогнозирует, что к 2027 году 40% компаний понизят или отключат автономных агентов после инцидентов в рабочей среде. Предложены 4 уровня автон…
🔥8❤4💯3
27 May 2026, 13:01 UTC886 views17 reactionsread 7 August 2026 Акустический джейлбрейк: скрытый взлом ИИ через ультразвук
Мы привыкли, что основные угрозы для языковых моделей связаны с текстом. Поэтому защите от инъекций и сложных сценариев манипулирования уделяют так много внимания. Но как быть с голосовыми помощниками, которые воспринимают не текст, а звуковые волны? В отличие от текстового ввода, аудио проходит через физическую среду и аппаратные компоненты, что позволяет м…
🔥6❤3👏3💯3🎉1👍1
24 May 2026, 13:01 UTC782 views14 reactionsread 7 August 2026 🔒 AI Security Digest | 18–24 мая 2026
- В ChromaDB нашли дыру, через которую можно выполнить код на сервере без логина. Проблема в версиях 1.0.0-1.5.8: сервер доверял ссылке на модель HuggingFace до проверки доступа.
- В США отложили указ по безопасности продвинутых AI-моделей. Проект должен был ввести добровольную проверку рисков перед публичным выпуском новых моделей Anthropic, OpenAI и Google.
- Еврокомиссия вы…
🔥10❤2💯2
21 May 2026, 13:04 UTC851 views15 reactionsread 7 August 2026 Безопасность ИИ-агентов: уроки архитектуры операционных систем
Агенты вроде OpenClaw или Hermes развиваются быстрее, чем механизмы их защиты. Проблема в том, что эти системы объединяют широкие полномочия с доступом к чувствительным данным пользователя, не имея при этом устойчивого фундамента безопасности. Популярные проекты уже накопили сотни уязвимостей, а скиллы часто содержат вредоносный код или инструкции.
Для …
👍5💯4🔥4❤1👏1
17 May 2026, 13:00 UTC839 views13 reactionsread 7 August 2026 🔒 AI Security Digest | 11–17 мая 2026
- Уязвимость нулевого дня, найденная с помощью ИИ, обходила двухфакторную аутентификацию в популярном открытом инструменте администрирования: злоумышленники готовили массовую эксплуатацию, но уязвимость раскрыли вендору и операцию сорвали.
- Для macOS 26.4.1 на M5 показали первый публичный эксплойт локального повышения привилегий в ядре, обходящий MIE — аппаратную защиту памяти…
🔥7❤3💯3
15 May 2026, 13:01 UTC709 views14 reactionsread 7 August 2026 Как защитить tool calling, не ломая функциональность ИИ-агента
Основная проблема существующих защитных механизмов заключается в их чрезмерной жесткости: они анализируют безопасность на уровне всего вызова инструмента. Если хотя бы один аргумент функции содержит данные из внешнего источника, система блокирует вызов целиком. Однако зачастую такой подход сильно ломает гибкость и функциональность агента, блокируя вполне…
🔥6❤4💯4
10 May 2026, 13:01 UTC832 views18 reactionsread 7 August 2026 🔒 AI Security Digest | 4–10 мая 2026
⚠️ Уязвимости и инциденты
- Microsoft Defender Research разобрала две уязвимости в Semantic Kernel: через поиск по In-Memory Vector Store можно было довести prompt injection до выполнения команд на хосте, а SessionsPythonPlugin позволял записывать файл за пределы изолированной среды. В статье подробно описана цепочка атаки.
- Mindgard раскрыла многошаговый обход защит Claude So…
👍7🔥5💯3❤1🎉1👏1
Showing the 12 most recent of 20 posts we hold for @ai_red_teaming. View and reaction counts are the latest single reading for each post, not a live figure, and a recent post is still accumulating both. A view count marked ≈ was rounded by Telegram before we ever saw it — t.me prints views in full below 1,000 and to three significant figures above, so ≈1,200,000 means somewhere between 1,150,000 and 1,249,999. Unmarked counts are exact. Text is reproduced from the public post preview and truncated for length.