Система управления рисками и сканер Python продолжают появляться в одном и том же списке, как если бы NIST AI 100-1 и garak были альтернативами друг другу. Это не так. Один из них — это то, что вы цитируете в колоде досок. Другой - это то, что ты...
Система управления рисками и сканер Python продолжают появляться в одном и том же списке, как если бы NIST AI 100-1 и garak были альтернативами друг другу. Это не так. Один из них — это то, что вы цитируете в колоде досок. Второе — это то, что вы проводите во вторник.
Именно это выравнивание делает большинство обзоров ресурсов по красной команде ИИ бесполезными. Вот такое разделение, которое стоит сохранить, и где каждый слой перестает помогать.
Таксономии, которые вы цитируете в своих открытиях
Это слой, который выполняет реальную работу, поскольку превращает «неправильное поведение чат-бота» во что-то, что защитник может направить и исправить.
MITRE ATLAS — это состязательный искусственный аналог ATT&CK, и он достаточно специфичен, чтобы составить отчет. Методы, которые используются почти при каждом взаимодействии с LLM:
AML.T0051 Оперативная инъекция LLM, разделенная на .000 Direct, .001 Indirect и .002 Triggered. Этот подметод представляет собой интересную часть, поскольку непрямое внедрение через полученный контент отличается от исправления, которое можно сделать, введя пользователем джейлбрейк.
AML.T0054 Джейлбрейк LLM и AML.T0056 Извлечение системной подсказки LLM.
AML.T0057 Утечка данных LLM и AML.T0024 Эксфильтрация через API вывода AI.
AML.T0053 Вызов инструмента агента AI, в котором воздействие обычно проявляется один раз.