Исправления безопасности ИИ терпят неудачу в 74% случаев: протестировано 6080 штук

ТЛ;ДР В лаборатории Off-by-1 компании 1Password ChatGPT 5.5 и Claude Opus 4.8 написали 6080 патчей для шести реальных CVE. Только 26,0% были полными исправлениями, которые не изменили поведение приложения. Распространенная ошибка — это не сломанный патч. Это узкая проверка ввода, которая выглядит как исправление, проходит тесты и оставляет уязвимый код нетронутым. Относитесь к патчу ИИ как к гипотезе, а не как к исправлению. Модель, написавшая это, является худшим судьей о том, сработало ли это. Несколько недель назад я попросил Клода исправить SQL-инъекцию. Девять секунд спустя у меня были различия, уверенное резюме и маленькая аккуратная функция дезинфекции. Испытания прошли. Я объединил это. Две недели спустя я нашел ту же самую инъекцию, на одну колонку выше. Я записал это в рубрику «Я был неряшлив» и пошел дальше. Затем я прочитал исследование, в котором говорится, что это примерно средний результат. Что на самом деле обнаружило исследование Модели Frontier создают полное исправление безопасности, сохраняющее поведение, примерно в 26% случаев. Остальные три четверти либо не могут закрыть уязвимость, либо закрыть ее, изменив работу приложения, либо закрыть ее, открыв что-то новое. Исследование проведено Off-by-1 Labs, командой безопасности 1Password, созданной в этом году. Они публикуют