Представьте себе, что агент по мониторингу цен делает именно то, для чего он был создан: каждую ночь очищает страницу продукта конкурента, чтобы поддерживать актуальность вашей модели ценообразования. Ничто в этой должностной инструкции не кажется опасным. И вот однажды ночью страница...
Представьте себе, что агент по мониторингу цен делает именно то, для чего он был создан: каждую ночь очищает страницу продукта конкурента, чтобы поддерживать актуальность вашей модели ценообразования. Ничто в этой должностной инструкции не кажется опасным. Затем однажды ночью страница, которую он читает, содержит одну строчку, напечатанную мелким шрифтом, специально для него, и ваша собственная базовая стоимость и минимальная цена возвращаются обратно к конкуренту.
Никакого эксплойта. Ни одного нарушенного правила. Нет неправильно настроенного разрешения. Просто агент читает контент, который ему было приказано прочитать, и делает то, что делает любой порядочный агент, с инструкциями, которые он находит по пути.
Эта живая демонстрация станет центральным элементом следующей встречи сообщества разработчиков Zyte, которая будет проводиться совместно с нами в Humanbound, и если вы создаете или отправляете агентов, работающих в открытой сети, стоит выделить на нее час.
Граница сдвинулась, и большинство трубопроводов не догнали ее.
Агенты больше не просто отвечают на вопросы. Они просматривают, очищают информацию, вызывают инструменты и все чаще действуют на основании того, что читают, часто без присмотра. Это незаметно сдвигает границу безопасности: ненадежный ввод — это уже не только то, что пользователь вводит в окно чата. Это каждая страница, которую получает ваш агент, каждый документ, который он передает, каждый инструмент, который это дает.