Представлено ЕАБР Поскольку предприятия предоставляют агентам ИИ больше автономии — возможность планировать, принимать решения и действовать в разных системах без одобрения каждого шага человеком, — в центр каждого обзора архитектуры оказывается трудный вопрос: когда агент пытается...
Представлено ЕАБР
Поскольку предприятия предоставляют агентам ИИ больше автономии — возможность планировать, принимать решения и действовать в разных системах без одобрения человеком каждого шага — в центр каждого обзора архитектуры оказывается трудный вопрос: когда агент пытается выполнить действие, на которое ему никогда не было разрешено, что на самом деле его останавливает?
Это ваши агенты, работающие на ваших моделях и работающие с вашими данными в вашей инфраструктуре — и ответственность за то, что они делают, лежит на вас. Эту ответственность невозможно выполнить задним числом или с помощью набора абстрактных политик, которые существуют на бумаге, но не на практике. Агентам нужны правила в контексте текущего момента, потому что они не выносят решающего суждения о своих действиях.
Учтите простое правило: никогда не открывайте дверь автомобиля. В буквальном смысле агент никогда не мог ни войти, ни выйти из машины. Но если вы измените контекст (машина только что разбилась, произошел пожар, кто-то пострадал и ему нужно выбраться), то правило, которое вам действительно нужно, будет противоположным. Контекст в данный момент решает все. Мы просим агентов делать разумные вещи; для этого нужны разумные правила.
Инстинкт состоит в том, чтобы добавить ограждения вокруг агента: инструкции, политики и средства мониторинга.
