Исправление из 6 строк, которое превзошло всю мою неделю сопоставления

Обновление — выпущена версия 0.2.0. CauterRule теперь доступен на GitHub и PyPI. Это превращает повторяющиеся неудачи агентов в постоянные правила — извлечь, переиграть, повысить. pip install cauterule предоставляет вам полный CLI, обзор TUI, наблюдаемость, 7 форматов экспорта, состязательные корпуса и встроенный пакет правил git. В отчете полевых испытаний оценивались 4 модели по 745 траекториям, и он является источником всех цифр в этой статье. Примечания к выпуску · Журнал изменений CauterRule — это дополнительная программа с открытым исходным кодом, которая изучает постоянные правила на основе повторяющихся сбоев агента. Он извлекает уроки из траекторий, тестирует их повторно и пытается отделить многоразовые рекомендации от шумных чрезмерных обобщений. Я потратил неделю на исправление системы повторов. Четыре исправления — ошибка точной формулы, более 50 отличительных фраз, 10 новых записей псевдонимов, повышенный пороговый уровень. 359 проверочных тестов, все зеленые. Процент золотых пропусков увеличился с 10% до 20%. Одна неделя, четыре исправления, десять процентных пунктов. Потом я нашел в симуляторе 6-строчный фикс. Он проверил 6 ключевых слов в error_class. Golden подскочил с 20% до 50% в обеих облачных моделях. Одно исправление, шесть строк, тридцать процентных пунктов. Я оптимизировал не тот слой. Золотой корпус застрял в