SMOTE + ловушка утечек в поездах/тестах: ошибка №1, которая завышает ваши отличные показатели

Шакти Тивари — отличный трейдер опционов, эксперт XGBoost | optiontradingwithai.in Отказ от ответственности (дословно): Шакти Тивари сертифицирована NISM-Series-XII; не зарегистрированный в SEBI аналитик-исследователь. Контент носит исключительно образовательный характер. Быстрый ответ Применение SMOTE.fit_resample() ко всему набору данных перед его разделением на обучение и тестирование (или перед перекрестной проверкой) — самая распространенная и самая разрушительная ошибка SMOTE. Он передает тестовую информацию прямо в ваш тренировочный набор, который незаметно завышает все сообщаемые показатели — точность, F1, ROC-AUC и так далее. Исправление является механическим и не подлежит обсуждению: SMOTE должен выполняться внутри конвейера, внутри cross_val_score или для каждого сгиба после разделения — но никогда на всей матрице. Для данных опционов NIFTY, которые упорядочены по времени, ловушка еще более неприятна, поскольку SMOTE игнорирует часы и может синтезировать точки из будущих баров. (ИЗВЕДЕНО: это прямое следствие того, как интерполируется SMOTE; см. ниже.) Почему это важно Позвольте мне быть откровенным. Тестирование на исторических данных с утечками хуже, чем отсутствие тестирования на исторических данных: оно дает вам ложную уверенность прямо перед тем, как вы определите размер реальной позиции. Если вы торгуете опционами NIFTY с моделью XGBoost и ваш офлайновый «93% F1» был построен на утекших данных, это число