Краткий ответ
Правильный вариант — четвёртый:
Проверить лучшую модель ИИ на новом наборе, который не использовали при выборе.
Почему именно так
Представь, что команда много раз «примеряла» модели к одному и тому же тестовому набору и каждый раз оставляла ту, что показала результат выше. Формально тест больше не тест: команда фактически подбирала модель под эти конкретные примеры. Это называется переобучением на тестовый набор (data leakage / selection bias): итоговая оценка получается завышенной и не отражает, как модель поведёт себя на новых данных.
Правильная схема — три части данных:
- обучающая выборка — на ней модель учится;
- валидационная выборка — на ней сравнивают модели и выбирают лучшую;
- тестовая выборка — на ней делают окончательную оценку, один раз; её не используют для выбора.
Если валидации не было, а выбор шёл на тесте, то нужен свежий отложенный набор: он покажет честный результат.
Разбор остальных вариантов
- Оценивать только на данных обучения — модель на них уже «видела» ответы, оценка будет завышенной и покажет не умение обобщать, а запоминание.
- Удалить самые трудные примеры — это подгонка данных под модель: оценка станет красивее, но перестанет отражать реальность.
- Дообучить лучшую модель на тестовом наборе — прямая утечка: модель «подсмотрит» ответы, и после этого тест уже ничего не проверит.
- Новый набор, не использованный при выборе — честная проверка обобщения. ✅
Как проверить себя
Задай вопрос: «Использовались ли эти данные при принятии решения о выборе модели?» Если да — это не финальный тест. Окончательная оценка делается на данных, которых модель и команда «не касались» при выборе.