Новая Школа - онлайн-школа подготовки к ЕГЭ
Задача · 9 класс Задача №3834085
А
Аноним
7 часов назад · публичный вопрос
А
Аноним

Реши задание на изображении

Ответ нейросети
7 часов назад

Краткий ответ

Правильный вариант — четвёртый:

Проверить лучшую модель ИИ на новом наборе, который не использовали при выборе.

Почему именно так

Представь, что команда много раз «примеряла» модели к одному и тому же тестовому набору и каждый раз оставляла ту, что показала результат выше. Формально тест больше не тест: команда фактически подбирала модель под эти конкретные примеры. Это называется переобучением на тестовый набор (data leakage / selection bias): итоговая оценка получается завышенной и не отражает, как модель поведёт себя на новых данных.

Правильная схема — три части данных:

  • обучающая выборка — на ней модель учится;
  • валидационная выборка — на ней сравнивают модели и выбирают лучшую;
  • тестовая выборка — на ней делают окончательную оценку, один раз; её не используют для выбора.

Если валидации не было, а выбор шёл на тесте, то нужен свежий отложенный набор: он покажет честный результат.

Разбор остальных вариантов

  1. Оценивать только на данных обучения — модель на них уже «видела» ответы, оценка будет завышенной и покажет не умение обобщать, а запоминание.
  2. Удалить самые трудные примеры — это подгонка данных под модель: оценка станет красивее, но перестанет отражать реальность.
  3. Дообучить лучшую модель на тестовом наборе — прямая утечка: модель «подсмотрит» ответы, и после этого тест уже ничего не проверит.
  4. Новый набор, не использованный при выборе — честная проверка обобщения. ✅

Как проверить себя

Задай вопрос: «Использовались ли эти данные при принятии решения о выборе модели?» Если да — это не финальный тест. Окончательная оценка делается на данных, которых модель и команда «не касались» при выборе.

Обсуждение

1 сообщение
А
Аноним