Систему обучили на 500 фотографиях и затем проверили на них же. Она дала 99% правильных ответов. Какой вывод пока делать нельзя? Выбери ответ.

Краткий ответ: нельзя делать вывод «На новых фотографиях она тоже даст примерно 99% правильных ответов» — это первый вариант.

Почему

1. Сеть проверяли на тех же 500 фотографиях, на которых учили. Такая точность называется точностью на обучающих данных.
2. Нейросеть может не выучить общее правило («это кошка»), а просто запомнить конкретные картинки. Тогда на знакомых фото ответы почти безошибочны, а на новых всё развалится. Это и есть переобучение.
3. Поэтому 99% на обучающей выборке не позволяют обещать 99% на новых снимках — сначала нужна проверка на примерах, которых сеть не видела.

Остальные три вывода делать можно:

• «запомнила или хорошо разобрала эти примеры» — да, это и означает высокая точность на них;
• «ошибок было мало» — да, \(99\%\cdot 500 = 495\) верных ответов, то есть всего 5 ошибок;
• «для честной проверки нужны новые примеры» — да, это отложенная (тестовая) выборка.

Проверка: правильный вариант — тот, где прогноз переносится на новые фото, а именно этого эксперимент не показал.