Система заметно чаще отклоняет работы учеников из одной конкретной группы. Что стоит проверить? Выбери несколько ответов.
Реши задание на изображении
Сверь числа и знаки с фото.
Турнир по искусственному интеллекту Профессии будущего и ИИ
Система заметно чаще отклоняет работы учеников из одной конкретной группы. Что стоит проверить? Выбери несколько ответов.
☐ Не влияют ли на решение системы признаки, которые не должны иметь отношения к качеству работы
☐ Одинакова ли доля ошибок системы для разных групп
☐ Не отличаются ли данные для разных групп по качеству и полноте
☐ Не стоит ли просто сделать интерфейс программы ярче
Краткий ответ
Верные варианты — 1, 2, 3 (все, кроме «сделать интерфейс ярче»). В задании просят выбрать несколько ответов, поэтому отмечать нужно все три.
Почему именно так
Ситуация «система чаще отклоняет работы одной группы» — это признак возможного смещения (bias). Проверять надо три вещи, и каждая из них — отдельный источник проблемы:
Признаки, не связанные с качеством работы. Если модель опирается на посторонние сигналы (оформление, почерк, имя файла, школа, формулировки), она будет систематически «заваливать» ту группу, у которой эти признаки чаще встречаются. Это называется прокси-признаками: формально они не про качество, но коррелируют с принадлежностью к группе.
Доля ошибок для разных групп. Нужно сравнить метрики: какую долю хороших работ отклоняют в каждой группе, какую долю плохих принимают. Если у одной группы ошибок заметно больше — модель работает неравно, и это надо чинить, а не списывать на «ученики такие».
Качество и полнота данных по группам. Если работы одной группы в обучающей выборке представлены хуже, размечены небрежнее или просто их меньше, модель выучит это смещение. Тогда «виноваты» данные, а не алгоритм.
Четвёртый вариант не подходит: яркость интерфейса — оформление экрана. На то, какие работы система принимает и отклоняет, она не влияет никак, поэтому к причине неравенства отношения не имеет.
Как проверить свой ответ
Мысленно задай вопрос: «поможет ли этот пункт понять, почему решения системы перекошены в сторону одной группы?»
- признаки-прокси → да, это причина;
- разные доли ошибок → да, это измерение несправедливости;
- разные данные → да, это причина;
- яркий интерфейс → нет, это про удобство, а не про решения.
Такой же ход рассуждения работает и в похожих заданиях: сначала ищи причины в данных и признаках, потом способы измерить неравенство, а всё, что про внешний вид и удобство, обычно лишнее.
