Краткий ответ
Отмечаем три «содержательных» пункта — про признак, который не должен влиять на решение, про равенство ошибок у двух групп и про различия в качестве работы с разными группами. Пункт «не стоит ли просто сделать интерфейс программы ярче» не выбираем.
Почему так
Если система заметно чаще «одаривает» участников одной группы, это сигнал возможной дискриминации. Проверяют её по нескольким осям:
- Признаки. Не принимается ли решение по признаку, который к делу не относится (пол, возраст, школа, район)? Тогда он работает как «прокси» и подменяет собой реальные критерии.
- Ошибки. Одинакова ли доля ошибок у двух групп — ложных отказов и ложных согласий? Если на одной группе модель ошибается чаще, это неравенство в качестве.
- Качество работы с группами. Одинаково ли система «видит» данные разных групп: объём примеров, точность распознавания, полнота.
- Интерфейс. Яркость кнопок и оформление не влияют на то, кому система чаще говорит «да». Это не проверка справедливости, поэтому такой вариант — отвлекающий.
Как проверить себя
Мысленный тест: замени «группу» на любой другой признак (например, левша/правша). Если ответ системы меняется, а причина для этого к задаче не относится — есть проблема справедливости, и искать её надо по пунктам 1–3.
Скриншот немного размыт, поэтому формулировки я прочитал приблизительно. Пришли более чёткий снимок — сверю точные слова вариантов.