Рассмотрим алгоритм «Уверенный», который всегда говорит, что человек здоров. С точки зрения здравого смысла это плохой алгоритм: любого больного человека он посчитает здоровым. Но…
Рассмотрим алгоритм «Уверенный», который всегда говорит, что человек здоров. С точки зрения здравого смысла это плохой алгоритм: любого больного человека он посчитает здоровым. Но что если посмотреть на этот алгоритм с точки зрения метрики accuracy? Любая метрика должна оценивать качество алгоритма. Если значение метрики accuracy близко к 1, то с точки зрения метрики алгоритм работает оптимальным образом.Допустим, есть данные 1000 людей. Из них 50 больны, а остальные здоровы. Составьте матрицу ошибок для этих данных и алгоритма «Уверенный».
Давайте разберёмся с задачей о матрице ошибок для алгоритма «Уверенный», который всегда говорит, что человек здоров.
Понять данные:
- У нас есть 1000 человек.
- Из них 50 человек больны, и 950 человек здоровы.
Что делает алгоритм «Уверенный»:
- Он всегда предсказывает: "человек здоров". То есть, независимо от реального состояния здоровья, алгоритм говорит одно и то же — что каждый человек здоров.
Сбор информации для матрицы ошибок:
- Нам нужно оценить, как алгоритм будет классифицировать людей в зависимости от их реального состояния здоровья.
- Алгоритм предсказывает, что все 1000 человек здоровы, значит:
- Из 50 больных человек алгоритм не сможет правильно идентифицировать ни одного (все будут классифицированы как здоровые).
- Из 950 здоровых человек алгоритм правильно идентифицирует всех как здоровых.
Формирование матрицы ошибок: Матрица ошибок состоит из четырех значений:
- True Positive (TP): Верно положительные — количество правильно предсказанных больных.
- True Negative (TN): Верно отрицательные — количество правильно предсказанных здоровых.
- False Positive (FP): Ложно положительные — количество здоровых, предсказанных как больные.
- False Negative (FN): Ложно отрицательные — количество больных, предсказанных как здоровые.
С учетом алгоритма «Уверенный», матрица ошибок будет следующей:
- True Positive (TP) = 0 (все больные предсказаны как здоровые)
- True Negative (TN) = 950 (все здоровые также предсказаны как здоровые)
- False Positive (FP) = 0 (нет здоровых, предсказанных как больные)
- False Negative (FN) = 50 (все больные предсказаны как здоровые)
Итоговая матрица ошибок:
Предсказание
| Здоров | Больной
-------------------------------
Фактический |---------|---------
Здоров | 950 | 0
-------------------------------
Больной | 50 | 0
Расчёт метрики accuracy:
- Accuracy (точность) рассчитывается как доля правильных предсказаний:
\[ \text{Accuracy} = \frac{TP + TN}{TP + TN + FP + FN} \]
Подставляем значения: \[ \text{Accuracy} = \frac{0 + 950}{0 + 950 + 0 + 50} = \frac{950}{1000} = 0.95 \]
Таким образом, алгоритм имеет точность 0.95 или 95%. Однако это расхождение между высоким значением точности и плохой предсказательной силой подчеркивает важность использования различных метрик в зависимости от задачи.
Вывод: Алгоритм «Уверенный» демонстрирует высокий процент точности, но фактически является неэффективным с точки зрения реального выявления больных. Это яркий пример того, как важно учитывать контекст задачи при оценке качества алгоритмов.
