Меры измерения точности при детектировании объектов на изображении

Детектирование состоит из локализации и классификации. Локализация определяет местоположение экземпляра (например, координаты ограничивающей рамки), а классификация сообщает вам, что это такое (например, собака или кошка).

2021-10-15_17-37-35

Меры измерения точности детектирования достаточно сложны. Вот основные термины Precision, Recall, и F1-Score. Они связаны с получением более детального представления о том, насколько хорошо работает классификатор, в отличие от простого анализа общей точности. Эти понятия базируются на True/False Positives и Negatives. И в свою очередь связаны с понятиями IoU, map, map50.

 True/False Positives и Negatives

Бинарный классификатор можно рассматривать классификатор на положительные (positive) или отрицательные (negative):

  • Положительный: экземпляр классифицируется как член класса, который классификатор пытается идентифицировать. Например, классификатор, ищущий фотографии кошек, классифицирует фотографии с кошками как положительные (если это правильно).
  • Отрицательный: экземпляр классифицируется как не принадлежащий к классу, который мы пытаемся идентифицировать. Например, классификатор, ищущий фотографии кошек, должен классифицировать фотографии с собаками (но без кошек) как негативные.
  • True Positive (TP) - истинно положительные, что означает что прогноз положительный и правильный
  • False Positive (FP) - ложно положительные, что означает, что прогноз положительный и неправильный
  • True Negative (TN) - истинно негативные, что означает, что прогноз отрицательный и правильный
  • False Negative (FN) - ложно негативные, что означает, что прогноз отрицательный и неправильный

 Precision

Точность (Precision) - это мера того, сколько из сделанных положительных прогнозов являются верными (истинно положительными). Он измеряет, сколько прогнозов, сделанных вашей моделью, были на самом деле верными.

1_J1qoZlCkztSqeWpIwN-qaQ

Системы детектирования объектов делают прогнозы в ограничивающей рамки и метки класса. Однако ограничивающая рамка не всегда точна, и для определения ее точности используется мера IoU

2021-10-15_17-58-06

Для задач обнаружения объектов мы рассчитываем точность и отзыв, используя значение IoU для заданного порогового значения IoU. Например, если порог IoU равен 0,5, а значение IoU для прогноза составляет 0,7, то мы классифицируем прогноз как истинно положительный (TF). С другой стороны, если IoU равно 0,3, мы классифицируем его как ложноположительный (FP).

2021-10-15_18-01-56

 Recall

Отзыв (Recall) - это мера того, сколько положительных случаев правильно спрогнозировал классификатор по всем положительным случаям в данных.

1_RlFeYygAuPHjmG9tUmsnYQ

 F1-Score

F1-Score - это мера, сочетающая точность и отзывчивость. Обычно его называют гармоническим средним из двух. Гармоническое среднее - это еще один способ вычисления «среднего» значений, который обычно описывается как более подходящий для соотношений (таких как точность и отзыв), чем традиционное среднее арифметическое. Формула, используемая для оценки F1 в этом случае:

1_jctgM8dGBuN2Ia1IbbaMKw (1)

Идея состоит в том, чтобы предоставить единую метрику, которая взвешивает два отношения (точность и отзыв) сбалансированным образом, требуя, чтобы оба имели более высокое значение для повышения значения F1-score. Некоторые преимущества F1-Score:

  • Очень низкая точность или отзыв приведет к снижению общей оценки. Таким образом, это помогает сбалансировать два показателя.
  • Если вы выберете свой положительный класс как класс с меньшим количеством образцов, F1-счет может помочь сбалансировать метрику между положительными / отрицательными образцами.
  • Объединяет многие другие показатели в одну, фиксируя сразу несколько аспектов.

 mAP

Общее определение средней точности (AP) - это нахождение области под кривой точности-отзыва. mAP (средняя средняя точность) - это среднее значение AP. В некоторых контекстах AP рассчитывается для каждого класса и усредняется для получения MAP. Но в других они означают то же самое. Например, для оценки проблемы COCO нет разницы между AP и mAP. Средняя оценка точности или mAP рассчитывается путем взятия среднего AP по всем классам и / или общим пороговым значениям IoU, в зависимости от различных существующих проблем обнаружения. Кривая точности-отзыва для модели SSD для 4 классов объектов, где порог IoU равен 0,5:

1_BSyRF9Cvs4xlRKVxEOPyvA

Здесь мы предполагаем, что порог доверительной вероятности равен 0,5, а порог IoU также равен 0,5. Таким образом, мы вычисляем AP на пороге IoU 0,5. Для простоты мы вычислим среднее значение для точки AP, интерполированной по 11 точкам. В последних исследованиях были представлены более совершенные методы расчета AP.

  • True Positives (TP) = 1
  • Fasle Positives (FP) = 0
  • False Negatives (FN) = 1
2021-10-15_18-14-36

Мы строим интерполированную кривую Precision-Recall по 11 точкам.

2021-10-15_18-15-38

Теперь мы рассчитаем AP, взяв площадь под кривой PR. Это достигается путем равномерного разделения отзывов на 11 частей: {0,0.1,0.2,…, 0.9,1}.

2021-10-15_18-16-30

Таким образом, mAP@0.5 для изображения - это 0,545