Автоматическая внешняя калибровка камер на основе анализа траекторий движений объектов / Прикладные вопросы распознавания образов / Recog.ru - Распознавание образов для программистов


Автоматическая внешняя калибровка камер на основе анализа траекторий движений объектов

1. Введение. Всеобщей тенденцией в развитии систем видеонаблюдения является разработка алгоритмов трекинга (слежения за объектами), которые очень важны в местах скопления людей и автомобилей, таких, как аэропорты, улицы города, автопарковки и т.д. Важным вопросом при проектировании алгоритмов трекинга является внешняя калибровка камер, т.е. определение под каким углом расположены камеры в реальном пространстве. Вопросам внешней калибровки камер, уделено внимание в некоторых публикациях, например, в [1, 2]. В ряде публикаций освещены подходы к внешней калибровки камер по входному изображению и известной геометрии рассматриваемых объектов с выделением проблем: PnP, PnL, PnA [3]. Однако данные подходы невозможно использовать для автоматической внешней калибровки камер, когда направления камер определяются по мере поступления данных из окружающего мира. В данной работе предлагается подход к автоматической внешней калибровке камер, в котором участие человека сводится к минимуму.
В большинстве случаев примерное расположение (координаты) камер в пространстве известно. Приняв к сведению эту информацию, можно значительно упростить калибровку камер. Пользователям систем видеонаблюдения хотелось бы, чтобы внешняя калибровка осуществлялась автоматически, например, в процессе того, как какие-либо объекты перемещались внутри системы, а система видеонаблюдения сама корректировала и определяла направления камер.

2. Постановка задачи. Есть N > 1 камер с известными координатами в пространстве (здесь и далее будем понимать под координатами, только координаты X и Y без высоты). Камеры работают в приблизительно одинаковых режимах: частота кадров, разрешение. Области зрения M камер (2 ≤ M ≤ N) пересекаются друг с другом, например, попарно. В областях зрения камер происходит перемещение объектов, причем в системе видеонаблюдения может находиться несколько объектов. Необходимо определить углы поворота максимально возможного количества камер. На вход поступают видеопотоки с камер и их координаты в пространстве. На выходе должен быть такой результат калибровки, что для каждой камеры присутствует следующая информация:
• наиболее вероятный угол поворота (или неопределенный);
• наличие пересечений области зрения камеры с областями зрения других камер;
• возможные переходы объектов из области зрения камеры в области зрения других камер.
3. Алгоритм внешней калибровки двух камер. Первоначально рассмотрим простейший случай калибровки для двух камер. На рисунке 1 показана схема получения предварительной информации, необходимой для калибровки камер.

Рисунок 1. Схематичное представление процесса получения предварительных данных для калибровки камер

При помощи аппаратно-программных средств информация с камер поступает на процедуру детектирования движения. Обнаружив движение в кадре необходимо вызвать процедуру выделения объектов, после которой на изображении локализуются объекты движения. Далее информация передается для сохранения траекторий движения в изображениях, а именно позиции и размеры объектов в каждый момент времени в каждом кадре. На данном этапе объектам не присваиваются индивидуальные номера, а также не осуществляется их трекинг. Сам алгоритм внешней калибровки работает с траекториями объектов – непосредственно в процессе создания траекторий или после создания траекторий.
Предположим, что при обучении наблюдается только один объект. Тогда, если у камер есть общая область зрения, то будут моменты времени, когда объект попадает только в одну камеру из двух или в обе, например так, как представлено на рисунке 2.

Рисунок 2. Временная диаграмма наличия движения в двух камерах

Для калибровки двух камер необходимо наличие случаев, когда объект виден в обеих камерах. На рисунке 2 – это интервалы времени (t1, t2) и (t3, t4). Если в область зрения камеры попадают несколько объектов, то этот кадр не стоит учитывать при калибровке камер. Также отрицательно влияют на калибровку объекты, которые на изображениях с камер касаются левого и правого края, т.к. нельзя точно сказать, какой угол в плоскости XY до объекта относительно оси камеры.
Если не делать предположений о возможном угле камер, то по отдельно взятому зафиксированному объекту в двух камерах невозможно определить наиболее вероятное направление камер. Однако при анализе последовательности движений объекта ситуация несколько иная (Рис. 3).

Рисунок 3. Иллюстрация шага движения в двух камерах

Каждый шаг движения объекта характеризуется начальной и конечной точками в обеих камерах: для камеры 1 – это P11 и P12, для камеры 2 – это P21 и P22. У каждой точки (центра объекта) есть координаты x и y в формируемом изображении.
Первоначально предполагается, что углы направления камер могут быть любыми. Перебирая все возможные комбинации углов с определенным шагом (например, 1 градус), нужно оценить – возможна ли такая комбинация данных углов или нет. Если углы возможны, то для данной комбинации углов добавляется вес (например, прибавляем 1 к счетчику), если нет – то, ничего не происходит. Для того чтобы определить, возможна ли комбинация углов, для каждого шага вычисляются возможные местоположения объектов в начальной и конечной точках. Местоположения определяются путем вычисления точек пересечения линий, полученных по известным углам объекта внутри камер (Рис. 4).

Рисунок 4. Определение точек пересечения возможных углов камер

Диапазон возможных углов (360 градусов) перебирается для 1-ой камеры с заданным шагом. В результате формируемые углы складываются из угла камеры в пространстве в полярной системе координат и угла внутри изображения относительно центра оси, например: α11 = α1 + β1. Здесь α1 – угол, получаемый от перебора возможных углов оси камеры, а угол β1 – вычисляется, например так:
,
где x – координата x центра объекта на изображении камеры; Width – ширина изображения; γ – угол зрения камеры.
Для каждого угла первой камеры перебираются возможные углы второй камеры. Соответственно находятся возможные точки пересечения P1 и P2, которые показывают возможные положения объектов в пространстве. По возможным координатам можно вычислить возможные расстояния до камер. Такие расстояния будем называть виртуальными.
В тоже самое время, информацию о расстоянии до объекта можно получить иным путем:
• если камера наклонена вниз, а поверхность движения объекта плоская без наклона, то объект, расположенный выше по вертикали, будет дальше объекта, который находится ниже по вертикали той же камеры;
• определив размеры объекта можно считать объект находящимся дальше, если он меньше по размеру.
Такие расстояния будем называть реальными.
Таким образом, есть информация о расстояниях до объекта в разный момент времени, полученная двумя способами – виртуальным и реальным. Если возможное расстояние до P1 меньше, чем до P2, и реальное расстояние также меньше до P1, чем до P2, то нельзя исключить данный угол камеры. Аналогичным образом, если больше и если примерно равны. В противном случае, при несовпадении виртуальных и реальных расстояний, данная комбинация углов неверна и её вес не увеличивается.
В результате, анализируя каждое движение, наиболее вероятный угол будет приобретать больший вес (поскольку счетчик будет увеличиваться), и при достаточном количестве движений выделится только одно направление, соответствующее оптимальному углу. На рисунке 5 показаны этапы определения наиболее вероятных углов.

Рисунок 5. Этапы определения наиболее вероятных углов (от «а» до «г») для двух камер

4. Внешняя калибровка в системе видеонаблюдения. Большинство систем видеонаблюдения включает в себя более двух камер. Конечно, в идеальном случае можно добиться нахождения в системе одного объекта. Однако, в реальности такие условия необходимо создавать искусственно, что не всегда возможно. Поэтому в системе могут наблюдаться несколько объектов. Конечно, хорошим решением является идентификация объекта и сопоставление информации в каждой камере. В этом случае проблем при обучении в системе с несколькими объектами не наблюдается. Но при отсутствии процедуры идентификации можно исключить возможные ошибки при обучении, когда в системе находятся несколько объектов, руководствуясь следующим принципом: если присутствуют более одного объекта в кадре одной камеры, то полностью исключить данные со всех камер из обучения в данный момент. Остальные возможности неправильного обучения, например, два объекта отображены в камерах, чьи области зрения не пересекаются, при достаточно большой обучающей выборке будут классифицированы как шумы (т.е. максимальный вес будет только у нескольких углов).
Наличие пересечений областей зрения определяется так, как показано на рисунке 2. Шумы, вызванные наличием в системе нескольких объектов, убираются путем выбора порогового уровня минимального количества общих движений в пересекающихся камерах. Также определяется теоретическая возможность пересечения областей зрения, если теоретически пересечения не может быть, то оно исключается.
Возможные переходы объектов из области зрения одной камеры в другую фиксируются при появлении движения на одной из камер. При этом шумы также убираются путем введения порогового уровня.

5. Заключение. Для тестирования подхода была выбрана система с 4 камерами, пересекающимися попарно. Траектории движения объекта были выбраны с учетом возможных ошибок при обучении (Рис. 6).

Рисунок 6. Примеры траекторий движений

Результаты обучения после каждой траектории суммировались и представлены на рисунке 7.

Рисунок 7. Вычисленные углы камер четырех камер

Разработанный алгоритм внешней калибровки камер удовлетворяет поставленной задаче и позволяет определять направления камер. Точность направления зависит от разрешающих способностей камер, условий съемки и количества движений в пересекающихся областях зрения.

СПИСОК ЛИТЕРАТУРЫ

1. Cem Taylan Aslan, Keni Bernardin, Rainer Stiefelhagen Automatic Calibration of Camera Networks based on Local Motion Features / ECCV Workshop on Multicamera and Multimodal Sensor Fusion Algorithms and Applications (2008).
2. Kano, H.; Ghosh, B.K.; Identification of Relative Position and Orientation of Two Cameras from Motion and Shape Parameters of Moving Rigid Body / Decision and Control, 2000. Proceedings of the 39th IEEE Conference on. — 5169 — 5174 vol.5.
3. Wesley E. Snyder, Hairong Qi Machine Vision. – Cambridge University Press: 2004. – 452p.

Выходные данные:
Кручинин, А.Ю. Автоматическая внешняя калибровка камер на основе анализа траекторий движений объектов: материалы V международной научно-технической конференции «Информационные технологии в науке, образовании и производстве (ИТНОП)» / А.Ю. Кручинин. – Орел, 2012.
Ссылка на оригинал
  • 0
  • 25 июля 2012, 09:53
  • vidikon

Комментарии (0)

RSS свернуть / развернуть

Только зарегистрированные и авторизованные пользователи могут оставлять комментарии.