[2]Настоящее изобретение относится к области видеонаблюдения, а более конкретно к системам и способам обработки видеоинформации, полученной с камер видеонаблюдения, для отслеживания движущихся объектов в реальном времени или при просмотре архивного видео.
[4]Под системами видеонаблюдения понимается программно-аппаратное обеспечение или технические средства, использующие в том числе и методы компьютерного зрения для автоматизированного сбора данных, на основании анализа потокового видео (видеоанализа). Системы видеонаблюдения могут опираться на алгоритмы обработки изображения и распознавания образов, позволяющие анализировать видео без прямого участия человека.
[5]Системы видеонаблюдения используются в составе интеллектуальных систем видеонаблюдения и видео поиска.
[6]Системы видеонаблюдения, в зависимости от конкретных целей, могут реализовывать множество функций, например таких, как: обнаружение объектов, слежение за движением объектов, классификация объектов, идентификация объектов, обнаружение или распознавание различных ситуаций, в том числе и тревожных, и т.д.
[7]К задачам, которые возможно решить посредством систем видеонаблюдения, относится отслеживание движений (перемещений) объектов, посредством использования множества камер, расположенных в зоне контроля, а также предсказание камеры, в области зрения которой может появиться выбранный движущийся объект, после того как покинет область зрения текущей камеры, видеоизображение с которой в настоящий момент просматривается оператором.
[8]Известно решение, раскрытое в патенте US 9390332 В2, G06T 7/00, опубл. 12.07.2016, в котором раскрыты системы и способы обработки информации (изображений), направленные на отслеживание человека по множеству камер и способные предсказывать, в области зрения какой следующей камеры появится отслеживаемый человек. Система обработки информации сконфигурирована для идентификации направления перемещения объекта, появившегося в видеоизображении первой видеокамеры из множества видеокамер, определения набора вероятностей и предсказания на основе полученного набора вероятностей одной или нескольких следующих видеокамер, для которых вероятность появления отслеживаемого объекта выше, чем для остальных видеокамер. Недостатком данного решения является невозможность выбора конкретного объекта и распознавания его движения, а также отсутствие выделения движущегося объекта как области интереса при распознавании движения. Кроме того, в данном решении отсутствует этап привязки множества видеокамер к плану местности объекта видеонаблюдения. Указанные недостатки не позволяют достигнуть необходимого уровня точности отслеживания конкретного движущегося объекта на заранее определенной территории.
[9]Наиболее близким по технической сущности является известное из уровня техники решение, раскрытое в патенте RU 2551128 C1, H04N 7/18, опубл. 20.05.2015, характеризующее устройство, систему и способ, направленные на содействие контролирующему человеку в выполнении задачи отслеживания движущегося объекта. Устройство сконфигурировано для отображения в реальном времени на устройстве отображения множества видов отображения захваченных изображений, сделанных соответствующими камерами, причем множество видов отображения расположены на изображении карты, представляющем контролируемую зону, причем устройство содержит блок установки цели, для выбора и установки движущегося объекта в качестве цели, которая должна отслеживаться, блок указания цели, который на основании информации слежения, полученной в результате обработки изображений, указывает движущийся объект на каждом из видов, на котором появляется движущийся объект, блок предсказания, для предсказания следующего вида отображения, на котором движущийся объект появится в следующий раз, и блок указания вида отображения, который указывает следующий вид отображения. Данное решение характеризуется недостаточной точность отслеживания движущихся объектов за счет отсутствия надлежащей привязки множества видеокамер к плану местности объекта видеонаблюдения. Кроме того, данное решение не применимо для отслеживания движущихся объектов при просмотре архивного видео. К недостаткам также относится отсутствие факта распознавания движения и оценки направления движения выбранного движущегося объекта.
[10]РАСКРЫТИЕ СУЩНОСТИ ИЗОБРЕТЕНИЯ
[11]Данное техническое решение направлено на устранение недостатков, присущих предшествующему уровню техники.
[12]Техническим результатом заявленной группы изобретений является повышение точности отслеживания движущихся объектов.
[13]Данный технический результат достигается тем, что система для отслеживания движущихся объектов на видеоизображении в режиме реального времени содержит: множество устройств захвата изображения; устройство хранения; устройство отображения изображения; устройство ввода данных; множество устройств обработки данных, сконфигурированных для выполнения этапов, включающих: привязку множества устройств захвата изображения к плану местности, посредством создания связей между объектами на плане местности и объектами на видеоизображении; отображение видеоизображения с первого устройства захвата изображения; выбор движущегося объекта, в отслеживании которого заинтересован оператор, в качестве объекта интереса; распознавание движения выбранного движущегося объекта и выделение его на видеоизображении как области интереса; оценку направления движения выбранного движущегося объекта; предсказание второго устройства захвата изображения, в области зрения которого может появиться выбранный движущийся объект, после того как покинет область зрения первого устройства захвата изображения, если продолжит двигаться в том же направлении, что и в момент выхода из области зрения первого устройства захвата изображения; отображение на устройстве отображения изображения видеоизображения со второго устройства захвата изображения, сразу после того как выбранный движущийся объект покинет область зрения первого устройства захвата изображения.
[14]Указанный технический результат также достигается и тем, что система для отслеживания движущихся объектов на видеоизображении при просмотре архивного видео содержит: множество устройств захвата изображения; устройство хранения; устройство отображения изображения; устройство ввода данных; множество устройств обработки данных, сконфигурированных для выполнения этапов, включающих: привязку множества устройств захвата изображения к плану местности, посредством создания связей между объектами на плане местности и объектами на видеоизображении; отображение архивного видеоизображения с первого устройства захвата изображения; выбор движущегося объекта, в отслеживании которого заинтересован оператор, в качестве объекта интереса; распознавание движения выбранного движущегося объекта и выделение его на видеоизображении как области интереса; оценку направления движения выбранного движущегося объекта; предсказание второго устройства захвата изображения, в области зрения которого может появиться выбранный движущийся объект, после того как покинет область зрения первого устройства захвата изображения; отображение на устройстве отображения изображения архивного видеоизображения со второго устройства захвата изображения, сразу после того как движущийся объект был выбран оператором в качестве объекта интереса, причем отображение архивного видеоизображения со второго устройства захвата изображения начинается с того момента времени, в который выбранный движущийся объект покинул область зрения первого устройства захвата изображения.
[15]Данный технический результат также достигается за счет выполнения способа отслеживания движущихся объектов на видеоизображении, причем способ выполняется в режиме реального времени или при просмотре архивного видео и содержит этапы, на которых: выполняют привязку множества устройств захвата изображения к плану местности, посредством создания связей между объектами на плане местности и объектами на видеоизображении, причем связи задаются виртуальными отрезками, один конец которых соответствует расположению объекта на видеоизображении, а другой конец соответствует расположению объекта на плане местности; отображают видеоизображение с первого устройства захвата изображения; выбирают движущийся объект, в отслеживании которого заинтересован оператор, в качестве объекта интереса; распознают движение выбранного движущегося объекта и оценивают его направление движения; предсказывают второе устройство захвата изображения, в области зрения которого может появиться выбранный движущийся объект, после того как покинет область зрения первого устройства захвата изображения; выполняют отображение на устройстве отображения изображения видеоизображения со второго устройства захвата изображения.
[16]Также технический результат достигается и за счет выполнения способа отслеживания движущихся объектов на видеоизображении, выполняемого в режиме реального времени или при просмотре архивного видео и содержащего этапы, на которых: выполняют привязку множества устройств захвата изображения к плану местности, посредством создания связей между объектами на плане местности и объектами на видеоизображении; отображают видеоизображение с устройства захвата изображения; выбирают движущийся объект, в отслеживании которого заинтересован оператор, в качестве объекта интереса; распознают движение выбранного движущегося объекта, посредством определения положений движущегося объекта на плане местности из координат положений, полученных от устройства захвата изображения, причем определение координат положений движущегося объекта выполняется посредством получения метаданных от устройства захвата изображения; после распознавания движения выделяют движущийся объект на видеоизображении как область интереса, причем область интереса отображается на устройстве отображения изображения как полупрозрачная прямоугольная область, наложенная на видеоизображение; оценивают направление движения выбранного движущегося объекта по истории положений выбранного движущегося объекта; выполняют отображение на устройстве отображения изображения видеоизображения с выделенной траекторией движения выбранного движущегося объекта.
[17]В одном частном варианте заявленного решения каждое из множества устройств обработки данных дополнительно сконфигурировано для отображения на устройстве отображения изображения выделенной траектории движения выбранного движущегося объекта.
[18]В другом частном варианте заявленного решения связи между объектами на плане местности и объектами на видеоизображении задаются виртуальными отрезками, один конец которых соответствует расположению объекта на видеоизображении, а другой конец соответствует расположению объекта на плане местности.
[19]Еще в одном частном варианте при выборе движущегося объекта может выбираться только один объект.
[20]В другом частном варианте распознавание движения движущегося объекта включает определение положений движущегося объекта на плане местности из координат положений, полученных от устройства захвата изображения.
[21]Еще в одном частном варианте определение координат положений движущегося объекта выполняется посредством получения метаданных от устройства захвата изображения.
[22]В другом частном варианте оценка направления движения осуществляется на основании истории положений движущегося объекта, сохраненной на устройстве хранения.
[23]Еще в одном частном варианте план местности является открытой картой улиц (OpenStreetMap) или планом здания или планом охраняемого объекта.
[24]В другом частном варианте область интереса является полупрозрачной прямоугольной областью.
[25]Еще в одном частном варианте движущимся объектом является человек или группа близко идущих людей или транспортное средство.
[26]КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
[27]Фиг. 1 - блок-схема системы для отслеживания движущихся объектов;
[28]Фиг. 2 - блок-схема одного из вариантов реализации способа отслеживания движущихся объектов;
[29]Фиг. 3 пример привязки множества устройств захвата изображения к плану местности посредством создания связей;
[30]Фиг. 4 - пример работы системы отслеживания движущихся объектов;
[31]Фиг. 5 - блок-схема другого варианта реализации способа отслеживания движущихся объектов.
[32]ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ
[33]Заявляемое техническое решение в различных своих вариантах осуществления может быть выполнено в виде систем или способов, реализуемых посредством различных компьютерных средств.
[34]На фиг. 1 показана блок-схема системы для отслеживания движущихся объектов. Система включает в себя: множество устройств обработки данных (10, …, 1n), множество устройств захвата изображений (20, …, 2m), устройство хранения данных (30), устройство ввода данных (40) и устройство отображения изображений (50).
[35]Под устройством захвата изображения обычно подразумевается видеокамера.
[36]В качестве устройства обработки данных может выступать процессор, микропроцессор, ЭВМ (электронно-вычислительная машина), ПЛК (программируемый логический контроллер) или интегральная схема, сконфигурированные для исполнения определенных команд (инструкций, программ) по обработке данных (изображений).
[37]В роли устройства хранения данных могут выступать, но, не ограничиваясь, жесткие диски (HDD), флеш-память, ПЗУ (постоянное запоминающее устройство), твердотельные накопители (SSD) и т.д.
[38]В качестве устройства отображения изображений может выступать дисплей, монитор, видеотерминал и т.д.
[39]Устройство ввода данных может представлять собой, но не ограничиваться, например, манипулятор мышь, клавиатуру, тачпад, стилус, джойстик, трекпад и т.п.
[40]На фиг. 2 показана блок-схема одного из вариантов выполнения способа отслеживания движущихся объектов. Указанный способ может быть реализован компьютерной системой в двух режимах: в режиме реального времени и в режиме просмотра архивного видео.
[41]Далее будут кратко рассмотрены этапы выполнения способа отслеживания движущихся объектов, а также принципиальные различия работы систем отслеживания объектов в разных режимах.
[42]1) Привязка множества устройств захвата изображения к плану местности.
[43]План местности - разновидность топографической карты или чертеж небольшого участка местности в заданном масштабе. В контексте данного изобретения планом местности может являться план здания или охраняемого объекта, а также открытая карта улиц (OpenStreetMap). План местности представляет из себя изображение в общедоступном формате (.jpeg или .png) и может являться двухмерным или трехмерным. План можно загрузить в систему видеонаблюдения. Для плана местности характерна возможность автоматического и/или ручного масштабирования и смещения.
[44]Привязка множества камер к местности выполняется посредством создания связей между неподвижными объектами на плане местности и объектами на видеоизображении. В качестве неподвижных объектов могут выступать различные предметы мебели, офисная и/или бытовая техника, двери, подоконники и другие предметы, имеющие объемно-пространственную структуру. Указанные связи задаются виртуальными отрезками, один конец (точка) которых соответствует расположению неподвижного объекта на видеоизображении, а другой конец (точка) соответствует расположению неподвижного объекта на плане местности. Оператор задает конечные точки, после чего системой задаются виртуальные отрезки. Заданные связи оператор может корректировать и/или удалять.
[45]На фиг. 3 показан пример привязки множества устройств захвата изображения к плану местности посредством создания четырех связей.
[46]Реализация соотнесения видеоизображения с объектами на плане местности может осуществляться в режиме погружения. В этом режиме оператор может «перемещаться» между камерами, выбирая любую камеру из текущей области видимости.
[47]В режиме погружения видеоизображение с выбранной видеокамеры отображается поверх изображения плана местности. При этом на основе заранее заданной привязки подбирается такой ракурс, при котором объекты наблюдения на видеоизображении и на плане местности будут совпадать. Оператор видит на устройстве отображения изображения план местности и наложенное на него видеоизображение.
[48]2) Отображение видеоизображения с первого устройства захвата изображения.
[49]Видеокамеры могут быть установлены в более чем одном помещении. При этом каждой камере из множества камер может соответствовать свой план местности (то есть в какой-либо местности может быть установлена только одна видеокамера), либо несколько видеокамер установлено в одной местности и используется план этой местности с возможностью переключаться между видеокамерами. Видеоизображения могут отображаться наложенными поверх плана местности на экране дисплея.
[50]3) Выбор движущегося объект, в отслеживании которого заинтересован оператор, в качестве объекта интереса.
[51]На данном этапе оператор посредством использования устройства ввода данных выбирает интересующий его движущийся объект. Выбрать можно только один интересующий движущийся объект, причем движущимся объектом может являться человек, животное, транспортное средство или же группа близко идущих людей.
[52]4) Распознавание движения выбранного движущегося объекта и оценка его направления движения.
[53]Исходя из размещения видеокамер на плане местности производится расчет положений движущихся объектов из координат на текущей камере в координаты на плане местности. В одном из частных случаев распознавание движения движущегося объекта включает определение положений движущегося объекта на плане местности из координат положений, полученных от устройства захвата изображения, причем определение координат положений движущегося объекта выполняется посредством получения метаданных от устройства захвата изображения. Система получает метаданные, если на камере, в области зрения которой расположен движущийся объект, работает трекер (например, AxxonSoft) или внешний трекер. Для активации указанной функции оператору необходимо посредством устройства ввода данных в окне просмотра видеоизображения кликнуть на трек интересующего объекта, при этом в окне видеонаблюдения должен быть активирован трекинг объектов (определение местоположения движущегося объекта во времени с помощью камеры, при котором алгоритм анализирует видеоизображения и выдает положение движущихся целевых объектов относительно изображений).
[54]Трекинг объектов распознает наличие движущегося объекта в области зрения камеры и динамически выделяет его на видеоизображении полупрозрачной прямоугольной областью в качестве области интереса. Отличием предлагаемого технического решения от известных из области техники решений является то, что выделение движущегося объекта выполняется не на этапе выбора объекта интереса, а только после того как система определяет, что объект интереса двигается (перемещается). Такое решение позволяет оператору более точно видеть контролируемый объект, при этом система более действенно обращает внимание оператора на движение объектов.
[55]Местоположение движущихся объектов в поле зрения видеокамеры может быть определено при помощи видео аналитики, встроенной в каждую видеокамеру. Указанное местоположение объектов определяется при помощи сенсоров, фиксирующих различные части спектра (видимые, тепловые) или датчиков, отличных по принципу действия от видеокамеры, таких как радары.
[56]Далее, на основании истории положений движущегося объекта, сохраненной на устройстве хранения, осуществляется оценка направления движения объекта. История положений представляет из себя характеристики нескольких предыдущих полученных положений движений объектов, скорость движения, направленность движения, на основании которых одно или более устройств обработки данных может предсказывать дальнейшее направление движения объекта интереса.
[57]5) Предсказание второго (следующего) устройства захвата изображения, в области зрения которого может появиться выбранный движущийся объект, после того как покинет область зрения первого (текущего) устройства захвата изображения.
[58]Указанное предсказание камеры выполняется по полученному на предыдущем этапе направлению движения. Система рассчитывает дальнейшую траекторию движения выбранного объекта и определяет камеру, в область зрения которой он скорее всего попадет.
[59]6) Отображение на устройстве отображения изображения видеоизображения со второго устройства захвата изображения.
[60]Данный этап имеет кардинальные отличия при использовании различных режимов просмотра видеоизображения.
[61]При просмотре видеоизображения в режиме реального времени отображение на устройстве отображения изображения видеоизображения со второго устройства захвата изображения выполняется сразу после того, как выбранный движущийся объект покидает область зрения первого устройства захвата изображения.
[62]При просмотре архивного видеоизображения отображение на устройстве отображения изображения архивного видеоизображения со второго устройства захвата изображения выполняется сразу после того, как движущийся объект был выбран оператором в качестве объекта интереса. Причем отображение архивного видеоизображения со второго устройства захвата изображения начинается с того момента времени, в который выбранный движущийся объект покинул область зрения первого устройства захвата изображения. Такой подход сокращает время просмотра архивного видео и повышает скорость мониторинга с целью отследить перемещение выбранного интересующего объекта, поскольку позволяет оператору в указанном режиме просмотра архивного видео не смотреть весь архив с первой камеры (не ждать когда движущийся объект покинет область зрения первой камеры), а сразу переходить к просмотру архива со второй камеры (третьей и т.д.), причем именно с того момента времени, когда объект интереса должен появиться в области ее обзора.
[63]На фиг. 4 представлен конкретный пример работы системы отслеживания движущихся объектов.
[64]Рассмотрим помещение, состоящее из 5 комнат (зон). В каждой зоне установлены видеокамеры, которые обозревают только свою зону, в зависимости от области зрения видеокамеры. Объект наблюдения находится в зоне 1 в поле зрения Камеры 1. Если объект будет двигаться влево и пропадет из поля зрения Камеры 1 (войдет в дверь), то на мониторе оператора будет отображена Камера 2. Если объект будет двигаться вправо и пропадет из поля зрения Камеры 1 (войдет в дверь), то на мониторе оператора будет отображена Камера 5. Если объект будет двигаться вверх и пропадет из поля зрения Камеры 1 (войдет в дверь), то на мониторе оператора будет отображена Камера 3. Если объект будет двигаться вниз и пропадет из поля зрения Камеры 1 (войдет в дверь), то на мониторе оператора будет отображена Камера 4.
[65]На фиг. 5 показана блок-схема другого варианта реализации способа отслеживания движущихся объектов.
[66]Указанный способ выполняется компьютерными средствами как в режиме реального времени, так и при просмотре архивного видео. Первоначальные этапы данного способа являются аналогичными этапам, подробно описанным выше.
[67]Основными отличительными и существенными признаками является то, что после этапа распознавания движения выполняется автоматическое выделение движущегося объекта на видеоизображении как области интереса, причем область интереса отображается на устройстве отображения изображения как полупрозрачная прямоугольная область, наложенная на видеоизображение. Далее направление движения выбранного движущегося объекта оценивают по истории положений выбранного движущегося объекта и выполняют отображение на устройстве отображения изображения видеоизображения с выделенной траекторией движения выбранного движущегося объекта.
[68]Детектирование начала движения производится по градиенту межкадровой разницы видеоизображения во времени. При этом траектория движения для разных объектов интереса может выделяться разными цветами. Траектория движения накладывается на видеоизображение также, как и полупрозрачная прямоугольная область, характеризующая область интереса. Системное выделение траектории движения обеспечивает возможность оператору наглядно проследить направление движения выбранного объекта и при желании, посредством устройства ввода, самостоятельно перейти к просмотру той камеры, в область зрения которой направляется выделенный объект интереса. Это является легко реализуемым решением при условии соотнесения множества камер с планом местности.
[69]При необходимости, по меньшей мере, часть различных операций, рассмотренных в описании данного изобретения, может быть выполнена в отличном от представленного порядке и/или одновременно друг с другом.
[70]Хотя данное изобретение было описано подробно в целях иллюстрации наиболее практичных в настоящее время и предпочтительных вариантов осуществления, следует понимать, что данное изобретение не ограничивается раскрытыми вариантами осуществления и более того, предназначено для модификации и различных других комбинаций признаков из описанных вариантов осуществления. Например, следует понимать, что настоящее изобретение предполагает, что в возможной степени, один или более признаков любого варианта осуществления могут быть объединены с другим одним или более признаками любого другого варианта осуществления.
