Большинство систем безопасности ИИ обучены распознавать что-то конкретное – вторжение, оружие, падение, драку или другое предопределенное событие. Но угрозы общественной безопасности не всегда проявляются в привычных формах, и собирать достаточное количество помеченных примеров каждого опасного поведения нецелесообразно.
Хамед Табхи из Университета в Шарлотте
Хамед Табхи, доцент Университета Северной Каролины в Шарлотте (UNC Charlotte), придерживается другого подхода. Вместо того, чтобы учить ИИ распознавать все возможные угрозы, его команда учит его тому, как выглядят обычные движения человека в конкретной среде. Затем система может узнать, как эти движения могут продолжаться, и отметить поведение, которое значительно отличается от ожидаемого.
«Мы создаем большие языковые модели для движений», - сказал Табхи в интервью EE Times.
Аналогия не буквальна, поскольку система не является большой языковой моделью, но основная идея схожа: языковая модель изучает взаимосвязи между токенами и предсказывает, что, вероятно, произойдет дальше. В рамках нескольких исследовательских проектов группа Табхи разработала способы превращения человеческих поз и движений в компактные изображения, которые модели искусственного интеллекта могут использовать для изучения закономерностей с течением времени.
Периферийный искусственный интеллект для существующих систем видеонаблюдения
Система Табхи создана для работы с существующими системами видеонаблюдения, а не требует от организаций замены камер. Устройство обработки данных находится внутри закрытой сети и собирает видеопотоки с выбранных IP-камер.
Поступающие пиксели анализируются на лету, но ИИ не нужны лица, одежда, цвет кожи или другая идентифицирующая информация для анализа поведения. Вместо этого исследование преобразует человеческую активность в представление о движении во времени и пространстве.
«Мы просто смотрим на движения», - отметил Табхи. Он описал полученную информацию как тепловые карты движения или маркеры движения.
В статье, опубликованной Табхи и его коллегами в 2024 году, была представлена архитектура-трансформер под названием SPARTA, которая отображает информацию о позе в пространстве и времени, позволяя модели фиксировать как конфигурацию тела, так и то, как эта конфигурация меняется. Последующая работа включала в себя архитектуру Shopformer – фреймворк искусственного интеллекта, основанный на трансформаторах и разработанный группой Табхи для обнаружения краж в магазинах на основе последовательностей человеческих поз, а не необработанного видео.
Их системе не нужно знать, кто такой человек, чтобы рассуждать о том, как он движется.
Визуализация нормализованных значений позы человека, отображение последовательностей движений скелета в виде словаря изученных движений
Программное обеспечение работает локально на готовых графических платформах Nvidia Jetson edge, установленных в сети видеонаблюдения. Табхи сообщил, что процессорное устройство на базе Jetson может подключаться к нескольким камерам, не требуя фундаментальных изменений в существующей видеоинфраструктуре.
Это превращает архитектуру в разновидность передового искусственного интеллекта. Вместо того, чтобы непрерывно отправлять потоки с камер в удаленный облачный сервис для анализа, система может обрабатывать движение локально и генерировать предупреждения об аномалиях вблизи места, откуда поступает видео.
Для Табхи важно модернизировать существующую инфраструктуру. Камеры уже широко распространены в кампусах, городских центрах, магазинах розничной торговли и других общественных местах. «Наш искусственный интеллект – это дополнительный уровень», - сказал он.
Работа проводится при поддержке Национального научного фонда (NSF), в том числе в рамках текущего конкурса NSF Civic Innovation Challenge, который позволяет команде внедрять и оценивать технологию в ходе нескольких пилотных проектов в реальных условиях в центре города Шарлотт.
Изучение того, что является «нормальным»
Более радикальный подход заключается в том, как система решает, что что-то подозрительно. Традиционный контролируемый ИИ начинается с предопределенных классов. Например, если разработчики хотят, чтобы модель распознавала кражи в магазинах, им обычно нужны примеры поведения при краже в магазинах и надписи, сообщающие системе, что представляют собой эти примеры.
Табхи утверждал, что эта модель плохо подходит для решения многих проблем общественной безопасности, поскольку аномальные события редки, разнообразны и зависят от контекста. Вместо этого его группа рассматривает обнаружение аномалий на видео как открытую задачу, в которой ИИ изучает нормальное поведение и ищет отклонения от него.
После развертывания модель может адаптироваться к среде, в которой она работает. Кофейня, университетский городок, магазин розничной торговли или перекресток – все они имеют разные модели нормального поведения.
«Система обучается сама по себе, поэтому она может адаптироваться к уникальной среде», - заявил Табхи. «Вы можете перенести эту систему в любую среду, и она научится нормальному поведению в этой среде».
Оценки аномалий на уровне фреймов, генерируемые системой искусственного интеллекта. Заштрихованная красная область указывает на фактическую аномалию, свидетельствующую о физической ссоре между двумя людьми
Предсказание – это один из способов, с помощью которого исследователи изучали эту проблему. Их модель TSGAD – сокращение от two-stream graph (двухпоточный график) -улучшенное обнаружение аномалий – сочетает в себе изученные представления о движении человека с прогнозированием траектории, используя различия между ожидаемым и наблюдаемым движением, чтобы помочь идентифицировать необычное поведение.
Табхи сформулировал этот принцип проще:
«Мы всегда стараемся предугадать следующее движение».
Безопасность розничной торговли является практическим испытанием. Группа Табхи все чаще рассматривает магазинные кражи как проблему обнаружения аномалий, а не просто как еще одну задачу классификации изображений. Его команда создала систему PoseLift – набор данных, сохраняющих конфиденциальность, из реальных условий розничной торговли, представляющих покупателей с помощью информации о позах, сохраняя при этом поведенческие сигналы, относящиеся к магазинным кражам.
Затем в Shopformer был применен трансформатор специально для определения последовательности действий при обнаружении краж в магазинах. Более поздние исследования подталкивают идею к непрерывному внедрению в реальном мире.
В статье, опубликованной в 2026 году, исследователи описывают набор данных, собранных с помощью нескольких камер в действующем розничном магазине в США, дополненный фактическими и инсценированными случаями магазинных краж. Они также решают основную проблему развертывания: магазин не остается статичным. Модели работы с клиентами, макеты, условия съемки и другие факторы меняются с течением времени.
Чтобы справиться с этим отклонением, исследователи разработали систему периодической адаптации, которая учитывает новые, не помеченные данные, собранные на месте, а не оставляет модель замороженной после первоначального обучения. В предыдущей работе группы аналогичным образом изучалось непрерывное обучение систем обнаружения аномалий, работающих в изменяющихся условиях.
Это важно, потому что «норма» не является постоянной.
Этот подход также меняет то, что аналитический уровень должен знать о наблюдаемых людях.
«Мы не используем распознавание лиц и никакую личную информацию, позволяющую установить личность», - отметил Табхи. «Мы слепы в отношении этих деталей».
Комплексная архитектура системы видеоаналитики с искусственным интеллектом, сохраняющей конфиденциальность
Обнаружение аномалий на основе позы заменяет большую часть внешнего вида человека информацией о положении тела и движениях. Исследователи утверждают, что это может как уменьшить воздействие на частную жизнь, так и ограничить искажения, связанные с внешним видом, которые могут возникать в системах, основанных на пикселях.
Например, человек, одетый не так, как все окружающие, не должен считаться аномальным, если он двигается нормально. Удаление одежды, черт лица и другой информации о внешнем виде позволяет модели более непосредственно сосредоточиться на поведении.
Искусственный интеллект как механизм привлечения внимания
Аномалия не обязательно означает, что произошло преступление. Например, если группа людей внезапно начнет танцевать в кафе, это, вероятно, нарушит ожидания системы. Это делает ситуацию необычной, а не опасной. Табхи не хочет, чтобы ИИ принимал окончательное решение.
«ИИ не является лицом, принимающим решения», - пояснил он. «ИИ – это скорее механизм привлечения внимания, который улучшает и масштабирует когнитивные способности человека на многих камерах».
Когда система фиксирует поведение, оператор-человек может просмотреть исходные записи с камер видеонаблюдения и решить, требуется ли что-либо предпринять. Табхи признал, что ложные срабатывания и ложноотрицательные сигналы не могут быть устранены, что делает полностью автоматизированные решения по обеспечению безопасности неуместными.
Группа Табхи также разработала ALFred, платформу активного обучения для обнаружения аномалий с помощью видео под наблюдением, которая позволяет получать обратную связь от человека в процессе обучения. Система выбирает неопределенные или информативные примеры для проверки человеком, а затем использует эту обратную связь для уточнения меток аномалий и корректировки пороговых значений обнаружения по мере изменения условий.
ALFred – двухэтапная платформа активного обучения для обнаружения аномалий. Обратная связь с людьми используется для уточнения псевдометок и последовательного повышения эффективности обнаружения аномалий
Цель состоит не в том, чтобы заменить оператора службы безопасности, а в том, чтобы облегчить выполнение невыполнимой задачи, связанной с постоянным просмотром большого количества видеозаписей с камер наблюдения. Это меняет фундаментальный вопрос, который задает ИИ в сфере безопасности.
Вместо того, чтобы постоянно пытаться определить: «Какую угрозу я вижу?», в работе Табхи все чаще ставится вопрос, который ближе к следующему: «Учитывая то, что произошло до сих пор, что должно произойти дальше?»
Если реальность нарушает усвоенный шаблон, у человека появляется шанс посмотреть. Возможно, это самый полезный язык для изучения интеллектуальными камерами.
