Технологии слияния сенсорной информации для управления в критических ситуациях

Опубликовано в номере:
PDF версия
В статье рассмотрены принципы и основные способы слияния (объединения) данных от различных датчиков как ключевого этапа интеграции сенсорных систем для достоверного контроля состояния объектов, оптимального обнаружения признаков опасных состояний и управления объектами в критических ситуациях. Рассмотрены применения технологий сенсорного слияния в системах мониторинга безопасности, дистанционном зондировании и других областях.

Управление в критических ситуациях строится на фундаментальном законе необходимого многообразия, открытом Уильямом Эшби (William Ross Ashby) и названном его именем, согласно которому уровень разнообразия управляющей системы должен соответствовать уровню разнообразия управляемого объекта [1].

Поскольку критическая ситуация — это предельное сочетание открытых и скрытых угроз безопасности, то управление должно основываться на полной и точной информации о фактической обстановке, получаемой в реальном времени от различных датчиков.

В реальной обстановке автоматизированные системы управления (АСУ) работают с «зашумленными», неполными и не всегда точными данными. Поэтому сенсорное слияние стало адекватным подходом, обеспечивающим избыточность сбора и надежность распознавания сенсорных данных для таких систем. Другими словами, сенсорное слияние является примером того синергетического результата, когда два плюс два равняется пять: объединение данных от различных источников дает дополнительную сенсорно-семантическую информацию о ситуации, которая иначе не может быть доступна [2, 3].

Достоинствами сенсорного слияния являются повышение отношения сигнал/шум, сохранение надежности системы в случае отказа какого-либо датчика, снижение вероятности ложных тревог и рост вероятности обнаружения и сокращение времени реагирования в силу получения более полной информации об обстановке, поступающей от множества разнородных датчиков.

Сенсорное слияние обычно используется в интегральных системах безопасности, мониторинга технического состояния, дистанционного зондирования, в том числе с помощью мульти­спектрального телевизионного, гидроакустического, радиолокационного и геофизического освещения обстановки.

Применениями сенсорного слияния, помимо военных, являются системы управления транспортом (автомобильным, воздушным, морским и др.), робототехника, охрана периметров границ, мониторинг безопасности сооружений, метеорология, чрезвычайные ситуации, медицинская диагностика и экологический мониторинг.

Решение сложных проблем сенсорного слияния требует междисциплинарного подхода, включающего интеграцию различных алгоритмов и методов.

 

Принципы объединения сенсорной информации

Рис. 1. Базовый цикл сенсорного слияния информации

Слияние сенсорной информации производится на разных уровнях: на уровне сенсорных сигналов, на уровне признаков и на уровне принятия решений. В зависимости от задач применяются разные топологии мультисенсорного слияния: последовательная, параллельная, древовидная и сетевая.

Опыт построения систем динамического моделирования обстановки привел к определению набора принципов объединения воспринимаемой информации. Эти принципы следуют непосредственно из сущности цикла «прогноз–совпадение–обновление», представленного на рис. 1.

Перечислим эти принципы:

  1. Признаки в модели должны быть выражены в виде набора параметров (вектора состояния).
  2. Наблюдение и модель должны отображаться в общей системе координат.
  3. Наблюдение и модель должны описываться на основе общего тезауруса.
  4. Признаки должны включать явное представление неопределенности: точности и достоверности.
  5. Признаки должны сопровождаться доверительной вероятностью, поскольку модели обстановки всегда рассматриваются как гипотезы.

Методы слияния данных на уровне датчиков используются с тем, чтобы улучшить качество данных и обеспечить функцию метрологического самоконтроля датчиков [4].

На сенсорном или компонентном уровне мониторинга текущие сенсорные данные обрабатываются, чтобы повысить отношение сигнал/шум и удалить ненужные составляющие сигналов. Применяются два общеизвестных метода: частотная фильтрация и временное усреднение. Это очень важно в системах мониторинга технического состояния, чтобы исключать сигналы от ненадежных датчиков, которые могут приводить к ложным тревогам. Кроме того, применяются многопараметрические датчики, которые способны измерять одновременно несколько физических величин, характеризующих контролируемый объект. Объединяя информацию от нескольких измеряемых величин или от нескольких одинаковых датчиков, можно повысить точность и достоверность сенсорных данных.

На рис. 2 приведена обобщенная структура объединения сенсорной информации, широко применяемая в системах мониторинга фактического технического состояния (ФТС) контролируемых объектов.

Обобщенная структура объединения сенсорной информации

Рис. 2. Обобщенная структура объединения сенсорной информации

Следующим шагом в обработке данных датчиков является выделение признаков. Признаками могут быть статистические или физические характеристики измеряемого сигнала, полученного с помощью датчиков.

Широкий спектр методов выделения признаков применяется в мониторинге технического состояния, например по вибрациям машинного оборудования. Статистические характеристики сигнала включают в себя среднеквадратический уровень, пиковый уровень, асимметрию и эксцесс. Частотные характеристики сигнала включают частоты и величины спектральных пиков в диапазоне характерных частот модуляции, гармоник и боковых полос частот широкополосной энергии дефектов.

Идеальным вариантом была бы методика выделения одного признака, значения которого лежали бы от 0 до 1 и который изменялся бы линейно в течение всего периода времени от ввода оборудования в эксплуатацию и до конца срока его службы. Однако на практике такой признак редко существует, и поэтому необходимо использовать дополнительные методы слияния сенсорных данных и распознавания образов для определения состояния компонента оборудования по нескольким признакам. Дополнительным свойством является способность отслеживать и прогнозировать будущие значения функций, которые мы должны вычислять, если мы хотим выполнить прогнозирование, а не только текущее диагностирование.

Проблема определения технического состояния оборудования по нескольким расчетным признакам по существу является проблемой распознавания образов. Подходы к распознаванию образов в общих чертах можно охарактеризовать как статистические, синтаксические, семантические или нейросетевые [3].

На пике применения в настоящее время является подход к обслуживанию оборудования по фактическому техническому состоянию (ФТС), когда оборудование ремонтируют или обслуживают только тогда, когда интеллектуальная система мониторинга свидетельствует о том, что система не может выполнить установленные требования. Реализация таких систем требует сочетания слияния сенсорных данных, выделения признаков, классификации и алгоритмов прогнозирования. Кроме того, новые архитектуры систем разрабатываются для облегчения сжатия широкополосных сигналов датчиков для четкого предсказания способности системы выполнять текущее или будущие задания.

На рис. 3 приведена применяемая в промышленных АСУТП трехслойная архитектура систем мониторинга машинного оборудования с помощью интеллектуальных датчиков на низовом уровне, системного уровня мониторинга на среднем уровне, способном выполнять слияние данных и распознавание образов, и платформенного уровня мониторинга — на самом высоком уровне, чтобы обеспечить пользовательский интерфейс и пройти процедуры от назначения до уровня системного мониторинга.

Рис. 3. Трехслойная архитектура системы мониторинга ФТС оборудования

Мониторинг ФТС оборудования требует слияния сенсорных данных, распознавания образов, отслеживания и алгоритмов предсказания, дабы определить оставшийся срок полезного использования (остаточный ресурс) для частей оборудования. Целью систем мониторинга ФТС оборудования является не просто проведение автоматизированной диагностики состояния неисправностей, но и определение остаточного срока эксплуатации объекта в контексте его назначения. Таким образом, система мониторинга ФТС должна иметь как диагностические, так и прогностические возможности. Используя модельный подход, система может просто взять текущее состояние оборудования и инвертировать модель для вычисления оставшегося срока эффективной эксплуатации. При отсутствии надежной и точной модели контролируемого оборудования применяют другой подход для определения оставшегося срока эксплуатации — путем контроля траектории развивающихся дефектов и предсказания того периода времени, пока развивающийся дефект не достигает заданного уровня, требующего принятия ремонтно-профилактических мер.

Наиболее известным методом отслеживания/предсказания является фильтрация Калмана [3]. Она представляет собой математический алгоритм, который оценивает состояние зашумленного, переменного процесса посредством выполнения во времени множественных измерений и объединения их с предсказанными оценками. Предполагается, что измерения и модели контролируемой системы — зашумленные. Фильтр отслеживания Калмана был использован для прогнозирования функции траектории состояний признака в зависимости от развития дефекта в механической системе оборудования. Признак «вектор состояния» определяется как вектор, содержащий текущее значение функции, первой производной от значения функции по отношению времени и второй производной от значения функции по времени. Они соответствуют местоположению, скорости и ускорению признака. Оценки признаков положения, скорости и ускорения могут быть использованы для определения остаточного срока эксплуатации системы, предсказывая, когда система достигает состояния поломки, т. е. когда уже больше не будет обеспечивать безопасную эксплуатацию.

 

Дистанционное зондирование

Проблема слияния данных от датчиков изображений возникла в период зарождения методов дистанционного зондирования и остается актуальной и ныне — ввиду сохраняющихся тенденций к повышению требований к объемам и качеству данных [4].

Системы дистанционного зондирования формируют многоспектральные и мультисенсорные изображения, значения параметров элементов которых отвечают значениям какой-либо характеристики (спектральной отражательной способности, температуры и т. д.) соответствующего участка контролируемой поверхности местности в определенной полосе электромагнитного спектра. В общем случае такой набор изображений рассматривается как многомерная матрица характеристик, образующая вектор характеристик для каждого участка данной местности.

Ввиду того что данные, полученные с сенсоров, установленных на спутниках, имеют различные пространственное, спектральное, временное и градационное разрешения, актуальной является задача слияния изображений дистанционного зондирования с целью интеграции характеристик и последующего их анализа, например в геоинформационных системах.

Среди полученных с помощью дистанционного зондирования изображений существуют различные варианты слияния:

  • изображений с разным спектральным разрешением;
  • изображений с разным спектральным составом (спектросовмещение);
  • изображений с разным временным разрешением;
  • изображений, полученных от множества датчиков;
  • изображений, полученных от разных типов датчиков.

Слияние изображений с разным спектральным разрешением, или мультиспектральное слияние изображений, — процесс, позволяющий получить из панхроматического (ПХ) и мультиспектрального (МС) каналов двух изображений объекта одно слитное изображение. Канал ПХ обычно имеет высокое пространственное разрешение, а канал МС — низкое (например, для типовых спутниковых изображений: ПХ 0,61–0,72 м, МС 2,44–2,88 м).

Одними из наиболее современных методов обработки дистанционных изображений при сенсорном слиянии являются разновидности дискретного вейвлет-преобразования (ДВП). Основной особенностью данных методов является применение к исходным изображениям прямого ДВП, дальнейшее слияние полученных коэффициентов и выполнение обратного дискретного вейвлет-преобразования, результатом которого является выходное слитное изображение.

Детали процесса слияния, так же, как и вид вейвлет-преобразования, зависят от конкретного метода обработки. Обобщенная структурная схема метода ДВП представлена на рис. 4.

Обобщенная схема для ДВП-методов

Рис. 4. Обобщенная схема для ДВП-методов

Применение двухканального сенсорного слияния, например при дистанционном зондировании в геоинформационных системах, обусловлено тем, что необходимо получить изображение как с высоким спектральным, так и с высоким пространственным разрешением. На рис. 5 приведен характерный пример такого сенсорного слияния изображений, полученного со спутника IKONOS из космоса.

Слияние ПХ и МС сенсорных изображений

Рис. 5. Слияние ПХ и МС сенсорных изображений

 

Охрана периметров границ

Применение распределенных мультисенсорных систем, например волоконно-оптических, для сигнализационного блокирования протяженных сухопутных и морских государственных границ и других важных объектов обусловлено требованиями современной концепции охраны границ: обустройство новых протяженных границ должно осуществляться посредством скрытых, всепогодных, энергетически экономичных и необслуживаемых средств обнаружения без применения заградительных сооружений с минимальными инженерно-ландшафтными работами.

Концепция построения систем охраны периметров границ строится на принципах сенсорного слияния на основе нейросетевой обработки мультисенсорной информации, позволяющей повысить вероятность обнаружения нарушителей Роб с радикальной минимизацией вероятности ложных тревог Рлт (рис. 6).

система охраны периметра с сенсорным слиянием

Рис. 6. Концептуальная модель системы охраны периметра с сенсорным слиянием

Работа любой периметровой системы охраны происходит в условиях жесткой конкуренции между сигналами, вызванными реальным нарушителем, и сигналами, инспирированными погодными условиями и промышленными шумами.

В волоконно-оптических системах анализ сигналов производится при использовании процессора с элементами искусственного интеллекта на основе нейронных сетей «ВОРОН-НЕЙРО-1», обучаемого на объекте после полного монтажа системы охраны периметров границ [4]. Процесс обучения состоит в накоплении в памяти обучающей ЭВМ сигналов, соответствующих реальным попыткам обучающего персонала пересечь охраняемое ограждение, и сигналов различной природы, вызывающих ложные срабатывания системы. После этого обучающая программа автоматически вырабатывает алгоритм распознавания сигналов на данном конкретном типе и варианте ограждения и создает соответствующую распознающую структуру в нейрокомпьютере для многопараметрического анализа всех приходящих с периметра сигналов.

Структурная схема нейросетевого сенсорного слияния сейсмоакустических сигналов с распознаванием пеших нарушителей приведена на рис. 7.

Рис. 7. Структура нейросетевого сенсорного слияния сейсмо-акустических сигналов

Использование процессора с элементами искусственного интеллекта на основе нейронных сетей является наиболее мощным современным методом анализа сигналов и распознавания образов.

Применение нейропроцессорных методов обработки и анализа сигналов позволяет адаптировать системы охраны периметра практически к любым типам подвижных ограждений при вероятностях обнаружения нарушителя не менее 0,98 при уровне ложных тревог менее 0,001.

 

Транспортные системы

В последние годы в центре интересов автопроизводителей находятся видеоинформационные технологии сенсорного слияния для систем автомобильной безопасности [5].

Автомобильные CMOS-камеры и процессоры обработки изображений часто комбинируются с другими типами датчиков — лидарами, радарами, а в системах обработки анализируется информация, получаемая в реальном времени от различных датчиков, осуществляется слияние сенсорных данных о дорожной обстановке и техническом состоянии автомобиля.

Анализ показывает, что все большее число производителей интегрируют вместе активные и пассивные системы безопасности и видеосистемы в единую систему безопасности, которая осуществляет ситуационный контроль автомобиля, предупреждая водителя или активно вмешиваясь в управление.

Многие производители работают в направлении осуществления слияния сенсорных данных от радаров и камер для автомобильных систем, совершенствуя как сенсорные технологии, так и технологии обработки изображений. Радары и видеодатчики являются взаимодополняющими и обеспечивают необходимую сенсорную избыточность.

Например, фирма Bosch Sensortec производит систему DAS, основанную на видеокамерах и девятиосевом инерциальном датчике, объединяющую в одном корпусе несколько технологий: акселерометр, гироскоп и геомагнитный датчик, аппаратное и программное обеспечение, реализующие слияние сенсорных данных для обработки пространственно-временной информации. Технология позволяет объединять сигналы от цветной видеокамеры и радара на 77 ГГц или сигналы двух видеокамер, которые система опрашивает и анализирует, выявляя критические ситуации. Выпускаемая фирмой система предсказания чрезвычайного торможения также применяет технологию слияния сенсорных данных, которая автоматически задействует тормоза при недостаточной реакции водителя на приближающуюся машину при угрозе столкновения.

Фирма Delphi использует слияние сенсорных данных в системах смягчения аварий, комбинирующих камеры и радары дальнего диапазона для применений, включая предупреждение столкновений с автоторможением, контроль предупреждения водителя и автоматический климат-контроль и (в последнее время) алко-контроль.

Применение в сфере инерциальных измерений молекулярных (нано) технологий позволяет создавать монолитные многоэлементные мобильные микро- и нано-сенсоры, интегрированные в подсистему, имеющую практически неограниченное число контролируемых степеней свободы и других контролируемых параметров и осуществляющую сенсорное слияние информации.

Литература
  1. Эшби У. Р. Введение в кибернетику. М.: ИЛ. 1959.
  2. Буймистрюк Г. Я. Информационно-семантическая модель адаптации спектрозональной телевизионной системы // Радиотехника. 1987. № 6.
  3. Hall D. L., Llinas J. Handbook of multisensor data fusion. NY: CRC Press. 2001.
  4. Буймистрюк Г. Я. Информационно-измерительная техника на основе волоконно-оптических датчиков и систем. СПб.: ГРОЦ Росатома. 2007.
  5. Сысоева С. Три уровня автомобильных сенсорных инноваций // Компоненты и технологии. 2010. № 1.

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *