Построение систем технического зрения на базе компьютерных технологий National Instruments

Опубликовано в номере:
PDF версия
Сегодня системы технического зрения применяются во многих отраслях промышленности, в том числе для контроля формы изделий. Разработчики используют широкий ассортимент аппаратных и программных средств, который определяется требованиями решаемых задач. При этом часто необходимо иметь возможность методического и аппаратного усовершенствования системы контроля. Платформы компании National Instruments позволяют построить и модифицировать систему, а также интегрировать ее в общую структуру промышленной автоматизации. В статье рассмотрены особенности технологий технического зрения National Instruments, знание которых поможет повысить эффективность разработки.

Введение

Оптико-электронные системы (ОЭС) технического зрения (ТЗ) широко используются в различных отраслях промышленности, предоставляя большой объем быстро собираемой информации. Конечной целью является получение информации о свойствах наблюдаемых объектов, к которым в первую очередь относятся геометрические параметры их формы и перемещение. Не менее важной является и структура объектов [1], определяемая их оптическими свойствами.

Выбор схемных решений оптической системы и технических средств регистрации зависит от поставленной задачи [2, 3]. Характеристики ОЭС определяют поля зрения, разрешающую способность, возможность контроля объекта по глубине пространства и быстродействие системы. С другой стороны, необходимо обеспечить масштабируемость и технологичность решения. Для этого требуется подобрать правильные средства коммуникаций и много­функциональную программную платформу, предусматривающую единое программное поле для получения данных с ОЭС, анализа данных и проведения вычислений. Сейчас имеется достаточное количество способов оценки качества изображений и извлечения интересующей информации, основанных на современных математических методах обработки информации. При этом требуется програм­мная поддержка средств получения и обработки изображений, технологичность создания и сопровождения систем контроля.

 

Программные средства компании National Instruments

Указанным требованиям удовлетворяют решения компании National Instruments (NI), основанные на графической среде разработки приложений — NI LabVIEW [4], которая позволяет использовать большинство известных математических методов обработки данных. Дополнительный модуль технического зрения NI IMAQ Vision дает возможность загружать изображения с аналоговых и цифровых источников, имеет множество функций анализа и обработки изображений [5]. Помимо собственных аппаратных средств получения изображений, NI может собирать данные от источников сторонних производителей [6], включая цифровые камеры (ЦК) высокого разрешения [7]. Среда разработки NI LabVIEW модульная и иерархичная, что позволяет использовать функции математических методов, представленных в дополнительных модулях NI. Например, модуль NI Advanced Signal Processing Toolkit включает все функции частотно-временного и вейвлет-анализа, а NI Robotics Module — средства управления и позиционирования ОЭС.

Среда разработки приложений NI имеет высокую вычислительную эффективность [8] и может быть использована как на обычной вычислительной платформе, так и на целевой, обеспечивая контролируемую синхронизацию обработки потоков данных [9]. Также технологии NI позволяют создавать распределенные контрольно-измерительные системы [10]. При этом необходимо учитывать структуру среды разработки NI LabVIEW (рис. 1а) и модель состояния и управления вычислительной задачей (рис. 1б), зависящую от возможности доступа к ресурсам системы. Повысить эффективность системы можно за счет программного управления моделью состояния задачи, которое позволит справиться с последствиями от возможных конфликтных ситуаций в ресурсах системы.

Архитектура сбора данных виртуальных приборов NI

Рис. 1. Архитектура сбора данных виртуальных приборов NI: а) структура связи приложения с системой сбора данных; б) модель состояния задачи

Функционирование аппаратных средств и инициализация операций по получению данных LabVIEW обеспечиваются драйверами. Между собой драйвер и среду LabVIEW связывает программа анализа измерений и автоматизации (Measurements and Automation Explorer, MAX). Она является программным интерфейсом и дает доступ ко всем физическим и сетевым ресурсам (рис. 1а). В качестве промежуточного места для хранения поступающих данных используются управляемый буфер устройства и буферы оперативной памяти компьютера. Помимо программного обеспечения (ПО), инициализацию ввода-вывода может обеспечивать внешняя часть оборудования.

Модель состояния задачи используется драйвером для управления распределением ресурсов и потоками выполнения задачи. Такая модель состоит из пяти состояний: «Непроверенного», «Проверенного», «Зарезервированного», «Назначенного» и «Выполнения» (рис. 1б). Она позволяет выбрать необходимую степень взаимодействия с задачей. Из одного состояния в другое задачу переводит вызов виртуальных приборов DAQmx Start, DAQmx Stop и DAQmx Control Task. Можно выполнять явный переход состояний, используя виртуальный прибор DAQmx Control Task, или совершать переход между состояниями неявно.

Разработку и отладку алгоритмов обработки изображений обеспечивает приложение NI Vision Assistant [11], работающее со всеми функциями драйвера IMAQ-Vision и включающее средства визуализации этапов работы алгоритма. Это упрощает и ускоряет процесс разработки и отладки алгоритма решаемой задачи для конкретной ситуации. Кроме того, приложение NI Vision Assistant дает возможность интерактивно контролировать обработку изображения. После тестирования созданного скрипта он может быть преобразован в автономное приложение среды LabVIEW — виртуальный прибор (ВП).

 

Аппаратные средства компании National Instruments

Модуль технического зрения NI IMAQ Vision предоставляет широкие возможности по реализации захвата и обработки изображения [5] с различных источников (рис. 2). При этом необходимо заранее решить вопросы выделения и запоминания кадров изображений, учитывая, что экраны для видеоизображений модуля IMAQ Vision не позволяют работать с несколькими видеопотоками одновременно.

Аппаратные средства компании National Instruments

Рис. 2. Структура получения информации с различных ЦК: а) на аппаратном уровне; б) на уровне программных средств

Для получения изображений доступен целый ряд аппаратных средств NI: платы видеозахвата для ЦК с различным интерфейсом, RT-системы, смарт-камеры NI (рис. 3). В случае использования плат видеозахвата появляется возможность применять широкий ассортимент ЦК сторонних производителей. Устройство видеозахвата изображения (рис. 3а) обеспечивает совместимость ЦК с различными интерфейсами, включая IEEE 1394, GigE Vision и USB3 Vision. Компактная система технического зрения (рис. 3б) также сопрягается с несколькими видами ЦК. Это обеспечивает гибкость, интеграцию и надежность, необходимые для большинства задач ТЗ. Данная система содержит четырехъядерные процессоры Intel Atom и совместима с камерами GigE Vision или USB3 Vision, что подходит даже для сложных заданий. Кроме того, система работает с интерактивным приложением Vision Builder for Automated Inspection.

Аппаратные средства получения изображений компании NI

Рис. 3. Аппаратные средства получения изображений компании NI: а) устройство захвата изображения; б) компактная система технического зрения; в) смарт-камера

Смарт-камеры NI (рис. 3в) также многофункциональны, в их состав входят встроенные процессоры и формирователи изображений. Линии ввода-вывода включают оптоизолированные цифровые линии, последовательный порт RS-232 и порты Gigabit Ethernet. Кроме того, смарт-камеры содержат программируемые логические контроллеры (ПЛК), человеко-машинные интерфейсы (ЧМИ), робототехнику и датчики. Конфигурацию камер можно изменить c помощью ПО Vision Builder for Automated Inspection — или запрограммировать камеру с помощью модулей LabVIEW RealTime Module и Vision Development. В дополнение смарт-камеры могут включать встроенную систему цифрового ввода-вывода и системы промышленной связи для взаимодействия в реальном времени и интеграции с промышленными устройствами автоматизации.

Основные характеристики смарт-камер NI представлены в табл. 1.

Таблица 1. Смарт-камеры компании NI

Модель

Цвет

Процессор

Память, Мбайт

Частота, кадров/с

Разрешение

Матрица

NI 1722

ч/б

400 МГц PowerPC

128

60

640×480

1/3 дюйма, Sony ICX424AL CCD

NI 1742

ч/б

533 МГц PowerPC

128

60

640×480

1/3 дюйма, Sony ICX424AL

NI 1744

ч/б

533 МГц PowerPC

128

13

1280×1024

1/2 дюйма, Sony ICX205AL

NI 1762

ч/б

533 МГц PowerPC и 720 МГц DSP

128

60

640×480

1/3 дюйма, Sony ICX424AL

NI 1764

ч/б

533 МГц PowerPC
и 720 МГц DSP

128

13

1280×1024

1/2 дюйма, Sony ICX205AL

Встраиваемые системы ТЗ компании NI служат контроллерами автоматизации сложных, высокоскоростных приложений ТЗ, которые объединяют несколько доступных ЦК (рис. 4). Такие системы предназначены для получения и обработки снимков с камер с интерфейсом IEEE 1394, GigE Vision, Base-конфигурации Camera Link и DirectShow-совместимых USB-камер. Стоит отметить, что возможности Camera Link подходят для визуализации линии сканирования при осмотре пространства с помощью оптической системы [12].

Система NI EVS-1464RT

Рис. 4. Система NI EVS-1464RT

 

Алгоритмы систем ТЗ: методика построения

В основе получения и обработки временных последовательностей изображений в ОЭС лежат механизмы синхронизации, которые можно реализовать как на аппаратном, так и на программном уровне. Архитектура программной реализации получения последовательности изображений с программным тактированием аналогична архитектуре сбора данных с внешних устройств. При этом число собираемых данных может быть конечным (рис. 5а) или непрерывным (рис. 5б). Операция непрерывного буферизированного сбора данных более сложная (рис. 5б), поскольку компьютер использует один буфер, а количество получаемых данных больше, чем он может вместить.

Типичные схемы сбора данных при построении виртуальных приборов NI

Рис. 5. Типичные схемы сбора данных при построении виртуальных приборов NI: а) простой буферизированный сбор данных; б) непрерывный сбор данных

Наряду с низкоуровневыми функциями драйвер NI-IMAQ имеет конфигурируемый виртуальный подприбор (ВПП) Vision Acquisition, который позволяет быстро настроить устройство ввода изображения. Первая структура данного ВПП — получения одиночного изображения (рис. 6а) — изначально не привязана к моменту времени и может в общем алгоритме программно обеспечивать получение изображений или их последовательностей в любые заданные моменты времени. Чтобы это реализовать, можно использовать формируемый программой логический признак (Case Structure), структуру одного события или набора событий (Event Structure), что удобно при ручном управлении моментом получения изображений. Временную привязку обеспечивают соответствующие функции. Как правило, такую конструкцию целесообразно использовать для длительных интервалов времени, гарантирующих обработку изображений. Точность временного параметра определяется операционной системой [13].

Рис. 6. Структуры получения изображений ВПП Vision Acquisition: а) для одного изображения; б) для непрерывного получения серии изображений; в) для определенного числа изображений; г) для определенного числа изображений с последующей обработкой

При конфигурации непрерывного получения изображений со встроенной обработкой (рис. 6б) для исключения пропуска изображений необходимо установить опцию «Получение каждого изображения» и указать количество изображений в буфере. Чтобы избежать ситуации отсутствия изображений, среднее время их обработки должно быть меньше, чем время получения изображения. Структура получения фиксированного числа изображений со встроенной обработкой показана на рис. 6в. В таком случае после появления каждого изображения оно становится доступно для обработки.

Для ОЭС с системой позиционирования имеется необходимость получения изображения по некоторому временному событию (триггеру), причем как по внешнему — появление интересуещего объекта в поле зрения ОС, импульсная подсветка объекта, отработка системы позиционирования ОЭС, — так и по признакам собственного состояния объекта. Средства NI позволяют это реализовать.

 

Построение измерительных алгоритмов

После получения той или иной совокупности изображений возникает задача их обработки. Для этого можно использовать программное заполнение буфера появляющимися изображениями, обеспечивая их доступность для последующей обработки. Такая структура системы показана на рис. 7. Путем временного тактирования во время получения изображений и с помощью необходимого триггерного события (P) формируется серия изображений. Затем она заполняется в буфер (3), который используется для совместной предварительной обработки: повышения качества и разрешения (4), попарного корреляционного анализа изображений (5). В результате из полученных изображений (6–8) извлекаются информационные составляющие об объекте наблюдения.

Структура системы временной обработки серии изображений

Рис. 7. Структура системы временной обработки серии изображений

Статические информационные составляющие определяются формой, структурой объекта и его ориентацией, а динамические — скоростью его перемещения и параметрами изменения ориентации (вращения) относительно оси визирования ОЭС. Параметры формы объекта соответствуют геометрии контуров внешних и внутренних границ. В свою очередь, повышение контраста и выделение контуров границ обеспечиваются функциями фильтрации и морфологических преобразований, реализуемых с помощью драйвера NI IMAQ-Vision (табл. 2).

Таблица 2. Функции фильтрации и морфологических преобразований

Вид

Название

Описание

Построение систем технического зрения

Filters

Подготавливает изображение для обработки, чтобы затем извлекать из него только необходимую информацию

Построение систем технического зрения

Gray Morphology

Изменяет форму объектов в изображении

Построение систем технического зрения

Gray Morphology Reconstruction

Восстанавливает изображение в градациях серого
с маркера изображения

Построение систем технического зрения

FFT Filter

Применяет частотный фильтр к изображению

Задача создания компактного информационного облика исследуемого объекта достаточно актуальна, поскольку позволяет, с одной стороны, производить быстрое выделение и анализ индивидуальных особенностей, а с другой — моментально определять временную динамику объекта. Дальнейшая оцифровка выделенных границ контрастов (контуров) [14] определяет возможность их представления аналитическими моделями с последующей реконструкцией и сравнительным анализом [15]. С описанием указанных функций и их применения можно ознакомиться в документации [16, 17]. Пример обработки исходного изображения спутника и построения границ контраста с применением указанных функций показан на рис. 8. На фрагменте исходного изображения, обработанного с помощью функции фильтрации, видны дефекты солнечной батареи спутника.

Обработка изображения для построения градиента контраста в конструктивных фрагментах спутник

Рис. 8. Обработка изображения для построения градиента контраста в конструктивных фрагментах спутника

Чтобы определить структуру и параметры внутренних элементов в изображении сложных объектов, можно применить заданные шаблоны к поиску в изображениях: геометрические, цветовые и др. Такие функции анализа изображений представлены в табл. 3 и 4.

Таблица 3. Функции анализа геометрической структуры изображения

Вид

Название

Описание

Построение систем технического зрения

Pattern Matching

Проверяет наличие шаблона во всем изображении или в интересующей области, выбор которой основан на интенсивности шаблона

Построение систем технического зрения

Geometric Matching

Проверяет наличие в шаблоне всего изображения или в области интереса на основе геометрического подобия

Построение систем технического зрения

Contour Analysis

Анализирует контур объектов на наличие дефектов

Построение систем технического зрения

Shape Detection

Находит геометрические фигуры в изображении
или в области интереса

Построение систем технического зрения

Golden Template Comparison

Сравнивает области изображения для учебного шаблона и возвращает найденную разницу в изображении

Таблица 4. Функции анализа структуры изображения

Вид

Название

Описание

Построение систем технического зрения

Color Operations

Выполняет арифметические и логические операции с изображениями

Построение систем технического зрения

Color Plane Extractions

Извлекает из изображения три цветные плоскости (RGB, HSV или HSL)

Построение систем технического зрения

Color Threshold

Применяет порог компарирования к трем плоскостям цветного изображения и помещает результат в 8-битное изображение градации серого

Построение систем технического зрения

Color Classification

Классифицирует цвета в цветном изображении

Построение систем технического зрения

Color Segmentation

Сегментирует цветное изображение

Построение систем технического зрения

Color Matching

Исследует цветовое содержание одной области изображения и сравнивает его с цветовым содержимым другой области

Построение систем технического зрения

Color Location:

Распознает цвета в цветном изображении

Построение систем технического зрения

Color Pattern Matching:

Проверяет наличие шаблона во всем цветном изображении или в заданной области

Для бинарных изображений доступен новый класс измерительных функций: анализ формы частиц бинарных кластеров, поиск заданных геометрических форм в изображении, выявление вписанных в кластер окружностей заданного диапазона радиусов. Набор указанных функций представлен в табл. 5. Все они могут быть использованы для предварительного обнаружения, идентификации и оценки фрагментов изображения [18].

Таблица 5. Функции анализа в бинарных изображениях

Вид

Название

Описание

Построение систем технического зрения

Binary Image Inversion

Изменяет динамику изображения, содержащего два разных оттенка серого

Построение систем технического зрения

Particle Analysis

Отображает результаты измерений параметров отдельных частиц в изображении

Построение систем технического зрения

Shape Matching

Находит объекты в изображении, которые имеют форму, указанную в шаблоне

Построение систем технического зрения

Circle Detection

Находит в изображении центры и радиусы вписанных окружностей

Переход к бинарным изображениям, с одной стороны, приводит к потере значительной части информации, однако с другой — к направленному выделению информационной составляющей структуры изображения или его фрагментов. Это дает возможность локального восстановления части информации. Выбор подхода к анализу изображения и определению его информационных составляющих обусловливается факторами отображаемой прозрачности и стабильности результатов в широком диапазоне качества изображений.

Большую роль в получении более точной размерной информации об исследуемом объекте играют функции измерения линейных размеров между границами фрагментов изображений. Более совершенные измерительные алгоритмы линейных размеров могут быть созданы на основе выделения и анализа распределения освещенности в заданных линиях профиля с последующим анализом функции распределения освещенности различными математическими методами [19], что обеспечивает полный контроль над процессом измерения. В то же время в драйвере NI IMAQ-Vision представлен целый ряд функций (ВПП) измерительных алгоритмов в изображении (табл. 6). Данные функции позволяют изменять параметры работы алгоритмов. С помощью сравнительного анализа измерений, используя различные методы и параметры, можно оценить точность и достоверность полученных результатов [20].

Таблица 6. Функции детектирования границ и измерения линейных размеров

Вид

Название

Описание

Edge Detector

Обнаруживает границы черно-белого изображения

Построение систем технического зрения

Find Straight Edge

Находит прямой край изображения
в интересующей области

Построение систем технического зрения

Adv. Straight Edge

Находит прямой край изображения
в интересующей области

Построение систем технического зрения

Find Circular Edge

Находит круговую границу в интересующей области

Построение систем технического зрения

Max Clamp

Измеряет максимальное, разделенное границами объекта расстояние

Построение систем технического зрения

Clamp (Rake)

Измеряет расстояние, разделяющее границы объекта

Построение систем технического зрения

Caliper

Отображает результаты измерения, проведенного на выбранных точках

Комбинация функций обработки изображения и измерительных функций обеспечивает проведение измерений заданных геометрических размеров не только в структурах с протяженными границами, но и в рамках объектов практически любой формы. Пример определения геометрии внешних границ спутника (при малом разрешении и сильном размытии) в полярных координатах с применением функции Find Circular Edge представлен на рис. 9. В результате получаем пространственные координаты и размер спутника, а по степени отклонения границ от найденной окружности — характерные черты (облик).

Определение признаков внешней геометрии спутника в полярных координатах

Рис. 9. Определение признаков внешней геометрии спутника в полярных координатах

 

Особенности устройства многопозиционных ОЭС

Многопозиционные системы наблюдения, основанные на применении нескольких ОЭС, активно используются в качестве высокоточных источников информации об объектах съемки. Поступающая информация от разнесенных позиций ОЭС объединяется и обрабатывается совместно, что позволяет реализовать ряд преимуществ перед однопозиционной ОЭС.

Среди этих преимуществ можно отметить: возможность формирования сложных пространственных зон обзора, повышение точности измерения координат, а также увеличение надежности выполнения общей задачи. При этом возникает необходимость синхронизации работы позиций ОЭС и организации передачи данных, а также возрастает сложность обработки информации. Структура получения и обработки изображений
в многопозиционных ОЭС представлена на рис. 10.

Структура получения и обработки изображений в многопозиционной ОЭС

Рис. 10. Структура получения и обработки изображений в многопозиционной ОЭС

Важным моментом многопозиционных систем является сопоставление качественных параметров изображений, полученных с различных ОЭС. Описание ряда функций анализа и изменения качества изображения приведено в табл. 7.

Таблица 7. Функции анализа качества изображения

Вид

Название

Описание

Построение систем технического зрения

Histogram

Подсчитывает общее количество пикселей в каждом оттенке серого и строит график

Построение систем технического зрения

Line Profile

Отображает распределение оттенков серого вдоль выделенной линии пикселей в изображении

Построение систем технического зрения

Measure

Вычисляет статистику измерений, связанную с заданной областью в изображении

Построение систем технического зрения

3D View

Отображает интенсивность света в трехмерной системе координат

Построение систем технического зрения

Brightness

Изменяет яркость, контрастность и цветовую гамму изображения

Поскольку в многопозиционных ОЭС всегда встает вопрос приведения нескольких изображений к единой системе координат и учета погрешностей таких преобразований [21], в модуле NI IMAQ-Vision для этого имеются вспомогательные средства, представленные также в приложении NI Vision Assistant. Функции, обеспечивающие работу одиночной и многопозиционной ОЭС (установка и привязка к системе координат, калибровки измерительной ОЭС), приведены в табл. 8.

Таблица 8. Функции калибровки изображения

Вид

Название

Описание

Построение систем технического зрения

Set Coordinate System

Создает систему координат, основанную на  местоположении и ориентации эталонной особенности

Построение систем технического зрения

Image Mask

Создает маску из всего изображения
для выбранной области

Построение систем технического зрения

Geometry

Изменяет геометрическое представление изображения

Построение систем технического зрения

Image Buffer

Сохраняет изображение в буферах памяти
или извлекает оттуда

Построение систем технического зрения

Get Image

Открывает новое изображение из файла

Построение систем технического зрения

Image Calibration

Калибрует изображение для выполнения измерений в реальных единицах

Построение систем технического зрения

Image Correction

Преобразует искаженное изображение в исправленное согласно калибровочной настройке

Построение систем технического зрения

Overlay

Наложение контуров, растровых изображений
или текста на изображение без разрушения данных изображения

Построение систем технического зрения

Run LabVIEW VI

Запускает указанный ВП — LabVIEW VI

Таким образом, можно видеть, что набор представленных функций модуля IMAQ-Vision обеспечивает широкие возможности для решения большинства задач ТЗ, таких как анализ качества изображения, определение параметров формы и ориентации исследуемых объектов при настройке параметров их применения и т. д. Недостающие параметры обработки можно восполнить за счет создания и подключения к алгоритму собственных функций (узлов обработки данных, ВПП) Run LabVIEW VI, которые могут быть использованы как ВПП, так и приложениями верхнего уровня.

Имеется также набор готовых функций, реализующих математические и логические операции с несколькими изображениями (табл. 9). Его можно применить для серии изображений одной или нескольких ОЭС. В то же время непосредственно обработку данных можно выполнять уже после преобразования изображений в массив данных.

Таблица 9. Функции преобразования изображений

Вид

Название

Описание

Построение систем технического зрения

Operators

Выполняет арифметические и логические операции с изображением

Построение систем технического зрения

Conversion

Преобразует текущее изображение в указанный тип

Построение систем технического зрения

Quantify

Количественно определяет содержимое изображения или выбранной области

Построение систем технического зрения

Centroid

Вычисляет энергетический центр изображения

Построение систем технического зрения

Detect Texture Defects

Обнаруживает дефекты в текстурированном изображении

 

Заключение

Компьютерные технологии NI имеют широкие возможности для построения контрольно-измерительных систем технического зрения с последующей интеграцией в промышленную систему. NI предоставляет сочетание производительного программного обеспечения, высоко­качественных драйверов и оборудования, которое помогает создавать специализированные решения. Применение подходов и инструментов NI позволяет ускорить процесс разработки: благодаря открытой платформе на базе программного обеспечения можно использовать модульное оборудование и обширную систему. При этом для разработки алгоритмов обработки и выделения информационных параметров изображения доступно приложение NI Vision Assistant.  Реализация систем видеоконтроля на базе решений NI позволяет получать устойчивые результаты в условиях неконтролируемых параметров получения изображений, поэтому программная среда NI хорошо подходит для проведения научных исследований различных объектов. Однако следует отметить, что в ряде более простых задач использовать аппаратные и программные средства NI будет невыгодно.

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *