Особенности массового внедрения систем машинного зрения на предприятии
Традиционное машинное зрение или глубокое обучение?
Многие классические задачи промышленного контроля, такие как обнаружение и подсчет изделий, проверка правильности сборки, выявление дефектов упаковки, считывание маркировки, сегодня достаточно успешно решаются при помощи готовых традиционных систем машинного зрения, основанных на детерминированных алгоритмах. Такие алгоритмы быстро и надежно работают там, где есть понятие эталона контролируемого изделия, где имеется возможность зафиксировать положение объектов контроля по отношению к камере, обеспечить стационарные условия освещения и т. п.
В то же время они неэффективны там, где присутствует широкая вариативность объектов контроля и их отклонений от образца — возможных аномалий. Причем эти аномалии могут как приводить к нарушению функциональности объекта контроля, т. е. быть существенным дефектом, подлежащим отбраковке или снижению сортности, так и быть неким вариантом нормы (такими являются, например, аномалии на поверхности металлопроката, бумаги, пленки). Для решения подобных задач необходимо применять искусственный интеллект, а именно методы глубокого машинного обучения.
Выбор между использованием технологий традиционного машинного зрения или глубокого обучения (рис. 1) могут сделать только эксперты, обладающие необходимыми компетенциями и опытом в данной сфере. На большинстве российских промышленных предприятий таких специалистов нет, поэтому разработку систем автоматизации выполняют сторонние организации. Повысить эффективность взаимодействия предприятия с разработчиками может формирование и обучение собственной инженерной группы в области машинного зрения. Эта группа сможет выявлять и формализовывать существующие на производстве задачи, а также обеспечивать сбор данных и натурные эксперименты при помощи минимального набора оборудования машинного зрения.
Что нужно учитывать при реализации проектов на основе глубокого обучения
Реализация проектов на основе глубокого обучения имеет ряд особенностей. Прежде всего нужно понимать, что это не проекты одного дня. После стандартных для проектов машинного зрения этапов выбора оптической схемы, сбора и разметки данных следует этап выбора архитектуры нейронной сети и последующий итерационный процесс ее обучения. Часто невозможно заранее предсказать, какие показатели качества (ошибки пропуска/ложной тревоги или критические/некритические ошибки классификации) будут достигнуты в реальных условиях производства. Как следствие, в проектах машинного зрения на основе глубокого обучения на начальном этапе присутствуют научно-технические риски, которые должны разделить между собой заказчик и разработчик.
Далеко не все предприятия готовы инвестировать в инновационные разработки и пилотные проекты, предпочитая получать готовое решение «под ключ». Такой подход заказчика в отношении, по сути, уникальных задач, требующих применения искусственного интеллекта для разработки эксклюзивного продукта, как показывает опыт, малоэффективен. Нежелание руководства предприятия инвестировать в разработку может обернуться тем, что поиск исполнителя для реализации проекта затянется на годы и решить задачу вообще не удастся.
Несколько лет назад мы разработали для компании «АЛРОСА» две сложные системы автоматической сортировки алмазов по цвету и форме. Объект контроля — неграненые алмазы диаметром 1–5 мм, подаваемые в зону контроля со скоростью 20 шт./с. Камеры машинного зрения выполняют съемку алмаза при его движении и в свободном падении. Полученные изображения передаются на сервер, программное обеспечение анализирует характеристики алмаза на изображениях и принимает решение о его отнесении к определенному классу (рис. 2). Все это происходит практически мгновенно, пока алмаз пролетает дистанцию всего в 30 см, после чего на основании выданного системой результата он отсекается в соответствующий накопительный бункер. На решение этой задачи было потрачено в общей сложности четыре года — от начального этапа проведения эксперимента в формате НИОКР, создания опытно-промышленного образца и до разработки промышленной системы. Срок достаточно долгий, но заказчик прекрасно понимал, что разработка такой уникальной системы должна вестись поэтапно, чтобы минимизировать возможные риски для обеих сторон.
Локальное внедрение систем контроля или комплексная автоматизация производства?
Рассматривая возможность реализации проекта машинного зрения на своем производстве, заказчики пытаются в первую очередь оценить его экономическую эффективность. И если речь идет о замене оператора на линии, то стоимость системы, как правило, соотносится только с затратами на оплату труда этого оператора. На самом деле оценить реальный эффект от внедрения системы достаточно сложно. Например, если мы говорим о системе контроля качества продукции, то она будет влиять не только на количественные показатели, такие как экономия на зарплате оператора, снижение брака или уменьшение возврата товара и рекламаций, но и на повышение лояльности потребителей к бренду, рост репутации компании.
Другой вопрос — оценка срока окупаемости. Если исчислять его для локальной системы контроля, он не всегда может показаться заказчику приемлемым. В то же время, если вести речь о комплексной автоматизации всего цеха, насчитывающего несколько десятков точек контроля, где комплекс систем машинного зрения способен собирать данные о продукции, контролировать качество и сводить все данные в единую систему учета с последующей аналитикой в системе верхнего уровня, то окупаемость такого комплексного решения и последующего эффекта от его внедрения предстанет совершенно в ином свете. Поэтому предприятиям стоит переходить от решения частных задач к комплексной автоматизации производства на основе технологии машинного зрения.
Дорогу осилит идущий: какие шаги стоит предпринять
Пройдя через опыт создания и внедрения более ста систем промышленного контроля для разных отраслей (рис. 3), мы разработали ряд практических рекомендаций для промышленных предприятий, которые всегда транслируем им в ходе нашего общения. Эти рекомендации включают как общие направления работы, уже упомянутые выше (использовать комплексный подход, сформировать собственную инженерную группу, автоматизировать формализацию задач и сбор данных при помощи комплекта экспериментального оборудования машинного зрения, инвестировать в разработку новых решений в формате пилотных проектов и НИОКР), так и конкретные шаги в каждом из этих направлений.
Как предприятию подойти к вопросу массового внедрения систем машинного зрения? Прежде всего необходимо выявить все задачи визуального контроля продукции на конкретном производстве. Алгоритм чаще всего такой:
- Формирование общих целей и задач внедрения систем визуального контроля.
- Определение точек контроля на схеме производства. Точки выбираются на ключевых, существенно влияющих на качество создаваемых изделий переделах.
- Формализация задачи, которая включает подробное описание объекта контроля и его движения, виды дефектных состояний объекта контроля, фото изделий в нормальном состоянии и с дефектами, внешние условия в точке контроля, требуемые реакции системы машинного зрения в случае выявления того или иного дефекта, рекомендуемые форматы/протоколы взаимодействия системы машинного зрения с АСУ ТП.
Второй этап — обучение персонала и развитие ИТ-инфраструктуры. Рекомендуемый минимальный состав инженерной группы — три человека: технолог, инженер АСУ ТП и ИТ-специалист. Для формализации задач, сбора данных и натурных экспериментов стоит закупить минимальный набор оборудования машинного зрения (2–3 типа камер, 2–3 типа объективов, 2–3 типа осветителей, программное обеспечение с набором готовых алгоритмов анализа изображений и т. п.). Также могут потребоваться развитие локальных сетей и специальное серверное оборудование.
На основе описаний и собранных материалов формализованных задач выполняется предварительная экспертная оценка возможности и сложности реализации задач контроля, по результатам которой все задачи на производстве делятся на несколько групп:
- Задачи, решение которых по предварительной экспертной оценке невозможно на основе технологии машинного зрения с достаточным уровнем эффективности в данных условиях производства при текущем уровне развития технологического прогресса.
- Задачи, решаемые на базе готовых продуктов машинного зрения. Решение таких задач способна выполнить самостоятельно сформированная инженерная группа предприятия с учетом пройденного обучения и накапливаемого опыта.
- Задачи, решаемые на базе современных средств машинного зрения, но требующие создания или новых специальных детерминированных алгоритмов, или алгоритмов машинного обучения. Для решения таких задач требуется привлечение сторонней компании, имеющей опыт разработки и комплексного внедрения систем промышленного контроля на базе машинного зрения.
- Задачи, для оценки решения которых требуется проведение дополнительных натурных экспериментов.
После проведения натурных экспериментов задачи последней группы будут отнесены к одной из других групп.
Натурные эксперименты проводятся инженерной группой заказчика при поддержке специалистов компании-разработчика. При помощи оборудования машинного зрения (камеры, объективы, осветители) проводится съемка объектов контроля (как в нормальном, так и в дефектном состоянии) в реальных или близких к производственным условиях, с различными оптическими схемами и режимами освещения. Полученные фото/видеоматериалы подвергаются исследованию с использованием готовых библиотек анализа изображений и распознавания образов.
На основании натурных экспериментов определяется принципиальная возможность решения задачи при помощи методов и средств машинного зрения. Уточняются требования и выявляются ограничения. Оценивается примерная стоимость оборудования и услуг по разработке системы машинного зрения.
Заказчик параллельно проводит оценку экономического эффекта от решения той или иной задачи. Если произвести оценку по отдельным задачам нет возможности, то оценивается комплексный эффект от внедрения сквозного контроля или прослеживания изделий в рамках производственного участка/цеха и т. п. Экономический эффект сопоставляется с экспертной оценкой стоимости решения задачи, и заказчик принимает решение о начале реализации той или иной задачи.
Взгляд разработчика
Все, о чем мы рассказали в этой статье, имеет под собой вполне конкретную практическую основу. Подобный формат работы с промышленными предприятиями сформировался в результате длительного и успешного сотрудничества с производителями из разных отраслей: металлургической, машиностроительной, атомной, алмазодобывающей и пр. Сегодня мы видим, что наши подходы к автоматизации разделяют крупнейшие российские предприятия, которые обращаются к нам за решением своих задач.