Машинное зрение: обзор технологии
Машинное зрение — раздел робототехники, который использует анализ изображений для решения промышленных задач.
Цифровая камера снимает изображение и передает его в компьютер. Специальное ПО анализирует данные изображения и ставит задачи оборудованию.
Цифровая камера снимает изображение и передает его в компьютер. Специальное ПО анализирует данные изображения и ставит задачи оборудованию.
В зависимости от задачи для каждой системы пишут алгоритмы распознавания. Вот помидор едет по конвейеру, и система анализирует его цвета, формы, размеры, пятна, чтобы отсортировать гнилые и неспелые. В алгоритмы заложены характеристики правильных помидоров.
Характеристики объекта можно заложить в алгоритм двумя способами:
1. описать с помощью математических формул
2. обучить нейронную сеть на базе изображений
Для сортировщика помидоров достаточно математических формул. А вот для распознавания номерных знаков на улице нужна большая база данных, чтобы обучить нейросеть. Алгоритм будет работать только в тех условиях и при тех параметрах, при которых собрана база изображений. Больше об этом можно прочитать здесь.
Характеристики объекта можно заложить в алгоритм двумя способами:
1. описать с помощью математических формул
2. обучить нейронную сеть на базе изображений
Для сортировщика помидоров достаточно математических формул. А вот для распознавания номерных знаков на улице нужна большая база данных, чтобы обучить нейросеть. Алгоритм будет работать только в тех условиях и при тех параметрах, при которых собрана база изображений. Больше об этом можно прочитать здесь.
Для правильной работы машинного зрения нужна устойчивая среда: подходящее освещение, предсказуемое расположение объектов, точное понимание положения камеры и её характеристик.
Часто в системах машинного зрения используют дополнительные устройства. В первую очередь это датчики: датчики движения, инфракрасные, фотоэлектрические датчики и т. д. Они позволяют получать больше информации об объекте съемки.
Для чего нужно машинное зрение
Машинное зрение востребовано в медицине и биотехнологиях, военной отрасли, автомобильной промышленности. В этих областях уже есть четко сформулированные задачи.
В медицине обработка изображений может применяться для более точной постановки диагнозов.
В медицине обработка изображений может применяться для более точной постановки диагнозов.
Исследователи Методистского института в Хьюстоне разработали программу, которая предсказывает риск развития рака груди. Чтобы озвучить диагноз, программа сканирует маммограммы и анализирует данные о пациенте.
В промышленности машинное зрение позволяет снизить себестоимость продукции за счет частичного или полного отказа от выполнения ручных операций. Человек не в состоянии оценивать предметы после нескольких часов работы. Зато роботы могут сутками сортировать товары.
Норвежская компания Stingray Marine Solutions разработала подводного робота, который помогает лососевым фермам бороться с паразитами — лососевой вошью. Подводный беспилотник использует систему распознавания изображений, чтобы находить паразитов и ликвидировать их без вреда для рыб, с помощью лазера. Технологию уже используют в Норвегии и Шотландии.
Система будет выполнять свои задачи без помощи человека круглые сутки только в том случае, если ее правильно запрограммируют. Обычно разработчик пишет базовый пакет программ для камер машинного зрения, а потом ПО настраивают во время тестирования на конкретном предприятии.
В автомобильной индустрии машинное зрение связано с навигацией для беспилотников. Компании работают над системами, которые позволят оценивать ситуацию на дорогах.
Компания NVIDIA научила беспилотник двигаться по тропинке в лесу. Система может работать там, где не работает ни GPS, ни другие навигационные системы. Программа анализирует данные с камер и исходя из этого принимает решения о движении.
В ритейле машинное зрение используется давно – ежедневно в супермаркетах специальные аппараты считывают штрихкоды. С помощью компьютерного зрения можно посчитать посетителей торгового центра или даже определить, в каком настроении эти посетители.
Компания Trax разработала платформу для ритейла. Вот одна из возможностей сервиса:
- сотрудник магазина фотографирует полку;
- фотография отправляется в облачный сервис аналитики;
- менеджеры получают отчет о проданных продуктах с советами, какие продукты нужно добавить на полку, чтобы сбалансировать ассортимент, как их расположить, где не хватает ценников и т. д.
- сотрудник магазина фотографирует полку;
- фотография отправляется в облачный сервис аналитики;
- менеджеры получают отчет о проданных продуктах с советами, какие продукты нужно добавить на полку, чтобы сбалансировать ассортимент, как их расположить, где не хватает ценников и т. д.
Что еще можно делать с помощью машинного зрения:
- Контролировать процесс сборки изделия
- Считать объекты
- Измерять параметры объектов (длина, ширина, площадь, объем)
- Определять правильность формы предмета
- Читать текст, цифры
- Идентифицировать подписи
Какие технологии используем мы
Нам интересно работать с данными, полученными непосредственно с камер, без использования дополнительных датчиков. Такой метод приближает работу системы машинного зрения к той, что использует человек. Это позволяет внедрять робототехнику в обычную для человека среду.
Один из первых опытов, показывающих возможности машинного зрения, мы провели еще в 2001 году. На основе конструктора Lego и простой веб-камеры мы сделали робота, который собирает логотип компании из девяти кубиков. Кубики разбросаны случайным образом.
Робот был показан на выставке NeuroPower в Вене.
Один из первых опытов, показывающих возможности машинного зрения, мы провели еще в 2001 году. На основе конструктора Lego и простой веб-камеры мы сделали робота, который собирает логотип компании из девяти кубиков. Кубики разбросаны случайным образом.
Робот был показан на выставке NeuroPower в Вене.
В 2013 году КРОК провела конкурс летающих роботов (дронов). В задачу входили взлет со стартового маркера, автономный пролет по лабиринту с препятствиями, возвращение и посадка на точку взлета. В рамках конкурса решить эту задачу удалось только одному роботу из 536 заявленных — нашему. Мы сознательно исключили различные датчики, а использовали только камеру.
Как проходил полет нашего робота, можно увидеть на видео:
Как проходил полет нашего робота, можно увидеть на видео:
Примеры компаний,
работающих в сфере машинного зрения
работающих в сфере машинного зрения
3DiVi – распознавание лиц
ABBYY – распознавание текста
CeraMarketing – аналитика с камер для ритейла
Conundrum – распознавание эмоций
Fam Robotics – промышленные роботы
Qtechnology – умные камеры
Robodem – разработка промышленных роботов
Smartek Vision – умные камеры
Synesis – системы видеонаблюдения
Tevian – видеоаналитика
TeleMD – системы поддержки принятия врачебных решений
Vision Labs – распознавание лиц
Vocord – системы видеонаблюдения
ABBYY – распознавание текста
CeraMarketing – аналитика с камер для ритейла
Conundrum – распознавание эмоций
Fam Robotics – промышленные роботы
Qtechnology – умные камеры
Robodem – разработка промышленных роботов
Smartek Vision – умные камеры
Synesis – системы видеонаблюдения
Tevian – видеоаналитика
TeleMD – системы поддержки принятия врачебных решений
Vision Labs – распознавание лиц
Vocord – системы видеонаблюдения
