Распознавание изображений: поиск товара по фото и контроль качества

Распознавание изображений — общий термин для задач, где программа понимает, что изображено на картинке: какой это товар, есть ли дефект, сколько предметов на полке, подходит ли фото под правила площадки. Для бизнеса это способ получать данные оттуда, где раньше нужен был человек с глазами и блокнотом.

Основные типы задач

• Классификация: к какой категории относится изображение целиком — «годен» или «брак», какая модель обуви
• Обнаружение объектов: где на изображении находятся предметы и сколько их
• Сегментация: какие именно пиксели относятся к объекту — для точного измерения площади пятна или дефекта
• Поиск похожих: найти в каталоге товары, визуально похожие на фото
• Распознавание текста на изображении: ценники, этикетки, номера

Поиск товара по фото

Покупатель фотографирует понравившуюся вещь или деталь, а система находит похожие позиции в каталоге магазина. Для запчастей, сантехники, фурнитуры, где покупатель не знает названия и артикула, это особенно полезно. Технически каждое изображение каталога превращается в числовой вектор, и поиск идёт по сходству векторов. Качество зависит от фотографий в каталоге: однородный фон и несколько ракурсов сильно помогают.

Контроль выкладки

Торговые представители или сотрудники магазинов фотографируют полки, а система проверяет, есть ли товар, правильно ли он выставлен, видны ли ценники, соблюдена ли доля полки по договору. Производитель получает данные по сотням точек без ручного разбора фото.

Распознавание выкладки сложнее, чем кажется: упаковки похожих вкусов одного бренда почти не отличаются, товары стоят плотно и перекрывают друг друга, на стекле холодильника блики. Поэтому модель обучают на снимках из реальных магазинов, а сотрудникам дают простые правила съёмки: с какого расстояния, под каким углом, сколько кадров на стеллаж.

Контроль качества

На производстве камера проверяет изделия на дефекты: сколы, трещины, пятна, неправильную маркировку. В пищевой промышленности — внешний вид продукции, целостность упаковки. На приёмке товара — повреждения коробок и соответствие маркировки.

Модерация фото

Площадки объявлений и маркетплейсы проверяют загружаемые фото: соответствует ли изображение категории, нет ли запрещённого содержимого, контактов на фото, водяных знаков чужих сайтов. Модель отсеивает очевидные нарушения, а модератор смотрит сомнительное.

Готовые сервисы или своя модель

Облачные сервисы распознавания хорошо знают общие объекты: людей, машины, животных, бытовые предметы, текст. Для специфических задач — ваш ассортимент, ваши дефекты — нужна своя модель, обученная на ваших примерах. Обычно берут предобученную нейросеть и дообучают её: это требует сотен или тысяч размеченных изображений, а не миллионов.

Сбор данных

1. Снимайте в тех условиях, в которых система будет работать: та же камера, тот же свет
2. Соберите примеры всех классов, включая редкие дефекты
3. Разметьте изображения по единым правилам
4. Оставьте часть данных для проверки, на которой модель не обучалась
5. Продолжайте собирать новые примеры после запуска

Измерение качества

Для каждой задачи определите, какая ошибка дороже. Пропустить брак или забраковать годное? Не найти товар на полке или найти лишний? От ответа зависят настройки порога и выбор метрики.

Ошибки

Обучать модель на «красивых» фото, а применять к снимкам со смартфонов в плохом освещении. Забыть о редких, но важных случаях. Не планировать дообучение при смене ассортимента или упаковки. Внедрять распознавание без процесса: кто и что делает, когда система нашла дефект или отсутствие товара.