убрать одежду с фото: как работает маскирование на уровне пикселей

Общая схема пайплайна

Процесс убрать одежду с фото через нейросеть состоит из нескольких последовательных этапов, каждый из которых выполняет свою специфическую роль. На входе — обычная фотография, на выходе — синтезированное изображение без одежды. Между этими двумя точками происходит значительная вычислительная работа, которую пользователь не видит, но результаты которой непосредственно влияют на качество генерации.

Современный пайплайн NudeKit включает пять основных компонентов: предобработку изображения, семантическую сегментацию, построение маски, диффузионный inpainting и постобработку. Рассмотрим каждый этап подробно.

Этап 1. Предобработка изображения

Первое, что происходит с загруженным снимком, — нормализация. Алгоритм приводит изображение к стандартному формату: нужному разрешению, цветовому пространству и ориентации. Если фото снято в портретном режиме с EXIF-тегом ориентации, система автоматически поворачивает его корректно.

Затем выполняется анализ качества входного снимка. Специальная модель оценивает резкость, уровень шума, диапазон яркостей и степень JPEG-артефактов. Эти метрики влияют на выбор параметров последующих этапов: при высоком уровне шума усиливается предварительное сглаживание, при низкой контрастности — динамическое растяжение гистограммы.

Этап 2. Семантическая сегментация тела

Это самый критичный этап всего пайплайна. Задача сегментации — определить, где на снимке находится человек, и детально разметить каждую часть тела: голова, шея, торс, руки, ноги, а также зоны, покрытые одеждой.

NudeKit использует специализированную модель семантической сегментации, обученную на десятках миллионов размеченных фотографий. Архитектурно это трансформер с энкодером и декодером, где энкодер строит иерархическое представление снимка, а декодер преобразует его в карту меток с разрешением, близким к оригиналу.

Что определяет сегментационная модель

• Точные границы силуэта человека относительно фона.
• Отдельные сегменты одежды: верхняя часть, нижняя часть, обувь, аксессуары.
• Открытые участки кожи, уже видимые на оригинальном снимке.
• Позу тела через скелетную карту ключевых точек (keypoints).

Именно качество сегментации определяет, насколько точно будет построена маска. Ошибки на этом этапе — неверно определённые границы, перепутанные сегменты — напрямую приводят к артефактам в финальном результате.

Этап 3. Построение маски inpainting

По результатам сегментации строится бинарная маска — карта пикселей, которые нейросеть должна заменить. Маска не является простым прямоугольным вырезом: она точно следует контурам одежды, включает размытые переходные зоны на границах (feathering) и учитывает полупрозрачные участки.

Качество маски оценивается отдельным модулем контроля качества. Если маска содержит явные ошибки — слишком большие изолированные области, неестественные разрывы, захват фона — система пытается скорректировать её через постобработку морфологическими операциями (расширение, эрозия, гауссово размытие границ).

Роль feathering в маске

Резкие границы маски дают заметный «вырез» в финальном изображении. Плавный переход (feathering) на 10-20 пикселей от края маски позволяет диффузионной модели органично вписать сгенерированный контент в окружающий контекст. Ширина зоны размытия подбирается автоматически в зависимости от разрешения снимка и характера границы одежды.

Этап 4. Диффузионный inpainting — ядро технологии

Центральный компонент всего пайплайна — модель диффузионного inpainting, задача которой состоит в синтезе нового контента в замаскированной зоне с учётом окружающего контекста.

Принцип работы диффузионных моделей

Диффузионная модель обучается в два этапа. На этапе «зашумления» (forward process) к изображению последовательно добавляется гауссов шум, пока оно не превращается в случайный шум. На этапе «денойзинга» (reverse process) модель учится восстанавливать исходное изображение из шума, шаг за шагом убирая его. Для inpainting'а masked-регион заполняется шумом, а незамаскированные зоны служат условием для восстановления.

В NudeKit используется архитектура на базе SDXL (Stable Diffusion XL) с дообученными LoRA-адаптерами, специализированными под задачу синтеза реалистичных изображений тела человека. SDXL работает с базовым разрешением 1024×1024, что в два раза превышает стандартное разрешение предыдущего поколения моделей и обеспечивает значительно более высокую детализацию результата.

Роль ControlNet в сохранении позы

ControlNet — вспомогательная сеть, которая «заякоривает» генерацию относительно структурных характеристик оригинального снимка. В данном пайплайне ControlNet использует скелетную карту позы, извлечённую на этапе сегментации, как дополнительное условие для диффузионной модели. Это позволяет сохранить исходную позу тела, углы конечностей и перспективу, не давая нейросети «изобретать» новую позу произвольно.

Без ControlNet диффузионная модель склонна генерировать анатомически правдоподобный, но не соответствующий оригиналу результат: другое положение рук, иной поворот корпуса. С ControlNet генерация строго следует скелетной структуре оригинала.

Семплер DPM++ и количество шагов

Для диффузионного процесса NudeKit применяет семплер DPM++ 2M Karras. Этот семплер отличается высокой эффективностью: он даёт качество, сравнимое с 50 шагами стандартного DDPM-семплера, уже за 20-25 шагов. Это прямо влияет на скорость обработки — без потери качества время генерации снижается примерно вдвое по сравнению с базовыми семплерами.

Количество шагов денойзинга — ключевой параметр баланса между скоростью и качеством. При 15 шагах результат получается быстро, но иногда с лёгкими артефактами. При 30 шагах — максимальное качество, но вдвое большее время ожидания. Автоматический режим NudeKit выбирает 22-25 шагов как оптимальный компромисс.

Этап 5. Постобработка и финальная сборка

После диффузионного inpainting'а результат проходит постобработку. На этом этапе выполняется:

• Цветокоррекция. Выравнивание цветового баланса между сгенерированной зоной и сохранёнными участками оригинала.
• Коррекция резкости. Лёгкое повышение резкости в сгенерированной зоне для соответствия уровню детализации оригинала.
• Проверка на артефакты. Автоматическая детекция типичных дефектов: удвоенных конечностей, нереалистичной анатомии, резких переходов на границах маски.
• Апскейлинг. Если входное изображение было понижено в разрешении для обработки, финальный результат масштабируется обратно до оригинального размера с сохранением детализации.

Почему разные снимки дают разное качество

Теперь, когда мы знаем пайплайн, легко объяснить разницу в качестве результатов для разных снимков. Сегментация работает хуже на снимках с плохим освещением, потому что модель обучалась преимущественно на хорошо освещённых фотографиях. Маска получается неточной при сложных позах, потому что граница одежды и кожи на перекрытых участках неоднозначна. Диффузионная генерация выдаёт артефакты при низком разрешении входника, потому что контекстная информация вокруг маски слишком бедна для качественного синтеза.

Знание этой цепочки позволяет осознанно готовить фотографии к обработке: хорошее освещение улучшает сегментацию, высокое разрешение улучшает генерацию, простая поза снижает ошибки маскирования.

LoRA-адаптеры: специализация модели

Базовая SDXL-модель обучена на огромном наборе данных разнообразных изображений и умеет генерировать практически что угодно. Однако для специализированной задачи — синтеза реалистичного изображения тела человека с правильной анатомией, естественными текстурами кожи и соответствием освещению оригинала — требуется дообучение.

LoRA (Low-Rank Adaptation) — это метод эффективного дообучения больших диффузионных моделей. Вместо изменения всех весов модели (что требует огромных вычислительных ресурсов), LoRA добавляет небольшие матрицы малого ранга к ключевым слоям сети. Это позволяет хранить специализацию в компактном файле весом 50-200 МБ, тогда как сама базовая модель весит несколько гигабайт. NudeKit применяет несколько LoRA-адаптеров параллельно, каждый из которых отвечает за свой аспект качества: анатомию, текстуры кожи, соответствие освещению.

Производительность и аппаратная база

Описанный пайплайн выполняется на серверах с GPU высокого класса. Для одной генерации в разрешении 1024×1024 за 25 шагов DPM++ требуется около 8-12 ГБ видеопамяти и занимает 15-30 секунд на современных ускорителях. Масштабирование на большую аудиторию достигается через батчинг запросов — несколько изображений обрабатываются параллельно на одном GPU, что снижает стоимость на запрос при высокой нагрузке.