https://arxiv.org/abs/2402.19387 https://github.com/lbc12345/SeD

Обзор этой статьи

Создать конфронтациюсеть（GAN）широко использовался для восстановления сверхразрешения изображений.（SR）По заданиюиз Яркая текстура。Дискриминатор позволяет сетям SR изучать распространение реальных высококачественных изображений состязательно обученным способом.。Однако,Это обучение распределению слишком грубое.,Уязвим к виртуальным текстурам.,Это приводит к противоречивым результатам.

Чтобы решить эту проблему,наспредложил SeD Простой, но эффективный семантический дискриминатор, который поощряет SR Сеть изучает более детальные распределения, вводя семантику изображения в качестве условий.。Конкретно,Наша цель — извлечь семантику изображений из обученных семантических экстракторов.。безразличныйизсемантически,Дискриминатор может адаптивно различать настоящие и поддельные изображения по отдельности.,Тем самым помогая сети SR изучить более детальные семантически-ориентированные текстуры. Чтобы получить точную и богатую семантику,Мы используем преимущества недавно популярной предварительно обученной визуальной модели (PVM) с обширным набором данных.,Его семантические особенности затем включаются в дискриминатор через тщательно разработанный модуль пространственного перекрестного внимания. таким образом,Наш предлагаемый семантический дискриминатор позволяет сетям SR генерировать более реалистичные и приятные изображения.。Для двух типовых задач（Прямо сейчас SR Обширные эксперименты с RealSR) демонстрируют эффективность предложенного нами метода.

Вклад в эту статью

• Мы отмечаем, что мелкозернистая генерация текстур с учетом семантики важна для SR из важности и путем включения предварительно обученной визуальной модели (PVM) из семантики были объединены в дискриминатор, впервые предложенный для SR Задача из смыслового восприятия дискриминатор (SeD) 。
• Чтобы лучше использовать семантическое руководство дискриминатора, мы предлагаем семантический блок слияния (SeFB) SeD, который извлекает семантику на уровне пикселей и деформирует семантические функции изображения в дискриминаторе посредством перекрестного внимания.
• Обширные эксперименты над двумя типичными задачами SR, а именно SR классического изображения и SR реального изображения, показывают эффективность предлагаемого нами SeD. Кроме того, наш SeD можно легко интегрировать во многие тесты методов SR на основе GAN по принципу «подключи и работай».

План этой статьи

Общая структура предлагаемого семантического дискриминатора (SeD) показана на рисунке 2. Учитывая изображение с низким разрешением

, мы можем сначала получить изображение сверхвысокого разрешения

. Затем используйте дискриминатор 𝐷, чтобы отличить

и изображения высокого разрешения

, сила SR Сеть генерирует реалистичные изображения 。Однако,Обычные дискриминаторы учитывают только грубое распределение изображения и игнорируют семантику изображения.。Это приведет к SR Сеть производит фейковые или ещё хуже текстуры.

Перспективная генерация текстур должна удовлетворять своей семантической информации. поэтому,Наша цель — реализовать семантический дискриминатор, который использует изображения с высоким разрешением.

семантика как условие。здесь,Мы используем модель Big Vision в качестве семантического экстрактора.,Выражено как𝜙。насиз ЦельВключение более мелкозернистой генерации текстур с учетом семантики,Его цель –

Поэтому, как показано на рисунке 2, изображение с высоким разрешением

Будет передан в фиксированный предварительно обученный семантический экстрактор для извлечения семантики.

, а затем модуль SeFB преобразует функции изображения со сверхвысоким разрешением и функции изображения с высоким разрешением и отправляет их в дискриминатор. Основываясь на функциях семантической осведомленности, дискриминатор может осуществлять измерения распределения с учетом семантики.

Semantic Excavation

насПринять предварительно обученную модель CLIP «RN50» в качестве семантического экстрактора.。Конкретно,«РН50» состоит из четырех слоев.,По мере увеличения количества слоев,Функция разрешения понижена,Семантика становится более абстрактной. Чтобы изучить, какой слой больше подходит для нашего семантического анализа,Мы систематически экспериментируем на этих четырех слоях.,и пройтиЭксперименты показали, что семантические характеристики третьего слоя оптимальны.。

Semantic-aware Fusion Block

Архитектура SeFB показана на рисунке 2(c). Наша цель — переместить текстуру с учетом семантики из изображения в дискриминатор, тем самым заставляя дискриминатор сосредоточиться на распределении текстуры с учетом семантики. Следовательно, на рисунке 2(c) семантика

передается в модуль самообслуживания, а затем подается в качестве запроса в модуль перекрестного внимания.

Extension to Various Discriminators

в этой статье,мы предложим SeD Включен в два популярных дискриминатора, в том числе patch-wise дискриминатор и Pixel-wise дискриминатор。Как показано на картинке Как показано на рисунке 2(d), фрагментированный семантический дискриминатор состоит из трех SeFB и два сверточных слоя. Для попиксельного дискриминатора мы следуем подходу и используем U-Net Архитектура как основа. Мы используем предложенный нами метод на этапе выделения неглубоких признаков. SeFB Замените исходный сверточный слой.

Эксперимент в этой статье