Ученые создали инструмент для редактирования объектов на изображении

N+1Hi-Tech

Нейросеть получила удобный интерфейс редактирования изображений

Он напоминает редактор внешности в видеоиграх

Виктория Земляк

40c394a560f62d417ec8c9208cc0404f.gif
Пример работы DragGAN. Theobalt et al. / arXiv, 2023

Ученые из США и Германии создали инструмент для редактирования объектов на изображении DragGAN. Он основан на нейросети, которая на лету генерирует новые изображения. Пользователь может отмечать мышкой разные элементы на фотографии, и они реалистично перемещаются, поворачиваются, растягиваются и уменьшаются — похожий подход нередко используют в видеоиграх для редактирования внешности персонажа. Препринт доступен на arXiv.org.

В последние пару лет случился бум диффузионных нейросетей для генерации изображений по текстовым запросам — например, Stable Diffusion, DALL-E и Midjourney. Диффузионная модель умеет генерировать реалистичные изображения из случайного шума, а текстовое описание подсказывает модели, что именно должно быть на изображении. Но есть проблема: диффузионные нейросети недостаточно точны и не подходят, если нужно выполнить очень конкретную задачу при редактировании: сдвинуть объект на несколько пикселей в определенную сторону или повернуть его на определенное количество градусов.

Задачу точного редактирования изображений можно решить с помощью других нейросетевых архитектур. Например, до появления диффузионных нейросетей часто использовали GAN — генеративно-состязательные сети. Такая модель состоит из двух нейросетей: генеративной и состязательной. По сути две нейросети соревнуются друг с другом: состязательная сеть учится отличать реальные изображения от сгенерированных, а генеративная, в свою очередь, пытается сгенерировать максимально реалистичные изображения из случайного шума (на этой идее основаны и диффузионные модели). Состязательная сеть посылает сигнал генеративной модели — сообщает ей, насколько реалистичное получилось изображение. И так до тех пор, пока генеративная сеть не научится обманывать состязательную.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Химики надышали аммиака в микрокапли воды Химики надышали аммиака в микрокапли воды

Что они представляют собой заряженные частицы, детектируемые с микрокаплями воды

N+1
10 секретов нейл-мастеров, которые сделают домашний педикюр намного проще 10 секретов нейл-мастеров, которые сделают домашний педикюр намного проще

Советы, которые превратят процедуру домашнего педикюра в сплошное удовольствие!

VOICE
На седьмое небо за пиццей: удивительные факты о высотных вращающихся ресторанах На седьмое небо за пиццей: удивительные факты о высотных вращающихся ресторанах

Как работает это чудо строительной инженерии — высотные вращающиеся рестораны?

ТехИнсайдер
Что носить в конце весны: 5 идей от героев стритстайла Что носить в конце весны: 5 идей от героев стритстайла

Модные приемы, которые одинаково подойдут и мужчинам, и женщинам

Правила жизни
Слушаем и не осуждаем: чем полезны сплетни на работе и когда они вредят коллективу Слушаем и не осуждаем: чем полезны сплетни на работе и когда они вредят коллективу

Как сплетни и слухи могут влиять на рабочий процесс и настроения в офисе

Forbes
Мужчина 15 лет на больничном. Ему не повышают зарплату, и он подал в суд на работодателя Мужчина 15 лет на больничном. Ему не повышают зарплату, и он подал в суд на работодателя

Недовольный работник IT-компании больше 10 лет находится в больничном отпуске

ТехИнсайдер
Прозрачная вода и никакой слизи: как почистить дачный бассейн перед летом Прозрачная вода и никакой слизи: как почистить дачный бассейн перед летом

Как поддерживать бассейн в чистоте, чтобы он не стал местом размножения бактерий

ТехИнсайдер
Лучшие аудиокниги для больших и маленьких путешествий Лучшие аудиокниги для больших и маленьких путешествий

Хорошая аудиокнига скрасит как поездку на дачу, так и дальнее странствие

Maxim
Инженеры сделали физически точную модель океанических течений Инженеры сделали физически точную модель океанических течений

Эта модель пригодится для прогноза погоды и поиска загрязнений в океане

N+1
Попугаи научились звонить сородичам по видеосвязи — и вот как это изменило домашних птиц Попугаи научились звонить сородичам по видеосвязи — и вот как это изменило домашних птиц

Без общения с себе подобными страдают не только люди

Вокруг света
Для комаров создали Для комаров создали

Комары, по-видимому, предпочитают определенные особенные человеческие запахи

ТехИнсайдер
От Комсомольца и Большевика до Октябрьской революции: 10 самых больших островов России От Комсомольца и Большевика до Октябрьской революции: 10 самых больших островов России

Десять крупнейших островов России

Вокруг света
Постоянство в дефиците: число привлекающих самозанятых компаний выросло вдвое Постоянство в дефиците: число привлекающих самозанятых компаний выросло вдвое

Российские компании все чаще используют внештатное сотрудничество с самозанятыми

Forbes
Генетики проанализировали ДНК 240 видов млекопитающих и нашли их исключительные черты Генетики проанализировали ДНК 240 видов млекопитающих и нашли их исключительные черты

Чем все млекопитающие похожи друг на друга?

ТехИнсайдер
Виден нам берег турецкий Виден нам берег турецкий

Турция заняла четвертое место по объему строящихся яхт длиной от 24 м

Y Magazine
Следствие ведут биохимики Следствие ведут биохимики

Здесь хранятся уникальные артефакты, связанные с событиями последних веков...

ТехИнсайдер
Что обозначают значки на ярлыках одежды: вы до сих пор понимали их неправильно Что обозначают значки на ярлыках одежды: вы до сих пор понимали их неправильно

Если вы никогда не понимали, что означают эти значки на одежде, объсняем!

ТехИнсайдер
Планетологи заподозрили существование подповерхностных океанов на четырех крупных спутниках Урана Планетологи заподозрили существование подповерхностных океанов на четырех крупных спутниках Урана

Спутники Урана могут обладать остаточными подповерхностными океанами

N+1
Загуглили! Google Earth помог обнаружить секретные военные лагеря Древнего Рима Загуглили! Google Earth помог обнаружить секретные военные лагеря Древнего Рима

Спомощью спутниковых снимков Google Earth найдены три древнеримских лагеря

ТехИнсайдер
Как наши достоинства превращаются в недостатки: 3 примера Как наши достоинства превращаются в недостатки: 3 примера

Три примера того, как достоинства могут превращаться в недостатки

Psychologies
«Безос. Человек, создавший Amazon»: почему фильм о миллиардере оказался таким скучным «Безос. Человек, создавший Amazon»: почему фильм о миллиардере оказался таким скучным

Почему «Безос. Человек, создавший Amazon» совершенно не оправдывает ожидания

Forbes
«Челюсть отвисает от масштаба»: актриса Софья Лебедева о работе c Netfliх и AppleTV+ «Челюсть отвисает от масштаба»: актриса Софья Лебедева о работе c Netfliх и AppleTV+

Актриса Софья Лебедева — о специфике работы с мировыми продакшенами

Forbes
«Как сказать мужчине, чего мне хочется?»: 3 совета сексолога «Как сказать мужчине, чего мне хочется?»: 3 совета сексолога

Как откровенно разговаривать со своим партнером?

Psychologies
Две группы физиков смоделировали неабелевы энионы на квантовых компьютерах Две группы физиков смоделировали неабелевы энионы на квантовых компьютерах

Опубликованы результаты по симуляции неабелевых энионов на квантовом процессоре

N+1
Гипоксия наполовину продлила жизнь ускоренно стареющих мышей Гипоксия наполовину продлила жизнь ускоренно стареющих мышей

Несколько видов воздействия, замедляющих старение и продлевающих жизнь

N+1
«Оппенгеймер. Триумф и трагедия американского Прометея» «Оппенгеймер. Триумф и трагедия американского Прометея»

Биография создателя ядерной бомбы

N+1
Поразительные паразиты Поразительные паразиты

Есть в паразитах и своя пугающая красота: они изящно манипулируют хозяевами

ТехИнсайдер
Улетный обед: все, что вы хотели знать о питании на борту самолета Улетный обед: все, что вы хотели знать о питании на борту самолета

Как и в каком виде питание попадает на борт самолета? Чем питается экипаж?

ТехИнсайдер
«Сам никакой связи со своим поколением я не чувствую» «Сам никакой связи со своим поколением я не чувствую»

Только на вторых пробах я почувствовал, что герой во мне рисуется и рождается

OK!
«Май, декабрь»: хулиганский рассказ о женском противостоянии с Натали Портман и Джулианной Мур «Май, декабрь»: хулиганский рассказ о женском противостоянии с Натали Портман и Джулианной Мур

Каким получился фильм режиссера Тодда Хейнса «Май, декабрь»

Правила жизни
Открыть в приложении