Ученые создали инструмент для редактирования объектов на изображении

N+1Hi-Tech

Нейросеть получила удобный интерфейс редактирования изображений

Он напоминает редактор внешности в видеоиграх

Виктория Земляк

40c394a560f62d417ec8c9208cc0404f.gif
Пример работы DragGAN. Theobalt et al. / arXiv, 2023

Ученые из США и Германии создали инструмент для редактирования объектов на изображении DragGAN. Он основан на нейросети, которая на лету генерирует новые изображения. Пользователь может отмечать мышкой разные элементы на фотографии, и они реалистично перемещаются, поворачиваются, растягиваются и уменьшаются — похожий подход нередко используют в видеоиграх для редактирования внешности персонажа. Препринт доступен на arXiv.org.

В последние пару лет случился бум диффузионных нейросетей для генерации изображений по текстовым запросам — например, Stable Diffusion, DALL-E и Midjourney. Диффузионная модель умеет генерировать реалистичные изображения из случайного шума, а текстовое описание подсказывает модели, что именно должно быть на изображении. Но есть проблема: диффузионные нейросети недостаточно точны и не подходят, если нужно выполнить очень конкретную задачу при редактировании: сдвинуть объект на несколько пикселей в определенную сторону или повернуть его на определенное количество градусов.

Задачу точного редактирования изображений можно решить с помощью других нейросетевых архитектур. Например, до появления диффузионных нейросетей часто использовали GAN — генеративно-состязательные сети. Такая модель состоит из двух нейросетей: генеративной и состязательной. По сути две нейросети соревнуются друг с другом: состязательная сеть учится отличать реальные изображения от сгенерированных, а генеративная, в свою очередь, пытается сгенерировать максимально реалистичные изображения из случайного шума (на этой идее основаны и диффузионные модели). Состязательная сеть посылает сигнал генеративной модели — сообщает ей, насколько реалистичное получилось изображение. И так до тех пор, пока генеративная сеть не научится обманывать состязательную.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

«Человек-дракон» оказался денисовцем «Человек-дракон» оказался денисовцем

Денисовцы — один из самых из загадочных видов или подвидов древних людей...

N+1
Как роботы работают в команде без человека Как роботы работают в команде без человека

Метод позволяет эффективно организовать действия нескольких роботов

ТехИнсайдер
Как роботы захватывали ПМЭФ: от диковинки до обыденности Как роботы захватывали ПМЭФ: от диковинки до обыденности

Как на примере роботов ПМЭФ можно проследить путь прорывной технологии

Inc.
«Окно Джохари» и еще 10 способов раскрыть свои таланты «Окно Джохари» и еще 10 способов раскрыть свои таланты

Предлагаем вам провести блиц-самоанализ и узнать о своих талантах

Psychologies
«Это просто лютеиновая фаза»: как на самочувствие женщин влияет менструальный цикл «Это просто лютеиновая фаза»: как на самочувствие женщин влияет менструальный цикл

Что на самом деле происходит с женским организмом во время цикла?

Forbes
В поисках формулы живого света В поисках формулы живого света

Интервью с человеком, который занимается исследованиями биолюминесценции

Наука и жизнь
Как быстро растут волосы, и что на это влияет Как быстро растут волосы, и что на это влияет

Волосы могут расти как медленнее, так и быстрее. Что на это влияет?

ТехИнсайдер
Ты да я, да мы с тобой Ты да я, да мы с тобой

Чем заняться с подругой на праздниках

Лиза
«Бесит, когда актриса отталкивает мой язык»: Гоша Куценко рассказал о постельных сценах в кино «Бесит, когда актриса отталкивает мой язык»: Гоша Куценко рассказал о постельных сценах в кино

Гоша Куценко откровенно высказался об интимной стороне профессии

VOICE
Москва-80, фигуристы и «Кармен»: как Зайцев и Юдашкин попали в историю спорта Москва-80, фигуристы и «Кармен»: как Зайцев и Юдашкин попали в историю спорта

Вячеслав Зайцев и Валентин Юдашкин оставили свой след даже в спорте!

Forbes
Как избавиться от бороздок на ногтях: 7 лайфхаков, которые тебе помогут Как избавиться от бороздок на ногтях: 7 лайфхаков, которые тебе помогут

Иногда кажется, что эти гребни на ногтях берутся ниоткуда буквально за одну ночь

VOICE
Травмы и падения Карла III: к каким видам спорта неравнодушен новый британский монарх Травмы и падения Карла III: к каким видам спорта неравнодушен новый британский монарх

Какие виды спорта выбрал для себя Карл III будучи еще принцем Чарльзом

Forbes
Осьминогу приснились кошмары Осьминогу приснились кошмары

Не только людям могут сниться кошмары

N+1
Время отдыха Время отдыха

11 ритуалов, которые помогут прийти в себя после рабочего дня

Лиза
Две группы физиков смоделировали неабелевы энионы на квантовых компьютерах Две группы физиков смоделировали неабелевы энионы на квантовых компьютерах

Опубликованы результаты по симуляции неабелевых энионов на квантовом процессоре

N+1
В поисках утраченного: почему мы так мало знаем о греческой поэтессе Сапфо В поисках утраченного: почему мы так мало знаем о греческой поэтессе Сапфо

Отрывок из книги «Каталог утраченных вещей»

Forbes
Как блогеру не попасть под статью. Юридический чек-лист Как блогеру не попасть под статью. Юридический чек-лист

Какие у блогеров есть риски и как их снизить, чтобы не попасть под статью

Inc.
«Мы много выдержали и готовы выдержать больше»: как живут женщины в Нагорном Карабахе «Мы много выдержали и готовы выдержать больше»: как живут женщины в Нагорном Карабахе

Как женщины в Нагорном Карабахе поддерживают друг друга

Forbes
Плоды кооперации Плоды кооперации

Финская лодка XO EXPLR 10 Sport на стенде британской компании Arksen

Y Magazine
Человек и животные страдают от несчастий пережитых в детстве. Но только не гориллы Человек и животные страдают от несчастий пережитых в детстве. Но только не гориллы

Что помогает гориллам справиться с детскими бедами?

ТехИнсайдер
«Дипломатка»: история о женщине, которая способна решать мировые кризисы «Дипломатка»: история о женщине, которая способна решать мировые кризисы

Что делает историю о дипломатических интригах в лондонских кабинетах интересной

Forbes
Как император Марк Аврелий управлял своими эмоциями и почему это полезно знать сегодня Как император Марк Аврелий управлял своими эмоциями и почему это полезно знать сегодня

Ведение дневника помогло римскому правителю развить эмоциональный интеллект

ТехИнсайдер
«Мама пожертвовала собой и привезла меня в Америку»: Мила Йовович опубликовала редкие фото «Мама пожертвовала собой и привезла меня в Америку»: Мила Йовович опубликовала редкие фото

Мила Йовович рассказала, на что решилась ее мать ради будущего дочери

VOICE
«Сделаться великим человеком»: как Андрей Колмогоров исполнил свой план «с юношеским задором» «Сделаться великим человеком»: как Андрей Колмогоров исполнил свой план «с юношеским задором»

Математик Андрей Колмогоров внес весомый вклад в реформу образования в СССР

Вокруг света
7 признаков избегающего стиля привязанности 7 признаков избегающего стиля привязанности

Психологи называют семь признаков избегающего стиля привязанности

Psychologies
Компания амазонок: самые громкие женские имена в истории русского авангарда Компания амазонок: самые громкие женские имена в истории русского авангарда

Художницы-авангардистки не считали себя феминистками

Правила жизни
Как пережить период сессии без вреда для ментального здоровья: советы от психолога Как пережить период сессии без вреда для ментального здоровья: советы от психолога

Эксперт расскажет, как бороться с возникающими на фоне учебы проблемами

Psychologies
«Олейну» разливает новый собственник «Олейну» разливает новый собственник

Последний российский актив Bunge продан с 50 %-ным дисконтом

Агроинвестор
Зачем нужен психолог, и как выбрать своего? Зачем нужен психолог, и как выбрать своего?

На что обратить внимание, подбирая психолога?

Здоровье
Максим Матвеев Максим Матвеев

Актер Максим Матвеев — о том, почему сила искусства скрыта в милосердии

Собака.ru
Открыть в приложении