Ученые создали инструмент для редактирования объектов на изображении

N+1Hi-Tech

Нейросеть получила удобный интерфейс редактирования изображений

Он напоминает редактор внешности в видеоиграх

Виктория Земляк

40c394a560f62d417ec8c9208cc0404f.gif
Пример работы DragGAN. Theobalt et al. / arXiv, 2023

Ученые из США и Германии создали инструмент для редактирования объектов на изображении DragGAN. Он основан на нейросети, которая на лету генерирует новые изображения. Пользователь может отмечать мышкой разные элементы на фотографии, и они реалистично перемещаются, поворачиваются, растягиваются и уменьшаются — похожий подход нередко используют в видеоиграх для редактирования внешности персонажа. Препринт доступен на arXiv.org.

В последние пару лет случился бум диффузионных нейросетей для генерации изображений по текстовым запросам — например, Stable Diffusion, DALL-E и Midjourney. Диффузионная модель умеет генерировать реалистичные изображения из случайного шума, а текстовое описание подсказывает модели, что именно должно быть на изображении. Но есть проблема: диффузионные нейросети недостаточно точны и не подходят, если нужно выполнить очень конкретную задачу при редактировании: сдвинуть объект на несколько пикселей в определенную сторону или повернуть его на определенное количество градусов.

Задачу точного редактирования изображений можно решить с помощью других нейросетевых архитектур. Например, до появления диффузионных нейросетей часто использовали GAN — генеративно-состязательные сети. Такая модель состоит из двух нейросетей: генеративной и состязательной. По сути две нейросети соревнуются друг с другом: состязательная сеть учится отличать реальные изображения от сгенерированных, а генеративная, в свою очередь, пытается сгенерировать максимально реалистичные изображения из случайного шума (на этой идее основаны и диффузионные модели). Состязательная сеть посылает сигнал генеративной модели — сообщает ей, насколько реалистичное получилось изображение. И так до тех пор, пока генеративная сеть не научится обманывать состязательную.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Излучение квазара подавило звездообразование в галактике из ранней Вселенной Излучение квазара подавило звездообразование в галактике из ранней Вселенной

Молекулярный газ ранней Вселенной разрушается под действием излучения квазара

N+1
Хоопонопоно: как работает гавайский метод принятия и прощения — меняя мир, начните с себя Хоопонопоно: как работает гавайский метод принятия и прощения — меняя мир, начните с себя

Каждый из нас — часть большого мира, а большой мир живет в каждом из нас

Psychologies
Как снять защиту записи флешки: избавляемся от ошибки «диск защищен» Как снять защиту записи флешки: избавляемся от ошибки «диск защищен»

Как снять защиту записи с флешки usb, если диск защищен?

CHIP
Повысить либидо: 4 упражнения для возвращения желания Повысить либидо: 4 упражнения для возвращения желания

Упражнения, которые помогут повысить либидо

Psychologies
Вот почему люди стали использовать огонь — и приготовление пищи тут не при чем Вот почему люди стали использовать огонь — и приготовление пищи тут не при чем

Исследование, перечеркнувшее привычную картину: зачем люди приручили огонь

Inc.
«Улица — моя сцена»: как устроена работа современного экскурсовода и чем привлекает эта профессия «Улица — моя сцена»: как устроена работа современного экскурсовода и чем привлекает эта профессия

Чтобы стать гидом, необязательно иметь профильное образование

Вокруг света
Что делать, если бросила девушка: 9 советов мужчинам Что делать, если бросила девушка: 9 советов мужчинам

Как справиться, когда любимая уходит и эмоции берут верх?

Psychologies
Помойный бердвотчинг Помойный бердвотчинг

Как я ездил на индийскую свалку смотреть редких марабу

N+1
Опубликован первый черновик человеческого пангенома Опубликован первый черновик человеческого пангенома

Консорциум референсного пангенома человека показал результаты своей работы

N+1
Коллекция воспоминаний Коллекция воспоминаний

Современный интерьер для любителя искусства от дизайнера Александра Кононенко

SALON-Interior
Метеорит упал на жилой дом в США: возможно, это часть кометы Галлея Метеорит упал на жилой дом в США: возможно, это часть кометы Галлея

Космический объект размером с картофелину врезался в крышу американского дома

ТехИнсайдер
Максимум динамики и комфорта Максимум динамики и комфорта

Перед boot Düsseldorf в разных источниках фигурировал Beneteau Gran Turismo 36

Y Magazine
Секретная «кухня» японских cуперфудов Секретная «кухня» японских cуперфудов

Какие суперфуды пришли в мир из Японии?

Лиза
«Вымогатель живет за мой счет»: Холли Берри выиграла суд за алименты у отца своей дочери «Вымогатель живет за мой счет»: Холли Берри выиграла суд за алименты у отца своей дочери

Холли Берри одержала победу в десятилетней тяжбе с манекенщиком Габриэлем Обри

VOICE
Кенгуру затоптали Австралию. Экологи призывают к жестким мерам по сдерживанию роста популяции Кенгуру затоптали Австралию. Экологи призывают к жестким мерам по сдерживанию роста популяции

Почему экологи призывают разрешить отстрел кенгуру

ТехИнсайдер
Варвара Помидор Варвара Помидор

Варвара Помидор сочетает уникальное чувство цвета и умение работать со стилями

Правила жизни
Разгадать сон и предотвратить болезнь Разгадать сон и предотвратить болезнь

Почему важно анализировать сновидения?

Psychologies
Советские граждане, а не евреи: почему в СССР практически не говорили о Холокосте Советские граждане, а не евреи: почему в СССР практически не говорили о Холокосте

Почему советские власти пытались замолчать трагедию о Холокосте

Forbes
Как одевался Дольф Лундгрен в восьмидесятых (как завсегдатай Studio 54, а вовсе не как герой боевиков) Как одевался Дольф Лундгрен в восьмидесятых (как завсегдатай Studio 54, а вовсе не как герой боевиков)

Стиль актера Дольфа Лундгрена в 1980-х выглядит актуальным и сейчас

Правила жизни
Астрономы наконец выяснили, что скрывается внутри Луны Астрономы наконец выяснили, что скрывается внутри Луны

Внутреннее ядро Луны на самом деле представляет собой твердый шар

ТехИнсайдер
Связь не без границ: как операторы компенсируют свои затраты за счет абонентов Связь не без границ: как операторы компенсируют свои затраты за счет абонентов

Участники рынка мобильной связи перекладывают часть затрат на абонентов

Forbes
Эмпатия — это выгодно: почему хорошее отношение повышает эффективность сотрудников Эмпатия — это выгодно: почему хорошее отношение повышает эффективность сотрудников

Отрывок из книги «Искусство доброты» Клодии Хэммонд

Forbes
«Меня стали замечать и приглашать на ТВ». Как смена имиджа перевернула жизнь наших героинь «Меня стали замечать и приглашать на ТВ». Как смена имиджа перевернула жизнь наших героинь

Перемены во внешности часто «подтягивают» за собой позитивные изменения в жизни

Лиза
10 лучших сериалов про сумасшедших, душевнобольных и психбольницы 10 лучших сериалов про сумасшедших, душевнобольных и психбольницы

10 проектов, о том, как безумие и ментальные проблемы влияют на людей

Maxim
Медленно, но верно Медленно, но верно

Как определить, что ты слишком усердно занимаешься фитнесом

Лиза
«Сделаться великим человеком»: как Андрей Колмогоров исполнил свой план «с юношеским задором» «Сделаться великим человеком»: как Андрей Колмогоров исполнил свой план «с юношеским задором»

Математик Андрей Колмогоров внес весомый вклад в реформу образования в СССР

Вокруг света
Маршруты, траты, цели: как изменились путешествия за границу в 2023 году Маршруты, траты, цели: как изменились путешествия за границу в 2023 году

Как события последнего года изменили жизнь путешественников

РБК
Правда о переломившемся времени Правда о переломившемся времени

«Смерть Вазир-Мухтара»: Александр Грибоедов как архетип несбывшегося человека

Weekend
Объясняем необъяснимое: почему синяки появляются на теле без причины? Объясняем необъяснимое: почему синяки появляются на теле без причины?

Появление синяков после сна — распространенное явление. Но каковы причины?

ТехИнсайдер
Правила жизни Ильи Кабакова Правила жизни Ильи Кабакова

Правила жизни советского и американского художника-концептуалиста Ильи Кабакова

Правила жизни
Открыть в приложении