Ученые создали инструмент для редактирования объектов на изображении

N+1Hi-Tech

Нейросеть получила удобный интерфейс редактирования изображений

Он напоминает редактор внешности в видеоиграх

Виктория Земляк

40c394a560f62d417ec8c9208cc0404f.gif
Пример работы DragGAN. Theobalt et al. / arXiv, 2023

Ученые из США и Германии создали инструмент для редактирования объектов на изображении DragGAN. Он основан на нейросети, которая на лету генерирует новые изображения. Пользователь может отмечать мышкой разные элементы на фотографии, и они реалистично перемещаются, поворачиваются, растягиваются и уменьшаются — похожий подход нередко используют в видеоиграх для редактирования внешности персонажа. Препринт доступен на arXiv.org.

В последние пару лет случился бум диффузионных нейросетей для генерации изображений по текстовым запросам — например, Stable Diffusion, DALL-E и Midjourney. Диффузионная модель умеет генерировать реалистичные изображения из случайного шума, а текстовое описание подсказывает модели, что именно должно быть на изображении. Но есть проблема: диффузионные нейросети недостаточно точны и не подходят, если нужно выполнить очень конкретную задачу при редактировании: сдвинуть объект на несколько пикселей в определенную сторону или повернуть его на определенное количество градусов.

Задачу точного редактирования изображений можно решить с помощью других нейросетевых архитектур. Например, до появления диффузионных нейросетей часто использовали GAN — генеративно-состязательные сети. Такая модель состоит из двух нейросетей: генеративной и состязательной. По сути две нейросети соревнуются друг с другом: состязательная сеть учится отличать реальные изображения от сгенерированных, а генеративная, в свою очередь, пытается сгенерировать максимально реалистичные изображения из случайного шума (на этой идее основаны и диффузионные модели). Состязательная сеть посылает сигнал генеративной модели — сообщает ей, насколько реалистичное получилось изображение. И так до тех пор, пока генеративная сеть не научится обманывать состязательную.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Плюшеголовые сойки не сумели воспользоваться инструментом Плюшеголовые сойки не сумели воспользоваться инструментом

Плюшеголовые разноцветные сойки не могут решить задачу с инструментами

N+1
Нейросеть от Meta узнает 4017 языков по устной речи и ответит на 1107 из них Нейросеть от Meta узнает 4017 языков по устной речи и ответит на 1107 из них

Компания Meta выпустила языковую модель, которая понимает устную речь

N+1
В чем разница между обычным фотоаппаратом и кинокамерой? Узнайте простой ответ! В чем разница между обычным фотоаппаратом и кинокамерой? Узнайте простой ответ!

Что стоит учесть, выбирая камеру? Чем они отличаются?

ТехИнсайдер
Зачем вам нужна «психическая броня», и что это такое: стоит узнать! Зачем вам нужна «психическая броня», и что это такое: стоит узнать!

Мы можем подготовиться, чтобы более эффективно справляться с трудностями в жизни

ТехИнсайдер
Почему взрослые дети не уважают зрелых родителей: мнение и советы психоаналитика Почему взрослые дети не уважают зрелых родителей: мнение и советы психоаналитика

Почему мы считаем родительские убеждения устаревшими и обесцениваем их опыт

Psychologies
«Русалочьи кошельки» с T-образными гребнями приписали новому виду акул «Русалочьи кошельки» с T-образными гребнями приписали новому виду акул

Ихтиологи выяснили, кому принадлежат необычные яйца с T-образными гребнями

N+1
Странная история: как 62 ребенка в Зимбабве увидели инопланетян. Поразительно! Странная история: как 62 ребенка в Зимбабве увидели инопланетян. Поразительно!

"Феномен Ариэля" произошел в сентябре 1994 года

ТехИнсайдер
Не проморгай эволюцию: рыба-амфибия рассказала, зачем далекие предки людей научились двигать веками Не проморгай эволюцию: рыба-амфибия рассказала, зачем далекие предки людей научились двигать веками

Илистые прыгуны — уникальные существа на нашей планете

Вокруг света
Враг рабства, исследователь Африки и «певец» британской исключительности: как вошел в историю Давид Ливингстон Враг рабства, исследователь Африки и «певец» британской исключительности: как вошел в историю Давид Ливингстон

Кто такой и чем прославился Давид Ливингстон

Вокруг света
«Убийца «Священный паук»: история религиозного фанатика, убивавшего женщин «Убийца «Священный паук»: история религиозного фанатика, убивавшего женщин

«Убийца «Священный паук»: картина Али Аббаси, основанная на реальных событиях

Forbes
Раздел «Яндекса»: что получат инвесторы Раздел «Яндекса»: что получат инвесторы

Что инвесторы получат в результате раздела «Яндекса»?

Forbes
Ликвидный стекинг: как устроена схема для зарабатывания фантомных денег Ликвидный стекинг: как устроена схема для зарабатывания фантомных денег

Что такое стекинг и чем эти токены необычны?

Forbes
Зло под солнцем: что такое тропическая медицина и какие болезни представляют наибольшую угрозу для путешественников Зло под солнцем: что такое тропическая медицина и какие болезни представляют наибольшую угрозу для путешественников

Опасные заболевания постепенно осваивают умеренные широты

Вокруг света
Как ничто стало нечто и почему это так важно? Как ничто стало нечто и почему это так важно?

Изобретение нуля

Наука и жизнь
Повелители инвойсов: как выходцы из онлайн-банков построили в Германии стартап Monite Повелители инвойсов: как выходцы из онлайн-банков построили в Германии стартап Monite

Как Иван Марьясин задумал стартап по финансовой автоматизации

Forbes
Почему «Стражи Галактики. Часть 3» — лучший кинокомикс (мы уже забыли, с каких пор) Почему «Стражи Галактики. Часть 3» — лучший кинокомикс (мы уже забыли, с каких пор)

Каким получился новый фильм о Звездном Лорде и его команде?

Maxim
Генетики обнаружили древнейших зараженных чумой в Британии Генетики обнаружили древнейших зараженных чумой в Британии

ДНК бактерий нашли в зубах трех человек, живших около четырех тысяч лет назад

N+1
Заигрывания с историей: почему сериал «Царица Клеопатра» оскорбил Египет Заигрывания с историей: почему сериал «Царица Клеопатра» оскорбил Египет

Почему сериал «Царица Клеопатра» вызвал такую бурную реакцию?

Forbes
Перестаньте это делать! Эксперимент показал негативные последствия ночных перекусов Перестаньте это делать! Эксперимент показал негативные последствия ночных перекусов

С помощью небольшого эксперимента ученые доказали вред приема пищи поздно ночью

ТехИнсайдер
Как вывести пятно от красного вина с чего угодно: полный гайд Как вывести пятно от красного вина с чего угодно: полный гайд

Полный гайд, который поможет быстро удалить вино с любой поверхности

ТехИнсайдер
Отечественные фильмы, получившие самые престижные награды за границей Отечественные фильмы, получившие самые престижные награды за границей

Оскар и Канны были отнюдь не равнодушные к фильмам из СССР

Maxim
Толщина женской коры мозга оказалась меньше мужской в странах с гендерным неравенством Толщина женской коры мозга оказалась меньше мужской в странах с гендерным неравенством

Как гендерное неравенство сказывается на человеческом мозге?

N+1
Захар Ящин Захар Ящин

Захар Ящин известен как гениальный шрифтовик

Правила жизни
Кто и зачем на самом деле изобрел кириллицу (спойлер — нет, не Кирилл и Мефодий) Кто и зачем на самом деле изобрел кириллицу (спойлер — нет, не Кирилл и Мефодий)

Некоторые незыблемые знания не выдерживают столкновения с фактами

Maxim
Полина Гагарина: «Я всё больше становлюсь домоседом» Полина Гагарина: «Я всё больше становлюсь домоседом»

Певица Полина Гагарина — о секретах восстановления и своих увлечениях

Здоровье
Как родители-манипуляторы мешают самореализации выросших детей Как родители-манипуляторы мешают самореализации выросших детей

Как суметь помочь себе и перестать вестись на детские паттерны поведения?

Psychologies
В плюсе: как спортсмены-«зимники» заработали больше из-за изоляции В плюсе: как спортсмены-«зимники» заработали больше из-за изоляции

Несмотря на отстранение от турниров, многие спортсмены стали больше зарабатывать

Forbes
Кирилл Крок: «У меня нет амбиций быть худруком. Если завтра выяснится, что где-то есть молодой Мейерхольд, я сам к нему поеду» Кирилл Крок: «У меня нет амбиций быть худруком. Если завтра выяснится, что где-то есть молодой Мейерхольд, я сам к нему поеду»

Кирилл Крок рассказал о своей работе в Театра Вахтангова

Коллекция. Караван историй
Для комаров создали Для комаров создали

Комары, по-видимому, предпочитают определенные особенные человеческие запахи

ТехИнсайдер
Полезная растяжка. 6 упражнений для эффективной тренировки и советы эксперта Полезная растяжка. 6 упражнений для эффективной тренировки и советы эксперта

Хочешь обрести красивые формы и поддерживать здоровье, прилагая минимум усилий?

Лиза
Открыть в приложении