Исследователи обнаружили у нейросети DALL-E 2 необычные особенности

N+1Hi-Tech

Исследователи заподозрили существование собственного словаря у нейросети DALL-E 2

Григорий Копиев

Giannis Daras, Alexandros G. Dimakis

Американские исследователи обнаружили у генеративной нейросети DALL-E 2, создающей изображения по текстовому описанию, необычные особенности. Текст на ее изображениях, который кажется случайным набором символов, вероятно, вовсе не является таковым и зачастую связан с конкретными объектами и понятиями. К примеру, по запросу «Apoploe vesrreaitais» модель обычно генерирует изображения с птицами. Исследователи предположили, что DALL-E 2 в процессе обучения формирует собственное подобие словаря. Статья, пока не прошедшая рецензирование, доступна на сайте авторов. Она вызвала активное обсуждение среди сообщества исследователей машинного обучения, которые опровергли некоторые тезисы авторов и подтвердили другие.

DALL-E 2 — это новая и улучшенная версия генеративной нейросети DALL-E, представленной OpenAI в начале 2021 года. Тогда исследователи рассказали одновременно о двух похожих моделях: DALL-E и CLIP. По сути они выполняют противоположные задачи: DALL-E генерирует реалистичное изображение по его текстовому описанию, данному человеком, а CLIP генерирует текстовое описание для данного ей изображения. В обоих случаях модели обучались на огромном объеме изображений и описаний и сумели выучить качественную связь между визуальным и текстовым представлением объектов и понятий. В представленной этой весной DALL-E 2 разработчики поменяли некоторые детали реализации и сумели повысить реалистичность генерируемых ей изображений. Тем не менее у нее все еще есть заметные проблемы, одна из которых — генерация надписей. Обычно модель генерирует либо набор латинских символов в неправильном порядке, либо использует несуществующие символы или узоры.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Истина где-то рядом: зачем в NASA решили взяться за изучение НЛО Истина где-то рядом: зачем в NASA решили взяться за изучение НЛО

NASA начнет изучать НЛО, причем именно с научной точки зрения

Вокруг света
Феминизм простыми словами: о чем новый YouTube-проект Анны Ривиной Феминизм простыми словами: о чем новый YouTube-проект Анны Ривиной

YouTube-сериал Анны Ривиной пытается ответить на важные вопросы

Forbes
Когда умрет Солнце: может ли человечество спастись, превратив планету в космический корабль? Когда умрет Солнце: может ли человечество спастись, превратив планету в космический корабль?

Придется ли нашим потомкам убираться с родной планеты?

ТехИнсайдер
Лиза Янковская — о главной роли в фильме «Ника» Лиза Янковская — о главной роли в фильме «Ника»

Разговор c Лизой Янковской, которая сыграла вундеркинда-поэтессу Нику Турбину

СНОБ
10 способов снять стресс на работе 10 способов снять стресс на работе

Десять рекомендаций, как успокоиться и снять стресс на работе

Psychologies
Экспресс-тест: тиран ли ты? Экспресс-тест: тиран ли ты?

Сколько характерных признаков тирана ты обнаружишь у себя?

Maxim
Любовь в деталях Любовь в деталях

Как найти баланс в общении с мужчиной?

Лиза
Плати смартфоном легко! Плати смартфоном легко!

Как работает система быстрых платежей?

VOICE
«Наши дети порой бедокурят»: печальная история встречи индейских вождей с Авраамом Линкольном «Наши дети порой бедокурят»: печальная история встречи индейских вождей с Авраамом Линкольном

Индейские войны — череда самых долгих и ожесточенных битв Америки

Вокруг света
Мимо туристических маршрутов. 7 неочевидных мест для отдыха в Турции Мимо туристических маршрутов. 7 неочевидных мест для отдыха в Турции

«Сноб» составил подборку небанальных мест для отдыха в Турции

СНОБ
«Бархат и лохмотья»: как жили советские «аристократки» в 1930-х «Бархат и лохмотья»: как жили советские «аристократки» в 1930-х

Чем хвастались женщины во времена, когда выделяться было опасно?

Forbes
Почему мы остаемся с нелюбимыми: 5 нелепых отговорок Почему мы остаемся с нелюбимыми: 5 нелепых отговорок

Как мы сами для себя оправдываем решение остаться с нелюбимыми?

Psychologies
Восстановление после родов: что важно знать Восстановление после родов: что важно знать

Какие обследования необходимы и каких врачей лучше посетить после родов

Psychologies
На солнечной стороне На солнечной стороне

Как отдыхать летом с пользой для своей кожи

Лиза
«Она является формой сопротивления катастрофам»: что происходит с модой в кризисах «Она является формой сопротивления катастрофам»: что происходит с модой в кризисах

Чем мода отвечает на тренды и как помогает сопротивляться катастрофам?

Forbes
Как я сходил на тест-драйв беспилотного автомобиля СберАвтоТеха Как я сходил на тест-драйв беспилотного автомобиля СберАвтоТеха

Каким получился беспилотный автомобиль от Сбера?

N+1
Финтех для Африки: как Chipper Cash упрощает переводы в развивающихся странах Финтех для Африки: как Chipper Cash упрощает переводы в развивающихся странах

Двое молодых людей Уганды и Ганы придумали, как можно заработать целое состояние

Forbes
«Детям необходимо жить в семье»: как устроен процесс усыновления в России «Детям необходимо жить в семье»: как устроен процесс усыновления в России

Рассказываем об актуальной ситуации с сиротством в России

Forbes
8 вещей, о которых вы пожалеете после 30 лет 8 вещей, о которых вы пожалеете после 30 лет

Как не потратить свою жизнь на сожаления

Psychologies
К вам санитары, мистер Андерсон К вам санитары, мистер Андерсон

Писатель Александр Цыпкин о наших цифровых аватарах

СНОБ
Графен на пульсе: ученые изобрели татуировку, которая измеряет давление Графен на пульсе: ученые изобрели татуировку, которая измеряет давление

Разработана электронная татуировка для измерения артериального давления

Вокруг света
Почему я умная, а живу как дура: вся правда о женских тренингах Почему я умная, а живу как дура: вся правда о женских тренингах

В чем прелесть и опасность массового увлечения женскими тренингами?

Psychologies
Су-25: чем прославился легендарный советский штурмовик Су-25: чем прославился легендарный советский штурмовик

Советский штурмовик Су-25: легенда в небесах

ТехИнсайдер
Чилийский прадедушка: найдено самое старое живое существо на Земле, его возраст — 5484 года Чилийский прадедушка: найдено самое старое живое существо на Земле, его возраст — 5484 года

Самое старое дерево на планете

Вокруг света
Три корзины с недоношенными младенцами. Как начиналась неонатальная терапия Три корзины с недоношенными младенцами. Как начиналась неонатальная терапия

История инкубаторов для младенцев

ТехИнсайдер
Как запасти пищу на случай постапокалипсиса: что люди будут есть после ядерной зимы Как запасти пищу на случай постапокалипсиса: что люди будут есть после ядерной зимы

Каков самый выигрышный вариант еды на случай апокалипсиса?

ТехИнсайдер
Это не бумажки! Как строить отношения с деньгами, чтобы их было много Это не бумажки! Как строить отношения с деньгами, чтобы их было много

Никто никогда не объясняет, как правильно построить отношения с деньгами

VOICE
«Пламенное сердце»: мультфильм о том, могут ли девочки работать пожарными «Пламенное сердце»: мультфильм о том, могут ли девочки работать пожарными

«Пламенное сердце» — мультфильм о социальной несправедливости

Forbes
Ты просто не поймешь это, пока молода: письмо австралийки берет за живое всех женщин, которым уже исполнилось 45 Ты просто не поймешь это, пока молода: письмо австралийки берет за живое всех женщин, которым уже исполнилось 45

Что изменится в твоей жизни с возрастом?

VOICE
Дочь Нила: как феминистка Дориа Шафик боролась с диктаторским режимом в Египте Дочь Нила: как феминистка Дориа Шафик боролась с диктаторским режимом в Египте

Дориа Шафик требовала избирательных прав для женщин в Египте

Forbes
Открыть в приложении