Исследователи обнаружили у нейросети DALL-E 2 необычные особенности

N+1Hi-Tech

Исследователи заподозрили существование собственного словаря у нейросети DALL-E 2

Григорий Копиев

Giannis Daras, Alexandros G. Dimakis

Американские исследователи обнаружили у генеративной нейросети DALL-E 2, создающей изображения по текстовому описанию, необычные особенности. Текст на ее изображениях, который кажется случайным набором символов, вероятно, вовсе не является таковым и зачастую связан с конкретными объектами и понятиями. К примеру, по запросу «Apoploe vesrreaitais» модель обычно генерирует изображения с птицами. Исследователи предположили, что DALL-E 2 в процессе обучения формирует собственное подобие словаря. Статья, пока не прошедшая рецензирование, доступна на сайте авторов. Она вызвала активное обсуждение среди сообщества исследователей машинного обучения, которые опровергли некоторые тезисы авторов и подтвердили другие.

DALL-E 2 — это новая и улучшенная версия генеративной нейросети DALL-E, представленной OpenAI в начале 2021 года. Тогда исследователи рассказали одновременно о двух похожих моделях: DALL-E и CLIP. По сути они выполняют противоположные задачи: DALL-E генерирует реалистичное изображение по его текстовому описанию, данному человеком, а CLIP генерирует текстовое описание для данного ей изображения. В обоих случаях модели обучались на огромном объеме изображений и описаний и сумели выучить качественную связь между визуальным и текстовым представлением объектов и понятий. В представленной этой весной DALL-E 2 разработчики поменяли некоторые детали реализации и сумели повысить реалистичность генерируемых ей изображений. Тем не менее у нее все еще есть заметные проблемы, одна из которых — генерация надписей. Обычно модель генерирует либо набор латинских символов в неправильном порядке, либо использует несуществующие символы или узоры.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Магическое 3 августа: почему каждый год Энн Хэтэуэй откладывает все ради личного ритуала Магическое 3 августа: почему каждый год Энн Хэтэуэй откладывает все ради личного ритуала

Что же делает Энн Хэтэуэй 21 год подряд?

VOICE
«Я ставлю вопрос: как быть отсюда?» «Я ставлю вопрос: как быть отсюда?»

Оксана Тимофеева о том, как любить родину

Weekend
Экономьте деньги и места на спасательных шлюпках: гид по выживанию для стартапов Экономьте деньги и места на спасательных шлюпках: гид по выживанию для стартапов

Что делать, чтобы пережить тяжелые времена?

Forbes
Вне политики, выше споров, без комментариев: Елизавета II отмечает 70 лет на престоле Вне политики, выше споров, без комментариев: Елизавета II отмечает 70 лет на престоле

Как британская королева сохранила статус живой легенды?

Forbes
Загар и родинки Загар и родинки

В ожидании пляжного сезона любые «отметины» на теле вызывают опасения

Лиза
История крупнейшего ограбления поезда начала XX века История крупнейшего ограбления поезда начала XX века

Масштабная операция по ограблению почтового поезда в императорской России

СНОБ
Еще 6 бередящих душу фотографий за несколько минут до смерти Еще 6 бередящих душу фотографий за несколько минут до смерти

Подборка фотографий с удивительными и жуткими историями

Maxim
6 6

Никто из нас не ест арбузные косточки или "хвостики" клубники

ТехИнсайдер
Что такое SMAS-лифтинг и так ли он безопасен Что такое SMAS-лифтинг и так ли он безопасен

SMAS-лифтинг — безопасная альтернатива пластике?

РБК
Праздник от нас уходит. Вспоминаем историю Coca-Cola, свернувшую бизнес в России Праздник от нас уходит. Вспоминаем историю Coca-Cola, свернувшую бизнес в России

Почему Coca-Cola стала символом свободы и прогресса

Inc.
Пенис в сумочке: история Сада Абэ — самой странной эскортницы-убийцы в истории Пенис в сумочке: история Сада Абэ — самой странной эскортницы-убийцы в истории

Сада Абэ считается самой странной куртизанкой в Японии

VOICE
Фридрих Паулюс: как сложилась судьба первого плененного немецкого фельдмаршала Фридрих Паулюс: как сложилась судьба первого плененного немецкого фельдмаршала

Фридрих Паулюс стал первым немецким фельдмаршалом, взятым в плен на поле боя

ТехИнсайдер
«Не будут больше надо мной смеяться у твоего подъезда пацаны»: краткая история Юры Шатунова и «Ласкового мая» «Не будут больше надо мной смеяться у твоего подъезда пацаны»: краткая история Юры Шатунова и «Ласкового мая»

Вспоминаем историю Юры Шатунова и делимся архивными фотографиями

Правила жизни
В мире костюмов: секреты стиля Николая Дроздова В мире костюмов: секреты стиля Николая Дроздова

Николай Дроздов — воплощение стиля ученого-полевика

Правила жизни
Никаких заторов Никаких заторов

7 продуктов, снижающих риск образования тромбов

Лиза
Дело «баронессы де Сталь» Дело «баронессы де Сталь»

Лидия де Шталь — советская шпионка и «бацилла большевизма»

Дилетант
Что делать в случае укуса клеща Что делать в случае укуса клеща

Как избежать опасной встречи с клещом и что делать, если он все-таки укусил

РБК
Как изменить голос в Дискорде: 4 бесплатные и простые программы на любой вкус Как изменить голос в Дискорде: 4 бесплатные и простые программы на любой вкус

4 бесплатные программы, которые помогут изменить голос в Discord

CHIP
Что такое иммобилайзер и есть ли он в моей машине Что такое иммобилайзер и есть ли он в моей машине

Разбираемся, что такое иммобилайзер, каким бывает и стоит ли его отключать

РБК
Гороскоп нового времени: как предсказать свое будущее с помощью ДНК-тестов Гороскоп нового времени: как предсказать свое будущее с помощью ДНК-тестов

Люди запрашивают множество разных тестов, но ситуация с ними весьма запутанна

Вокруг света
Археологи нашли в Англии рядом с домом железного века более 8000 костей лягушек и жаб Археологи нашли в Англии рядом с домом железного века более 8000 костей лягушек и жаб

Археологи раскопали канаву, в которой обнаружили более 700 кг. костей животных

N+1
Ученые Сколтеха: через 20 лет борщевиком может зарасти вся европейская часть России Ученые Сколтеха: через 20 лет борщевиком может зарасти вся европейская часть России

Борщевик не боится изменений климата и выживает другие виды

Вокруг света
Какой главный совет вы хотели бы дать вашему ребенку? Какой главный совет вы хотели бы дать вашему ребенку?

Какой полезный и важный жизненный совет стоит дать своему ребенку?

СНОБ
Разговорная речь заставила выбрать между умными словами и сложными предложениями Разговорная речь заставила выбрать между умными словами и сложными предложениями

Оказалось, что чем проще используемые в речи слова, тем сложнее грамматика

N+1
История советского контрснайпера: как школьный завхоз уложил 422 фашиста История советского контрснайпера: как школьный завхоз уложил 422 фашиста

Василий Теркин действительно существовал и был одним из лучших контрснайперов

ТехИнсайдер
Дела семейные Дела семейные

Наши герои, которые не побоялись построить бизнес с близкими

Seasons of life
Необычные и милые домашние животные всемирных знаменитостей Необычные и милые домашние животные всемирных знаменитостей

Посмотри, кто из писателей и других знаменитостей каких заводил питомцев

Maxim
Борис Эйфман — о танце, Петербурге и заслуженном озарении Борис Эйфман — о танце, Петербурге и заслуженном озарении

Борис Эйфман — о том, почему из раза в раз обращается к текстам Достоевского

РБК
«Лицемерие, вранье и цинизм стали социально одобряемыми нормами» «Лицемерие, вранье и цинизм стали социально одобряемыми нормами»

Александр Хант о конфликте поколений и своем «Межсезонье»

Weekend
Загадка «русской Рапунцель»: что сгубило супермодель Руслану Коршунову Загадка «русской Рапунцель»: что сгубило супермодель Руслану Коршунову

Почему «русская Рапунцель» Руслана Коршунова решила, что больше не хочет жить?

VOICE
Открыть в приложении