Исследователи обнаружили у нейросети DALL-E 2 необычные особенности

N+1Hi-Tech

Исследователи заподозрили существование собственного словаря у нейросети DALL-E 2

Григорий Копиев

Giannis Daras, Alexandros G. Dimakis

Американские исследователи обнаружили у генеративной нейросети DALL-E 2, создающей изображения по текстовому описанию, необычные особенности. Текст на ее изображениях, который кажется случайным набором символов, вероятно, вовсе не является таковым и зачастую связан с конкретными объектами и понятиями. К примеру, по запросу «Apoploe vesrreaitais» модель обычно генерирует изображения с птицами. Исследователи предположили, что DALL-E 2 в процессе обучения формирует собственное подобие словаря. Статья, пока не прошедшая рецензирование, доступна на сайте авторов. Она вызвала активное обсуждение среди сообщества исследователей машинного обучения, которые опровергли некоторые тезисы авторов и подтвердили другие.

DALL-E 2 — это новая и улучшенная версия генеративной нейросети DALL-E, представленной OpenAI в начале 2021 года. Тогда исследователи рассказали одновременно о двух похожих моделях: DALL-E и CLIP. По сути они выполняют противоположные задачи: DALL-E генерирует реалистичное изображение по его текстовому описанию, данному человеком, а CLIP генерирует текстовое описание для данного ей изображения. В обоих случаях модели обучались на огромном объеме изображений и описаний и сумели выучить качественную связь между визуальным и текстовым представлением объектов и понятий. В представленной этой весной DALL-E 2 разработчики поменяли некоторые детали реализации и сумели повысить реалистичность генерируемых ей изображений. Тем не менее у нее все еще есть заметные проблемы, одна из которых — генерация надписей. Обычно модель генерирует либо набор латинских символов в неправильном порядке, либо использует несуществующие символы или узоры.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Правила жизни стоиков Правила жизни стоиков

Вневременные цитаты античных философов

Правила жизни
Иностранные языки и мастерство коммуникации: как и чему училась Клеопатра Иностранные языки и мастерство коммуникации: как и чему училась Клеопатра

Отрывок из книги «Клеопатра: Жизнь. Больше чем биография»

Forbes
Тонкости альпинизма: как подготовиться к восхождению на Эльбрус Тонкости альпинизма: как подготовиться к восхождению на Эльбрус

Как покорить Эльбрус?

ТехИнсайдер
Неслучайны связи Неслучайны связи

Мы поговорили с создателями трех тревел-проектов о том, как искать «своих»

Seasons of life
Действующие и потухшие: 5 самых красивых вулканов России Действующие и потухшие: 5 самых красивых вулканов России

Труднодоступные, но желанные локации, до которых доберется не каждый

Вокруг света
Что такое SMAS-лифтинг и так ли он безопасен Что такое SMAS-лифтинг и так ли он безопасен

SMAS-лифтинг — безопасная альтернатива пластике?

РБК
Одна за всех: почему мы берем на себя ответственность за все и как перестать это делать Одна за всех: почему мы берем на себя ответственность за все и как перестать это делать

Зачем мы взваливаем на плечи больше, чем можем, и к чему это приводит?

VOICE
Вопрос дня: как все успевать? Вопрос дня: как все успевать?

Как успевать реализовывать свои амбиции и не забывать про личные интересы?

СНОБ
Как найти смысл жизни при любых обстоятельствах: примеры из практики Виктора Франкла Как найти смысл жизни при любых обстоятельствах: примеры из практики Виктора Франкла

Отрывок из книги Виктора Франкла «О смысле жизни»

Psychologies
Синдром спасателя: как стремление помочь всем и каждому приводит к саморазрушению Синдром спасателя: как стремление помочь всем и каждому приводит к саморазрушению

Почему быть спасателем не всегда хорошая идея

Forbes
Чем полезна жимолость: 7 фактов Чем полезна жимолость: 7 фактов

В чем именно польза жимолости

РБК
Белый дым из выхлопной трубы: почему появляется и что с этим делать Белый дым из выхлопной трубы: почему появляется и что с этим делать

В зависимости от цвета дым может указывать на различные проблемы с автомобилем

РБК
Деликатес из льна, турецкие мотивы и пир горой за 700 рублей: чем кормят туристов в Дагестане Деликатес из льна, турецкие мотивы и пир горой за 700 рублей: чем кормят туристов в Дагестане

Южная республика готова удивить даже искушенных гастротуристов

Вокруг света
Загадка природы: почему ученые до сих пор не могут разгадать тайну шаровой молнии Загадка природы: почему ученые до сих пор не могут разгадать тайну шаровой молнии

Что такое шаровая молния и откуда она берется?

ТехИнсайдер
Как замедлить процесс старения, или почему вам не нужно “трястись над здоровьем” Как замедлить процесс старения, или почему вам не нужно “трястись над здоровьем”

Возможно, чтобы жить дольше, нашему организму нужно больше стресса!

ТехИнсайдер
Ученые ищут методы борьбы с заиканием. Успехи пока скромные Ученые ищут методы борьбы с заиканием. Успехи пока скромные

Возможно ли вылечить заикание?

ТехИнсайдер
Колеса для отпуска: где выгодно арендовать автомобиль на неделю-две Колеса для отпуска: где выгодно арендовать автомобиль на неделю-две

Задумавшись об автомобиле на отпуск, сперва мы вспомнили про сервис подписки

Maxim
Маленькая непобедоносная война Маленькая непобедоносная война

«Зимняя война» — кино о том, как маленькая война может стать провалом

Дилетант
Строим автомобиль для ралли-рейда: зачем спорткарам нужен каркас безопасности и каким он должен быть Строим автомобиль для ралли-рейда: зачем спорткарам нужен каркас безопасности и каким он должен быть

Как построить каркас безопасности для спортивных классов N2?

ТехИнсайдер
«Игра по правилам»: как 9 гендерных стереотипов влияют на сексуальную жизнь мужчин? «Игра по правилам»: как 9 гендерных стереотипов влияют на сексуальную жизнь мужчин?

Как социальные нормы влияют на сексуальную самооценку мужчин?

Psychologies
Каким должен быть современный мужчина: россиянки назвали привлекающее их качество Каким должен быть современный мужчина: россиянки назвали привлекающее их качество

Наиболее популярные качества, которые женщины ценят в мужчинах

Psychologies
Как ведьмы стали женщинами Как ведьмы стали женщинами

Как в ведьмах видели угрозу государству, церкви и капитализму

Weekend
Как возобновить отношения с бывшим партнером (и стоит ли)? Как возобновить отношения с бывшим партнером (и стоит ли)?

Стоит ли пытаться вернуть бывшего партнера?

Psychologies
Одно прикосновение фанатки сломало всю ее жизнь: история актрисы Джин Тирни Одно прикосновение фанатки сломало всю ее жизнь: история актрисы Джин Тирни

Джин Тирни всего лишь одно прикосновение поклонницы принесло много страданий

VOICE
Дарина Якунина Дарина Якунина

Глава издательства «Поляндрия» — как поднимать сложные темы среди детей?

Собака.ru
Финтех для Африки: как Chipper Cash упрощает переводы в развивающихся странах Финтех для Африки: как Chipper Cash упрощает переводы в развивающихся странах

Двое молодых людей Уганды и Ганы придумали, как можно заработать целое состояние

Forbes
Внутренний критик: как он рождается в нас и как направить его в конструктивное русло Внутренний критик: как он рождается в нас и как направить его в конструктивное русло

Вряд ли есть человек, который не сталкивался со своим внутренним критиком

Psychologies
NASA выбрало место высадки для венерианского атмосферного зонда DAVINCI NASA выбрало место высадки для венерианского атмосферного зонда DAVINCI

Как будет проведено исследование атмосферы и поверхности Венеры

N+1
Boulevard Depo Boulevard Depo

Рэпер-абсурдист Boulevard Depo — о семье, стихах и книгах

Собака.ru
В мире животных В мире животных

Наблюдение за братьями нашими меньшими расширяет кругозор ребенка

Лиза
Открыть в приложении