Исследователи обнаружили у нейросети DALL-E 2 необычные особенности

N+1Hi-Tech

Исследователи заподозрили существование собственного словаря у нейросети DALL-E 2

Григорий Копиев

Giannis Daras, Alexandros G. Dimakis

Американские исследователи обнаружили у генеративной нейросети DALL-E 2, создающей изображения по текстовому описанию, необычные особенности. Текст на ее изображениях, который кажется случайным набором символов, вероятно, вовсе не является таковым и зачастую связан с конкретными объектами и понятиями. К примеру, по запросу «Apoploe vesrreaitais» модель обычно генерирует изображения с птицами. Исследователи предположили, что DALL-E 2 в процессе обучения формирует собственное подобие словаря. Статья, пока не прошедшая рецензирование, доступна на сайте авторов. Она вызвала активное обсуждение среди сообщества исследователей машинного обучения, которые опровергли некоторые тезисы авторов и подтвердили другие.

DALL-E 2 — это новая и улучшенная версия генеративной нейросети DALL-E, представленной OpenAI в начале 2021 года. Тогда исследователи рассказали одновременно о двух похожих моделях: DALL-E и CLIP. По сути они выполняют противоположные задачи: DALL-E генерирует реалистичное изображение по его текстовому описанию, данному человеком, а CLIP генерирует текстовое описание для данного ей изображения. В обоих случаях модели обучались на огромном объеме изображений и описаний и сумели выучить качественную связь между визуальным и текстовым представлением объектов и понятий. В представленной этой весной DALL-E 2 разработчики поменяли некоторые детали реализации и сумели повысить реалистичность генерируемых ей изображений. Тем не менее у нее все еще есть заметные проблемы, одна из которых — генерация надписей. Обычно модель генерирует либо набор латинских символов в неправильном порядке, либо использует несуществующие символы или узоры.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Самые опасные виды туризма в России Самые опасные виды туризма в России

От чего надо держаться подальше в процессе активного отдыха?

Maxim
Альпы зарастают деревьями. Почему это тревожит ученых? Альпы зарастают деревьями. Почему это тревожит ученых?

За сорок лет склоны Альпийских гор стали зеленее на 77%, и это только начало

Вокруг света
«Беты» первыми столкнутся с природными санкциями» «Беты» первыми столкнутся с природными санкциями»

Каким видится сегодня поколение потребителей будущего?

РБК
Новые виды паразитов вызвали вспышку кожного заболевания у антарктических рыб Новые виды паразитов вызвали вспышку кожного заболевания у антарктических рыб

Биологи обнаружили у антарктических рыб неизвестное кожное заболевание

N+1
Как построить коммунизм: почему Сталин хотел ввести 5-часовой рабочий день Как построить коммунизм: почему Сталин хотел ввести 5-часовой рабочий день

Почему Сталин хотел сократить трудовой день до пяти часов?

VOICE
Не бесстыжие: 12 невероятных фактов о рыжих — все чистая правда Не бесстыжие: 12 невероятных фактов о рыжих — все чистая правда

Рыжие действительно сильно отличаются от тех, чьи волосы от другого цвета

VOICE
Поздравление на свадьбе: что и как говорить молодоженам Поздравление на свадьбе: что и как говорить молодоженам

Есть ли универсальный рецепт хорошего тоста на свадьбе?

Psychologies
«Хочешь без презерватива?»: Ирина Шихман рассказала о «бурной сексуальной жизни» «Хочешь без презерватива?»: Ирина Шихман рассказала о «бурной сексуальной жизни»

Ирина Шихман ответила на курьезный вопрос Софьи Шац

VOICE
Физики увидели атомные куперовские пары Физики увидели атомные куперовские пары

Применили технику времяпролетной визуализации к вырожденному атомному ферми-газу

N+1
Миф о третьем свидании: когда надо идти в постель с мужчиной, если тебе нужны отношения Миф о третьем свидании: когда надо идти в постель с мужчиной, если тебе нужны отношения

Почему говорят, что сексом нельзя заниматься раньше, чем на третьем свидании?

VOICE
Семь марионеток Семь марионеток

Каким было правительство марионеточной «Финляндской Демократической Республики»

Дилетант
Расправить крылья Расправить крылья

Учителя — о том, как вырастить «своих» в маленьком городе

Seasons of life
На природе и в огороде На природе и в огороде

Как научиться замечать и использовать на кухне то, что растет под ногами

Новый очаг
Потрясающие времена Потрясающие времена

Startup Village – это мероприятие для общения предпринимателей с инвесторами

ТехИнсайдер
«Я испытала стресс!»: звезда сериала «Воронины» рассказала, как потеряла дочь в Турции «Я испытала стресс!»: звезда сериала «Воронины» рассказала, как потеряла дочь в Турции

Екатерина Волкова рассказала о воспитании своей дочери

VOICE
Последний умер в зоопарке в 1936-м: в Австралии готовятся «воскресить» сумчатого волка Последний умер в зоопарке в 1936-м: в Австралии готовятся «воскресить» сумчатого волка

Истребленный вид может снова населить Зеленый континент

Вокруг света
Битва челюстей: названа причина вымирания крупнейшего морского хищника всех времен Битва челюстей: названа причина вымирания крупнейшего морского хищника всех времен

Гроза доисторических морей Otodus megalodon проиграл битву за пищевые ресурсы

Вокруг света
Какой была бы современная Россия, если бы Петра I не существовало Какой была бы современная Россия, если бы Петра I не существовало

Чего мы бы лишились без пресловутого окна в Европу

Maxim
Насильное лечение и вера в светлое будущее: 7 главных ошибок семьи алкоголика Насильное лечение и вера в светлое будущее: 7 главных ошибок семьи алкоголика

Что не нужно делать, если ваш близкий человек заболел алкоголизмом?

Psychologies
Путь самурая: почему легендарный инвестор Масаеси Сон верит в рост во время кризиса Путь самурая: почему легендарный инвестор Масаеси Сон верит в рост во время кризиса

Почему инвестор Масаеси Сон так верит в рост своих портфельных компаний?

Forbes
Уголовная ревизия: почему пора изменить отношение власти к бизнесу Уголовная ревизия: почему пора изменить отношение власти к бизнесу

Нельзя заниматься импортозамещением, когда предпринимательство затухает

Forbes
Арктический город будущего Арктический город будущего

Реальные технологии строительства в Арктике приходили из Норильска

ТехИнсайдер
История Нэнси Брофи: за что автору эссе «Как убить своего мужа» дали пожизненный срок История Нэнси Брофи: за что автору эссе «Как убить своего мужа» дали пожизненный срок

Судьба писательницы Нэнси Брофи вполне может стать основой для сериала

Forbes
Меньше мяса? Это просто Меньше мяса? Это просто

Как безопасно для здоровья исключить мясо из рациона

Новый очаг
«Просвещенный» оптимизм: жить на светлой стороне «Просвещенный» оптимизм: жить на светлой стороне

Оптимизм — это особый тип мышления, которому можно научиться

Psychologies
Дело не в еде: как я похудела на 47 кг Дело не в еде: как я похудела на 47 кг

Моя личная история – это не только история снижения веса

Новый очаг
Ученые подсчитали, каковы шансы сердечного приступа во время секса на жаре Ученые подсчитали, каковы шансы сердечного приступа во время секса на жаре

Проверен знаменитый миф о том, что секс в жаркую погоду опасен для здоровья

Maxim
«Все мне должны»: что не так с этой установкой «Все мне должны»: что не так с этой установкой

Почему мы думаем, что нам все должны и причем тут личные границы?

Psychologies
Как замедлить процесс старения, или почему вам не нужно “трястись над здоровьем” Как замедлить процесс старения, или почему вам не нужно “трястись над здоровьем”

Возможно, чтобы жить дольше, нашему организму нужно больше стресса!

ТехИнсайдер
Польза клубники: 5 главных фактов и советы врачей Польза клубники: 5 главных фактов и советы врачей

Клубника — вкусная и полезная ягода, из которой можно сделать домашнюю косметику

РБК
Открыть в приложении