Компания OpenAI представила мультимодальную генеративную модель GPT-4o

N+1Hi-Tech

OpenAI представила мультимодальную генеративную модель GPT-4o

Она умеет разговаривать, видеть, и имитирует эмоции

Андрей Фокин

0feba817682cb3557f5dd3b9a38f3ae7.jpg
OpenAI / YouTube

Компания OpenAI представила мультимодальную генеративную модель GPT-4o, которая может работать с текстом, аудио и изображениями, включая видео. Модель может общаться с пользователем голосом и поддерживает 50 языков. Она может имитировать различные интонации, шепот, пение, смех. При этом модель работает гораздо быстрее предшествующей версии — время задержки ответа в голосовом режиме составляет в среднем около 0,3 секунды, что сравнимо с временем реакции человека. Также модель может видеть, получая и интерпретируя изображение с камеры в реальном времени. Трансляция презентации велась на YouTube.

Первая генеративная языковая модель уровня GPT-4 была представлена компанией OpenAI в марте 2023 года. В отличие от более ранней версии GPT-3.5, которая могла работать только с текстовой информацией, GPT-4 впервые получила способность принимать в качестве входных данных также и изображения. Кроме этого, в том же году состоялся релиз приложения на основе чат-бота ChatGPT с возможностью распознавания речи и синтеза голоса, что позволяло пользователям разговаривать с моделью и использовать ее в роли голосового ассистента.

В понедельник 13 мая 2024 года во время прямой трансляции на YouTube состоялась презентация новой версии GPT-4, которая получила обозначение GPT-4o (символ «о» в конце означает «omni»). Теперь модель принимает в качестве входных данных любую комбинацию текста, звука и изображения, включая видео. При этом она работает гораздо быстрее своей предшественницы, в том числе и во время голосового общения. Генерация ответа происходит со средней задержкой всего лишь 320 миллисекунд, что сравнимо со временем реакции человека в разговоре.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Мастер спора международного класса Мастер спора международного класса

Главный спорщик XX века Амарилло Слим прославился невероятными пари

Maxim
Ай, меня ужалили! Ай, меня ужалили!

Встретить медуз можно на любом курорте – и ожоги некоторых очень неприятны

Лиза
Катерина Киндрук: Исторический момент ставит перед бизнесом нестандартные задачи Катерина Киндрук: Исторический момент ставит перед бизнесом нестандартные задачи

Какими качествами нужно обладать эффективному топ-менеджеру?

СНОБ
Как сон смягчает наши страдания, почему он в этом незаменим Как сон смягчает наши страдания, почему он в этом незаменим

Почему хороший ночной сон является идеальным средством от эмоционального стресса

ТехИнсайдер
«Я думала, что никогда не сделаю аборт»: отрывок из романа о разрушающем чувстве вины «Я думала, что никогда не сделаю аборт»: отрывок из романа о разрушающем чувстве вины

Отрывок из повести Клаудии Пиньейро «Элена знает»

Forbes
Незабытое поколение Незабытое поколение

В чем смысл и выгода в поддержке старого софта и устройств

РБК
Возможно ли отбелить зубы в домашних условиях? Узнайте простое объяснение экспертов! Возможно ли отбелить зубы в домашних условиях? Узнайте простое объяснение экспертов!

Могут ли помочь средства для домашнего отбеливания зубов?

ТехИнсайдер
«Конкистадоры: Новая история открытия и завоевания Америки» «Конкистадоры: Новая история открытия и завоевания Америки»

Как испанцы покоряли Кубу

N+1
Петербург будущего Петербург будущего

Владимир Ильич Травуш проектировал самые высокие здания современной России

Собака.ru
Двум древним египтянам диагностировали рак Двум древним египтянам диагностировали рак

Палеопатологи исследовали два черепа, хранящихся в Кембриджском университете

N+1
7 способов поддержать друга в кризисной ситуации 7 способов поддержать друга в кризисной ситуации

Как помочь близкому человеку пережить трудный период?

Psychologies
Мифы о вине, которые мешают нам получать от него удовольствие Мифы о вине, которые мешают нам получать от него удовольствие

Собрали здесь все, что вы по привычке могли бы сделать с качественным алкоголем

Maxim
Станислав Житарев: «Это была самая настоящая дружба длиною в 45 лет» Станислав Житарев: «Это была самая настоящая дружба длиною в 45 лет»

Коля действительно был добрым и открытым человеком

Коллекция. Караван историй
Снимая святых Снимая святых

Глеб Панфилов как режиссер житий

Weekend
«Мудрость леса. В поисках материнского древа и таинственной связи всего живого» «Мудрость леса. В поисках материнского древа и таинственной связи всего живого»

Зачем пихтам и березам сотрудничать друг с другом

N+1
5 основных теорий человечества о том, что такое сны 5 основных теорий человечества о том, что такое сны

Сны развлекают, пугают и завораживают, но откуда они берутся и для чего?

Psychologies
Туда, где есть всё Туда, где есть всё

Греция и Хорватия — преимущества и особенности этих направлений для плаваний

Y Magazine
Александр Ширвиндт: «На отдыхе за границей мы с Андрюшей Мироновым буквально голодали» Александр Ширвиндт: «На отдыхе за границей мы с Андрюшей Мироновым буквально голодали»

«Восемьдесят восемь лет назад меня принесли из роддома имени Грауэрмана...»

Караван историй
Режиссер Халед Уануки: Популярность Чехова в Алжире вполне соответствует его популярности в России Режиссер Халед Уануки: Популярность Чехова в Алжире вполне соответствует его популярности в России

Халед Уануки о его взглядах на русскую литературу и впечатлениях от фестиваля

СНОБ
Гражданская авиация России: задачи, технологии, тенденции Гражданская авиация России: задачи, технологии, тенденции

Как развиваются аэропортовая сеть и региональные авиаперевозки

ФедералПресс
Феномен де Клерка Феномен де Клерка

Фредерик Виллем де Клерк — последний белый президент ЮАР

Дилетант
Что смотреть в выходные: 6 новых фильмов, которые вы могли пропустить Что смотреть в выходные: 6 новых фильмов, которые вы могли пропустить

Собрали шесть ярких фильмов, которые определенно стоят потраченного времени

Правила жизни
Почему «Министерство неджентльменских дел» — самый обманчивый фильм Гая Ричи Почему «Министерство неджентльменских дел» — самый обманчивый фильм Гая Ричи

«Министерство неджентльменских дел» — фильм о тех, кому нет покоя в мирной жизни

Правила жизни
Истории, стоящие за портретами. Кем были музы и натурщицы Бориса Кустодиева Истории, стоящие за портретами. Кем были музы и натурщицы Бориса Кустодиева

Глава из книги «Картинные девушки» — о музах и художниках

СНОБ
Галина и Евгений Киндиновы: «Коля долго не женился. Конечно же, романы у него были, но не с актрисами» Галина и Евгений Киндиновы: «Коля долго не женился. Конечно же, романы у него были, но не с актрисами»

Близкие друзья откровенно о Николае Караченцове

Коллекция. Караван историй
Бизнес предложил поправки в законопроект о майнинге Бизнес предложил поправки в законопроект о майнинге

Представители криптоиндустрии недовольны положениями законопроекта о майнинге

Forbes
Как избавиться от тревожных мыслей: 2 полезных упражнения Как избавиться от тревожных мыслей: 2 полезных упражнения

Техника медитации и практика наблюдателя для обуздания тревожных мыслей

Psychologies
Орангутан полечил свою рану листьями лианы Орангутан полечил свою рану листьями лианы

Биологи заметили, как орангутан обрабатывает свою рану с помощью растения

N+1
Кулинарные лайфхаки: чем можно заменить сливочное масло в выпечке Кулинарные лайфхаки: чем можно заменить сливочное масло в выпечке

Масло в выпечке — чуть не один из главных ингредиентов. Но не значит незаменимый

ТехИнсайдер
Как сохранять концентрацию: 3 рабочие стратегии Как сохранять концентрацию: 3 рабочие стратегии

Как управлять вниманием и учиться держать фокус в рабочее время и не только?

Psychologies
Открыть в приложении