Компания OpenAI представила мультимодальную генеративную модель GPT-4o

N+1Hi-Tech

OpenAI представила мультимодальную генеративную модель GPT-4o

Она умеет разговаривать, видеть, и имитирует эмоции

Андрей Фокин

0feba817682cb3557f5dd3b9a38f3ae7.jpg
OpenAI / YouTube

Компания OpenAI представила мультимодальную генеративную модель GPT-4o, которая может работать с текстом, аудио и изображениями, включая видео. Модель может общаться с пользователем голосом и поддерживает 50 языков. Она может имитировать различные интонации, шепот, пение, смех. При этом модель работает гораздо быстрее предшествующей версии — время задержки ответа в голосовом режиме составляет в среднем около 0,3 секунды, что сравнимо с временем реакции человека. Также модель может видеть, получая и интерпретируя изображение с камеры в реальном времени. Трансляция презентации велась на YouTube.

Первая генеративная языковая модель уровня GPT-4 была представлена компанией OpenAI в марте 2023 года. В отличие от более ранней версии GPT-3.5, которая могла работать только с текстовой информацией, GPT-4 впервые получила способность принимать в качестве входных данных также и изображения. Кроме этого, в том же году состоялся релиз приложения на основе чат-бота ChatGPT с возможностью распознавания речи и синтеза голоса, что позволяло пользователям разговаривать с моделью и использовать ее в роли голосового ассистента.

В понедельник 13 мая 2024 года во время прямой трансляции на YouTube состоялась презентация новой версии GPT-4, которая получила обозначение GPT-4o (символ «о» в конце означает «omni»). Теперь модель принимает в качестве входных данных любую комбинацию текста, звука и изображения, включая видео. При этом она работает гораздо быстрее своей предшественницы, в том числе и во время голосового общения. Генерация ответа происходит со средней задержкой всего лишь 320 миллисекунд, что сравнимо со временем реакции человека в разговоре.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

От нуля к единице От нуля к единице

Как создать стартап, который изменит будущее

kiozk originals
Крестоносец за решёткой Крестоносец за решёткой

Роберт Нормандский — один из первых политических узников Средневековья

Дилетант
Как болельщики императора свергали Как болельщики императора свергали

Спортивные игры – идеальная среда для социального взрыва

Вокруг света
Как открыть карту в Казахстане в 2024 году Как открыть карту в Казахстане в 2024 году

Как оформить банковскую карту Казахстана и в каком банке это сделать проще всего

VC.RU
9 продуктов, снижающих уровень холестерина. Советы экспертов 9 продуктов, снижающих уровень холестерина. Советы экспертов

Как правильно составить рацион при высоком уровне холестерина?

РБК
Почему нельзя спать с мокрой головой: эти последствия могут вас напугать Почему нельзя спать с мокрой головой: эти последствия могут вас напугать

Почему перед сном обязательно нужно сушить волосы?

ТехИнсайдер
Все по уму: как нейросети меняют представления пользователей о телефонах Все по уму: как нейросети меняют представления пользователей о телефонах

О принципиальных изменениях в функционале смартфонов и о Galaxy AI

Forbes
7 фраз, которые нельзя говорить самому себе 7 фраз, которые нельзя говорить самому себе

Некоторые установки по-настоящему токсичны, и их лучше избегать

Maxim
Андрей Журавлев: Динозавры — это ведь нечто среднее между медициной и паровозами Андрей Журавлев: Динозавры — это ведь нечто среднее между медициной и паровозами

Андрей Журавлев: чем питались мегалодоны и возможно ли сегодня оживить мамонта

СНОБ
Штормовое предупреждение. 4 факта про укачивание (кинетоз) Штормовое предупреждение. 4 факта про укачивание (кинетоз)

Ищем оптимальное решение от «морской болезни» у детей

Лиза
Психиатр Венедикта Ерофеева — о том, каким он был человеком Психиатр Венедикта Ерофеева — о том, каким он был человеком

Как в Венедикте Ерофееве сочетался алкоголизм и интеллектуальность

СНОБ
Кто такой Mr. Parker и Владимир Владимирович(тм): умер легенда «ЖЖ» — журналист Максим Кононенко Кто такой Mr. Parker и Владимир Владимирович(тм): умер легенда «ЖЖ» — журналист Максим Кононенко

Mr. Parker — один из тех, кто определял стиль российского сегмента Интернета

Maxim
Дмитрий Леонтьев: BAIC X75 – машина для удовольствия Дмитрий Леонтьев: BAIC X75 – машина для удовольствия

Кроссовер BAIC X75 – тихое наслаждение

4x4 Club
Как по нотам Как по нотам

Никола Мельников об источниках вдохновения и подходе к пониманию искусства

Men Today
Подводные лодки и придворный шарм Подводные лодки и придворный шарм

Подводная лодка С.К. Джевецкого – первая в мире серийная субмарина

Наука и техника
Эмбрион человека при развитии постоянно нарушает симметрию Эмбрион человека при развитии постоянно нарушает симметрию

«Жизнь состоит из постоянного нарушения симметрии»

ТехИнсайдер
Как вы можете бороться с климатическим кризисом? Узнайте простые советы эксперта! Как вы можете бороться с климатическим кризисом? Узнайте простые советы эксперта!

Может ли простой человек повлиять на глобальное потепление?

ТехИнсайдер
5 ошибок, которые могут привести к разводу после 20 лет брака 5 ошибок, которые могут привести к разводу после 20 лет брака

Что такое «серый», или «седой» развод?

Psychologies
Как сделать занятия бегом эффективнее с помощью смарт-часов Как сделать занятия бегом эффективнее с помощью смарт-часов

Как смарт-часы могут повысить вашу мотивацию в занятиях бегом?

CHIP
Как взбодриться без кофе: 6 научно доказанных способов (с примерами) Как взбодриться без кофе: 6 научно доказанных способов (с примерами)

Глубокое дыхание, холодная вода, берпи и другие альтернативные источники энергии

РБК
Как нейросети проваливаются в «долину разочарования» и почему это хорошо Как нейросети проваливаются в «долину разочарования» и почему это хорошо

Когда большие языковые модели займут уверенную позицию и достигнут пика?

Forbes
Двум древним египтянам диагностировали рак Двум древним египтянам диагностировали рак

Палеопатологи исследовали два черепа, хранящихся в Кембриджском университете

N+1
Для измерения лунотрясений разработаны лазерные сейсмические датчики Для измерения лунотрясений разработаны лазерные сейсмические датчики

Как распределенное акустическое зондирование позволит измерять лунотрясения

ТехИнсайдер
Кофе или матча? Ваш выбор по утрам многое о вас говорит Кофе или матча? Ваш выбор по утрам многое о вас говорит

Как оказалось, ваша привычка пить кофе или чай утром может многое рассказать вас

ТехИнсайдер
Опиум из народа Опиум из народа

Как Дени Вильнёв деколонизировал Дюну, но не смог изменить судьбу фременов

Weekend
Куратор Анна Малай: Возможно, настало время снова поговорить о любви? Куратор Анна Малай: Возможно, настало время снова поговорить о любви?

Анна Малай о том, каково совмещать роли художника и куратора

СНОБ
Книжные клубы знаменитостей: что читают и рекомендуют Эмма Уотсон, Риз Уизерспун и Сара Джессика Паркер Книжные клубы знаменитостей: что читают и рекомендуют Эмма Уотсон, Риз Уизерспун и Сара Джессика Паркер

Книжные клубы актрис, певиц и телеведущих и их рекомендации

СНОБ
Бегущая с волками. Какой получилась «Фуриоса: Хроники Безумного Макса»? Бегущая с волками. Какой получилась «Фуриоса: Хроники Безумного Макса»?

Несмотря на 2,5 часа хронометража, «Фуриоса» справляется с экспозицией за минуту

Правила жизни
Краса всей зелени известной Краса всей зелени известной

Спаржа лекарственная ведёт своё происхождение с берегов Средиземного моря

Наука и жизнь
5 советов нелюбимым дочерям: как избавиться от вины и стыда 5 советов нелюбимым дочерям: как избавиться от вины и стыда

Пять шагов, которые помогут совладать с чувствами вины и стыда

Psychologies
Открыть в приложении