Компания OpenAI представила мультимодальную генеративную модель GPT-4o

N+1Hi-Tech

OpenAI представила мультимодальную генеративную модель GPT-4o

Она умеет разговаривать, видеть, и имитирует эмоции

Андрей Фокин

0feba817682cb3557f5dd3b9a38f3ae7.jpg
OpenAI / YouTube

Компания OpenAI представила мультимодальную генеративную модель GPT-4o, которая может работать с текстом, аудио и изображениями, включая видео. Модель может общаться с пользователем голосом и поддерживает 50 языков. Она может имитировать различные интонации, шепот, пение, смех. При этом модель работает гораздо быстрее предшествующей версии — время задержки ответа в голосовом режиме составляет в среднем около 0,3 секунды, что сравнимо с временем реакции человека. Также модель может видеть, получая и интерпретируя изображение с камеры в реальном времени. Трансляция презентации велась на YouTube.

Первая генеративная языковая модель уровня GPT-4 была представлена компанией OpenAI в марте 2023 года. В отличие от более ранней версии GPT-3.5, которая могла работать только с текстовой информацией, GPT-4 впервые получила способность принимать в качестве входных данных также и изображения. Кроме этого, в том же году состоялся релиз приложения на основе чат-бота ChatGPT с возможностью распознавания речи и синтеза голоса, что позволяло пользователям разговаривать с моделью и использовать ее в роли голосового ассистента.

В понедельник 13 мая 2024 года во время прямой трансляции на YouTube состоялась презентация новой версии GPT-4, которая получила обозначение GPT-4o (символ «о» в конце означает «omni»). Теперь модель принимает в качестве входных данных любую комбинацию текста, звука и изображения, включая видео. При этом она работает гораздо быстрее своей предшественницы, в том числе и во время голосового общения. Генерация ответа происходит со средней задержкой всего лишь 320 миллисекунд, что сравнимо со временем реакции человека в разговоре.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

5 малоизвестных книг братьев Стругацких, которые стоит прочитать 5 малоизвестных книг братьев Стругацких, которые стоит прочитать

Советуем произведения братьев Стругацких, которые заслуживают внимания

Правила жизни
Жизнь нулей и единиц. Анимационный детектив в жанре научной фантастики «Марс Экспресс» Жизнь нулей и единиц. Анимационный детектив в жанре научной фантастики «Марс Экспресс»

Как «Марс Экспресс» отражает современные страхи человечества о революции ИИ

СНОБ
Как сделать занятия бегом эффективнее с помощью смарт-часов Как сделать занятия бегом эффективнее с помощью смарт-часов

Как смарт-часы могут повысить вашу мотивацию в занятиях бегом?

CHIP
Жители острова Алор отведали икру морских ежей примерно 43 тысячи лет назад Жители острова Алор отведали икру морских ежей примерно 43 тысячи лет назад

Древние люди начали собирать морских ежей еще примерно 43 тысячи лет назад

N+1
Что такое «куриный налог» и как он мешает продавать пикапы в Америке? Что такое «куриный налог» и как он мешает продавать пикапы в Америке?

Почему в Америке так сложно продавать пикапы и причем тут курицы?

4x4 Club
Кроссовер с большими амбициями: что нужно знать об автомобиле Jaecoo J8 Кроссовер с большими амбициями: что нужно знать об автомобиле Jaecoo J8

Что нужно знать об автомобиле Jaecoo J8 уже сейчас

Forbes
Сера преткновения Сера преткновения

Каким радикальным способом разрубили норильский экологический узел

Монокль
От ларьков поворот! От ларьков поворот!

Почему сотрудникам ГУЛАГа было строго запрещено пользоваться лагерными ларьками?

Дилетант
Ложь, шум и капелька яда Ложь, шум и капелька яда

Каким цифровым «зельем» можно отравить нейросеть и к чему это приведет

РБК
8 предметов в спальне, которые нарушают ваш сон: избавьтесь от них немедленно 8 предметов в спальне, которые нарушают ваш сон: избавьтесь от них немедленно

Именно эти предметы в спальне нарушают ваш сон

ТехИнсайдер
И ничего серого! И ничего серого!

Jimmy — продуманная, необычная и интересная яхта

Y Magazine
Сложно перестать критиковать себя? Вот что советуют психологи: облегчите жизнь! Сложно перестать критиковать себя? Вот что советуют психологи: облегчите жизнь!

Что нужно знать, если вы все же решились преодолеть внутреннего критика!

ТехИнсайдер
Дядя честных правил Дядя честных правил

«Дядя Леша»: Юрий Деточкин нового времени

Weekend
А ведьмы кто: краткая история инквизиции между мифом и реальностью А ведьмы кто: краткая история инквизиции между мифом и реальностью

Что из историй об инквизиторах имеет под собой реальные основания, а что выдумка

Правила жизни
Для кого звонит рассветный колокол новой деревни? Для кого звонит рассветный колокол новой деревни?

Факторы эффективности проектов развития территорий на примере движения Сэмаыль

Позитивные изменения
Спаржевый стартап Спаржевый стартап

Олег Жолобенко выращивает деликатесную агрокультуру в Черноземье

Агроинвестор
Хвостатый рейс: в США открыли авиакомпанию премиум-класса для собак Хвостатый рейс: в США открыли авиакомпанию премиум-класса для собак

В этой авиакомпании все для... собак

ТехИнсайдер
Машина для большой семьи, которая вызывает ностальгию: обзор кросс-вэна Suzuki Ertiga Машина для большой семьи, которая вызывает ностальгию: обзор кросс-вэна Suzuki Ertiga

Олдскульный семиместный кросс-вэн Suzuki Ertiga

ТехИнсайдер
Я — сноб: писатель Шамиль Идиатуллин Я — сноб: писатель Шамиль Идиатуллин

Писатель Шамиль Идиатуллин — о своем романе и режиме «можно, в принципе»

СНОБ
К вершине наслаждений К вершине наслаждений

Как и когда мы переживаем оргазм? И что нам мешает?

Psychologies
Предложил, но не женится: что такое shut up ring и как этим пользуются мужчины Предложил, но не женится: что такое shut up ring и как этим пользуются мужчины

Что такое феномен shut up ring и как это влияет на отношения

Psychologies
Как окружение влияет на наш успех: 3 типа людей, которых стоит избегать Как окружение влияет на наш успех: 3 типа людей, которых стоит избегать

Как негативные люди влияют на наш успех?

Psychologies
Как справиться с завистью к подруге: советует психолог Как справиться с завистью к подруге: советует психолог

Почему возникает зависть к подруге, как с ней эффективно справиться?

VOICE
Ключ к гармонии: 4 потребности и как их закрыть Ключ к гармонии: 4 потребности и как их закрыть

Как потребности более высокого уровня влияют на нашу жизнь?

Psychologies
Даже простейшие морские организмы склонны к индивидуализму! Вот что это значит: интересный факт Даже простейшие морские организмы склонны к индивидуализму! Вот что это значит: интересный факт

Почему все организмы стремятся к ведению быта на основе индивидуальных ритмов?

ТехИнсайдер
Сибирский шаманизм: почему выставка об археологии стала хитом и где ее можно увидеть Сибирский шаманизм: почему выставка об археологии стала хитом и где ее можно увидеть

Проект, объединивший археологию и произведения современного художника

Forbes
Битва техники: что лучше — отпариватель или утюг Битва техники: что лучше — отпариватель или утюг

Какой из приборов для глажки одежды поможет добиться наилучшего эффекта?

ТехИнсайдер
Таинственный кот Палласа – манул Таинственный кот Палласа – манул

Если спросить любого, – кто таков Палласов кот, вряд ли кто ответит правильно

Знание – сила
Почему котам и собакам нравится, когда их гладят? Ведь в дикой природе этого нет Почему котам и собакам нравится, когда их гладят? Ведь в дикой природе этого нет

Почему животным нравится, когда хозяева их гладят?

ТехИнсайдер
5 основных теорий человечества о том, что такое сны 5 основных теорий человечества о том, что такое сны

Сны развлекают, пугают и завораживают, но откуда они берутся и для чего?

Psychologies
Открыть в приложении