Компания OpenAI представила мультимодальную генеративную модель GPT-4o

N+1Hi-Tech

OpenAI представила мультимодальную генеративную модель GPT-4o

Она умеет разговаривать, видеть, и имитирует эмоции

Андрей Фокин

0feba817682cb3557f5dd3b9a38f3ae7.jpg
OpenAI / YouTube

Компания OpenAI представила мультимодальную генеративную модель GPT-4o, которая может работать с текстом, аудио и изображениями, включая видео. Модель может общаться с пользователем голосом и поддерживает 50 языков. Она может имитировать различные интонации, шепот, пение, смех. При этом модель работает гораздо быстрее предшествующей версии — время задержки ответа в голосовом режиме составляет в среднем около 0,3 секунды, что сравнимо с временем реакции человека. Также модель может видеть, получая и интерпретируя изображение с камеры в реальном времени. Трансляция презентации велась на YouTube.

Первая генеративная языковая модель уровня GPT-4 была представлена компанией OpenAI в марте 2023 года. В отличие от более ранней версии GPT-3.5, которая могла работать только с текстовой информацией, GPT-4 впервые получила способность принимать в качестве входных данных также и изображения. Кроме этого, в том же году состоялся релиз приложения на основе чат-бота ChatGPT с возможностью распознавания речи и синтеза голоса, что позволяло пользователям разговаривать с моделью и использовать ее в роли голосового ассистента.

В понедельник 13 мая 2024 года во время прямой трансляции на YouTube состоялась презентация новой версии GPT-4, которая получила обозначение GPT-4o (символ «о» в конце означает «omni»). Теперь модель принимает в качестве входных данных любую комбинацию текста, звука и изображения, включая видео. При этом она работает гораздо быстрее своей предшественницы, в том числе и во время голосового общения. Генерация ответа происходит со средней задержкой всего лишь 320 миллисекунд, что сравнимо со временем реакции человека в разговоре.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Ночная жизнь Ночная жизнь

Синиша Лазаревич участвовал в знаковых для Москвы клубных проектах нулевых

Esquire
5 отличных книг в жанре эпического фэнтези, о которых вы, скорее всего, не слышали 5 отличных книг в жанре эпического фэнтези, о которых вы, скорее всего, не слышали

На что обратить внимание поклонникам творчества Джона Толкина и Тэда Уильямса?

Maxim
Ученые узнали, почему реки Аляски начали ржаветь Ученые узнали, почему реки Аляски начали ржаветь

Почему реки Аляски окрасились в странный оттенок, который видно даже из космоса?

ТехИнсайдер
Посол Советского Союза Посол Советского Союза

В истории были женщины, которые волею судьбы играли роль посла

Знание – сила
Сила граната: природное соединение в его составе может помочь в лечении болезни Альцгеймера Сила граната: природное соединение в его составе может помочь в лечении болезни Альцгеймера

Гранат может улучшить память и сделать лечение болезни Альцгеймера эффективнее

ТехИнсайдер
Почему котам и собакам нравится, когда их гладят? Ведь в дикой природе этого нет Почему котам и собакам нравится, когда их гладят? Ведь в дикой природе этого нет

Почему животным нравится, когда хозяева их гладят?

ТехИнсайдер
Когда пить кофе: 7 вопросов о бодрящем напитке Когда пить кофе: 7 вопросов о бодрящем напитке

Что нужно знать, чтобы пить правильный кофе?

Psychologies
«Настоящая ошибка — это молчание»: как раскрыть семейную тайну «Настоящая ошибка — это молчание»: как раскрыть семейную тайну

Как и когда открыть семейный секрет? Кому? Всегда ли и всем это знание полезно?

Psychologies
«Нужды путешественника»: как южнокорейская драма создает портрет женщины в эмиграции «Нужды путешественника»: как южнокорейская драма создает портрет женщины в эмиграции

Как в «Нуждах путешественника» рассказывается о женской судьбе в эмиграции

Forbes
Сила света Сила света

Легкий и выразительный интерьер московской квартиры для семьи с двумя детьми

SALON-Interior
Главный винодел России Леонид Попович: В СССР делали премиальное вино Главный винодел России Леонид Попович: В СССР делали премиальное вино

Как жили виноделы в годы горбачевской антиалкогольной кампании

СНОБ
Вадим Верник: «Я получил уникальную возможность пообщаться с Майей Плисецкой» Вадим Верник: «Я получил уникальную возможность пообщаться с Майей Плисецкой»

«Не просто взял интервью у легенды балета, а провел рядом с ней целых пять дней»

Караван историй
Как справиться с завистью к подруге: советует психолог Как справиться с завистью к подруге: советует психолог

Почему возникает зависть к подруге, как с ней эффективно справиться?

VOICE
Отношения без драм: почему женщинам становится скучно Отношения без драм: почему женщинам становится скучно

Почему же некоторым  кажется, что они не могут обойтись без скандалов?

VOICE
Логик, упорный или душевный: определите свой тип личности и узнайте, как справляться со стрессом именно вам Логик, упорный или душевный: определите свой тип личности и узнайте, как справляться со стрессом именно вам

Как управлять стрессом, определив свой тип личности?

Psychologies
По капле крови По капле крови

Донорство крови: главные факты, которые важно знать

Лиза
Как живет Сургут, обязанный своим благополучием самому скромному миллиардеру страны Как живет Сургут, обязанный своим благополучием самому скромному миллиардеру страны

Как Фарман Салманов изменил Сургут?

Forbes
2 признака того, что вы встречаетесь с грандиозным нарциссом 2 признака того, что вы встречаетесь с грандиозным нарциссом

Как нарцисс ведет себя в отношениях?

Psychologies
Сибирь, XXI век: что будет, если в России построят больше железных дорог Сибирь, XXI век: что будет, если в России построят больше железных дорог

Драйвером роста современной России снова станут железные дороги

ТехИнсайдер
ТВС-2ДТС. Композитный кукурузник, который не смог ТВС-2ДТС. Композитный кукурузник, который не смог

О несостоявшейся рабочей лошадке малой авиации в России – ТВС-2ДТС

Наука и техника
История, как женщина в Чехии нашла клад со средневековыми монетами! Вас поразит их количество История, как женщина в Чехии нашла клад со средневековыми монетами! Вас поразит их количество

Обнаруженные серебряные монеты, известные как денье

ТехИнсайдер
Как продлить жизнь стиральной машине: 12 простых советов мастеров по ремонту Как продлить жизнь стиральной машине: 12 простых советов мастеров по ремонту

Эти советы по уходу за стиральной машиной стоит знать

VOICE
Коллаж всего Коллаж всего

Иван Горшков: большой визуальный взрыв

Weekend
Сыграли в ящера: как японские и голливудские режиссеры снимают кино о Годзилле Сыграли в ящера: как японские и голливудские режиссеры снимают кино о Годзилле

Главные вехи в истории гигантского киноящера Годзиллы

Правила жизни
Спиной к еде Спиной к еде

Чтобы привести себя в форму, зачастую не нужны жесткие диеты

Лиза
«Для нас это очень амбициозная задача» «Для нас это очень амбициозная задача»

Как России приблизиться к мировым лидерам по уровню роботизации промышленности?

Монокль
Туманное будущее: как фильм-катастрофа «Всемирный потоп» обманывает зрителей Туманное будущее: как фильм-катастрофа «Всемирный потоп» обманывает зрителей

Как история про апокалипсис оказывается тихой метафорой внутренних изменений

Forbes
Замуж за футболиста — не приговор: три бизнес-истории жен игроков сборной России Замуж за футболиста — не приговор: три бизнес-истории жен игроков сборной России

Как оставаться независимой и самодостаточной, даже выйдя замуж за футболиста

Forbes
«Я не только жила с абьюзером, но и стала им сама?»: история читательницы «Я не только жила с абьюзером, но и стала им сама?»: история читательницы

Как понять, что вы перенимаете черты абьюзера?

Psychologies
Любовный треугольник: можно ли любить одновременно двоих? Любовный треугольник: можно ли любить одновременно двоих?

Что такое любовь? Почему люди заводят романы на стороне?

Psychologies
Открыть в приложении