Куда нас приведут игры с искусственным интеллектом

СНОБHi-Tech

Куда нас приведут нейросети?

В последние годы в России развитию сферы искусственного интеллекта уделялось немало внимания. Сейчас сложно говорить о том, что будет в стране дальше, но нельзя упускать из виду мировые тренды, которые со временем окажут влияние и на нашу жизнь. О происходящем в науке рассказывает NLP-инженер и исследователь Иван Ильин.

Текст: Иван Ильин

Natural language understanding

Область понимания естественного языка находится на переднем крае создания сильного искусственного интеллекта. Ведь язык – это основная система передачи информации от человека к человеку. От современных языковых нейросетей ждут умения делать логические выводы как подтверждения способности к «мышлению».

Гигантские языковые модели, обученные на терабайтах текстовых данных, по-прежнему в трендах мировых компаний. Недавно Facebook (соцсеть признана в РФ экстремистской и запрещена) представила OPT-2, Google – PaLM, DeepMind – Gopher и RETRO, Nvidia – Megatron, OpenAI – обновила GPT-3 и выпустила Codex.

За счет увеличения числа параметров и обучения на огромных массивах данных нейросети стали демонстрировать возможность few-shot-обучения. Это способность буквально за пару тренировочных кейсов «по аналогии» решать математические задачи, выдавать ответы на реплики, продолжать повествование и вести диалог.

Обновленная модель GPT-3 от OpenAI теперь умеет редактировать и делать вставки в текст, а не только продолжать его. Поэтому новую версию можно использовать для рерайта, чтобы ускорить работу редакторов. Модель Codex (аналог GPT-3, обученная вместо текста на коде) может генерировать синтаксически корректный и функциональный код по описанию функций комментариями, ускоряя работу программиста. Генерация кода на основе этой модели уже успешно применяется в сервисе GitHub Copilot.

Следующий тренд – инъекция в языковые модели знаний об устройстве окружающего мира с помощью «Википедии» или графов знаний (создание своеобразной «памяти»), что позволило бы им при ответах на вопросы использовать не только контекст и данные из обучающей выборки, но и иметь прямой доступ к фактологической информации. Один из таких примеров – RETRO от DeepMind.

Гигантские языковые модели по-прежнему вотчина глобальных корпораций и их лабораторий, так как для обучения требуются огромные вычислительные ресурсы, высокопрофессиональные инженеры и исследователи в области машинного обучения.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Это мы еще досмотрим Это мы еще досмотрим

Кто будет делать игровое кино, сериалы и док в новом мире

СНОБ
Место для всех Место для всех

Как в «Севкабеле» появился уникальный социальный проект

СНОБ
Ресторатор Борис Зарьков: «Дальше очень просто – жизнь продолжается. Вы находитесь “здесь”» Ресторатор Борис Зарьков: «Дальше очень просто – жизнь продолжается. Вы находитесь “здесь”»

Ресторатор Борис Зарьков – пат в шахматах, уход Michelin и «голые короли

СНОБ
Свободное владение оружием: четыре аргумента против и всего один — за Свободное владение оружием: четыре аргумента против и всего один — за

Право граждан на владение оружием — это добро или зло?

Maxim
6 признаков глупого человека 6 признаков глупого человека

Как понять, кого нужно избегать? Да и нужно ли на самом деле?

Psychologies
«Сначала станьте друзьями»: ключ к счастливой любви «Сначала станьте друзьями»: ключ к счастливой любви

Правда ли, что настоящая любовь начинается с дружбы?

Psychologies
Синтетический футуризм Синтетический футуризм

Эксперимент редакции с нейросетью, «вобравшей» в себя Сорокина и Пелевина

СНОБ
Материал из корней конняку захватил 13 литров воды из атмосферы Материал из корней конняку захватил 13 литров воды из атмосферы

Материаловеды разработали эффективный сорбент для захвата воды из атмосферы

N+1
Используй ложку и телефон: 20 способов доставить себе удовольствие Используй ложку и телефон: 20 способов доставить себе удовольствие

Двадцать разных способов мастурбации на любой вкус и цвет

Cosmopolitan
Середина девяностых. Как создавались «Детки» — фильм, лишивший невинности американский кинематограф Середина девяностых. Как создавались «Детки» — фильм, лишивший невинности американский кинематограф

Как создавался и чем запомнился фильм, лишивший невинности кинематограф США

Правила жизни
«У нас хватило ума…» «У нас хватило ума…»

Как завершалась холодная война между СССР и США?

Дилетант
Как продлить молодость: советы о правильном питании и пищевых привычках, которые помогут вам оставаться в форме Как продлить молодость: советы о правильном питании и пищевых привычках, которые помогут вам оставаться в форме

Правильное питание для здоровья и молодости

ТехИнсайдер
Пробковый спор Пробковый спор

Алгоритмы лезут в бутылку: изобретают новые купажи, разрабатывают рецептуры

СНОБ
Меньше мяса? Это просто Меньше мяса? Это просто

Как безопасно для здоровья исключить мясо из рациона

Новый очаг
Ледяная лаборатория Ледяная лаборатория

В свой первый поход отправится новейшая ледостойкая платформа «Северный полюс»

ТехИнсайдер
«Теорема зонтика, или Искусство правильно смотреть на мир через призму математики». Как поменять взгляд на повседневность с помощью математики «Теорема зонтика, или Искусство правильно смотреть на мир через призму математики». Как поменять взгляд на повседневность с помощью математики

Отрывок из книги «Теорема зонтика» — о том, как иначе смотреть на мир

N+1
«Детям необходимо жить в семье»: как устроен процесс усыновления в России «Детям необходимо жить в семье»: как устроен процесс усыновления в России

Рассказываем об актуальной ситуации с сиротством в России

Forbes
Мавзолей Джучи-хана оказался построен через 100 лет после его смерти Мавзолей Джучи-хана оказался построен через 100 лет после его смерти

Старший сын Чингисхана, возможно, никогда не был похоронен в известной гробнице

N+1
Самая обаятельная и привлекательная Самая обаятельная и привлекательная

Женщины о том, как перестали стесняться лишнего веса

Лиза
Как побороть любой страх: пошаговая инструкция Как побороть любой страх: пошаговая инструкция

Что делать, если ты чего-то очень боишься? Бороться!

VOICE
Как сделать бомбочку для ванны своими руками: пошаговая инструкция Как сделать бомбочку для ванны своими руками: пошаговая инструкция

Почему бы не попробовать сделать бомбочку для ванны в домашних условиях?

VOICE
Разделяй и властвуй: делим дачный участок на зоны труда и отдыха Разделяй и властвуй: делим дачный участок на зоны труда и отдыха

Дача — это возможность отдохнуть от городской жизни

Караван историй
Геометрия движения: что такое развал-схождение и зачем за этим следить Геометрия движения: что такое развал-схождение и зачем за этим следить

Автомобиль — средство передвижения, в котором важен каждый параметр

Вокруг света
Война дала и отобрала все: каким был «несравненный партизан» Нестор Махно Война дала и отобрала все: каким был «несравненный партизан» Нестор Махно

Смыслом жизни Нестора Махно была война

Вокруг света
Что нужно доложить в автомобильную аптечку, чтобы она стала по-настоящему полезной Что нужно доложить в автомобильную аптечку, чтобы она стала по-настоящему полезной

Чем стоит дополнить автомобильную аптечку?

Maxim
Другая история. Как экономист из Орска восстанавливает старинный Плес Другая история. Как экономист из Орска восстанавливает старинный Плес

Алексей Шевцов уже более четверти века занимается историческим сохранением Плеса

СНОБ
Почему некоторые люди никогда не извиняются? Тезисы из выступления американского психолога Почему некоторые люди никогда не извиняются? Тезисы из выступления американского психолога

Почему некоторым невыносимо сложно сказать «прости»?

Правила жизни
Что такое иммобилайзер и есть ли он в моей машине Что такое иммобилайзер и есть ли он в моей машине

Разбираемся, что такое иммобилайзер, каким бывает и стоит ли его отключать

РБК
Ваби-саби: 3 упражнения, чтобы видеть красоту в простых вещах Ваби-саби: 3 упражнения, чтобы видеть красоту в простых вещах

В восточной культуре мы находим источник радости, духовных сил и вдохновения

Psychologies
Это не бумажки! Как строить отношения с деньгами, чтобы их было много Это не бумажки! Как строить отношения с деньгами, чтобы их было много

Никто никогда не объясняет, как правильно построить отношения с деньгами

VOICE
Открыть в приложении