Куда нас приведут игры с искусственным интеллектом

СНОБHi-Tech

Куда нас приведут нейросети?

В последние годы в России развитию сферы искусственного интеллекта уделялось немало внимания. Сейчас сложно говорить о том, что будет в стране дальше, но нельзя упускать из виду мировые тренды, которые со временем окажут влияние и на нашу жизнь. О происходящем в науке рассказывает NLP-инженер и исследователь Иван Ильин.

Текст: Иван Ильин

Natural language understanding

Область понимания естественного языка находится на переднем крае создания сильного искусственного интеллекта. Ведь язык – это основная система передачи информации от человека к человеку. От современных языковых нейросетей ждут умения делать логические выводы как подтверждения способности к «мышлению».

Гигантские языковые модели, обученные на терабайтах текстовых данных, по-прежнему в трендах мировых компаний. Недавно Facebook (соцсеть признана в РФ экстремистской и запрещена) представила OPT-2, Google – PaLM, DeepMind – Gopher и RETRO, Nvidia – Megatron, OpenAI – обновила GPT-3 и выпустила Codex.

За счет увеличения числа параметров и обучения на огромных массивах данных нейросети стали демонстрировать возможность few-shot-обучения. Это способность буквально за пару тренировочных кейсов «по аналогии» решать математические задачи, выдавать ответы на реплики, продолжать повествование и вести диалог.

Обновленная модель GPT-3 от OpenAI теперь умеет редактировать и делать вставки в текст, а не только продолжать его. Поэтому новую версию можно использовать для рерайта, чтобы ускорить работу редакторов. Модель Codex (аналог GPT-3, обученная вместо текста на коде) может генерировать синтаксически корректный и функциональный код по описанию функций комментариями, ускоряя работу программиста. Генерация кода на основе этой модели уже успешно применяется в сервисе GitHub Copilot.

Следующий тренд – инъекция в языковые модели знаний об устройстве окружающего мира с помощью «Википедии» или графов знаний (создание своеобразной «памяти»), что позволило бы им при ответах на вопросы использовать не только контекст и данные из обучающей выборки, но и иметь прямой доступ к фактологической информации. Один из таких примеров – RETRO от DeepMind.

Гигантские языковые модели по-прежнему вотчина глобальных корпораций и их лабораторий, так как для обучения требуются огромные вычислительные ресурсы, высокопрофессиональные инженеры и исследователи в области машинного обучения.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Инверсное мышление: как похудеть и избавиться от долгов, думая о плохом Инверсное мышление: как похудеть и избавиться от долгов, думая о плохом

Как мысленная уловка поможет избавиться от проблем и достичь целей

РБК
Француженки уже не те: как на самом деле парижанки одеваются летом Француженки уже не те: как на самом деле парижанки одеваются летом

Как выглядят современные француженки

VOICE
Новые региональные проекты, которые делают горожан счастливее Новые региональные проекты, которые делают горожан счастливее

«Сноб» поговорил с основателями частных проектов в регионах

СНОБ
Валерия: Валерия:

Валерия откровенно рассказывает о своей жизни

Коллекция. Караван историй
Ресторатор Борис Зарьков: «Дальше очень просто – жизнь продолжается. Вы находитесь “здесь”» Ресторатор Борис Зарьков: «Дальше очень просто – жизнь продолжается. Вы находитесь “здесь”»

Ресторатор Борис Зарьков – пат в шахматах, уход Michelin и «голые короли

СНОБ
Умер Юрий Шатунов: почему «Ласковый май» стал символом эпохи? Умер Юрий Шатунов: почему «Ласковый май» стал символом эпохи?

Почему «Ласковый май» оказался таким значимым проектом в нашей поп-культуре?

Psychologies
Это мы еще досмотрим Это мы еще досмотрим

Кто будет делать игровое кино, сериалы и док в новом мире

СНОБ
Ученые ищут методы борьбы с заиканием. Успехи пока скромные Ученые ищут методы борьбы с заиканием. Успехи пока скромные

Возможно ли вылечить заикание?

ТехИнсайдер
К вам санитары, мистер Андерсон К вам санитары, мистер Андерсон

Писатель Александр Цыпкин о наших цифровых аватарах

СНОБ
Строим автомобиль для ралли-рейда: зачем спорткарам нужен каркас безопасности и каким он должен быть Строим автомобиль для ралли-рейда: зачем спорткарам нужен каркас безопасности и каким он должен быть

Как построить каркас безопасности для спортивных классов N2?

ТехИнсайдер
Выстрел в финале пьесы Выстрел в финале пьесы

Кадровый дефицит в милиции: что говорят архивы и уголовные дела

Дилетант
Молот для суперконтинента Молот для суперконтинента

Почему суперконтитент Пангея каждый раз раскалывался?

Наука
Первая вдова СССР Первая вдова СССР

Крупская занималась вопросами коммунистического воспитания и образования

Дилетант
Самые дешевые электромобили в России. Список моделей и цены Самые дешевые электромобили в России. Список моделей и цены

Какие электромобили можно купить по цене новой Lada Vesta

РБК
Hydra Hydra

Основательницы проекта Hydra — как доходчиво говорить об экологии

Собака.ru
Фитнес есть, а результата нет Фитнес есть, а результата нет

Тренировки «не работают». Почему?

Лиза
Дома-кочевники: 6 известных зданий в Москве, которые сменили прописку Дома-кочевники: 6 известных зданий в Москве, которые сменили прописку

В двадцатом веке передвинули около 70 зданий

Вокруг света
Вели за собой армии: как жили женщины-самураи Вели за собой армии: как жили женщины-самураи

История японских женщин-воинов — онна-бугэйся

Вокруг света
Энтомологи усомнились в скором вымирании монархов Энтомологи усомнились в скором вымирании монархов

Вопреки популярному мнению, бабочки монархи не находятся на грани вымирания

N+1
Миссия — впечатлить: 5 самых важных правил поведения на первом свидании Миссия — впечатлить: 5 самых важных правил поведения на первом свидании

Первое свидание — дело ответственное. Ведь от него зависит, будет ли второе

VOICE
Собирательный образ Собирательный образ

Как разделять со своим сообществом ответственность?

Seasons of life
Хюррем не красавица, Сулейман - не секс-символ: развенчиваем мифы из сериала Хюррем не красавица, Сулейман - не секс-символ: развенчиваем мифы из сериала

В сериале "Великолепный век" немало вымысла!

VOICE
3 проверенных способа начать делать то, что не хочется 3 проверенных способа начать делать то, что не хочется

Вам очень не хочется приступать к важному делу?

Psychologies
Одна из худших машин в мире: история автомобиля Yugo Одна из худших машин в мире: история автомобиля Yugo

«Юго — это ненадолго» — шутят белградские автомобилисты

Вокруг света
6 пищевых добавок, которые не так вредны, как многие думают 6 пищевых добавок, которые не так вредны, как многие думают

Пищевые добавки стали чуть ли не врагами народа. Но не все из них опасны

Лиза
Вышивка, музыка, путешествия: что делает Виктория Шелягова в Ивановской области Вышивка, музыка, путешествия: что делает Виктория Шелягова в Ивановской области

Зачем Виктория Шелягова купила дом в Ивановской области?

СНОБ
Загадка «русской Рапунцель»: что сгубило супермодель Руслану Коршунову Загадка «русской Рапунцель»: что сгубило супермодель Руслану Коршунову

Почему «русская Рапунцель» Руслана Коршунова решила, что больше не хочет жить?

VOICE
Первые и единственные: как забайкальское село не раз прославилось на всю Россию Первые и единственные: как забайкальское село не раз прославилось на всю Россию

Нерчинский Завод — обычная сибирская глубинка. Или нет?

Вокруг света
Галактика на ладони: зачем астрономам крупнейшая трехмерная карта Млечного Пути Галактика на ладони: зачем астрономам крупнейшая трехмерная карта Млечного Пути

Эта самая подробная карта Галактики позволит заглянуть в ее прошлое и будущее

Forbes
Спорт — только на пользу: 9 правил тренировок Спорт — только на пользу: 9 правил тренировок

Как не нанести вред организму активными тренировками

Лиза
Открыть в приложении