Куда нас приведут игры с искусственным интеллектом

СНОБHi-Tech

Куда нас приведут нейросети?

В последние годы в России развитию сферы искусственного интеллекта уделялось немало внимания. Сейчас сложно говорить о том, что будет в стране дальше, но нельзя упускать из виду мировые тренды, которые со временем окажут влияние и на нашу жизнь. О происходящем в науке рассказывает NLP-инженер и исследователь Иван Ильин.

Текст: Иван Ильин

Natural language understanding

Область понимания естественного языка находится на переднем крае создания сильного искусственного интеллекта. Ведь язык – это основная система передачи информации от человека к человеку. От современных языковых нейросетей ждут умения делать логические выводы как подтверждения способности к «мышлению».

Гигантские языковые модели, обученные на терабайтах текстовых данных, по-прежнему в трендах мировых компаний. Недавно Facebook (соцсеть признана в РФ экстремистской и запрещена) представила OPT-2, Google – PaLM, DeepMind – Gopher и RETRO, Nvidia – Megatron, OpenAI – обновила GPT-3 и выпустила Codex.

За счет увеличения числа параметров и обучения на огромных массивах данных нейросети стали демонстрировать возможность few-shot-обучения. Это способность буквально за пару тренировочных кейсов «по аналогии» решать математические задачи, выдавать ответы на реплики, продолжать повествование и вести диалог.

Обновленная модель GPT-3 от OpenAI теперь умеет редактировать и делать вставки в текст, а не только продолжать его. Поэтому новую версию можно использовать для рерайта, чтобы ускорить работу редакторов. Модель Codex (аналог GPT-3, обученная вместо текста на коде) может генерировать синтаксически корректный и функциональный код по описанию функций комментариями, ускоряя работу программиста. Генерация кода на основе этой модели уже успешно применяется в сервисе GitHub Copilot.

Следующий тренд – инъекция в языковые модели знаний об устройстве окружающего мира с помощью «Википедии» или графов знаний (создание своеобразной «памяти»), что позволило бы им при ответах на вопросы использовать не только контекст и данные из обучающей выборки, но и иметь прямой доступ к фактологической информации. Один из таких примеров – RETRO от DeepMind.

Гигантские языковые модели по-прежнему вотчина глобальных корпораций и их лабораторий, так как для обучения требуются огромные вычислительные ресурсы, высокопрофессиональные инженеры и исследователи в области машинного обучения.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

6 признаков глупого человека 6 признаков глупого человека

Как понять, кого нужно избегать? Да и нужно ли на самом деле?

Psychologies
Вечное лето не за горами: ученые назвали природный пояс России, который скоро исчезнет Вечное лето не за горами: ученые назвали природный пояс России, который скоро исчезнет

Человечество может потерять уникальную фауну и флору

Вокруг света
Ресторатор Борис Зарьков: «Дальше очень просто – жизнь продолжается. Вы находитесь “здесь”» Ресторатор Борис Зарьков: «Дальше очень просто – жизнь продолжается. Вы находитесь “здесь”»

Ресторатор Борис Зарьков – пат в шахматах, уход Michelin и «голые короли

СНОБ
Три в одном: Как выбраться из любовного треугольника (и надо ли) Три в одном: Как выбраться из любовного треугольника (и надо ли)

О причинах возникновения любовного треугольника и о том, как его разорвать

Лиза
20 вещей, которые могут тебе пригодиться в постели 20 вещей, которые могут тебе пригодиться в постели

Объекты и явления, при помощи которых твой секс будет еще великолепнее

Maxim
ДНК возрастом более 115 тысяч лет указала на уязвимость белых медведей перед потеплением климата ДНК возрастом более 115 тысяч лет указала на уязвимость белых медведей перед потеплением климата

Ученые выяснили, что белые медведи утратили генетическое разнообразие

N+1
Синтетический футуризм Синтетический футуризм

Эксперимент редакции с нейросетью, «вобравшей» в себя Сорокина и Пелевина

СНОБ
Одно прикосновение фанатки сломало всю ее жизнь: история актрисы Джин Тирни Одно прикосновение фанатки сломало всю ее жизнь: история актрисы Джин Тирни

Джин Тирни всего лишь одно прикосновение поклонницы принесло много страданий

VOICE
Сказка – это будущее Сказка – это будущее

Об эскапизме, о будущем и о разнице между личной и общественной моралью

Правила жизни
Черное море и горный воздух: где отдыхала российская богема в прошлом веке Черное море и горный воздух: где отдыхала российская богема в прошлом веке

Как и где отдыхала российская богема в начале XX века

Вокруг света
Игры разума Игры разума

Ученые вывели глухих комаров и отправили в космос первый деревянный спутник

Вокруг света
«Детям необходимо жить в семье»: как устроен процесс усыновления в России «Детям необходимо жить в семье»: как устроен процесс усыновления в России

Рассказываем об актуальной ситуации с сиротством в России

Forbes
5 самых удаленных и таинственных островов нашей планеты 5 самых удаленных и таинственных островов нашей планеты

Удаленные острова до сих пор окутанные тайной

ТехИнсайдер
Ошибка 0x80004005 в Windows: способы решения проблемы Ошибка 0x80004005 в Windows: способы решения проблемы

Рассказываем о причинах появления ошибки 0x80004005 в Windows

CHIP
Срединный путь Срединный путь

Основательница ювелирного бренда — что меняется, когда твоя команда вырастает?

Seasons of life
Как работали советские психиатры: откровения врача Как работали советские психиатры: откровения врача

Какие только мифы не ходят о советской психиатрии!

Psychologies
Беглянка с мольбертом: Элизабет Виже-Лебрен, любимая художница европейских аристократов Беглянка с мольбертом: Элизабет Виже-Лебрен, любимая художница европейских аристократов

Элизабет Виже-Лебрен писала парадные портреты европейских монарших особ

Вокруг света
Проклятый аксессуар: почему дочь Жаклин Кеннеди отказалась от семейной реликвии Проклятый аксессуар: почему дочь Жаклин Кеннеди отказалась от семейной реликвии

История аксессуара, который передавался в семье Жаклин Кеннеди с 1903 года

VOICE
30 лучших фэнтези-фильмов всех времен 30 лучших фэнтези-фильмов всех времен

Поставьте реальность на паузу и позвольте себе раствориться в фантастике

Правила жизни
Как распознать тирана в отношениях: как они ведут себя в семье Как распознать тирана в отношениях: как они ведут себя в семье

Психолог назвала признаки домашнего тирана и рассказала, как избежать опасности

Psychologies
Ученые подсчитали, каковы шансы сердечного приступа во время секса на жаре Ученые подсчитали, каковы шансы сердечного приступа во время секса на жаре

Проверен знаменитый миф о том, что секс в жаркую погоду опасен для здоровья

Maxim
Сталинское слово крепко Сталинское слово крепко

Какой была пропаганда во время Советско-финской войны

Дилетант
Собеседование в Долину: как россиянки строят карьеры в международных IT-компаниях Собеседование в Долину: как россиянки строят карьеры в международных IT-компаниях

Forbes Woman поговорил с женщинами, работающими в IT-компаниях за рубежом

Forbes
Почему отношения «как в кино» не работают? Почему отношения «как в кино» не работают?

Идеальные отношения «из кино» в реальной жизни нас разочаруют

Psychologies
Три рыбки у водопада Три рыбки у водопада

Удивительное путешествие в страну, где «13 месяцев солнца», но льют дожди

Вокруг света
Как распознать мошенников в стоматологии Как распознать мошенников в стоматологии

Возможно, в клинике, к которой ты присматриваешься, не стоит лечить зубы

Лиза
Как первая леди Бетти Форд боролась с сексизмом, стигматизацией рака и алкоголизмом Как первая леди Бетти Форд боролась с сексизмом, стигматизацией рака и алкоголизмом

Рассказываем о судьбе женщины, которая поменяла правила игры в Белом доме

Forbes
Время тинейджера Время тинейджера

Что такое подросток в постсоветском кино и что из него можно понять о взрослых

Weekend
«Недостаточно хорош»: как побороть сомнения в себе «Недостаточно хорош»: как побороть сомнения в себе

Как повысить самооценку

Psychologies
Возвращение к истокам Возвращение к истокам

Как вырастить богатый урожай без «химии» в любом климате

Лиза
Открыть в приложении