Куда нас приведут игры с искусственным интеллектом

СНОБHi-Tech

Куда нас приведут нейросети?

В последние годы в России развитию сферы искусственного интеллекта уделялось немало внимания. Сейчас сложно говорить о том, что будет в стране дальше, но нельзя упускать из виду мировые тренды, которые со временем окажут влияние и на нашу жизнь. О происходящем в науке рассказывает NLP-инженер и исследователь Иван Ильин.

Текст: Иван Ильин

Natural language understanding

Область понимания естественного языка находится на переднем крае создания сильного искусственного интеллекта. Ведь язык – это основная система передачи информации от человека к человеку. От современных языковых нейросетей ждут умения делать логические выводы как подтверждения способности к «мышлению».

Гигантские языковые модели, обученные на терабайтах текстовых данных, по-прежнему в трендах мировых компаний. Недавно Facebook (соцсеть признана в РФ экстремистской и запрещена) представила OPT-2, Google – PaLM, DeepMind – Gopher и RETRO, Nvidia – Megatron, OpenAI – обновила GPT-3 и выпустила Codex.

За счет увеличения числа параметров и обучения на огромных массивах данных нейросети стали демонстрировать возможность few-shot-обучения. Это способность буквально за пару тренировочных кейсов «по аналогии» решать математические задачи, выдавать ответы на реплики, продолжать повествование и вести диалог.

Обновленная модель GPT-3 от OpenAI теперь умеет редактировать и делать вставки в текст, а не только продолжать его. Поэтому новую версию можно использовать для рерайта, чтобы ускорить работу редакторов. Модель Codex (аналог GPT-3, обученная вместо текста на коде) может генерировать синтаксически корректный и функциональный код по описанию функций комментариями, ускоряя работу программиста. Генерация кода на основе этой модели уже успешно применяется в сервисе GitHub Copilot.

Следующий тренд – инъекция в языковые модели знаний об устройстве окружающего мира с помощью «Википедии» или графов знаний (создание своеобразной «памяти»), что позволило бы им при ответах на вопросы использовать не только контекст и данные из обучающей выборки, но и иметь прямой доступ к фактологической информации. Один из таких примеров – RETRO от DeepMind.

Гигантские языковые модели по-прежнему вотчина глобальных корпораций и их лабораторий, так как для обучения требуются огромные вычислительные ресурсы, высокопрофессиональные инженеры и исследователи в области машинного обучения.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Живая ткань Живая ткань

Как восстанавливают разрушенные войной города

Forbes
Кровно заработанное Кровно заработанное

Учимся рассчитывать свою будущую пенсию

Лиза
Используй ложку и телефон: 20 способов доставить себе удовольствие Используй ложку и телефон: 20 способов доставить себе удовольствие

Двадцать разных способов мастурбации на любой вкус и цвет

Cosmopolitan
«Клин клином»: 7 признаков, что вы влюбились, чтобы забыться «Клин клином»: 7 признаков, что вы влюбились, чтобы забыться

Часто попытки смягчить душевную боль подталкивают нас к созданию новых отношений

Psychologies
Найти фриланс в IT за три месяца Найти фриланс в IT за три месяца

Как зарабатывать больше денег в кризис

СНОБ
Микротоки для лица: что это, эффект от процедуры и противопоказания Микротоки для лица: что это, эффект от процедуры и противопоказания

Вместе с дерматологом и косметологом рассказываем, что нужно знать о микротоках

РБК
Это мы еще досмотрим Это мы еще досмотрим

Кто будет делать игровое кино, сериалы и док в новом мире

СНОБ
ДНК возрастом более 115 тысяч лет указала на уязвимость белых медведей перед потеплением климата ДНК возрастом более 115 тысяч лет указала на уязвимость белых медведей перед потеплением климата

Ученые выяснили, что белые медведи утратили генетическое разнообразие

N+1
К вам санитары, мистер Андерсон К вам санитары, мистер Андерсон

Писатель Александр Цыпкин о наших цифровых аватарах

СНОБ
Киноляпы с акцентом. Самые неудачные попытки Голливуда изобразить русских на большом экране Киноляпы с акцентом. Самые неудачные попытки Голливуда изобразить русских на большом экране

Попытки Голливуда изобразить русских всегда приключение

ТехИнсайдер
Уголовница, изменщица, спецагент Уголовница, изменщица, спецагент

Версий «Мурки» существует бессчётное множество, и это делает ее такой загадочной

Дилетант
История одной вещи: «Смена-8М» — самый массовый в мире фотоаппарат История одной вещи: «Смена-8М» — самый массовый в мире фотоаппарат

Непритязательную камеру любили студенты, а ее тиражи исчислялись миллионами

Правила жизни
От дикпика до любви От дикпика до любви

Как CEO дейтинг-сервиса нашла идеального парня

Playboy
Обет молчания и другие явления, которых на самом деле нет, а ты уверен, что есть Обет молчания и другие явления, которых на самом деле нет, а ты уверен, что есть

Для несуществующих эти явления слишком уж крепко прижились в массовой культуре

Maxim
Функциональная МРТ помогла нейросети отличить либерала от консерватора Функциональная МРТ помогла нейросети отличить либерала от консерватора

По снимкам фМРТ ученые смогли предсказать политические взгляды человека

N+1
Ранний час: 4 причины назначать важные дела на утро Ранний час: 4 причины назначать важные дела на утро

Несколько аргументов в пользу привычки назначать важные дела на утро

Psychologies
В мире животных В мире животных

Наблюдение за братьями нашими меньшими расширяет кругозор ребенка

Лиза
Почему мы забываем о сексе и как его вернуть в семейную жизнь Почему мы забываем о сексе и как его вернуть в семейную жизнь

Почему в семейной жизни всегда нужно искать время для секса?

Maxim
Добро пожаловаться Добро пожаловаться

Три повода для ссор с соседями, в которых можно и нужно идти до конца

Лиза
Виктор Франкл: в чем смысл нашей жизни и зачем в ней страдания Виктор Франкл: в чем смысл нашей жизни и зачем в ней страдания

В чем же смысл жизни?

Вокруг света
9 серьезных катастроф, случившихся по вине конструкторов: самые страшные события в истории 9 серьезных катастроф, случившихся по вине конструкторов: самые страшные события в истории

Человечество ошибается – и делает это отнюдь не редко

ТехИнсайдер
Идти на поводу у эмоций: почему важно слушать внутренний голос Идти на поводу у эмоций: почему важно слушать внутренний голос

На самом деле без эмоций вообще невозможно принимать решения

Psychologies
Материал из корней конняку захватил 13 литров воды из атмосферы Материал из корней конняку захватил 13 литров воды из атмосферы

Материаловеды разработали эффективный сорбент для захвата воды из атмосферы

N+1
NASA выбрало место высадки для венерианского атмосферного зонда DAVINCI NASA выбрало место высадки для венерианского атмосферного зонда DAVINCI

Как будет проведено исследование атмосферы и поверхности Венеры

N+1
«Чудо дыхания. Как работают наши легкие и как поддержать их здоровье». Как работают наши легкие и как поддержать их здоровье «Чудо дыхания. Как работают наши легкие и как поддержать их здоровье». Как работают наши легкие и как поддержать их здоровье

Большинство из нас никогда не задумывались о том, как мы дышим

N+1
Ученые открыли новый тип соединений в атмосфере — гидротриоксиды. Рассказываем, чем они опасны Ученые открыли новый тип соединений в атмосфере — гидротриоксиды. Рассказываем, чем они опасны

Гидротриоксиды — чрезвычайно реактивные и опасные вещества

Вокруг света
Как изготовить реактивный двигатель: наглядное пособие Как изготовить реактивный двигатель: наглядное пособие

Реактивный двигатель построить под силу каждому

ТехИнсайдер
Кто такая «мертвая» мать Кто такая «мертвая» мать

Кто вырастает рядом с «мертвыми» матерями?

Psychologies
Анна Старшенбаум: «Я люблю жизнь. Мне очень многое в ней нравится» Анна Старшенбаум: «Я люблю жизнь. Мне очень многое в ней нравится»

Анну Старшенбаум называют «ангелом с детским взглядом»

Здоровье
«Человеку нужен человек»: как режиссер Купер Рэфф переворачивает каноны жанра драмеди «Человеку нужен человек»: как режиссер Купер Рэфф переворачивает каноны жанра драмеди

Драма «В ритме ча-ча-ча» — второй полнометражный фильм Купера Рэффа

Forbes
Открыть в приложении