Мировые тренды, которые со временем окажут влияние и на нашу жизнь

СНОБHi-Tech

Куда нас приведут нейросети

В последние годы в России развитию сферы искусственного интеллекта уделялось немало внимания. Сейчас сложно говорить о том, что будет в стране дальше, но нельзя упускать из виду мировые тренды, которые со временем окажут влияние и на нашу жизнь. О происходящем в науке рассказывает NLP-инженер и исследователь Иван Ильин

tekst.jpg
Иллюстрация: Дарья Орлова

Natural Language Understanding

Область понимания естественного языка находится на переднем крае создания сильного искусственного интеллекта. Ведь язык — это основная система передачи информации от человека к человеку. От современных языковых нейросетей ждут умения делать логические выводы как подтверждения способности к «мышлению».

Гигантские языковые модели, обученные на терабайтах текстовых данных, по-прежнему в трендах мировых компаний. Недавно Facebook* представила OPT-2, Google — PaLM, DeepMind — Gopher и RETRO, Nvidia — Megatron, OpenAI — обновила GPT-3 и выпустила Codex.

За счет увеличения числа параметров и обучения на огромных массивах данных нейросети стали демонстрировать возможность few-shot-обучения. Это способность буквально за пару тренировочных кейсов «по аналогии» решать математические задачи, выдавать ответы на реплики, продолжать повествование и вести диалог.

Обновленная модель GPT-3 от OpenAI теперь умеет редактировать и делать вставки в текст, а не только продолжать его. Поэтому новую версию можно использовать для рерайта, чтобы ускорить работу редакторов. Модель Codex (аналог GPT-3, обученная вместо текста на коде) может генерировать синтаксически корректный и функциональный код по описанию функций комментариями, ускоряя работу программиста. Генерация кода на основе этой модели уже успешно применяется в сервисе GitHub Copilot.

Следующий тренд — инъекция в языковые модели знаний об устройстве окружающего мира с помощью «Википедии» или графов знаний (создание своеобразной «памяти»), что позволило бы им при ответах на вопросы использовать не только контекст и данные из обучающей выборки, но и иметь прямой доступ к фактологической информации. Один из таких примеров — RETRO от DeepMind.

Гигантские языковые модели по-прежнему вотчина глобальных корпораций и их лабораторий, так как для обучения требуются огромные вычислительные ресурсы, высокопрофессиональные инженеры и исследователи в области машинного обучения.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Первопроходцы и хранители: как профессор Геодакян нашел пушечное мясо для эволюции Первопроходцы и хранители: как профессор Геодакян нашел пушечное мясо для эволюции

Зачем природе нужны самцы и почему она при этом совсем их не бережет

СНОБ
7 упражнений, которые укрепят каркас и снимут боль 7 упражнений, которые укрепят каркас и снимут боль

Растяжка спины и позвоночника

Лиза
В весенних климатических аномалиях Северного полушария обвинили арктическую озоновую дыру В весенних климатических аномалиях Северного полушария обвинили арктическую озоновую дыру

Истощение озонового слоя над Арктикой оказалось фактором потепления в Евразии

N+1
Сериалы как средство побега от реальности: 7 увлекательных телешоу, в чьих вымышленных мирах можно раствориться Сериалы как средство побега от реальности: 7 увлекательных телешоу, в чьих вымышленных мирах можно раствориться

Эскапистские сериалы, которые представляют собой чисто жанровое развлечение

Правила жизни
Выбираем МФУ для дома: как учесть все нюансы Выбираем МФУ для дома: как учесть все нюансы

Перед покупкой МФУ важно ответить на несколько ключевых вопросов

CHIP
«Застрявшие эмоции»: 2 упражнения от телесных зажимов «Застрявшие эмоции»: 2 упражнения от телесных зажимов

Любой телесный зажим — сигнал организма, что он на грани

Psychologies
Долой рутину: как технологии экономят время современного учителя Долой рутину: как технологии экономят время современного учителя

Как сервисы автоматизируют повседневные дела учителей

ТехИнсайдер
Отрывок из книги Элин Хильдебранд «Лето 1969» Отрывок из книги Элин Хильдебранд «Лето 1969»

Глава из новой книги «Лето 1969» Элин Хильдебранд

СНОБ
«Нельзя терять ни минуты» «Нельзя терять ни минуты»

В 1930 году в СССР состоялись 13 453 массовых крестьянских выступления

Дилетант
История одного здания: особняк Брусницыных в Петербурге История одного здания: особняк Брусницыных в Петербурге

Особняк купцов Брусницыных — таинственный дом с зеркалом Дракулы в Петербурге

Культура.РФ
7 мифов о похудении, в которые пора перестать верить навсегда 7 мифов о похудении, в которые пора перестать верить навсегда

Мифы о похудении, которые только вредят

ТехИнсайдер
Данила Козловский в образе неудачника. На экраны выходит сериал Ивана И. Твердовского «Люся» Данила Козловский в образе неудачника. На экраны выходит сериал Ивана И. Твердовского «Люся»

«Люся» — спорный сериал о трансформации личности

СНОБ
Он прошел через 872 дня блокады Ленинграда и выжил: удивительная история кота Максима Он прошел через 872 дня блокады Ленинграда и выжил: удивительная история кота Максима

Как кот по кличке Максим из блокадного Ленинграда смог дожить до окончания вoйны

ТехИнсайдер
12 секунд в небе: как братья Райт научили людей летать? 5 фактов об истории создания первого летающего самолета 12 секунд в небе: как братья Райт научили людей летать? 5 фактов об истории создания первого летающего самолета

Создание первого в мире летающего самолета — это их неуемных рук дело

ТехИнсайдер
Как правильно тренироваться на свежем воздухе Как правильно тренироваться на свежем воздухе

Тренировки на свежем воздухе — это не только полезно, но и бесплатно!

Maxim
Письма счастья: правила SMS-переписки, которая заинтригует мужчину Письма счастья: правила SMS-переписки, которая заинтригует мужчину

Какие сообщения помогут зацепить парня навсегда?

VOICE
Аэронавты, пилоты, воздушные каскадеры: 6 женщин, которые первыми поднялись в небо Аэронавты, пилоты, воздушные каскадеры: 6 женщин, которые первыми поднялись в небо

Женщины, которые первые покорили небо

Forbes
Как не надо мыть автомобиль: 5 ошибок, которые совершают чаще всего Как не надо мыть автомобиль: 5 ошибок, которые совершают чаще всего

Как во время мытья автомобиля не повредить лакокрасочное покрытие

CHIP
Романтика Севера Романтика Севера

Говорят, в Архангельской области можно отыскать все. Проверим?

Лиза
От «Твин Пикса» до «Тьмы»: 15 отличных сериалов в жанре мистики, от которых тяжело оторваться От «Твин Пикса» до «Тьмы»: 15 отличных сериалов в жанре мистики, от которых тяжело оторваться

Сериалы о паранормальном, путешествиях во времени и фантастических существах

Правила жизни
«Писать невозможно, голова забита бараньими ногами»: отрывок из биографии Джейн Остен «Писать невозможно, голова забита бараньими ногами»: отрывок из биографии Джейн Остен

Отрывок из книги «Викторианки» — о последних годах жизни Джейн Остен

Forbes
От иранской грязи до обесцвечивания: как женщины в СССР боролись с лишними волосами на теле От иранской грязи до обесцвечивания: как женщины в СССР боролись с лишними волосами на теле

Эпиляция по-советски: что помогало женщинам удалять волосы с тела?

VOICE
В ожидании гостей В ожидании гостей

Современный интерьер, воплощающий интересный эстетический микс

Идеи Вашего Дома
Что такое микронидлинг и может ли он заменить инъекции Что такое микронидлинг и может ли он заменить инъекции

Микронидлинг позволяет доставить полезные вещества в глубокие слои кожи

РБК
Политический скандал, отказ Брежнева и другие интересные факты об Олимпийских играх 1980 года Политический скандал, отказ Брежнева и другие интересные факты об Олимпийских играх 1980 года

10 увлекательных фактов о самом главном спортивном событии 1980 года

ТехИнсайдер
Как понять, что вы строите серьезные отношения не с тем человеком: 7 признаков Как понять, что вы строите серьезные отношения не с тем человеком: 7 признаков

Как понять, действительно ли это настоящая любовь?

Psychologies
Где в России бомбоубежища и с чем там надо прятаться Где в России бомбоубежища и с чем там надо прятаться

Как найти бомбоубежище и что брать с собой?

Maxim
Как смотреть Кубрика: гид по творчеству культового режиссера Как смотреть Кубрика: гид по творчеству культового режиссера

Разбираем произведения и анализируем творческий путь Стэнли Кубрика

Правила жизни
Пенится квас в ковше Пенится квас в ковше

Квас — одно из древнейших русских кулинарных изобретений

Наука и жизнь
Уроки русского: откуда взялось слово Уроки русского: откуда взялось слово

Почему водка так называется и когда появилась

ТехИнсайдер
Открыть в приложении