Ошибки усугубляются и в заставляют модели еще больше искажать реальность

ForbesHi-Tech

Градация деградации: ожидает ли генеративный искусственный интеллект вырождение

Роман Рожков

Фото Getty Images

Ученые бьют тревогу: если обучать искусственный интеллект на текстах, написанных его же «коллегой», это может привести к краху нейросетей. Обучение на основе данных, полученных другим ИИ, приводит к коллапсу модели, которая неправильно воспринимает реальность. Интернет, таким образом, как мировой океан, уже заполняется «мусором», пишут в статье о своей работе исследователи из Великобритании и Канады. Forbes опросил российских специалистов по ИИ, насколько серьезна эта проблема и к чему она может привести.

Интернет наполняется ерундой

Спустя всего полгода после появления ChatGPT в широком доступе все больше людей применяют ИИ в создании и публикации контента. По данным McKinsey and Company, уже около 50% сотрудников по всему миру используют в своей работе подобные инструменты. Но что происходит по мере распространения контента, сгенерированного ИИ, по всему интернету, когда модели ИИ начинают обучаться на нем, а не на том, что создал человек?

Группа исследователей из Великобритании и Канады изучила эту проблему и недавно опубликовала статью о своей работе в журнале arXiv. То, что они обнаружили, вызывает тревогу для существующей технологии генеративного ИИ и ее будущего: использование контента, сгенерированного моделями, при обучении приводит к необратимым дефектам. Это, в свою очередь, приводит к коллапсу модели — «дегенеративному процессу, при котором со временем модели забывают истинное распределение исходных данных <...> этот процесс неизбежен даже для кейсов с почти идеальными условиями для долгосрочного обучения», пишут они.

«Со временем ошибки усугубляются и в конечном счете заставляют модели, которые учатся на сгенерированных данных, еще больше искажать реальность, — прокомментировал VentureBeat один из ведущих авторов статьи Илья Шумайлов. — Мы были удивлены, наблюдая, как быстро происходит разрушение модели: модели могут быстро забыть большую часть исходных данных, из которых они изначально извлекли уроки». Таким образом, производительность ИИ ухудшается, это приводит к большему количеству ошибок в ответах и создаваемом контенте и к гораздо меньшему разнообразию безошибочных ответов.

«Точно так же, как мы усыпали океаны пластиковым мусором и наполнили атмосферу углекислым газом, мы собираемся заполнить интернет ерундой, — продолжает другой соавтор исследования, профессор Кембриджского и Эдинбургского университетов Росс Андерсон. — Это затруднит обучение новых моделей, что даст преимущество тем, кто уже сделал это. Действительно, мы уже видим, как стартапы с искусственным интеллектом забивают интернет-архив обучающими данными».

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

На грани слышимости: нейтринные коммуникации для подводного флота На грани слышимости: нейтринные коммуникации для подводного флота

Современные субмарины становятся неслышимы и невидимы для радаров

Популярная механика
Словарь нового веба Словарь нового веба

Как сегодня говорят про нейросети, мемы и жизнь в интернете

N+1
В чем разница между красным, белым и желтым репчатым луком? Дело не только в цвете! В чем разница между красным, белым и желтым репчатым луком? Дело не только в цвете!

Теперь вы будете знать, какой лук лучше выбирать в магазине!

ТехИнсайдер
Драка с роботом превратила самцов мух в умелых любовников Драка с роботом превратила самцов мух в умелых любовников

Выброс гормона октопамина повлиял на поведение самцов мух

N+1
Деменцию у собак оценили по скорости ходьбы без поводка Деменцию у собак оценили по скорости ходьбы без поводка

Скорость ходьбы собаки без поводка может служить показателем ее деменции

N+1
Те самые легендарные коктейли по рецептам Венички Ерофеева Те самые легендарные коктейли по рецептам Венички Ерофеева

Принимать строго визуально и умозрительно! Болтать, но не смешивать!

Maxim
«Американец китайского происхождения»: звезды «Все везде и сразу» в фэнтези от Disney «Американец китайского происхождения»: звезды «Все везде и сразу» в фэнтези от Disney

«Американец китайского происхождения» — добротный сериал для разных возрастов

Forbes
Людьми вырастут? Людьми вырастут?

На что похожи и на что способны пять искусственных зародышей человека

N+1
Денис Прытков Денис Прытков

Главный кинодебютант года влюбил всю страну в обаятельного интерна-реаниматолога

Собака.ru
Моряк, который чуть не спас «Титаник»: удивительная история Чарльза Лайтоллера, выживавшего в самых жутких катастрофах Моряк, который чуть не спас «Титаник»: удивительная история Чарльза Лайтоллера, выживавшего в самых жутких катастрофах

В середине XX века Лайтроллера называли «профессиональным героем»

VOICE
Сопки, бухты, острова Сопки, бухты, острова

Можно ли понять и полюбить незнакомый город всего за пару дней?

Отдых в России
Трипликация генов рецепторов интерферона вызвала типичные для синдрома Дауна симптомы у мышей Трипликация генов рецепторов интерферона вызвала типичные для синдрома Дауна симптомы у мышей

Открытие, которое можно использовать для разработки лекарств от синдрома Дауна

N+1
«Шекспир — самое успешное мошенничество в этом мире» «Шекспир — самое успешное мошенничество в этом мире»

Писатели, критики и режиссеры о своих отношениях с Великим бардом

Weekend
Как убрать целлюлит за 7 простых шагов: твой самый быстрый путь к гладкой коже Как убрать целлюлит за 7 простых шагов: твой самый быстрый путь к гладкой коже

Даем пошаговую инструкцию по быстрому уничтожению "апельсиновой корки" на бедрах

VOICE
Крутятся диски Крутятся диски

Утилизация отработавшей свое компьютерной техники оказалась выгодным делом

Наука
Мы поехали! Мы поехали!

Cамые частые ошибки, которые портят отдых

Лиза
В неандертальцах разглядели мукомолов В неандертальцах разглядели мукомолов

Остатки перетертых зерен нашли на каменных орудиях из Италии

N+1
Внутренний ребенок: как и зачем с ним общаться? Внутренний ребенок: как и зачем с ним общаться?

Познакомиться и подружиться со своим внутренним ребенком, чтобы стать счастливее

Psychologies
Ошибка записи на диск Steam: 10 советов, как устранить эту проблему Ошибка записи на диск Steam: 10 советов, как устранить эту проблему

10 рабочих способов устранить ошибку записи на диск Steam

CHIP
Следующая станция — Дубай Следующая станция — Дубай

Как не потеряться в «четвертой столице» России и найти там своих

СНОБ
Ген рецептора калиевого канала оказался ответственным за высоту человеческого голоса Ген рецептора калиевого канала оказался ответственным за высоту человеческого голоса

Что отвечает за высоту человеческого голоса?

N+1
Можно ли заработать на инвестициях в музыкальную индустрию Можно ли заработать на инвестициях в музыкальную индустрию

Какими знаниями нужно обладать и сколько времени и денег придется вложить?

РБК
Презрение: что скрывается за высокомерным отношением — научные факты Презрение: что скрывается за высокомерным отношением — научные факты

Как формируется и проявляется высокомерное отношение людей друг к другу?

Psychologies
Идеальный пикник: 8 классных идей Идеальный пикник: 8 классных идей

Как организовать идеальное мероприятие на природе?

Караван историй
Новый метод лечения малярии: паразита, передающего болезнь, можно сбить с толку Новый метод лечения малярии: паразита, передающего болезнь, можно сбить с толку

Если дезориентировать паразита, он не сможет заражать человека и размножаться

ТехИнсайдер
Дубайская земля Дубайская земля

Сложно представить, но лет сорок назад Дубай был сонной рыбацкой деревушкой

Robb Report
История Дэвида Реймера, которого насильно превратили в девочку: гендерный эксперимент Джона Мани История Дэвида Реймера, которого насильно превратили в девочку: гендерный эксперимент Джона Мани

Как пустяковая операция обернулась катастрофой для семьи Реймер

ТехИнсайдер
Юмор и смех действительно помогают при депрессии и тревожности Юмор и смех действительно помогают при депрессии и тревожности

Может ли "веселая" терапия уменьшить депрессию и тревогу?

ТехИнсайдер
Хлопай ресничками Хлопай ресничками

Зачем реснички инфузориям, носам и нейронам

N+1
«Даю Теоне от 50 до 100 тысяч и плачу алименты»: Курбан Омаров рассказал о тратах на дочь от Ксении Бородиной «Даю Теоне от 50 до 100 тысяч и плачу алименты»: Курбан Омаров рассказал о тратах на дочь от Ксении Бородиной

Курбан Омаров откровенно рассказал о разводе с Ксенией Бородиной

VOICE
Открыть в приложении