Ошибки усугубляются и в заставляют модели еще больше искажать реальность

ForbesHi-Tech

Градация деградации: ожидает ли генеративный искусственный интеллект вырождение

Роман Рожков

Фото Getty Images

Ученые бьют тревогу: если обучать искусственный интеллект на текстах, написанных его же «коллегой», это может привести к краху нейросетей. Обучение на основе данных, полученных другим ИИ, приводит к коллапсу модели, которая неправильно воспринимает реальность. Интернет, таким образом, как мировой океан, уже заполняется «мусором», пишут в статье о своей работе исследователи из Великобритании и Канады. Forbes опросил российских специалистов по ИИ, насколько серьезна эта проблема и к чему она может привести.

Интернет наполняется ерундой

Спустя всего полгода после появления ChatGPT в широком доступе все больше людей применяют ИИ в создании и публикации контента. По данным McKinsey and Company, уже около 50% сотрудников по всему миру используют в своей работе подобные инструменты. Но что происходит по мере распространения контента, сгенерированного ИИ, по всему интернету, когда модели ИИ начинают обучаться на нем, а не на том, что создал человек?

Группа исследователей из Великобритании и Канады изучила эту проблему и недавно опубликовала статью о своей работе в журнале arXiv. То, что они обнаружили, вызывает тревогу для существующей технологии генеративного ИИ и ее будущего: использование контента, сгенерированного моделями, при обучении приводит к необратимым дефектам. Это, в свою очередь, приводит к коллапсу модели — «дегенеративному процессу, при котором со временем модели забывают истинное распределение исходных данных <...> этот процесс неизбежен даже для кейсов с почти идеальными условиями для долгосрочного обучения», пишут они.

«Со временем ошибки усугубляются и в конечном счете заставляют модели, которые учатся на сгенерированных данных, еще больше искажать реальность, — прокомментировал VentureBeat один из ведущих авторов статьи Илья Шумайлов. — Мы были удивлены, наблюдая, как быстро происходит разрушение модели: модели могут быстро забыть большую часть исходных данных, из которых они изначально извлекли уроки». Таким образом, производительность ИИ ухудшается, это приводит к большему количеству ошибок в ответах и создаваемом контенте и к гораздо меньшему разнообразию безошибочных ответов.

«Точно так же, как мы усыпали океаны пластиковым мусором и наполнили атмосферу углекислым газом, мы собираемся заполнить интернет ерундой, — продолжает другой соавтор исследования, профессор Кембриджского и Эдинбургского университетов Росс Андерсон. — Это затруднит обучение новых моделей, что даст преимущество тем, кто уже сделал это. Действительно, мы уже видим, как стартапы с искусственным интеллектом забивают интернет-архив обучающими данными».

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Трудоголики, боссы и паникеры: кто работает по выходным и придется ли это делать вам Трудоголики, боссы и паникеры: кто работает по выходным и придется ли это делать вам

Останутся ли в ближайшем будущем выходные у «белых воротничков»?

Forbes
Вырубка лесов на японском острове испортила зубы местным макакам Вырубка лесов на японском острове испортила зубы местным макакам

Сильный стресс вызвал у макак недоразвитие эмали

N+1
Русский рыболовный корабль попал в шторм. Рецензия на фильм «Снегирь» Русский рыболовный корабль попал в шторм. Рецензия на фильм «Снегирь»

Почему новый фильм «Снегирь» Бориса Хлебникова можно назвать политическим

СНОБ
«Можно ли спасти отношения?»: 10 вопросов, которые помогут это понять, — проверьте вашу пару «Можно ли спасти отношения?»: 10 вопросов, которые помогут это понять, — проверьте вашу пару

Прежде чем расстаться с партнером, задайте себе правильные вопросы

Psychologies
К рекордам готовы К рекордам готовы

5 шагов не позволить себе отступить от похудения

Лиза
Могли ли динозавры видеть «чужими глазами»: любопытное исследование Могли ли динозавры видеть «чужими глазами»: любопытное исследование

Могли ли динозавры использовать визуальное восприятие перспективы?

ТехИнсайдер
Нижняя часть «Артемиды» глазами баллистика Нижняя часть «Артемиды» глазами баллистика

Начинается новый этап колонизации единственного спутника Земли

Наука
«Кластерный механизм — ключевой фактор развития химпрома» «Кластерный механизм — ключевой фактор развития химпрома»

Как сегодня развивается химическая отрасль и какие задачи решает бизнес

РБК
Суп кочевника Суп кочевника

Монгольский наваристый мясной суп

Вокруг света
Как сохранить красоту маникюра после 50 лет: простые лайфхаки от экспертов Как сохранить красоту маникюра после 50 лет: простые лайфхаки от экспертов

Возраст – не помеха здоровым и крепким ногтям!

VOICE
Маркетплейс для разработчиков: как развивать российский GitHub Маркетплейс для разработчиков: как развивать российский GitHub

Какие существуют способы развития сообщества open source в России

Forbes
«Перчинка» и даже Трамп: этих звезд ты точно не заметила в «Сексе в большом городе» «Перчинка» и даже Трамп: этих звезд ты точно не заметила в «Сексе в большом городе»

В оригинальном «Сексе в большом городе» засветились многие звезды

VOICE
Хлебозрелище Хлебозрелище

«Рагу Додена Буффана», или Как еда стала универсальным источником эмоций в кино

Weekend
Математики нашли девятое дедекиндово число. В нем оказалось 42 знака Математики нашли девятое дедекиндово число. В нем оказалось 42 знака

Математики рассчитали значение девятого числа Дедекинда

N+1
Моряк, который чуть не спас «Титаник»: удивительная история Чарльза Лайтоллера, выживавшего в самых жутких катастрофах Моряк, который чуть не спас «Титаник»: удивительная история Чарльза Лайтоллера, выживавшего в самых жутких катастрофах

В середине XX века Лайтроллера называли «профессиональным героем»

VOICE
Секс без обязательств: вред или польза — узнайте правду Секс без обязательств: вред или польза — узнайте правду

О плюсах и минусах мимолетных встреч

Psychologies
Город мечты Город мечты

На берегу Каспийского моря Эмин Агаларов строит город своей мечты

OK!
Имитация человеческого глаза подняла роботизированное Имитация человеческого глаза подняла роботизированное

Нейроморфное устройство позволит роботам принимать быстрые решения

ТехИнсайдер
«Куда уходят деньги?»: как научиться финансовой грамотности — 2 простых шага «Куда уходят деньги?»: как научиться финансовой грамотности — 2 простых шага

Как научить мозг отслеживать траты?

Psychologies
«Была подвержена влиянию молодого человека из США»: почему Юлия Паршута ушла из группы «Инь-Ян» «Была подвержена влиянию молодого человека из США»: почему Юлия Паршута ушла из группы «Инь-Ян»

Юлия Паршута захотела изменить свою жизнь из-за бойфренда, живущего за границей

VOICE
Терапия бережностью: какая помощь нужна при психологической травме Терапия бережностью: какая помощь нужна при психологической травме

Не все люди достаточно бережны к тем, кто пережил психологическую травму

Psychologies
Правда ли, что с годами происходит падение нравов или это только иллюзия Правда ли, что с годами происходит падение нравов или это только иллюзия

Ученые пришли к выводу, что восприятие морального упадка является иллюзией

ТехИнсайдер
«Мне 59, ему 22»: почему зрелые женщины сексуально привлекают молодых мужчин «Мне 59, ему 22»: почему зрелые женщины сексуально привлекают молодых мужчин

Почему зрелые женщины заводят отношения с мужчинами сильно младше себя?

Psychologies
Любовь-ностальгия: спорим, ты забыла, что Джонни Депп встречался с этими популярными актрисами Любовь-ностальгия: спорим, ты забыла, что Джонни Депп встречался с этими популярными актрисами

В жизни Джонни Деппа было немало романов

VOICE

Грузовые суда оснастят высокотехнологичными парусами

ТехИнсайдер
Когда не стоит возвращаться к бывшему: 5 неправильных поводов Когда не стоит возвращаться к бывшему: 5 неправильных поводов

В каких случаях не стоит давать себе и партнеру второй шанс

Psychologies
Эксперт объяснил, почему ИИ в одних задачах превосходит человека, а в других делает дикие ошибки Эксперт объяснил, почему ИИ в одних задачах превосходит человека, а в других делает дикие ошибки

Инструмент, который может объяснить, как работают модели ИИ

ТехИнсайдер
Жук-бомбардир и клоп-хищнец подтвердили взаимовыгодный характер квазибейтсовской мимикрии Жук-бомбардир и клоп-хищнец подтвердили взаимовыгодный характер квазибейтсовской мимикрии

Встреча хищника с одним из этих видов снижает риск нападения на второй

N+1
Филлеры тут, филлеры там: как зумеры делают косметологию и пластическую хирургию модной Филлеры тут, филлеры там: как зумеры делают косметологию и пластическую хирургию модной

Почему косметология и пластическая хирургия так востребована среди молодежи?

Psychologies
Правда ли, что Земля существует внутри черной дыры? Правда ли, что Земля существует внутри черной дыры?

Может ли Земля находиться внутри сингулярности?

ТехИнсайдер
Открыть в приложении