Сегодня активно обсуждается «коллапс модели». Насколько это опасно?

ТехИнсайдерHi-Tech

Что такое «коллапс модели», чем он угрожает развитию ИИ и человека

Сегодня активно обсуждается так называемый «коллапс модели», явление при котором нейросеть деградирует и перестает работать. Но насколько реалистичны эти прогнозы и что вообще такое этот «коллапс модели»? С этим попробовал разобраться Аарон Дж. Сносвелл научный сотрудник по вопросам ИИ, Квинслендского технологического университета.

Владимир Губайловский

5925e3452d7f503fd3b5c03aa9bd4895_ce_900x600x293x0.jpg
Когда модели изображений искусственного интеллекта обучаются на собственных результатах, они могут создавать искаженные изображения, изуродованные пальцы или странные узоры. Изображения, созданные Sina Alemohammad and others.

Обсуждавшийся еще 2023 году, но ставший популярным совсем недавно «коллапс модели» относится к гипотетическому сценарию, при котором будущие системы ИИ деградируют, потому что обучаются на данных генерируемых ИИ.

Современные системы ИИ строятся на основе машинного обучения. Программисты закладывают математическую структуру, но реальный «интеллект» появляется в результате обучения системы на определенных дата-сетах.

Это не любые данные. Современным генеративным системам ИИ нужны высококачественные данные, причем в большом количестве. 

Сколько надо данных

«Чтобы обучить GPT-3, OpenAI понадобилось более 650 миллиардов английских слов текста — примерно в 200 раз больше, чем вся английская Википедия. Но для этого требовалось собрать почти в 100 раз больше исходных данных из интернета и 98% которых было затем отфильтровано и отброшено», — пишет Аарон Дж. Сносвелл со ссылкой на статью, размещенную на сервере arxiv.

Чтобы получить эти данные, крупные технологические компании, такие как OpenAI, Google, Meta (признана экстремистской организацией на территории РФ) и Nvidia, постоянно сканируют интернет, собирая терабайты контента, чтобы «накормить» машины. Но после появления в 2022 году широкодоступных и полезных систем генеративного ИИ люди все чаще загружают и делятся контентом, частично или полностью созданным ИИ.

В 2023 году исследователи начали задумываться о том, нельзя ли обойтись для обучения только данными, созданными ИИ, вместо данных, сгенерированных человеком.

Для этого есть огромные стимулы. Контент, созданный ИИ гораздо дешевле, чем данные, созданные человеком. Кроме того, его собирание не вызывает сомнений с этической и юридической точек зрения. На него ни у кого нет авторских прав, кроме компании которая его создает. 

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

От Аттилия до Спартака: 5 знаменитых гладиаторов Древнего Рима От Аттилия до Спартака: 5 знаменитых гладиаторов Древнего Рима

История первых гладиаторских боев корнями уходит еще в III век до нашей эры...

ТехИнсайдер
Стреляющая камера на защите вашего дома: безумные изобретения и открытия со всего мира Стреляющая камера на защите вашего дома: безумные изобретения и открытия со всего мира

Самые необычные изобретения и шокирующие открытия ученых со всего света

ТехИнсайдер
DDoSтать до потолка: как и почему за 2024 год изменились сетевые кибератаки DDoSтать до потолка: как и почему за 2024 год изменились сетевые кибератаки

Как изменился ландшафт DDoS и что этому способствовало

Forbes
Как за минуту заточить ножницы: 5 лучших методов Как за минуту заточить ножницы: 5 лучших методов

Как правильно наточить ножницы в домашних условиях

ТехИнсайдер
Индивидуалистка из СССР: как Айн Рэнд боролась с коммунизмом и создавала бестселлеры Индивидуалистка из СССР: как Айн Рэнд боролась с коммунизмом и создавала бестселлеры

Как Айн Рэнд, дочь аптекаря из Петербурга, смогла покорить США

Forbes
Остановись мгновенье! Ученые рассказали, как изменить восприятие времени и сделать жизнь длиннее Остановись мгновенье! Ученые рассказали, как изменить восприятие времени и сделать жизнь длиннее

Вы когда-нибудь задумывались, почему время всегда ощущается по-разному?

ТехИнсайдер
Проживание вдалеке от магазинов в детстве повысило риск ожирения в подростковом возрасте Проживание вдалеке от магазинов в детстве повысило риск ожирения в подростковом возрасте

Как ограниченный доступ к продуктам питания связан с развитием ожирения?

N+1
Домашний космос Домашний космос

Выразительный современный интерьер с французским акцентом

SALON-Interior
«Всё сам. Всё сам» «Всё сам. Всё сам»

Ход обсуждения, а фактически — судилища, был зафиксирован Владимиром Малиным

Дилетант
Муж не терпит моих подруг Муж не терпит моих подруг

Что делать, если твой муж недолюбливает твоих подруг?

Лиза
Сьюзен Таубес «Развод». Впервые на русском Сьюзен Таубес «Развод». Впервые на русском

Отрывок из забытого романа Сьюзен Таубес «Развод»

СНОБ
«Надо уважать чужое мнение за то, что оно чужое» «Надо уважать чужое мнение за то, что оно чужое»

Как Юрий Лотман пересилил время

Weekend
Гастрономия Гастрономия

Лучшие шефы: признанные и начинающие. Места, куда всегда хочется вернуться

RR Люкс.Личности.Бизнес.
Два века перемен: перипетии исторической памяти об Отечественной войне 1812 года Два века перемен: перипетии исторической памяти об Отечественной войне 1812 года

Как Отечественная война 1812 года закрепилась в сознании людей?

Знание – сила
«Больше нуждается в евреях, чем в пекарях»: как разные народы уживались в Венеции «Больше нуждается в евреях, чем в пекарях»: как разные народы уживались в Венеции

Глава из книги «Венеция. История воды и суши»

Forbes
Получено экспериментальное подтверждение квантовой природы сознания Получено экспериментальное подтверждение квантовой природы сознания

Возможно, сознание связано с квантовыми процессами в микротрубочках нейронов

ТехИнсайдер
Легенда морей Легенда морей

«Легенда» уже нашего времени, в реальности которой нет никаких сомнений

Y Magazine
Королевские игры Королевские игры

Фрагменты документальной книги Тины Браун «Дом Виндзоров»

RR Люкс.Личности.Бизнес.
Что такое «икигай», или как жить долго Что такое «икигай», или как жить долго

Что стоит за древним искусством «икигай», которое учит жить долго и счастливо

ТехИнсайдер
Защитит зубы и сердце! Вот чем сыр полезен для здоровья: интересные факты Защитит зубы и сердце! Вот чем сыр полезен для здоровья: интересные факты

Сыр: богат питательными веществами и полезен для сердца

ТехИнсайдер
Московская телегенция Московская телегенция

Telegram с человеческим лицом

Men Today
Со всей душой Со всей душой

Как отдохнуть в Армении в бархатный сезон

Лиза
Цветущая сложность в эпоху тотальной медиатизации: говорят физики Цветущая сложность в эпоху тотальной медиатизации: говорят физики

Какие стратегии медийной самопрезентации используются научными вузами и учеными

Наука
Следи за словами. Фразы, которые точно не стоит говорить своему боссу Следи за словами. Фразы, которые точно не стоит говорить своему боссу

С помощью каких фраз можно зарекомендовать себя как ненадежного сотрудника

Лиза
Девелопер широкого профиля Девелопер широкого профиля

Как «Мармакс» улучшает городское пространство Рязани

Монокль
Александр Никишин Александр Никишин

Знакомьтесь, капитан ХК СКА Александр Никишин — лидер клуба-фаворита

Собака.ru
Уютное и доброе фэнтези: 5 бестселлеров и новинок для осеннего чтения Уютное и доброе фэнтези: 5 бестселлеров и новинок для осеннего чтения

Атмосферные, согревающие истории поднимут настроение холодными вечерами

Maxim
Маленькая мисс Одиннадцать: как Милли Бобби Браун добивается успеха в кино и бизнесе Маленькая мисс Одиннадцать: как Милли Бобби Браун добивается успеха в кино и бизнесе

Как Милли Бобби Браун удалось не стать заложницей одной роли?

Forbes
Наши сияющие 30 Наши сияющие 30

О том, как меняются наши взгляды на красоту и возраст

Новый очаг
Инь-ян Инь-ян

Что означает древний символ инь-ян и как применять его силу на практике

Лиза
Открыть в приложении