ИИ уперся в потолок: стартапы ищут способы дальнейшего масштабирования

[marsyx]

Будущая ИИ-модель от OpenAI покажет меньший прирост производительности по сравнению с предшественниками. Об этом пишет The Information со ссылкой на источники.

По информации издания, Orion достигла уровня GPT-4 после прохождения 20% обучения. Это говорит о том, что прирост производительности GPT-5 по сравнению с GPT-4 будет меньше, чем от GPT-3 к GPT-4.

«Orion не лучше предшественника в решении некоторых задач. Она хорошо себя показывает в работе с языковыми задачами, но не превосходит предыдущие модели в кодировании», — рассказали изданию сотрудники стартапа.

Наиболее заметные улучшения нейросети обычно происходят на ранних этапах обучения. В последующий период прогресс замедляется. Таким образом, оставшиеся 80% времени вряд ли дадут существенный прирост производительности, отметили источники The Information.

ИИ уперся в потолок​

Не слишком оптимистичные результаты OpenAI указывают на более фундаментальную проблему, стоящую перед всей отраслью: исчерпание высококачественных данных для обучения.

В опубликованном в июне исследовании ряда экспертов утверждается, что ИИ-компании используют все общедоступные текстовые материалы в период между 2026 и 2032 годами. Это станет критической точкой для традиционных подходов к развитию искусственного интеллекта.

«Наши результаты показывают, что текущие тенденции развития LLM не могут быть поддержаны только за счет традиционного масштабирования данных», — утверждают авторы работы.

В исследовании подчеркивается необходимость разработки альтернативных подходов к совершенствованию нейросетей вроде генерации синтетических данных или использования закрытой информации.

В The Information обратили внимание, что применяемая сегодня стратегия обучения LLM на общедоступных текстовых данных с веб-сайтов, книг и других источников достигла точки убывающей отдачи, поскольку «разработчики выжали из этого типа информации все, что могли».

Решение есть​

OpenAI и другие игроки кардинально меняют подходы к разработке ИИ.

«На фоне замедления темпов улучшения GPT, индустрия, похоже, смещает акцент с масштабирования во время обучения на оптимизацию моделей после их начального обучения. Этот подход может привести к формированию новых законов масштабирования», — сообщает The Information.

Для достижения состояния непрерывного улучшения OpenAI разделяет разработку моделей на два разных направления:

• Серия О — сфокусирована на возможностях рассуждения. Такие модели работают со значительно более высокой интенсивностью вычислений и предназначены для решения сложных задач. Требования к вычислениям значительны: операционные расходы в шесть раз выше по сравнению с текущими моделями. Однако расширенные возможности рассуждений оправдывают увеличение расходов для конкретных приложений, требующих аналитической обработки;
• параллельно развивается серия GPT, ориентированная на общие задачи коммуникации. Модель использует более широкую базу знаний.

В ходе АМА-сессии директор по продуктам OpenAI Кевин Вайль отметил, что в будущем планируется объединение обоих разработок.

Применение синтетических данных опасно​

Подход к решению проблемы дефицита данных через их искусственное создание может представлять риск для качества информации. Об этом говорится в исследовании ряда экспертов из разных университетов Великобритании.

По их мнению, такое решение в конечном итоге может полностью отделить ИИ от реальности и привести к «коллапсу модели». Проблема заключается в использовании нейросетью недостоверных данных для формирования обучающего набора следующего поколения искусственного интеллекта.

Для решения проблемы OpenAI разрабатывает механизмы фильтрации для поддержания качества информации, интегрируя разные методы проверки для отделения высококачественного контента от потенциально проблемного.

Оптимизация после обучения — еще один актуальный подход. Исследователи разрабатывают методы повышения производительности нейросети после начальной фазы настройки, не полагаясь только на расширение набора информации.

Ранее СМИ сообщили о планах OpenAI запустить следующую передовую ИИ-модель под кодовым названием Orion к декабрю. Позже глава компании Сэм Альтман опроверг эту информацию.

Подходы других компаний​

Ряд ученых, исследователей и инвесторов сообщили Reuters, что методы, лежащие в основе работы недавно представленной ИИ-модели o1, «могут изменить гонку вооружений» в области искусственного интеллекта.

В сентябре OpenAI представила большую языковую модель o1, обученную методом с подкреплением для выполнения сложных рассуждений. Нейросеть умеет думать — она способна создать длинную внутреннюю цепочку мыслей в ходе анализа вопроса, заявила компания.

Соучредитель ИИ-стартапов Safe Superintelligence (SSI) и OpenAI Илья Суцкевер отметил, что результаты обучения с использованием большого объема немаркированных данных «достигли пика».

«2010 годы были веком масштабирования, а сейчас мы снова вернулись во времена чудес и открытий. Все ищут новое», — отметил он.

Суцкевер отказался поделиться подробностями работы его новой компании SSI, отметив лишь само наличие альтернативного подхода к расширению масштабов предварительного обучения.

Источники Reuters отметили, что что исследователи из крупных ИИ-лабораторий сталкиваются с задержками и неудовлетворительными результатами в стремлении создать большую языковую модель, превосходящую GPT-4 от OpenAI, выпущенную почти два года назад.

Они стараются применить технику улучшения нейросетей во время так называемой фазы «вывода». Например, вместо предоставления одного ответа ИИ сначала генерирует несколько вариантов и выбирает лучший.

Напомним, в октябре СМИ сообщили о работе OpenAI над собственным ИИ-чипом.