Искусственный интеллект

Автор: Денис Аветисян

Модель, дообученная с использованием RECAP, не только сохраняет исходную производительность, но и превосходит её на 2%, в то время как модель, ориентированная на рассуждения, быстро отстаёт после 100 итераций, демонстрируя превосходство подхода, выходящего за рамки простой оптимизации рассуждений.

По мере того, как большие языковые модели (LLM) становятся все более сложными, возникает парадоксальное противоречие: стремление к улучшению способностей к рассуждению часто происходит за счет общей эрудиции и способности к обобщению. В исследовании “Beyond Reasoning Gains: Mitigating General Capabilities Forgetting in Large Reasoning Models” авторы смело задаются вопросом о том, не достигаем ли мы кажущихся «выигрышами в рассуждениях», лишь усугубляя проблему «забывания» ранее приобретенных знаний и навыков. Ведь, если модель становится экспертом в решении логических задач, но теряет способность распознавать простые визуальные образы или понимать контекст обыденных разговоров, не превращается ли она в узкоспециализированного гения, оторванного от реальности? Не является ли эта тенденция к «забыванию» фундаментальным препятствием на пути к созданию действительно универсального искусственного интеллекта, способного не только мыслить, но и понимать мир во всей его полноте?

Логический тупик больших языковых моделей

Несмотря на колоссальный масштаб, большие языковые модели (БЯМ) часто сталкиваются с трудностями при решении сложных задач, требующих рассуждений. Они демонстрируют ограниченную глубину логического анализа и непостоянство выводов. Это похоже на попытку построить небоскрёб на зыбком фундаменте – масштаб впечатляет, но прочность оставляет желать лучшего.

Традиционные подходы, заключающиеся лишь в увеличении числа параметров, оказываются недостаточными для преодоления этих дефектов. Увеличение масштаба – это как добавление лошадиных сил к автомобилю с заблокированными колёсами. Это может быть впечатляюще, но неэффективно. Требуются более изящные, эффективные методы, позволяющие БЯМ действительно “думать”, а не просто воспроизводить паттерны.

Особенно проблематичным является склонность современных моделей к “галлюцинациям” – генерации фактически неверной информации. Это как если бы система навигации указывала несуществующие улицы или выдавала ложные координаты. Проблема заключается не только в отсутствии знаний, но и в неспособности надёжно осуществлять логические выводы и связывать информацию.

Авторы данной работы рассматривают это как “узкое место” в развитии БЯМ – проблему, требующую не просто увеличения вычислительных ресурсов, а принципиально новых подходов к организации логического мышления. Они утверждают, что для того чтобы БЯМ действительно решали задачи, а не просто “имитировали” решение, необходимо научить их не только “знать”, но и “понимать” – устанавливать причинно-следственные связи, выделять главное от второстепенного, делать обоснованные выводы. Это похоже на взлом системы – не просто нахождение уязвимости, а понимание её принципов работы.

Их исследование направлено на создание моделей, способных не только генерировать правдоподобные ответы, но и предоставлять обоснованные доказательства своей правоты – прозрачные, логичные, и проверяемые. Это, по мнению авторов, является ключом к созданию действительно интеллектуальных систем, способных решать сложные задачи и приносить пользу человечеству. Их подход – это не просто улучшение существующих моделей, а создание принципиально новых, способных мыслить и понимать мир вокруг нас.

RLVR: Алгоритм взлома познания

В погоне за искусственным интеллектом, способным не просто выдавать ответы, но и демонстрировать ход мысли, исследователи обращаются к новым парадигмам обучения. Одной из таких парадигм является обучение с подкреплением с проверяемыми вознаграждениями (Reinforcement Learning with Verifiable Rewards, RLVR). Это не просто ещё одна вариация алгоритмов машинного обучения, а скорее попытка взломать систему познания, заставив модель не просто “угадывать” правильный ответ, но и доказывать его логическую обоснованность.

В отличие от традиционных подходов, фокусирующихся исключительно на конечном результате, RLVR делает ставку на поощрение самого процесса рассуждения. Идея проста, но элегантна: вознаграждайте модель не за правильный ответ, а за правильный путь к нему. Этот подход требует внедрения так называемых "вознаграждений за мышление" (Thinking Rewards), которые стимулируют модель демонстрировать последовательную и логичную цепочку рассуждений. Вместо того, чтобы просто проверять, угадала ли модель ответ, система оценивает, насколько убедительно и логично она пришла к этому ответу.

В основе RLVR лежит, конечно же, обучение с подкреплением (Reinforcement Learning) – алгоритм, позволяющий модели учиться на своих ошибках и постепенно улучшать свою стратегию. Однако, в контексте RLVR, обучение с подкреплением приобретает новые оттенки. Модель не просто пытается максимизировать вознаграждение, но и оптимизирует сам процесс рассуждения, стремясь к логической стройности и последовательности. Это похоже на отладку сложной программы: нужно не только добиться правильного результата, но и убедиться, что код работает эффективно и без ошибок.

Асинхронная сходимость и высокая дисперсия вознаграждений, наблюдаемые в процессе обучения RLVR (представленные светлыми линиями для пошаговых вознаграждений и темными кривыми для скользящего среднего), подтверждают необходимость использования краткосрочной статистики для динамической переоценки целей, а не величин на каждой итерации.

Особенностью обучения с подкреплением в контексте RLVR является сложность ландшафта вознаграждений. Процесс рассуждения – штука нелинейная и часто непредсказуемая. Оценка логической последовательности требует тонкого анализа и учета множества факторов. Именно поэтому исследователи обращаются к использованию краткосрочной статистики и динамической переоценки целей, чтобы избежать застревания модели в локальных оптимумах и обеспечить стабильное обучение. В конечном итоге, цель состоит в том, чтобы создать искусственный интеллект, который не просто умеет решать задачи, но и умеет мыслить логически и обоснованно – по-настоящему взломать систему познания.

Усиление RLVR: Алгоритмы и техники против катастрофического забывания

По мере углубления в область обучения с подкреплением (RL) для больших языковых моделей (LLM), исследователи сталкиваются с фундаментальным вызовом: как обеспечить не только приобретение новых навыков, но и сохранение уже существующих знаний. Эта проблема, известная как катастрофическое забывание, требует тонкого подхода к проектированию алгоритмов и техник обучения. В рамках обучения с подкреплением с проверяемыми наградами (RLVR), где акцент делается на обучении моделям конкретным навыкам, таким как решение математических задач или логические рассуждения, поддержание общей компетенции становится особенно важным.

Алгоритмы, такие как оптимизация относительной политики группы (Group Relative Policy Optimization), играют ключевую роль в стабилизации процесса обучения в RLVR. Они обеспечивают эффективные последовательные награды, смягчая присущую RL нестабильность. Это позволяет моделям более уверенно исследовать пространство решений, не теряя при этом приобретенных навыков. Без таких алгоритмов, обучение с подкреплением может быстро превратиться в хаотичный процесс, приводящий к непредсказуемым результатам.

Однако, стабилизация обучения – это лишь одна сторона медали. Для эффективного сохранения общих знаний, необходимы методы, которые активно противодействуют катастрофическому забыванию. Здесь на помощь приходит подход, предложенный исследователями, известный как RECAP. Этот метод расширяет возможности RLVR, динамически перераспределяя веса целей и улучшая скорость сходимости за счет тщательного воспроизведения общих данных.

Предложенный метод RECAP, наряду с целевой задачей рассуждений, использует данные из общих доменов для сохранения знаний в процессе тонкой настройки, при этом вес индивидуальных целей корректируется на основе их поведения сходимости для предотвращения доминирования и уменьшения веса насыщенных целей.

В борьбе с катастрофическим забыванием исследователи обращаются к различным техникам. Методы, такие как обучение с ограничением веса (LwF), выборочное хранение данных (Coreset) и динамическое смешивание данных (MoDoMoDo), предлагают различные подходы к управлению разнообразными наборами данных в рамках RLVR. LwF стремится сохранить предыдущие знания, штрафуя отклонения от исходных весов модели. Coreset эффективно выбирает подмножество данных для воспроизведения, минимизируя объем хранимых данных при сохранении репрезентативности. MoDoMoDo, с другой стороны, динамически смешивает данные из различных источников, адаптируясь к потребностям обучения.

Каждый из этих методов имеет свои сильные и слабые стороны. Выбор оптимальной стратегии зависит от конкретной задачи и доступных ресурсов. Однако, общая цель остается неизменной: создать систему, которая может не только приобретать новые навыки, но и сохранять уже существующие знания. В конечном итоге, это позволит создать более гибкие, надежные и интеллектуальные языковые модели, способные решать широкий спектр задач.

RLVR: Надёжность, форматирование и взлом ограничений

Помимо повышения точности рассуждений, парадигма RLVR затрагивает и вполне практичные аспекты. Современные системы часто требуют не только правильного ответа, но и его представления в чётко заданном формате. Соблюдение формата, или “форматное соответствие”, — это не просто прихоть разработчиков, это необходимое условие для интеграции ИИ в реальные приложения. Иначе говоря, система может генерировать гениальные решения, но если она не может их структурировать, они останутся бесполезными.

Авторы работы, однако, не останавливаются на формальном соответствии. Они прекрасно понимают, что системы, обученные лишь имитации желаемого вывода, уязвимы к так называемым “атакам обхода ограничений” (jailbreak attacks). Попытки заставить систему выдать запрещённый вывод, обойдя её фильтры, — это не просто забава для хакеров, это реальная угроза для безопасности и надёжности ИИ. Вместо того чтобы бороться с симптомами, исследователи предлагают лечить корень проблемы: укреплять целостность рассуждений, а не просто обучать систему правильно подражать желаемому поведению.

Наблюдаемое увеличение вознаграждения за точность в процессе обучения превосходит увеличение вознаграждения за формат при использовании предложенного метода, что указывает на приоритет правильных решений над форматированием после того, как модель научилась следовать заданному шаблону.

Иными словами, акцент смещается с простого соответствия заданному шаблону на действительно понимание проблемы и логичное её решение. Это не просто технический нюанс, это фундаментальное изменение в подходе к обучению ИИ. Оптимизируя напрямую за проверяемые рассуждения, исследователи прокладывают путь к созданию более надёжных и заслуживающих доверия систем искусственного интеллекта. Ведь, в конечном счёте, лучший хак — это осознание того, как всё работает. И каждый патч — это философское признание несовершенства.

Авторы работы не отрицают, что совершенных систем не бывает. Но они убеждены, что, фокусируясь на фундаментальных принципах рассуждений, можно создать ИИ, который будет не просто выполнять задачи, но и понимать, почему он их выполняет. И это — принципиально важный шаг к созданию действительно разумных машин.

Будущее рассуждений с RLVR: Мультимодальность и непрерывное обучение

Исследования, представленные в данной работе, открывают новые горизонты в области обучения моделей рассуждения с использованием обучения с подкреплением и верифицируемыми наградами (RLVR). Однако, как и в любом новаторском подходе, существуют области, требующие дальнейшего изучения и совершенствования. Авторы чётко осознают ограничения текущих методов и, вместо того чтобы рассматривать их как непреодолимые препятствия, предлагают рассматривать их как приглашение к эксперименту.

Одним из перспективных направлений является расширение RLVR на более сложные мультимодальные модели, известные как Vision-Language Models (VLM). Это открывает захватывающие возможности для обучения моделей не только пониманию текста, но и анализу визуальной информации, что позволяет им рассуждать о сложных сценариях, требующих интеграции различных типов данных. Представьте себе систему, способную не просто ответить на вопрос, но и объяснить свои рассуждения, опираясь на визуальные доказательства – это уже не научная фантастика, а вполне достижимая цель.

Авторы также справедливо отмечают проблему "коллапса исследования и разнообразия", когда модель становится слишком узкоспециализированной и теряет способность находить нестандартные решения. Для решения этой проблемы необходимы дальнейшие исследования в области разработки стратегий исследования и наград, которые стимулируют модель к поиску разнообразных и надежных решений. Вместо того, чтобы стремиться к мгновенному успеху, необходимо создать систему, которая поощряет эксперименты и позволяет модели учиться на своих ошибках.

Наконец, авторы подчеркивают потенциал интеграции RLVR с контролируемой тонкой настройкой (Supervised Finetuning). Сочетание этих двух подходов может позволить использовать сильные стороны каждого из них, что приведет к созданию более эффективных и мощных систем рассуждения. Контролируемая тонкая настройка может обеспечить базовые знания и навыки, а RLVR – улучшить способность модели к рассуждению и решению сложных задач.

Таким образом, представленная работа не только предлагает новый подход к обучению моделей рассуждения, но и открывает новые горизонты для будущих исследований. Авторы демонстрируют, что ограничения – это не тупик, а приглашение к эксперименту, и что только путем постоянного поиска и инноваций можно достичь подлинного прогресса в области искусственного интеллекта.

Что дальше?

Исследование, представленное авторами, – лишь одна попытка расшифровать открытый исходный код реальности, в данном случае – нейронные сети. Проблема “катастрофического забывания” – это не ошибка алгоритма, а отражение фундаментального принципа: любая система, оптимизированная для нового, неизбежно теряет связь со старым. Авторы успешно смягчили эту потерю, но вопрос в том, можно ли вообще её избежать? Не является ли “забывание” необходимой частью обучения, своего рода очисткой памяти от несущественного, чтобы освободить место для нового?

В дальнейшем, вероятно, потребуются более радикальные подходы. Динамическая перевзвеска целей и воспроизведение данных – это, безусловно, полезные инструменты, но они лишь замаскируют, а не решат проблему. Возможно, стоит исследовать архитектуры, которые принципиально отличаются от текущих, – системы, способные хранить и использовать знания параллельно, а не последовательно. Или, может быть, ключ лежит в создании моделей, которые способны не просто “запоминать” информацию, а “понимать” её, выстраивая внутреннюю модель мира, устойчивую к изменениям.

В конечном счете, мы сталкиваемся не с технической проблемой, а с философским вопросом: что такое знание и как оно хранится? Авторы сделали важный шаг в этом направлении, но предстоит еще многое проверить и переосмыслить. Реальность, как и любой сложный код, сопротивляется простому взлому – она требует глубокого понимания.

Оригинал статьи: denisavetisyan.com

Связаться с автором: linkedin.com/in/avetisyan