Цепочки рассуждений как статистический трюк, а не интеллект

Группа ученых под руководством Суббарао Камбхампати из Университета штата Аризона представила доклад, критикующий современные представления о «рассуждающих» ИИ-моделях (LRM). Исследователи утверждают, что популярные цепочки рассуждений (Chain of Thought, CoT), генерируемые системами вроде OpenAI o1 или DeepSeek R1, не являются свидетельством реального процесса мышления.


С технической точки зрения, работа трансформеров — это непрерывное статистическое прогнозирование следующего элемента последовательности. Промежуточные шаги, которые кажутся пользователю логическими выводами, на деле представляют собой адаптивное расширение контекста, оптимизирующее вероятность выдачи верного ответа.


Феномен «театра рассуждений»

Ученые обращают внимание на имитацию когнитивных процессов, включая фразы типа «наконец-то я понял», которые нейросеть вставляет в текст. По их мнению, это не отражает изменения в вычислениях, а является культурной имитацией человеческого поведения, усвоенной в процессе обучения на огромных объемах данных. Ключевые выводы исследования:

  • Статистика важнее логики: Эксперименты с задачами на поиск пути показали, что модели справляются с задачей даже при использовании неверных или перепутанных цепочек рассуждений, что доказывает опору на структуру текста, а не на внутреннюю логику.
  • Артефакты обучения: Генерирование длинных «рассуждений» в тривиальных задачах доказывает, что их объем не связан с вычислительной нагрузкой, а является лишь следствием статистических закономерностей в обучающей выборке.
  • Риск ложного доверия: Убедительные, но порой ошибочные объяснения могут вводить пользователей в заблуждение, что критически опасно в таких сферах, как право или медицина.

Путь к надежному ИИ

«Индустрия оказалась в ловушке «театра рассуждений», где ресурсы направляются на создание человекоподобных текстов вместо разработки архитектур с формально проверяемым логическим выводом», — отмечают авторы работы.

В качестве выхода из сложившейся ситуации эксперты предлагают отойти от антропоморфизации ИИ. Вместо того чтобы оценивать системы по их способности вести «внутренний монолог», предлагается внедрять подход LLM-Modulo. В рамках этой модели нейросеть выступает лишь генератором гипотез, а проверку их истинности осуществляют внешние, математически строгие алгоритмы верификации. Таким образом, надежность ИИ будет основываться на доказанных фактах, а не на убедительности его ответов.