Математики провели эксперимент, чтобы оценить способности современных ИИ-моделей решать реальные научные задачи, а не стандартные учебные упражнения. Результаты показали, что искусственный интеллект всё ещё значительно отстаёт от человека в этой области.
В отличие от предыдущих тестов, в новом исследовании использовались оригинальные, нигде не публиковавшиеся задачи из текущих научных работ. Десять заданий из разных областей математики были подготовлены и заранее решены участвующими учёными. Ведущие ИИ-системы получили лишь одну попытку на решение без подсказок.
Итоги эксперимента выявили, что модели хорошо справляются с типовыми задачами, но испытывают серьёзные трудности, когда требуется творческий подход и математическая интуиция. Исследователи планируют опубликовать ответы и подготовить новый набор заданий для дальнейшего тестирования.