Статья, опубликованная в журнале arXiv, показала, что при определенной задаче и использовании определенных моделей, исследователи могут выбирать метрики, которые могут подтвердить несуществующие способности ИИ.
Ученые также отметили, что при использовании нелинейных методов измерений появляются неожиданные изменения, которые могут маскироваться под новые возможности ИИ, в то время как реальная производительность модели улучшается более плавно.